Gdy przeglądasz w Internecie nową parę butów, wybierasz film do streamowania w serwisie Netflix lub ubiegasz się o pożyczkę na samochód, algorytm prawdopodobnie ma słowo do powiedzenia na temat wyniku.
Złożone wzory matematyczne odgrywają coraz większą rolę we wszystkich dziedzinach życia: od wykrywania raka skóry po sugerowanie nowych znajomych na Facebooku, decydowanie o tym, kto dostanie pracę, w jaki sposób wykorzystywane są zasoby policji, kto otrzymuje ubezpieczenie za jaką cenę lub kto jest na „ zakaz lotów ”.
Algorytmy są wykorzystywane - eksperymentalnie - do pisania artykułów na podstawie surowych danych, podczas gdy kampania prezydencka Donalda Trumpa była wspomagana przez behawioralnych marketerów, którzy używali algorytmu do lokalizowania największej koncentracji „przekonujących wyborców”.
Ale chociaż takie zautomatyzowane narzędzia mogą wprowadzić pewną miarę obiektywizmu w subiektywne decyzje, które były niegdyś, narastają obawy związane z brakiem algorytmów przejrzystości, a presja na stosowanie standardów etycznych lub „odpowiedzialności” rośnie.
Naukowiec zajmujący się danymi, Cathy O'Neil, ostrzega przed „ślepym ufaniem” formułom w celu określenia sprawiedliwego wyniku.
„Algorytmy nie są z natury sprawiedliwe, ponieważ osoba, która buduje model, definiuje sukces” - powiedziała.
Wzmacnianie wad
O'Neil twierdzi, że chociaż niektóre algorytmy mogą być pomocne, inne mogą być nikczemne. W swojej książce „Weapons of Math Destruction” z 2016 r. Przytacza kilka niepokojących przykładów ze Stanów Zjednoczonych:
- Szkoły publiczne w Waszyngtonie w 2010 roku zwolniły ponad 200 nauczycieli - w tym kilku szanowanych instruktorów - na podstawie wyników uzyskanych w algorytmicznej formule, która oceniała wyniki.
- Mężczyzna, u którego zdiagnozowano chorobę afektywną dwubiegunową, został odrzucony do pracy w siedmiu głównych sprzedawcach detalicznych po tym, jak zewnętrzny test „osobowości” uznał go za wysokiego ryzyka na podstawie klasyfikacji algorytmicznej.
- W wielu jurysdykcjach stosuje się „predykcyjne działania policyjne”, aby przenosić zasoby do prawdopodobnie „gorących miejsc”. O'Neill mówi, że w zależności od tego, w jaki sposób dane są wprowadzane do systemu, może to prowadzić do wykrycia większej liczby drobnych przestępstw i „pętli sprzężenia zwrotnego”, która stygmatyzuje biedne społeczności.
- Niektóre sądy opierają się na formułach komputerowych przy ustalaniu kary pozbawienia wolności i warunkowego zwolnienia, co może dyskryminować mniejszości, biorąc pod uwagę czynniki „ryzyka”, takie jak ich sąsiedztwo i więzi rodzinne lub przyjacielskie z przestępczością.
- W świecie finansów brokerzy „zbierają” dane z Internetu i innych źródeł na nowe sposoby, aby podejmować decyzje dotyczące kredytu lub ubezpieczenia. To zbyt często wzmacnia uprzedzenia wobec pokrzywdzonych, argumentuje O'Neil.
Jej odkrycia zostały powtórzone w zeszłorocznym raporcie Białego Domu, który ostrzegł, że systemy algorytmiczne „nie są nieomylne - opierają się na niedoskonałych danych wejściowych, logice, prawdopodobieństwie i osobach, które je projektują”.
W raporcie zauważono, że systemy danych mogą idealnie pomóc wyeliminować ludzkie uprzedzenia, ale ostrzegano przed algorytmami „systematycznie niekorzystnymi dla niektórych grup”.