Algorytmy mogą kłamać i oszukiwać, ale czy można je zatrzymać?

Algorytmy mogą decydować o tym, czy dostaniesz kredyt hipoteczny lub ile zapłacisz za ubezpieczenie. Ale czasem się mylą - a czasem mają na celu oszukać.

Wiele algorytmów mimowolnie psuje się. Niektóre z nich są jednak kryminalne. Algorytmy to formalne reguły, zwykle zapisane w kodzie komputerowym, które przewidują przyszłe zdarzenia w oparciu o wzorce historyczne. Aby wyćwiczyć algorytm, musisz podać dane historyczne, a także definicję sukcesu.

W ciągu ostatnich dziesięcioleci widzieliśmy, jak finanse przejmują algorytmy. Algorytmy handlowe wykorzystują dane historyczne do przewidywania ruchów na rynku. Sukces tego algorytmu jest przewidywalnym ruchem rynkowym, a algorytm jest czujny w przypadku wzorców, które historycznie miały miejsce tuż przed tym ruchem. Modele ryzyka finansowego wykorzystują również historyczne zmiany rynkowe, aby przewidzieć katastroficzne wydarzenia w bardziej globalnym sensie, więc nie dla pojedynczych akcji, ale dla całego rynku. Model ryzyka papierów wartościowych zabezpieczonych hipoteką był bardzo zły - celowo - i można za to winić zaufanie do tych modeli znaczna część skali i późniejszych szkód spowodowanych przez kryzys finansowy 2008.

Od 2008 roku mniej słyszeliśmy o algorytmach w finansach, a znacznie więcej o algorytmach big data. Cel tej nowej generacji algorytmów został przesunięty z abstrakcyjnych rynków na osoby. Ale podstawowa funkcjonalność jest taka sama: zbieraj dane historyczne o ludziach, profilując ich zachowanie w Internecie, lokalizację lub odpowiedzi w kwestionariuszach i wykorzystuj ten ogromny zbiór danych do przewidywania ich przyszłych zakupów, zachowania podczas głosowania lub etyki zawodowej.

Niedawna proliferacja modeli dużych zbiorów danych została w dużej mierze niezauważona przez przeciętnego człowieka, ale można śmiało powiedzieć, że najważniejsze momenty, w których ludzie wchodzą w interakcje z dużymi systemami biurokratycznymi, wymagają teraz algorytmu w postaci systemu punktacji. Dostać się do college'u, znaleźć pracę, być ocenianym jako pracownik, uzyskać kartę kredytową lub ubezpieczenie, głosować i nawet policja są w wielu przypadkach wykonywane algorytmicznie. Co więcej, technologia wprowadzana do tych systematycznych decyzji jest w dużej mierze nieprzejrzysta, nawet dla ich twórców, i jak dotąd w dużej mierze uniknęła znaczącej regulacji, nawet jeśli zawodzi. To sprawia, że ​​pytanie, który z tych algorytmów działa w naszym imieniu, jest jeszcze ważniejsze i pilniejsze.

Mam czterowarstwową hierarchię, jeśli chodzi o złe algorytmy. Na górze znajdują się niezamierzone problemy odzwierciedlające uprzedzenia kulturowe. Na przykład, kiedy profesor Harvardu Latanya Sweeney odkryła, że ​​Google szuka nazw uważanych za czarne generowane reklamy związane z działalnością przestępczą, możemy założyć, że żaden inżynier Google nie napisał kodu rasistowskiego. W rzeczywistości reklamy zostały przeszkolone przez poprzednich użytkowników wyszukiwarki Google, którzy częściej klikali reklamę z rejestrów karnych, szukając czarnej, brzmiącej nazwy. Kolejny przykład: Wynik wyszukiwania grafiki Google dla „nieprofesjonalnych włosów”, która zwracała prawie wyłącznie czarne kobiety, podobnie jest szkolona przez osoby publikujące lub klikające wyniki wyszukiwania przez cały czas.

Przeczytaj całą historię tutaj…