W maju 2010, wywołany serią głośnych skandali, burmistrz Nowego Orleanu zwrócił się do amerykańskiego Departamentu Sprawiedliwości o zbadanie policji miejskiej (NOPD). Dziesięć miesięcy później DOJ zaoferował analiza pęcherzy: w okresie przeglądu od 2005 NOPD wielokrotnie naruszył prawo konstytucyjne i federalne.
Używał nadmiernej siły i nieproporcjonalnie wobec czarnych mieszkańców; ukierunkowane mniejszości rasowe, obcojęzyczni anglojęzyczni oraz osoby LGBTQ; i nie zajęła się przemocą wobec kobiet. Problemy, powiedziany zastępca prokuratora generalnego Thomas Perez w tym czasie był „poważny, szeroko zakrojony, systemowy i głęboko zakorzeniony w kulturze departamentu”.
Pomimo niepokojących ustaleń miasto wkroczyło tajne partnerstwo zaledwie rok później firma Palantir zajmująca się wyszukiwaniem danych wdrożyła predykcyjny system policyjny. System użył danych historycznych, w tym rejestrów aresztowań i elektronicznych raportów policyjnych, do prognozowania przestępczości i pomocy w kształtowaniu strategii bezpieczeństwa publicznego, zgodnie z firma i władze miasta materiały. W żadnym momencie materiały te nie sugerowały żadnego wysiłku w celu wyczyszczenia lub zmiany danych w celu usunięcia naruszeń ujawnionych przez DOJ. Najprawdopodobniej uszkodzone dane zostały wprowadzone bezpośrednio do systemu, wzmacniając dyskryminujące praktyki departamentu.
Predykcyjne algorytmy policyjne stają się powszechną praktyką w miastach w całych Stanach Zjednoczonych. Chociaż brak przejrzystości utrudnia dokładne określenie statystyk, PredPol, wiodący dostawca, szczyci się że pomaga „chronić” 1 u 33 Americans. Oprogramowanie jest często reklamowane jako sposób, aby pomóc słabo rozciągniętym departamentom policji podejmować bardziej wydajne decyzje oparte na danych.
Ale nowe badania sugerują, że nie tylko Nowy Orlean wyszkolił te systemy „brudnymi danymi” papier opublikowany w dniu dzisiejszym, który ma zostać opublikowany w NYU Law Review, naukowcy z AI Now Institute, centrum badawczego zajmującego się badaniem społecznego wpływu sztucznej inteligencji, stwierdzili, że problem jest wszechobecny w badanych przez nich jurysdykcjach. Ma to znaczące konsekwencje dla skuteczności predykcyjnych działań policyjnych i innych algorytmów stosowanych w systemie wymiaru sprawiedliwości w sprawach karnych.
„Twój system jest tak dobry, jak dane, których używasz do szkolenia” - mówi Kate Crawford, współzałożycielka i współreżyserka AI Now oraz autorka badania. „Jeśli same dane są niepoprawne, spowoduje to, że więcej zasobów policji zostanie skoncentrowanych na tych samych przeinaczonych i często rasistowskich społecznościach. To, co zrobiłeś, jest faktycznie rodzajem prania technologii, w którym ludzie, którzy korzystają z tych systemów, zakładają, że są w jakiś sposób bardziej neutralni lub obiektywni, ale w rzeczywistości zakorzenili pewną niekonstytucyjność lub nielegalność. ”
Naukowcy zbadali jurysdykcje 13, koncentrując się na tych, które korzystały z predykcyjnych systemów policyjnych i były przedmiotem dochodzenia zleconego przez rząd. Ten ostatni wymóg zapewnił, że praktyki policyjne miały dokumentację weryfikowalną prawnie. W dziewięciu jurysdykcjach znaleźli mocne dowody, że systemy zostały przeszkolone w zakresie „brudnych danych”.
Problemem były nie tylko dane wypaczone przez nieproporcjonalne ukierunkowanie na mniejszości, jak w Nowym Orleanie. W niektórych przypadkach departamenty policji miały kulturę celowego manipulowania lub fałszowania danych pod silną presją polityczną w celu obniżenia oficjalnych wskaźników przestępczości. Na przykład w Nowym Jorku, aby sztucznie sprowadzić statystyki przestępczości, dowódcy okręgu regularnie prosili ofiary na miejscu zbrodni, aby nie składały skarg. Niektórzy policjanci nawet podłożyli narkotyki niewinnym ludziom, aby spełnić swoje kwoty za aresztowania. We współczesnych predykcyjnych systemach policyjnych, które polegają na uczeniu maszynowym do prognozowania przestępczości, te uszkodzone punkty danych stają się uzasadnionymi predyktorami.
GIGO! Śmietnik w; Wyrzuć śmieci!