Technokracja Chin wykorzystująca system punktacji społecznej do kierowania dyktaturą naukową

Kluczowe wnioski

• Chiński rząd zatwierdził testy pilotażowe systemu kredytu społecznego, który wykorzystuje dane osobowe obywateli w celu przypisania nieoficjalnej oceny wiarygodności kredytowej, z korzyściami i karami zarządzanymi przez prywatne firmy i biura rządowe.
• Pięć wymiarów danych dotyczących zdolności kredytowej to „historia kredytowa użytkowników, nawyki zachowania, zdolność do spłacania długów, dane osobowe i sieci społecznościowe”.
• Algorytmy, które wyprowadzają oceny wiarygodności kredytowej, są tajemnicą handlową, zabraniają form testowania, które mogą określić, w jaki sposób działają.
• Rządowe czarne listy dłużników są udostępniane prywatnym i publicznym usługom punktacji kredytowej, aby uniemożliwić osobom fizycznym dokonywanie pewnych transakcji.

Ten post, drugi w seria na temat systemów płatności mobilnych analizuje funkcję chińskiej aplikacji do płatności mobilnych coraz częściej opisywaną w zagranicznych mediach: testowanie tego, co pewnego dnia może być ogólnokrajowym oficjalnym systemem kredytów społecznościowych, który zastąpi jego tradycyjny analogowy odpowiednik. Najpopularniejsze publicznie dostępne oceny kredytów społecznościowych są obecnie wydawane za pośrednictwem Sesame Credit, firmy założonej przez spółkę zależną Alibaba, Ant Financial. Zachodnie media donoszą o systemie kredytów społecznościowych i opisują zjawisko podobne do science fiction, w którym obywatele otrzymują wyniki na podstawie ich zachowania w Internecie, informacji finansowych i dokumentów rządowych. Przedstawiciele Ant Financial sugerują, że przeglądanie stron internetowych późnym wieczorem, godziny spędzone na graniu w gry wideo i zakup określonych przedmiotów mogą obniżyć wynik. Niezależnie od tego, czy te twierdzenia są prawdziwe, czy nie, mechanizmy punktacji Sesame Credit są nadal w fazie eksperymentalnej i dlatego mogą ulec zmianie. Nasze badanie potencjalnego bezpieczeństwa, prywatności i innych kwestii związanych z takim systemem ma na celu postawienie pytań, które mogą stanowić podstawę dyskusji o tym, jak będzie on ewoluował.

Już w 2003 Rząd chiński wyraził zainteresowanie w tworzeniu kompleksowych środków przyznawania obywatelom ocen kredytowych, które byłyby poprawą w stosunku do krajowego systemu oceny wiarygodności kredytowej. Rada Państwa niedawno zatwierdziła „Zarys przepisów dotyczących budowy systemu kredytu społecznego (2014-2020)” a obecnie osiem firm uzyskało zezwolenie banku centralnego na prowadzenie działalności pilotażowe testy własnych systemów kredytu społecznego, podobnie jak konsumenckie ratingi kredytowe Fair, Isaac and Company (FICO). Częścią tego, co sprawia, że ​​takie przedsięwzięcie jest wyjątkowe w Chinach, jest niejasność, aw niektórych przypadkach całkowity brak przepisów dotyczących gromadzenia dużych zbiorów danych do celów oceny zdolności kredytowej, potencjalne wykorzystanie takich ocen przez osoby trzecie oraz ochrona prywatności danych użytkowników, które wpływają na ocenę zdolności kredytowej obliczenia. The nowe prawo cyberbezpieczeństwa wydany w listopadzie 7, 2016 zawiera język dotyczący ochrony prywatności, ale nie zostanie wdrożony dopiero w czerwcu 2017.

Ten artykuł dotyczy usługi oceny zdolności kredytowej Sesame Credit, którą użytkownicy Alipay mogą obecnie otrzymywać w aplikacji. Wyniki Sesame Credit są najbardziej popularnym przykładem tego, jak kiedyś może funkcjonować krajowy chiński system kredytu społecznego, i daje poczucie tego, jakie względy chińskie firmy, obywatele i państwo uważają, że należy wprowadzić taki system. Jest to jeden z elementów szerszego nacisku rządu Chin na wykorzystanie dużych zbiorów danych jako źródła kontroli społecznej. Punkty kredytowe są podzielone na pięć wymiarów: „Historia kredytowa użytkowników, nawyki behawioralne, zdolność do spłacania długów, dane osobowe i sieci społecznościowe”. Krótki opis każdej z tych kategorii jest zawarty w funkcji kredytu sezamowego Alipay, ale nie rzucają one światła na to, jakie konkretne działania zmieniłoby wynik.

Zgodnie z Papier, „Preferencje behawioralne” odnoszą się do działań, takich jak terminowe regulowanie rachunków, a „dane osobowe” obejmują wiek, płeć, zawód i historię edukacji. Bardziej niepokojące są źle zdefiniowane „koncepcje stabilności” w Sezamie, który rzekomo bierze pod uwagę, do których przedstawiciele firmy nawiązali bez jasnego zdefiniowania. Wydaje się, że są to wysoce subiektywne wyznaczniki własnej sytuacji finansowej i społecznej, które przyczyniają się do mechanizmu oceny zdolności kredytowej. The ten sam artykuł od Papier uważa, że ​​„jeśli adres często się zmienia, twoja zdolność kredytowa odpowiednio spadnie. Dodatkowo, dane kredytowe twoich znajomych będą również wpływać na Twoje Punkty Sezamkowe. ”Możliwości wprowadzenia w błąd oraz dyskryminacji ze względu na takie czynniki są szerokie, a bodźce zmieniające zachowanie, które są ich podstawą, również dotyczą. Główny naukowiec Ant Financial, Yu Wujie powiedział: „Jeśli regularnie przekazujesz darowizny na cele charytatywne, twoja ocena kredytowa będzie wyższa, ale nie powie ci, ile płatności musisz dokonać każdego miesiąca… ale [rozwój] w tym kierunku [jest podejmowany z nadzieją, że wszyscy przekażą darowiznę. ”Ponadto, Dyrektor technologii Ant Financial, Li Yingyun, stwierdził, że „Ktoś, kto gra w gry wideo przez 10 godzin dziennie, na przykład byłby uważany za bezczynnego, a ktoś, kto często kupuje pieluchy, byłby uważany za rodzica, który w równowadze jest bardziej skłonny do rozsądku odpowiedzialności. ”Te oświadczenia podsyciły dotychczas potępiający zasięg mediów społecznych na temat kredytu społecznego, chociaż należy zauważyć, że jedynym sposobem, aby wiedzieć z całą pewnością, że czynniki, które przytaczają przedstawiciele firmy, mogą rzeczywiście podnieść lub obniżyć wyniki, to zdekonstruowanie algorytmów które je określają, które zostały oznaczone tajemnice handlowe.

Bez możliwości przeprowadzania statycznych lub dynamicznych testów algorytmów kredytu społecznego, co możemy wnioskować na temat ich działania? Tak powiedział Deng Yiming, dyrektor ds. Rozwoju biznesu w Sesame Credit tylko 30 do 40 procent danych wykorzystywane do generowania ocen wiarygodności kredytowej pochodzą od firm i usług będących własnością Alibaba. Oprócz danych zebranych podczas aktywności użytkowników w aplikacji Alipay, Sesame Credit oblicza indywidualne wyniki na podstawie danych zebranych z witryn e-commerce Alibaba, aplikacji do udostępniania jazdy i restauracji powiązanych z Alipay oraz z biura rządowe z udziałem prawa, edukacji i handlu. Jednym z najbardziej jednoznacznych przykładów takiej wymiany danych jest Remis Sesame Credit z Najwyższym Sądem Ludowym, który według doniesień podzielił swoją czarną listę dłużników i innych, którzy naruszyli wyroki sądowe w firmie, aby uniemożliwić tym osobom dokonywanie tzw. luksusowych zakupów w Taobao i Tmall. To ustalenie nasuwa pytanie, czy Sesame Credit dzieli dane w przeciwnym kierunku, być może dostarczając partnerom biur rządowych informacji transakcyjnych użytkowników. Współpraca ta jest przyćmiona przez te, w których Sesame Credit współpracuje z sektorem prywatnym, aby zapewnić korzyści osobom o wysokich wynikach.

Obecnie przywilej posiadania wysokiej zdolności kredytowej może obejmować rezerwację wynajętego samochodu lub pokoju hotelowego bez dokonywania depozytu, zaciąganie pożyczek o niższych stopach procentowych, wysyłanie zakupów online w celu wypróbowania przed zapłaceniem za nie oraz uzyskiwanie wiz do Luksemburga i Singapuru w trybie przyspieszonym. Inne kraje, które wyraziły zainteresowanie udziałem w tym przyspieszone wydawanie wiz obejmują Japonię, Koreę Południową, Sri Lankę i Zjednoczone Królestwo. Dyskutowano o przyszłych zastosowaniach wysokich ocen kredytowych, obejmujących swatanie i rekrutację pracowników, co podkreśla, w jakim stopniu tendencyjne dane wejściowe mogą tworzyć nowe bariery społeczne.

Przedstawienia chińskiego rządu dotyczące systemu kredytu społecznego przedstawiają go jako sposób na przywrócenie zaufania między obywatelami a lokalnymi przedsiębiorstwami, takimi jak restauracje, które będą monitorowane pod kątem zgodności z przepisami zdrowotnymi. Kolejnym argumentem za stworzeniem systemu kredytu społecznego jest to, że umożliwi on osobom, które tradycyjnie nie są w stanie uzyskać kredytu, możliwość: kredyt studencki, pracownicy fizyczni, właściciele małych firm i tym podobne. Jednak do tej pory wydaje się, że korzyści płynące z posiadania wysokiego wyniku (o których tak naprawdę spekulowano) osiągnęło niewielu użytkowników) sprzyjają tym, którzy są w lepszej sytuacji finansowej, do dokonywania wystawnych i częstych wydatków. Jedna krytyka dotyczy tego, że Sesame Credit podnosi wyniki dla osób, które przeprowadzają więcej transakcji Alipay, czego firma zdecydowanie odmówiła. Przykłady wyższych wyników dla zakupów związanych z osobami będącymi rodzicami oraz niższych wyników dla osób zmieniających adresy domowe często sugerują ponadto, że brak kontekstu może prowadzić do fałszywej interpretacji działań ludzi, co może mieć nieproporcjonalne konsekwencje.

Wyjaśnianie inicjatyw dotyczących dużych zbiorów danych jako „obiektywnych” pomiarów danych użytkowników istnieje niebezpieczeństwo, częściowo dlatego, że w przypadkach, gdy wskaźnik jest niedokładny, trudno jest zakwestionować ten punkt. Jeden przykład z niedawny Wall Street Journal artykuł dotyczy kobiety, która wykorzystała przepustkę metra syna i została ukarana grzywną za czyn, który według algorytmu wydaje się kradzieżą. Ten drobny incydent budzi obawy dotyczące dekontekstualizowanego sposobu, w jaki punktację kredytową można zaprojektować do działania. Jakie środki prawne są dostępne w przypadku znacznie bardziej pomyłkowych błędów w systemie kredytów socjalnych?

Stan obecnych eksperymentów w tej dziedzinie rodzi wiele pytań dotyczących ochrony użytkowników. Jeśli chodzi o prywatność użytkowników, niewiele się dyskutuje na temat konsekwencji udostępniania wyników poszczególnych osób innym osobom. Alipay oferuje gra, w której znajomi mogą zgadywać swoje wyniki kredytowe i ujawniać je sobie na przykład. Poza innymi użytkownikami, firmami zewnętrznymi, które świadczą specjalne usługi dla osób posiadających wysoką zdolność kredytową, oraz współpracującymi biurami rządowymi aplikacji, z którymi strony trzecie będą udostępniać dane Sesame Credit? Centralizacja mechanizmów gromadzenia danych dotyczących kredytów socjalnych dang'an- podobnie jak dokumentacje z życia online i offline osób, tym bardziej przenośne, jak zauważyło kilka doniesień medialnych. Jakie procedury bezpieczeństwa obowiązują w celu ochrony tych repozytoriów cennych danych osobowych?

Jak na ironię, która nęka wiele aparatów nadzoru, rozprzestrzenianie się systemu kredytu społecznego i powiązanych z nim czujników, kodów QR i innych narzędzi do odczytywania śladów może stworzyć nowe obawy dotyczące bezpieczeństwa, niezależnie od tych, które rzekomo ma on ograniczyć poprzez niemal wszechobecny monitoring zachowania. Te nowe zagrożenia obejmują sposoby fałszowania danych oceny zdolności kredytowej oraz cele, w których można wykorzystywać fałszywe oceny zdolności kredytowej. The przyspieszona kontrola bezpieczeństwa na lotnisku w Pekinie dla użytkowników Sesame Credit o wystarczająco wysokich wynikach, którzy podróżują lotami krajowymi, stanowi jeden przykład sytuacji, w której sfałszowany wysoki wynik może pozwolić na ominięcie bardziej rygorystycznych kontroli bezpieczeństwa, które mogą stanowić zagrożenie dla bezpieczeństwa narodowego przez wykwalifikowanych i zdecydował wystarczająco dużo aktora. Im bardziej powszechny staje się system kredytów socjalnych i im większy jest zakres nagród, które mogą zapewnić osobom o wysokich wynikach, tym więcej zachęt do zastanowienia się, jak go zhackować. Artykuły i threads o tym, jak podnieść swoją zdolność kredytową, już rośnie, a nadal nie jest jasne, jak łatwo włamać się na określone konto i sfałszować informacje.

Jak opisano w poprzednim poście, firma Alibaba doświadczyła wycieków danych od pracowników firmy, a także zewnętrznych hacków. Konieczne jest zastanowienie się, jakie środki ostrożności podejmują, biorąc pod uwagę, że szybkie tworzenie systemu kredytu społecznego prawdopodobnie sprawi, że firmy, które są jego zarządcami, są celem kradzieży danych i wymuszeń. Co więcej, ponieważ w Chinach sprzedaje się wiele urządzeń służących do gromadzenia danych (IoT), szczegółowe możliwości śledzenia każdego ruchu obywateli i czerpania z tych informacji w postaci wkładu w postaci kredytu społecznościowego będą tylko rosły i będą wymagały pracy ze strony. producentów IoT, aby rozwiązać te problemy. Nowością, która może zwiększyć przejrzystość przedsiębiorstw kredytów społecznych, jest zapowiedź Narodowej Komisji ds. Rozwoju i Reform usługi oceny kredytowej zostaną otwarte dla inwestycji zagranicznych, które mogą co najmniej dostarczyć więcej informacji o tym, jak przeprowadzana jest ocena zdolności kredytowej przedsiębiorstw (dla restauracji i lokalnych firm).

Ostatnim problemem związanym z bezpieczeństwem i cenzurą, który oferujemy do rozważenia, jest możliwość kredytu społecznego i finansowania mobilnego dostęp blokowanie w celu karania obywateli za akty protestu, jako tylko jeden przykład. Jeśli obie te usługi staną się niezbędne w życiu codziennym, możliwość sankcjonowanego przez rząd zamrożenia kont użytkowników może poważnie zaszkodzić wolności obywatelskiej. W miarę wdrażania systemu należy pamiętać, że chociaż algorytmy określające oceny wiarygodności kredytowej mogą się szybko zmieniać w sposób, którego użytkownicy i badacze nie są w stanie dostrzec, siła państwa i firm kształtujących rozwój systemu kredytu społecznego jest znacznie bardziej zakorzeniony i ostatecznie jest odpowiedzialny za rzeczywiste wyniki, jakie może przynieść system kredytu społecznego.

Przeczytaj cały artykuł tutaj…