Kiedy językowa sztuczna inteligencja spotyka się z propagandą, nikt nie jest bezpieczny

Siedzisz w wygodnym fotelu przy kominku, w mroźną zimową noc. Może masz w ręku kubek herbaty, może coś mocniejszego. Otwierasz magazyn z artykułem, który chciałeś przeczytać. Tytuł sugerował opowieść o obiecującej — ale też potencjalnie niebezpiecznej — nowej technologii, która ma stać się głównym nurtem, a po przeczytaniu zaledwie kilku zdań zostajesz wciągnięty w tę historię. Autor twierdzi, że nadchodzi rewolucja w inteligencji maszynowej i jako społeczeństwo musimy lepiej przewidywać jej konsekwencje. Ale wtedy dzieje się najdziwniejsza rzecz: zauważasz, że pisarz, pozornie celowo, pominął ostatnie słowo pierwszego.

Brakujące słowo wskakuje do twojej świadomości prawie nieproszone: „ostatnie słowo pierwszego” ustęp.'' W twoim umyśle nie ma poczucia wewnętrznego zapytania wyszukiwania; słowo „akapit” po prostu wyskakuje. To ćwiczenie polegające na wypełnianiu luk może wydawać się drugą naturą, ale robienie tego sprawia, że ​​myślisz o warstwach wiedzy osadzonych w myślach. Potrzebujesz znajomości wzorców pisowni i składni języka angielskiego; musisz rozumieć nie tylko słownikowe definicje słów, ale także ich wzajemne relacje; musisz być wystarczająco zaznajomiony z wysokimi standardami publikowania w czasopismach, aby założyć, że brakujące słowo to nie tylko literówka, a wydawcy generalnie niechętnie pomijają słowa kluczowe w publikowanych artykułach, chyba że autor stara się być sprytny — być może próbuje użyj brakującego słowa, aby zwrócić uwagę Twój spryt, jak szybko osoba mówiąca po angielsku może wyczarować właściwe słowo.

Zanim będziesz mógł dalej realizować ten pomysł, wrócisz do artykułu, w którym dowiadujesz się, że autor zabrał cię do kompleksu budynków na przedmieściach Iowa. Wewnątrz jednego z budynków kryje się cud nowoczesnej technologii: 285,000 XNUMX rdzeni procesorów połączonych w jeden gigantyczny superkomputer, zasilany przez panele słoneczne i chłodzony przez wentylatory przemysłowe. Maszyny nigdy nie śpią: w każdej sekundzie każdego dnia przerabiają niezliczone obliczenia, używając najnowocześniejszych technik inteligencji maszyn, które noszą nazwy takie jak „stochastyczne opadanie gradientu” i „splotowe sieci neuronowe”. Uważa się, że cały system jest jednym z najpotężniejszych superkomputerów na świecie.

Możesz zapytać, co to dynamo obliczeniowe robi z tymi wszystkimi niesamowitymi zasobami? Przeważnie jest to rodzaj gry, w kółko, miliardy razy na sekundę. A gra nazywa się: Zgadnij, jakie jest brakujące słowo.

Kompleks superkomputerowy w Iowa prowadzi program stworzony przez OpenAI, organizację założoną pod koniec 2015 roku przez garstkę luminarzy Doliny Krzemowej, w tym Elona Muska; Greg Brockman, który do niedawna był dyrektorem ds. technologii w molochu e-płatności Stripe; oraz Sam Altman, ówczesny prezes inkubatora start-upów Y Combinator. W ciągu pierwszych kilku lat, gdy budowała zaufanie do mózgu programistycznego, techniczne osiągnięcia OpenAI zostały w większości przyćmione przez gwiazdorską moc jej założycieli. Zmieniło się to jednak latem 2020 roku, kiedy OpenAI zaczął oferować ograniczony dostęp do nowego programu o nazwie Generative Pre-Trained Transformer 3, potocznie określanego jako GPT-3. Chociaż platforma była początkowo dostępna tylko dla niewielkiej garstki programistów, przykłady niesamowitej sprawności językowej GPT-3 – a przynajmniej iluzji poznania – zaczęły krążyć w sieci i mediach społecznościowych. Siri i Alexa spopularyzowały doświadczenie konwersacji z maszynami, ale to było na wyższym poziomie, zbliżając się do płynności, która przypominała dzieła science fiction, takie jak HAL 9000 z „2001”: program komputerowy, który może doskonale odpowiadać na otwarte, złożone pytania. złożone zdania.

Jako dziedzina sztuczna inteligencja jest obecnie podzielona na wiele różnych podejść, ukierunkowanych na różne rodzaje problemów. Niektóre systemy są zoptymalizowane pod kątem problemów związanych z poruszaniem się w przestrzeni fizycznej, na przykład w samojezdnych samochodach lub robotyce; inni kategoryzują zdjęcia dla Ciebie, identyfikując znajome twarze, zwierzęta lub zajęcia na wakacjach. Niektóre formy sztucznej inteligencji — takie jak AlphaFold, projekt DeepMind, spółki zależnej Alphabet (dawniej Google) — zaczynają rozwiązywać złożone problemy naukowe, takie jak przewidywanie struktury białek, co ma kluczowe znaczenie dla projektowania i odkrywania leków. Wiele z tych eksperymentów łączy podstawowe podejście znane jako „głębokie uczenie”, w którym sieć neuronowa niejasno wzorowana na strukturze ludzkiego mózgu uczy się identyfikować wzorce lub rozwiązywać problemy poprzez niekończące się cykle prób i błędów, wzmacniając połączenia neuronowe i osłabianie innych poprzez proces zwany treningiem. „Głębokość” głębokiego uczenia się odnosi się do wielu warstw sztucznych neuronów w sieci neuronowej, warstw, które odpowiadają coraz wyższym poziomom abstrakcji: na przykład w modelu opartym na wizji warstwa neuronów może wykrywać linie pionowe , który następnie wpisywałby się w warstwę wykrywającą krawędzie struktur fizycznych, która następnie byłaby raportowana do warstwy identyfikującej domy, a nie budynki mieszkalne.

GPT-3 należy do kategorii głębokiego uczenia znanej jako model dużego języka, złożonej sieci neuronowej, która została wytrenowana na tytanicznym zestawie danych tekstowych: w przypadku GPT-3 około 700 gigabajtów danych pobranych z całej sieci, w tym Wikipedia, uzupełniona dużym zbiorem tekstów ze zdigitalizowanych książek. GPT-3 jest najbardziej znanym z dużych modeli językowych i najbardziej dostępnym publicznie, ale Google, Meta (wcześniej znany jako Facebook) i DeepMind opracowały własne LLM w ostatnich latach. Postępy w mocy obliczeniowej – i nowe techniki matematyczne – umożliwiły LLM z rocznika GPT-3 przyswajanie znacznie większych zbiorów danych niż ich poprzednicy i wykorzystują do treningu znacznie głębsze warstwy sztucznych neuronów.

Jeśli kiedykolwiek korzystałeś z aplikacji, takiej jak Gmail, która zawiera funkcję autouzupełniania, delikatnie wyświetlając słowo „uczestniczyć” po wpisaniu zdania „Niestety wygrałem”, prawdopodobnie masz już do czynienia z dużym modelem językowym „nie móc…”. Ale autouzupełnianie jest tylko najbardziej podstawowym wyrazem tego, do czego zdolne jest oprogramowanie takie jak GPT-3. Okazuje się, że przy wystarczającej ilości danych uczących i wystarczająco głębokich sieciach neuronowych duże modele językowe mogą wykazać się niezwykłymi umiejętnościami, jeśli poprosisz je nie tylko o uzupełnienie brakującego słowa, ale także o kontynuowanie pisania całych akapitów w stylu początkowej zachęty. Na przykład, gdy podałem GPT-3 monit:

W 1958 roku Frank Rosenblatt wprowadził Perceptron, wczesną wersję sieci neuronowej, która potrafiła wykryć tylko położenie kwadratu na wydrukowanej karcie. Pięćdziesiąt lat później sieci neuronowe są zdolne do... . .

Oprogramowanie posłusznie dokończyło myśl, a następnie kontynuowało, przechwytując historyczne ramy początkowego tekstu:

. . . wykrywanie i klasyfikowanie twarzy, znajdowanie wzorców w danych i emulowanie ludzkiego mózgu. Sieć neuronowa dojrzewała w środowisku akademickim, ale trafiła również do branży technologicznej. Pod koniec lat 1980. i na początku 90. sieci neuronowe były wykorzystywane w aplikacjach do rozpoznawania mowy i znaków. Wzrost mocy obliczeniowej i możliwość gromadzenia większych zbiorów danych umożliwiły pojawienie się innych zastosowań sieci neuronowych.

Od czasu wydania GPT-3, internet był pełen przykładów niesamowitej łatwości języka w oprogramowaniu — wraz z jego słabymi punktami i słabościami oraz innymi, bardziej złowrogimi tendencjami. GPT-3 został przeszkolony do pisania hollywoodzkich scenariuszy i komponowania literatury faktu w stylu klasyka New Journalism Gay Talese „Frank Sinatra ma przeziębienie”. Możesz używać GPT-3 jako symulowanego mistrza lochów, prowadząc skomplikowane przygody tekstowe przez światy wymyślane na bieżąco przez sieć neuronową. Inni podawali do oprogramowania podpowiedzi, które generują jawnie obraźliwe lub urojone reakcje, ukazując ograniczenia modelu i jego potencjalne szkody, jeśli zostaną szeroko przyjęte w obecnym stanie.

Do tej pory eksperymenty z dużymi modelami językowymi polegały głównie na eksperymentach, które badały model pod kątem oznak prawdziwej inteligencji, badały jego kreatywne zastosowania, ujawniały jego uprzedzenia. Ale ostateczny potencjał komercyjny jest ogromny. Jeśli dotychczasowa trajektoria się utrzyma, oprogramowanie takie jak GPT-3 może zrewolucjonizować sposób wyszukiwania informacji w ciągu najbliższych kilku lat. Dzisiaj, jeśli masz skomplikowane pytanie o coś — jak skonfigurować system kina domowego, powiedzmy, lub jakie są opcje tworzenia funduszu edukacyjnego 529 dla swoich dzieci — najprawdopodobniej wpisujesz kilka słów kluczowych w Google, a następnie przeglądasz lista linków lub sugerowanych filmów na YouTube, przeglądając wszystko, aby uzyskać dokładne informacje, których szukasz. (Nie trzeba dodawać, że nawet nie pomyślałbyś o poproszeniu Siri lub Alexy o przeprowadzenie cię przez coś tak złożonego.) Ale jeśli prawdziwi wyznawcy GPT-3 mają rację, w niedalekiej przyszłości po prostu zadasz LLM to pytanie i otrzymaj odpowiedź z powrotem do ciebie, przekonująco i dokładnie. Obsługa klienta może zostać całkowicie zmieniona: każda firma z produktem, który obecnie wymaga zespołu wsparcia technicznego, może być w stanie przeszkolić LLM, aby go zastąpić.

Przeczytaj całą historię tutaj…