Pomysł, że małe grupy ludzi mają kontrolę nad niektórymi z najpotężniejszych broni, jakie kiedykolwiek zostaną zbudowane, jest przerażający, ale taka jest rzeczywistość, w której żyjemy. W nieodległej przyszłości tę niesamowitą moc i odpowiedzialność można przekazać AI i systemy robotyczne, które są już w fazie aktywnego rozwoju. W parze otwartych listów do premierów niepokojących Australii i Kanady setki badaczy AI i naukowców błagają, aby tak się nie stało.
Mówi się, że strach polega na tym, że usunięcie ludzkiego elementu z decyzji dotyczących życia i śmierci może zapoczątkować niszczycielski wiek, który ostatecznie oznacza koniec ludzkości. Systemy broni AI są, jak to ujęli naukowcy, „bronią masowego rażenia”, którą należy bezwzględnie zakazać, zanim będą w stanie wyrządzić jakąkolwiek poważną szkodę.
„Przekazywanie decyzji dotyczących śmierci lub życia maszynom przekracza fundamentalną linię moralną - bez względu na to, która strona je buduje lub wykorzystuje”, list wyjaśnia. „Granie w rosyjską ruletkę z życiem innych nigdy nie może być uzasadnione jedynie na podstawie skuteczności. To nie tylko podstawowa kwestia praw człowieka. Decyzja o zakazie lub użyciu broni autonomicznej leży w centrum naszej ludzkości. ”
W sytuacji, w której komputery mają decydujący wpływ na to, czy podejmować wrogie działania - nawet pod pozorem obrony własnych terytoriów lub ochrony populacji, które mają zaprogramować do ochrony - konflikty mogą eskalować znacznie szybciej, niż ludzie kiedykolwiek widzieli. Tygodnie, miesiące, a nawet lata postawy i dyplomacji mogą przerodzić się w minuty lub nawet sekundy, a pociski lecą, zanim ludzie będą mogli zacząć interweniować. I oczywiście jest kwestia manipulacji AI w nieprzewidziany sposób.
„To będzie broń masowego rażenia” - twierdzą naukowcy. „Jeden programista będzie w stanie kontrolować całą armię. Zakazano każdej innej broni masowego rażenia: broni chemicznej, biologicznej, a nawet broni nuklearnej. Musimy dodać autonomiczną broń do listy broni, których moralnie nie można używać. ”