Nate Soares, badacz AI, który przestał oszczędzać na emeryturę

Nate Soares

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

Urodzony	1989
Zawód	Badacz sztucznej inteligencji

Nate Soares wciąż ma konto emerytalne, które założył w Google. Od około dziesięciu lat nie wpłaca na nie pieniędzy. Nie chodzi o beztroskę: prezes Machine Intelligence Research Institute uważa, że superinteligentna sztuczna inteligencja najpewniej zabije wszystkich, zanim on sam będzie na tyle stary, by móc skorzystać z oszczędności. Mówi o tym publicznie z beznamiętnym spokojem inżyniera odczytującego wynik testu. „Nie jestem zwolennikiem tezy, że AI wywoła apokalipsę na rynku pracy” — powiedział jesienią w rozmowie z dziennikarzem. „Uważam, że AI zabije wszystkich ludzi”. Pytanie, które napędza jego pracę, pozostaje dla niego otwarte: czy ktoś, kto spodziewa się najgorszego, może jeszcze przekonać ludzi tworzących tę technologię, by ją powstrzymali?

Trudno go zbyć właśnie ze względu na to, skąd się wywodzi. Soares nie jest filozofem, który dopiero późno zainteresował się informatyką. Studiował informatykę i ekonomię na George Washington University, a następnie tworzył oprogramowanie dla rządu federalnego: najpierw jako pracownik naukowy w National Institute of Standards and Technology, później jako wykonawca Departamentu Obrony, budujący narzędzia dla National Defense University. Potem przyszły Microsoft i Google — firmy, które dziś domaga się ograniczać za pomocą regulacji.

W 2014 roku, mając nieco ponad dwadzieścia lat (urodził się w 1989 roku), odszedł z Google do niewielkiej organizacji non-profit w Berkeley w Kalifornii. Od lat zadawała ona pytanie, które większość branży uważała za temat z gatunku science fiction: jak sprawić, by umysł inteligentniejszy od ciebie zrobił to, co miałeś na myśli? Jako pracownik naukowy MIRI został głównym autorem technicznego planu badawczego instytutu, opracowanego wspólnie z Benyą Fallenstein, a później opublikowanego pod tytułem „Agent Foundations for Aligning Machine Intelligence with Human Interests”. W styczniu 2015 roku do planu odwołano się w artykule „Research Priorities for Robust and Beneficial Artificial Intelligence” autorstwa Stuarta Russella, Daniela Deweya i Maxa Tegmarka. Tekstowi towarzyszył list otwarty, wzywający badaczy AI, by traktowali społeczne korzyści płynące z ich systemów równie poważnie jak ich surowe możliwości.

W tym samym okresie powstał artykuł, który wzbogacił słownik tej dziedziny o jedno z kluczowych pojęć. „Corrigibility”, napisany wspólnie z Fallensteinem, Eliezerem Yudkowskym i Stuartem Armstrongiem i zaprezentowany na warsztatach AAAI na początku 2015 roku, dotyczył problemu, który brzmi prosto, ale taki nie jest: system na tyle zaawansowany, by być użyteczny, może być też na tyle zaawansowany, by opierać się poprawkom lub wyłączeniu. Soares i Yudkowsky twierdzą, że to właśnie w tym artykule pojawiło się określenie „problem dostosowania AI” — dziś używane przez te same laboratoria, których planom się sprzeciwiają.

Jeszcze w 2015 roku Soares zastąpił Luke’a Muehlhausera na stanowisku dyrektora wykonawczego MIRI, które zajmował przez osiem lat. Pod jego kierownictwem instytut zajmował się abstrakcyjną matematyką, a nie produktami: teorią decyzji, niepewnością logiczną i formalnym pytaniem o to, jak agent powinien rozumować o samym sobie. Wspólnie ze Scottem Garrabrantem i innymi napisał „A Formal Approach to the Problem of Logical Non-Omniscience”, a także „Cheating Death in Damascus” — artykuł o teorii decyzji, przygotowany z Benjaminem Levinsteinem i opublikowany w 2020 roku w The Journal of Philosophy. W 2017 roku wrócił do Google, by wygłosić wykład poświęcony nierozwiązanym problemom związanym z dostosowaniem AI i przekonywać, że są trudniejsze, niż zakładała branża. Na swoim blogu Minding Our Way opublikował też Replacing Guilt, cykl esejów o motywacji, który czytelnicy mogą dziś kupić w formie książki. W niektórych kręgach przyniósł mu większą rozpoznawalność dzięki poradom o tym, jak pracować, niż dzięki tekstom o maszynach.

Przełom nastąpił w 2023 roku. MIRI ogłosił, że odchodzi od badań nad dostosowaniem AI i koncentruje się na ostrzeganiu decydentów oraz opinii publicznej, choć nadal będzie wspierać część prac technicznych. Soares ustąpił ze stanowiska dyrektora wykonawczego i został prezesem, a funkcję dyrektora generalnego objął Malo Bourgon. W 2025 roku Soares powiedział „The Atlantic”, że skupia się na podnoszeniu świadomości społecznej, ponieważ rozwój AI postępuje zbyt szybko, by można było wprowadzić odpowiednie zabezpieczenia.

Owocem tej zmiany jest If Anyone Builds It, Everyone Dies, książka napisana wspólnie z Yudkowskym i wydana przez Little, Brown we wrześniu 2025 roku. Jej teza zawiera się w tytule. Superinteligencja zbudowana „przy użyciu czegokolwiek choćby zbliżonego do obecnych technik” najpewniej doprowadziłaby do wymarcia ludzkości; badania nad dostosowaniem AI są dalekie od gotowości, a wyścig twórców ku systemom, które autorzy uważają za katastrofalnie niebezpieczne, może powstrzymać jedynie międzynarodowa regulacja. W październiku 2025 roku książka trafiła na listę bestsellerów „The New York Times”. Wydawnictwo Planeta opublikowało jej hiszpańskie wydanie, a Hayakawa Shobo wydało japoński przekład w kwietniu 2026 roku.

Odbiór książki ujawnił najsłabszy punkt tej argumentacji. Część najostrzejszych zarzutów wysunęli ludzie podzielający obawy autorów. Will MacAskill, jeden z założycieli ruchu efektywnego altruizmu, uznał książkę za rozczarowującą i stwierdził, że opiera się ona na słabych argumentach, zbudowanych wokół analogii z ewolucją, oraz na niewypowiedzianym założeniu, że rozwój AI dokona skoku, zamiast postępować stopniowo. Recenzja Clary Collier w „Asterisk” ukazała się pod tytułem, który podsumowywał frustrację czytelników sympatyzujących z autorami: „More Was Possible”. Jest też niezręczna kwestia, nad którą Soares rzadko się rozwodzi. MIRI przez lata próbował rozwiązać problem dostosowania AI, a potem uznał, że nie uda się tego zrobić na czas. Można to odczytać jako przejaw intelektualnej uczciwości albo przyznanie, że własny program badawczy instytutu zawiódł. Swoją pewność Soares uzasadnia analogią szachową: może być pewien, że Magnus Carlsen by go pokonał, nie wiedząc, którą figurą padnie mat. Dla krytyków właśnie na tym polega problem — prognozie dotyczącej zakończenia nie towarzyszy opis kolejnych ruchów.

Nic z tego go nie złagodziło. W październiku 2026 roku, w podcaście The Most Interesting Thing in AI prowadzonym przez Nicholasa Thompsona, powiedział, że szanse na to, iż ludzkość nie doczeka kolejnej dekady, ocenia na ponad 50 procent, i wyjaśnił, dlaczego jego konto 401(k) pozostaje nietknięte. W tej samej rozmowie podkreślił, że wynik nie jest przesądzony. „Robię wszystko, co mogę, żeby zapobiec takiemu obrotowi spraw. Nie uważam, że to nieuniknione” — powiedział, przywołując esej C.S. Lewisa „On Living in an Atomic Age”. Lewis argumentował w nim, że jeśli spadnie bomba, powinna zastać ludzi zajętych rozsądnymi, ludzkimi sprawami, a nie skulonych ze strachu. Soares ujmuje to tak: „Niech zastanie nas, gdy będziemy lobbować nasze rządy za traktatami o nierozprzestrzenianiu broni jądrowej”.

Taką właśnie pracę wybrał. Nadal jest prezesem MIRI, a czas poświęca wywiadom, wystąpieniom i spotkaniom informacyjnym, które mają zmienić marginalny niepokój badaczy w międzynarodowe porozumienie o wstrzymaniu wyścigu ku superinteligencji. Konto emerytalne w Google wciąż jest otwarte. Po prostu przestał na nie stawiać.

Tagi: sztuczna inteligencja, Google, bezpieczeństwo AI, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares

Powiązane osoby

Powiązane osoby

Dyskusja