Prezes Google’a przestał liczyć. Zapytany, jaka część kodu firmy powstaje dziś przy udziale AI, Sundar Pichai uznał, że to pytanie nie ma już sensu, bo sztuczna inteligencja uczestniczy w tworzeniu całości. W tej samej rozmowie bagatelizował scenariusz, na który szykuje się znaczna część branży: AI, która buduje lepsze wersje samej siebie, odsuwając ludzi od tego procesu.

Oba twierdzenia mogą się obronić. Problem w tym, kto je weryfikuje. Liczba, z której Pichai zrezygnował, była jedynym wskaźnikiem, który osoby z zewnątrz mogły porównać z danymi innych firm. To, co ją zastępuje, oraz dowody stojące za spokojniejszą oceną samodoskonalącej się AI, pochodzą z pomiarów przeprowadzonych przez Google na własne potrzeby.

Co Sundar Pichai powiedział o AI i kodzie Google’a

Pichai rozmawiał z Alexem Kantrowitzem w podcaście Big Technology Podcast. Nagranie powstało w siedzibie Google’a w Mountain View, a Kantrowitz opublikował też rozmowę w formie pisemnego Q&A. Gdy Kantrowitz przypomniał wcześniejszą deklarację, że AI tworzy jedną czwartą kodu Google’a, i zapytał o aktualny odsetek, Pichai określił to pytanie jako „pozbawione znaczenia”. Jak wyjaśnił, każda część kodu, nad którą Google obecnie pracuje, jest „w dużym stopniu pod wpływem AI”.

Zamiast tego przedstawił dane dotyczące Gemini 4 Argon, najnowszego modelu Google’a, który firma udostępniła własnym inżynierom. Jak powiedział, w ciągu czterech tygodni od premiery Google odnotował wzrost liczby CL-ów o 30%. To wewnętrzne określenie firmy na zgłoszenia kodu. Liczba rollbacków, czyli zmian, które trzeba cofnąć po ich wdrożeniu, spadła natomiast o jedną trzecią. „Teraz śledzimy to za pomocą nowszych wskaźników” — powiedział.

Poprzedni wskaźnik nie zniknął sam z siebie. W kwietniowym wpisie na blogu Google podał, że AI wygenerowała 75% nowego kodu firmy — w 2024 roku było to 25%, a jesienią poprzedniego roku 50% — jak informowały Semafor i ETV Bharat. Semafor zwracał wówczas uwagę, że niektóre z tych deklaracji niemal nie dają się zweryfikować, i zestawił je z danymi Snap, gdzie odsetek wynosił 65%, oraz z celem Meta, która chciała osiągnąć podobny poziom.

Dlaczego Pichai uważa, że samodoskonaląca się AI to wciąż odległa perspektywa

Mówiąc o rekurencyjnym samodoskonaleniu, czyli RSI, Pichai przedstawił swoją odpowiedź jako doprecyzowanie słów współzałożyciela firmy. Jak powiedział, Sergey Brin określił RSI jako istotny czynnik rozwoju Argon, ale „do końcowego etapu RSI jest nam jeszcze dość daleko”. Następnie opisał, na jakim etapie naprawdę znajduje się Google: „Najtrafniej można to ująć tak: w różnych obszarach tworzenia modeli działają pętle RSI, a obok nich pracują badacze AI. Powiedziałbym, że agenci w pewien zautomatyzowany sposób pomagają badaczom AI współpracować przy budowie tych modeli”.

Kilka dni wcześniej Brin poszedł o krok dalej. Podczas poświęconego Argon okrągłego stołu, którego zapis udostępnił Google, powiedział, że firma „zaczyna wchodzić na bieżnię RSI”, a także że „teraz nasi badacze i model pracują ramię w ramię nad stworzeniem kolejnej wersji modelu” — informował Business Insider. Opublikowany w tym miesiącu raport Gladstone AI wskazuje, że większość badaczy, z którymi przeprowadzono wywiady w Anthropic, OpenAI i Google DeepMind, spodziewa się, że RSI rozpocznie się w ciągu trzech do 12 miesięcy.

Raport Google’a dotyczący bezpieczeństwa potwierdza słowa Pichaia — na podstawie własnych testów firmy

Na papierze dostępne dane przemawiają za Pichaiem. Raport Google DeepMind dotyczący bezpieczeństwa Argon stwierdza, że nie odnotowano „znaczącego, całościowego przyspieszenia prac badawczo-rozwojowych nad AI — ani napędzanego przez AI, ani innego”, a związane z tym ryzyko ocenia jako „obecnie niskie” — informował TNW. Według raportu agenci AI „tworzą większość kodu produkcyjnego i poprawek błędów, choć przed zgłoszeniem zmiany w kodzie nadal podlegają weryfikacji przez człowieka”. Odsetek pull requestów w pełni powierzonych AI wzrósł z 7,5% w kwietniu do 11,9% we wrześniu; wciąż około 88% wymaga wielokrotnych wskazówek człowieka albo kodu napisanego przez człowieka.

Te ustalenia opierają się na narzędziach Google’a. Próg automatyzacji badań nad AI przez samą AI sprawdzany jest za pomocą wewnętrznego benchmarku obejmującego 74 zadania, którego nikt spoza firmy nie może uruchomić. Analiza opublikowana w serwisie LessWrong zwraca uwagę na fragment samego raportu: spośród pierwotnych zadań skontrolowanych przez Google „około jedna czwarta zawierała błędy uniemożliwiające zaliczenie jakiegokolwiek zgłoszenia”. Ponieważ wiele prób zakończyło się przekroczeniem limitu czasu, raport nie podaje punktowego wyniku Argon, który rozwiązał mniej więcej połowę ukończonych prób. Google twierdzi, że wniosek pozostaje aktualny nawet przy założeniu, że wszystkie niedokończone próby zakończyłyby się powodzeniem.

Weryfikacja przez człowieka to kluczowy element argumentacji dotyczącej bezpieczeństwa. O 30% więcej zgłoszeń kodu oznacza o 30% więcej zmian do sprawdzenia przez osoby stojące na tej straży, a wskaźniki wybrane przez Pichaia mierzą liczbę wyników i cofniętych zmian, nie zaś to, jak dokładnie każdą z nich przeanalizowano.

Proponowane przez Pichaia rozwiązanie: niezależni audytorzy

Pichai nie zbył obaw. Jak powiedział, badania nad dostosowaniem AI do ludzkich wartości wciąż mają „wyraźne luki” i „powody do niepokoju są uzasadnione”. Jego zdaniem kolejnym krokiem powinny być standardy obejmujące całą branżę, „w tym możliwość przeprowadzania ocen przez niezależnych ewaluatorów”, wzorowane na standardach rachunkowości i pracy zewnętrznych audytorów. Rolę odegra również regulacja — „ostatecznie będzie miała znaczenie”.

W świetle tego standardu obie deklaracje z tego tygodnia wciąż pozostają niezweryfikowane przez niezależnych audytorów. Google liczy własne listy zmian, ocenia własne rollbacki i sprawdza własny benchmark badawczy.

Odsetek, który Pichai uznał za pozbawiony znaczenia, był uproszczony, ale każdy mógł zestawić go z wynikiem Snap. Nowe wskaźniki można odczytać wyłącznie od wewnątrz Google’a.

Tagi: Google, Gemini, Sundar Pichai, programowanie z AI, Sergey Brin