OpenAI ogłosiło erę AGI. Benchmark wykazuje wynik o 37 punktów niższy

Wpis Jensena Huanga na X składał się z jednego zdania i gratulacji: „Od ChatGPT przez o1 do Astry w 4 lata – AGI nadeszło. Gratulacje dla zespołu @OpenAI”. Wysłał go 6 września. Trzy dni wcześniej Greg Brockman, prezes OpenAI, użył niemal identycznego sformułowania w rozmowie z prasą: „Witamy w erze AGI”. Deklaracje padły niemal w tym samym czasie, od dwóch mężczyzn o uzupełniających się interesach, i zostały odebrane w dużej mierze jako potwierdzenie.

Benchmarkiem, na którym oparto to twierdzenie, był ARC-AGI-3. OpenAI podało, że Astra – jej nowy model graniczny wydany pod oznaczeniem GPT-6 – uzyskała 99,9% w ARC-AGI-3 oraz 98% w FrontierMath Tier 4. Wyniki na tym poziomie, w standardowych warunkach, oznaczałyby rzeczywistą nieciągłość – model, który nie tylko radzi sobie dobrze, ale wkracza na teren, który wcześniejsze benchmarki traktowały jako aspiracyjny. Organizacja, która stworzyła ARC-AGI-3, opublikowała wynik z własnego standardowego zestawu ewaluacyjnego: 62,7%.

Trzydzieści siedem punktów procentowych dzieli te dwie liczby. Obie pochodzą z rzeczywistych ewaluacji. Wewnętrzny zestaw ewaluacyjny OpenAI i referencyjny zestaw twórców benchmarku to nie ten sam protokół, a ten sam model generuje różne wyniki w każdej z nich. To, co organizacja ARC-AGI-3 traktuje jako warunek referencyjny – ten, który uważa za ważny do porównywania modeli w całej dziedzinie – dało 62,7%. Wewnętrzny układ OpenAI dał 99,9%. Różnica między tymi liczbami to różnica między mocnym wynikiem wzorcowym a deklaracją nadejścia.

Sprzedaż chipów, która stała za gratulacjami z okazji AGI

Astra była trenowana na chipach NVIDIA. Huang sprzedaje chipy NVIDIA. Gdy dyrektor generalny publicznie gratuluje klientowi przekroczenia historycznego progu – progu, który czyni sprzęt użyty do zbudowania tego produktu definiującą infrastrukturą dla tego, co nadejdzie – ogłoszenie jest strukturalnie roszczeniem handlowym. Nie spisek. Strukturalna rzeczywistość: konflikt interesów był widoczny, narracja dotyczyła nadejścia, a nie wydajności, a większość relacji przyjęła je bez komentarza.

Rynek chipów dla infrastruktury AI opiera się na narracji. Jeśli Astra jest AGI, to wszystko, co trenowało Astrę, staje się sprzętem świata po AGI – a firmy kupujące chipy do następnego treningu będą kupować w kierunku tego benchmarku. Gratulacje Huanga były w tym konkretnym sensie także oświadczeniem produktowym. Oświadczenie to opierało się na liczbie, którą sama organizacja benchmarkowa zmierzyła inaczej.

Co pokazuje niezależna weryfikacja – a czego nie pokazuje

W chwili publikacji Astra nie pojawia się w Artificial Analysis Intelligence Index ani w rankingach Arena.ai – dwóch najczęściej śledzonych niezależnych systemach ewaluacji modeli granicznych. Niezależna weryfikacja przełomowych modeli zwykle pojawia się w ciągu kilku dni. Jej brak nie jest dowodem słabej wydajności. Oznacza, że zewnętrzna walidacja, która normalnie towarzyszyłaby twierdzeniu tej rangi, jeszcze się nie zmaterializowała.

Wynik 62,7% od twórców benchmarku nie jest zaprzeczeniem. Wynik na tym poziomie w ARC-AGI-3 – teście zaprojektowanym tak, by opierać się optymalizacyjnym sztuczkom, które zawyżały wcześniejsze benchmarki – jest naprawdę mocny. Poprzednicy ARC-AGI-3 byli nasyceni: modele wchłaniały dane treningowe przypominające pytania testowe i podbijały liczby bez poprawy w nowatorskim rozumowaniu. ARC-AGI-3 zmienił konstrukcję pytań, wymagając abstrakcji nad odtwarzaniem wzorców. Sześćdziesiąt dwa i siedem dziesiątych procent w tym teście, w referencyjnym zestawie, to znacznie więcej niż cokolwiek, co istniało dwa lata temu.

Naukowcy, którzy zgłaszali zastrzeżenia, byli w tym precyzyjni. Możliwości modelu nie były ich celem. Celem był skok od wydajności do deklaracji. „Dobre wyniki w tych benchmarkach” a „AGI nadeszło” wymagają kroku pośredniego: stabilnej, uzgodnionej definicji AGI, względem której można mierzyć nadejście. Taka definicja nie istnieje w całej dziedzinie. OpenAI ma swoją wewnętrzną. Według własnej definicji OpenAI Astra może się kwalifikować. Ale firma mierząca swój produkt względem definicji, którą sama napisała, to inny rodzaj wyniku niż ten mierzony przez zewnętrzny standard.

Zdanie, które nie niosło ze sobą definicji

Wpis Huanga nie miał zastrzeżeń. „AGI nadeszło” to oznajmienie – nie „według niektórych miar” czy „pod pewnymi definicjami”, ale czyste nadejście. Czteroletnia progresja, którą wymienił – ChatGPT, o1, Astra – jest realna jako trajektoria możliwości. Każdy model w sekwencji rozszerzał to, co było możliwe. Ujęcie tej sekwencji jako podróży z punktem końcowym i ogłoszenie punktu końcowego to inne twierdzenie: mówi, że nadejście jest odróżnialne od podróży, że istnieje linia, a nie nachylenie, i że Astra ją przekroczyła.

Liczba z benchmarku, która stała za tym twierdzeniem, wynosiła 62,7%. Osoby, które zbudowały test, opublikowały ją. Pytanie, które ono rodzi – czy deklaracja AGI jest pomiarem, czy posunięciem rynkowym – pojawiło się 6 września. Relacje medialne w dużej mierze odpowiedziały na nie, nie zadając go.

Tagi: sztuczna inteligencja, OpenAI, nvidia, Jensen Huang, AGI, ARC-AGI-3