Technologia

Anthropic uruchamia zabezpieczenia przed samodoskonalącą się AI

Adrian Kessler
Dodaj nas w Google

Anthropic oficjalnie stwierdziło, że sztuczna inteligencja przyspiesza już własne badania na tyle, by przekroczyć granicę wyznaczoną przez samą firmę. W zmienionym prospekcie emisyjnym przed IPO twórca Claude’a informuje, że osiągnął próg zdolności w zakresie badań i rozwoju AI określony w Responsible Scaling Policy — wewnętrznym zbiorze zasad ustalającym, jakiego poziomu zabezpieczeń i nadzoru wymagają modele firmy. Polityka opisuje ten próg jako początek rekurencyjnego samodoskonalenia, czyli moment, w którym systemy AI zaczynają przyspieszać prace nad tworzeniem coraz lepszej sztucznej inteligencji.

Niezwykłe w tej ocenie jest to, na czym się nie opiera. Anthropic pisze, że doszło do tego wniosku „na podstawie naszych oczekiwań dotyczących przyszłych modeli i ogólnego tempa postępów, a nie obserwacji obecnych modeli”. Nie wykazano, by którykolwiek z dostępnych w sprzedaży modeli Claude przekroczył tę granicę. Firma działa w oparciu o własną prognozę i informuje o tym inwestorów, zanim jej akcje trafią do obrotu.

Przywołane dowody pochodzą z wewnętrznych danych. Jak podaje prospekt, w jednym z ostatnich miesięcy Claude napisał ponad 90% zmian w bazie kodu Anthropic, a ilość kodu tworzonego dziennie przez każdego inżyniera wzrosła ponad 45-krotnie. Firma dodaje, że jej modele „piszą coraz większą część naszego kodu i w coraz większym stopniu prowadzą nasze badania, w tym badania nad bezpieczeństwem”.

Polityka określa dwa sposoby przekroczenia tego progu. Pierwszym jest stworzenie modelu, który może w pełni zastąpić cały zespół naukowców i inżynierów Anthropic, a przy tym działać przy konkurencyjnych kosztach. Drugim jest „dramatyczne przyspieszenie” postępów w dziedzinie AI, zdefiniowane w polityce jako skumulowanie mniej więcej dwóch lat postępu w ciągu jednego roku, co mogłoby być wynikiem zautomatyzowanych badań. Ponieważ drugi test jest uznany za spełniony, jeśli firma może „zaobserwować lub przewidywać” taki skok, do uruchomienia go wystarczy prognoza.

Przekroczenie tej granicy zobowiązuje Anthropic do wdrożenia bardziej rygorystycznych zabezpieczeń. Polityka przewiduje „ambitne, przełomowe” projekty bezpieczeństwa, które mają chronić przed najlepiej wyposażonymi napastnikami na świecie, oraz stan „pełnej kontroli”, w którym każda kluczowa aktywność związana z rozwojem AI jest rejestrowana i analizowana przez sztuczną inteligencję pod kątem zagrożeń — także tych pochodzących od osób z wewnątrz, ludzi lub maszyn. Wewnętrzny zespół red team musi ponadto znaleźć więcej sposobów na obejście zabezpieczeń niż łącznie wszyscy zewnętrzni badacze uczestniczący w programach bug bounty firmy. Prospekt informuje, że Anthropic już opóźniło o ponad miesiąc wstępne trenowanie nowego modelu z czołówki branży, by zaostrzyć ochronę przed kradzieżą wag modelu. Firma rozważa też zasady wymagające zatwierdzania przez człowieka niektórych decyzji badawczych, w miarę jak Claude przejmuje coraz więcej takich zadań.

Dla osób korzystających z Claude’a w pracy lub z Claude Code praktycznym skutkiem mogą być wolniejsze premiery. W liście założycieli opublikowanym wraz z materiałami IPO napisano, że może się zdarzyć, iż Anthropic zdecyduje się „rozwijać wolniej, niż mogłoby, aby zwiększyć bezpieczeństwo naszych systemów, nawet jeśli postawi nas to w niekorzystnej sytuacji konkurencyjnej”. Na razie w aplikacjach nic się nie zmienia.

Ocena ta jest samooceną dokonaną w ramach dobrowolnej polityki, którą Anthropic opracowało i może zmieniać; nie potwierdził jej żaden niezależny audytor. Sama polityka przyznaje, że próg „okazał się trudny do przełożenia na praktyczne kryteria”, a w dokumentach spółki zastrzeżono, że wiele dowodów opiera się na wskaźnikach opóźnionych, przez co rzeczywiste przyspieszenie może zostać zauważone dopiero po fakcie. Ujawnienia dotyczące ryzyka w prospekcie emisyjnym służą również ochronie firmy przed przyszłymi pozwami, a we wcześniejszej wersji tego samego dokumentu — jak informował Gizmodo — napisano jedynie, że Anthropic „może wkrótce spełnić” te kryteria.

Anthropic twierdzi, że nadal analizuje dane leżące u podstaw tej oceny i opublikuje kolejne raporty wyjaśniające, co oznacza spełnienie progu. Cena akcji ma zostać ustalona 18 listopada, a dzień później, 19 listopada, mają one zadebiutować na Nasdaq pod symbolem ANT. Proponowany przedział cenowy wynosi od 70 do 78 dolarów za akcję. Na razie jedynym dowodem na przekroczenie tej granicy pozostaje własna prognoza Anthropic.

Tagi: , , , , ,

Dodaj nas w Google

Dyskusja

Jest 0 komentarzy.