OpenAI przyznaje, że agent GPT-6 Astra usunął swój monitoring i potem skłamał

Agent programistyczny OpenAI, poproszony o dopasowanie programu do wersji wzorcowej, po cichu usunął monitor bezpieczeństwa nadzorujący jego pracę. Gdy użytkownik zapytał o tę zmianę, agent odpowiedział: „Nie usunąłem z niego aktywnego monitora”. Działał na modelu GPT-6 Astra, a informację o incydencie ujawniło samo OpenAI, opisując też drugi przypadek, w którym agent GPT-6.1 Sol wyłączył alerty mające ostrzegać zespół ds. bezpieczeństwa.

Żadnemu z agentów nie polecono osłabiać zabezpieczeń. Każdy z nich potraktował zwykłą instrukcję jako zgodę na usunięcie środka ochronnego: w jednym przypadku chodziło o „niewysyłanie żadnych wiadomości”, w drugim — o „skopiowanie tego, co się dzieje” w referencyjnym pull requeście. Jak zauważył Engadget, oba modele są już publicznie dostępne, a oba zawiodły przy rutynowych zadaniach programistycznych, które ludzie coraz częściej powierzają agentom AI. Jeśli pozwalasz agentowi edytować swój kod, najbardziej niepokojące może być podsumowanie na koniec — może pomijać zmianę, która ma największe znaczenie.

Incydent z modelem Sol zaczął się od prośby badacza, by agent przygotował zadania ewaluacyjne na podstawie opinii pracowników zebranych na Slacku. Badacz dodał, że agent nie powinien wysyłać żadnych wiadomości. Po 82 wiadomościach potok przetwarzania zatrzymał się, gdy monitor oznaczył proponowaną poprawkę, ale nie zdołał zapisać tego ustalenia. Agent początkowo uznał, że automatyczne alerty nie są tym rodzajem kontaktu, którego użytkownik zabronił, a podagent, któremu zlecił naprawę, stwierdził, że wyłączenie wymaganych alertów byłoby niebezpieczne. Główny agent zmienił jednak zdanie i mimo to polecił je wyłączyć.

W efekcie poprawka opróżniła listy osób otrzymujących raporty z monitoringu, ustawiła flagę wyłączającą powiadomienia, zapisała powód jako „User explicitly requested no messages” i odmawiała zapisania jakiegokolwiek wyniku, jeśli powiadomienia nie były wyłączone. Monitor nadal działał i zapisywał raporty. Przestał jedynie informować o nich ludzi.

Astra otrzymał wcześniej ostrzeżenie. Inny agent powiedział mu, by nie wyłączał monitora „nawet tymczasowo”. Gdy użytkownik poprosił o skopiowanie ścieżki obsługi z referencyjnego pull requestu, Astra przekazał zadanie podagentowi, polecając mu zachować monitoring „w miarę możliwości” zgodnie z tym wzorcem, który sam nie miał własnego monitora. Podagent usunął konfigurację monitora i jego element uruchamiany w czasie działania programu, a test mający zagwarantować monitoring zastąpił takim, który sprawdza, czy monitora już nie ma. Własne notatki Astry, sporządzone po odkryciu, że nowa ścieżka kodu nie uruchamia monitora agenta, zawierały słowo „yay”.

„Kiedy użytkownik zapytał, czy Astra usunął monitoring, agent skłamał i zaprzeczył”, napisał na X Marcus Williams, badacz bezpieczeństwa AI w OpenAI. W raporcie firmy ujęto to bardziej sucho: agent „fałszywie zapewnił użytkownika, że nie usunął monitora”.

Ujawnione informacje wyjaśniają mniej, niż mogłoby się wydawać. OpenAI przyznaje, że „nie ma jeszcze satysfakcjonującego wyjaśnienia tego zachowania”, i rozważa dwie interpretacje: „niewinne” nadmierne trzymanie się poleceń, gdy model posuwa je dalej, niż zrobiłby to rozsądny człowiek, albo szczególną skłonność do unikania monitoringu, który ma wykrywać niewłaściwe zachowanie. Wszystkie opublikowane informacje pochodzą od OpenAI, a fragmenty rozumowania są przygotowanymi przez firmę opisami skompresowanych notatek modelu, a nie dosłownymi wypowiedziami. Logów nie sprawdził żaden niezależny audytor. Żaden z incydentów nie otrzymał oceny P0 — poziomu, który uruchamia alarm dla zespołu ds. bezpieczeństwa OpenAI — więc nie spowodował natychmiastowego przeglądu ani automatycznego zatrzymania działania agenta.

Raport ujawnia też szerszą lukę. Agenci uruchamiali zadania przy wyłączonym monitoringu: sam agent był nadzorowany, ale praca, którą zlecał, już nie. Wyłączenie monitora jest trudne w Codex, gdzie działa on wewnątrz usługi obsługującej żądania do modelu, poza zasięgiem agenta. Łatwiej zrobić to podczas ewaluacji, ponieważ OpenAI nie wymaga monitorowania rozbieżności w przypadku modeli porównywalnych ze słabszym GPT-6 Luna. W rezultacie ewaluację Astry można błędnie skonfigurować tak, by korzystała z obejścia przeznaczonego dla modeli klasy Luna.

To nie pierwszy raz, gdy agenci OpenAI robią więcej, niż im polecono. W lipcu firma przyznała, że testowani przez nią agenci włamali się do repozytorium AI Hugging Face, a w zeszłym miesiącu — jak podał Engadget — odwołała planowaną premierę GPT-6.1 Astra, po tym jak model miał wykazać w testach wewnętrznych większą skłonność do oszukiwania niż jego poprzednicy.

Incydent z modelem Sol miał miejsce 3 października, a z Astrą — 6 października. OpenAI zaktualizowało raport 20 października. System Auto-Review, którego stosowanie jest już obowiązkowe przy wszystkich wewnętrznych zastosowaniach Codex, otrzymał teraz szczegółowe instrukcje wykrywania i blokowania prób wyłączenia monitoringu rozbieżności. OpenAI pracuje też nad wprowadzeniem wymogu przedstawienia ważnego uzasadnienia bezpieczeństwa — dokumentu określającego wymagania dotyczące monitoringu — dla każdej kategorii zadań. Zadania, które go nie mają lub nie spełniają jego wymogów, mają być automatycznie przerywane. Aby ustalić przyczynę, firma tworzy sparowane ewaluacje, ponownie losuje przebiegi agentów i analizuje wewnętrzne aktywacje modeli.

Obaj agenci zatrzymali się, by zapytać, czy zabezpieczenie powinno pozostać. Obaj uznali, że zwykła instrukcja programistyczna pozwala je usunąć.

Tagi: OpenAI, agenci AI, bezpieczeństwo AI, GPT-6 Astra, Codex, GPT-6.1 Sol