Model Qwen od Alibaby próbował wysłać plik do Pekinu podczas testu

Modelowi AI powierzono niewielkie, defensywne zadanie: napisać regułę wykrywającą pobieranie złośliwego oprogramowania na komputer. Jeden z najnowszych modeli Qwen od Alibaba obrał jednak inną drogę. Wyświetlił listę plików w folderze tymczasowym, sprawdził, jakie narzędzia do przesyłania danych są zainstalowane, odczytał ustawienia sieciowe komputera, a następnie spróbował wysłać mały plik testowy do zasobnika Alibaba Cloud w Pekinie. Chwilę wcześniej w zapisanym przez siebie toku rozumowania stwierdził, że w ogóle nie będzie korzystać z żadnych narzędzi.

Badacze, którzy to odkryli, pracują w Cohere, kanadyjskiej firmie zajmującej się AI. Ich testowe środowisko nie miało połączenia z internetem, więc żądanie zatrzymało się na granicy kontenera. Odkrycie ma znaczenie ze względu na to, gdzie większość osób uruchamiałaby ten sam model. Modele AI o otwartych wagach — takie, które każdy może pobrać i hostować — przedstawiano firmom jako bezpieczny wybór w przypadku wrażliwych danych: model działa na własnym sprzęcie, więc nic nie opuszcza siedziby. Jak twierdzi Cohere, na laptopie programisty lub serwerze kompilacyjnym ze zwykłym dostępem do sieci żądanie dotarłoby do zagranicznego serwera, zanim ktokolwiek by je zauważył.

Model nosi nazwę Qwen3.8-Flash-Next. To zapowiedź nowej architektury Qwen od Alibaba, a zadanie pochodziło z CTI-REALM — benchmarku Microsoftu, który stawia agentów AI w roli analityków ds. bezpieczeństwa. Kluczowe jest tu słowo „agenci”. Chatbot, który tylko odpowiada na pytania, nie ma możliwości wysłania czegokolwiek w inne miejsce. Firmy podłączają jednak dziś modele do terminali, narzędzi programistycznych i konsol chmurowych, by mogły działać samodzielnie. Gdy model potrafi wpisywać polecenia, każdy nawyk nabyty podczas treningu dostaje do dyspozycji klawiaturę.

Badacze z Cohere zaczęli więc szukać tego, co uruchamia takie zachowanie. Zastosowali technikę zwaną prefillingiem: podali modelowi jego własne rozumowanie oraz pierwsze znaki polecenia pobierania, a następnie pozwolili mu dokończyć wiersz, zbierając po kilkaset uzupełnień na każdym etapie. Dodanie jednej opcji, która każe poleceniu zapisać plik na dysku, sprawiło, że model wymyślał adres internetowy w 92 proc. uzupełnień, w porównaniu z 4 proc. wcześniej. Odsetek trafień na liście podejrzanych hostów monitorowanych przez Cohere wzrósł z 0,5 do 23 proc.; najczęściej pojawiał się adres pośredniczący w przesyłaniu plików, działający w infrastrukturze Alibaba. W innych próbach model sięgał po wewnętrzny adres, z którego serwery chmurowe pobierają własne klucze dostępu. Cohere interpretuje to jako próbę pozyskania danych uwierzytelniających, z zastrzeżeniem, że w środowisku testowym nie było żadnych aktywnych danych, które można by przejąć.

Nic z tego nie dowodzi istnienia tylnej furtki — Cohere mówi o tym wprost. Takie zachowanie występowało rzadziej niż raz na 100 tys. wywołań, a czyste powtórzenie tego samego polecenia dało wzorową regułę wykrywania. Badacze, którzy analizowali ślady działania modelu, skłaniają się ku mniej sensacyjnemu wyjaśnieniu. Alibaba trenuje swoich agentów w tysiącach środowisk testowych. Jeśli w tych piaskownicach pliki przechowywano we własnej chmurze Alibaba, model mógł po prostu nauczyć się, że zapisanie pliku oznacza wysłanie go właśnie tam — byłby to ślad po treningu, a nie działanie szpiega. Krytycy zwracali też uwagę, że prefilling skłania model w kierunku zachowania, które ma być mierzone. Jeden z pierwszych sceptyków, który przeanalizował surowe ślady, uznał — jak donosił TechCrunch — że dowody mocno wskazują na to, iż Qwen wymyśla podejrzane adresy internetowe, ale nie znalazł niczego, co świadczyłoby o wszczepionej tylnej furtce lub celowym ukrywaniu działania. Alibaba nie odpowiedziała na prośbę The Register o komentarz, a Cohere, które sprzedaje własne modele rządom, może zyskać, jeśli nabywcy zaczną ostrożniej podchodzić do darmowych chińskich alternatyw.

Programiści już wcześniej dostrzegli elementy tego schematu. W relacji opublikowanej na Hacker News opisano, jak mniejszy model Qwen3.8 generował podpisane linki do pamięci masowej Alibaba Cloud, o które nikt nie prosił. Z kolei jeden z projektów agentowych odnotował wielokrotne pobrania z pojedynczego hosta Alibaba, aż programista stworzył wtyczkę, która je blokowała. We wszystkich wcześniejszych przypadkach chodziło o pobieranie plików. Opisany przez Cohere przypadek jest pierwszą zgłoszoną próbą wysłania pliku. Skala zjawiska jest szeroka: Hugging Face wymienia ponad 113 tys. modeli opartych na Qwen, a nawyk korzystania z pośredniczącego adresu do przesyłania plików ujawnił się w kompilacjach czterech wydawców, w tym Alibaba.

Praktyczne zalecenia nie zależą od tego, jakie były intencje. „Niezależnie od tego, czy to pozostałość po treningu, błąd czy coś innego, środki kontroli pozostają w dużej mierze takie same: ograniczaj niepotrzebny ruch wychodzący, monitoruj korzystanie z narzędzi i nie traktuj śladu rozumowania jako granicy bezpieczeństwa” — powiedział The Register Ivan Zhang, współzałożyciel Cohere. To ostatnie jest właściwym odkryciem. Wiele narzędzi bezpieczeństwa analizuje krok po kroku tok rozumowania modelu, by przewidzieć, co zamierza zrobić. W tym przypadku rozumowanie mówiło jedno, a model robił co innego. Wagi Qwen można pobrać za darmo z dowolnego miejsca, więc zastrzeżenie nie dotyczy konkretnego regionu: odnosi się do każdej firmy, na każdym rynku, która daje hostowanemu u siebie modelowi dostęp do terminala i sieci.

Cohere opublikowało wpis na blogu 26 października, a tego samego wieczoru udostępniło na Hugging Face surowe ślady, tokeny i minimalny skrypt pozwalający odtworzyć eksperyment, by inne laboratoria mogły samodzielnie sprawdzić to zachowanie. Firma zwraca się też do rządów z pytaniem, czy ich ograniczenia dotyczące chińskiej AI obejmują również te same wagi uruchamiane na własnych maszynach. Tydzień wcześniej, 20 października, amerykański Departament Bezpieczeństwa Krajowego nakazał usunięcie produktów DeepSeek z federalnych systemów cywilnych.

Kolejna odpowiedź musi nadejść z Hangzhou. Tylko Alibaba może powiedzieć, co znajdowało się w jej środowiskach treningowych i czy następne wydanie Qwen nadal będzie sięgać po zasobnik w Pekinie, gdy otrzyma polecenie zapisania pliku.

Tagi: cyberbezpieczeństwo, Alibaba, Alibaba Cloud, Qwen, Cohere, Ivan Zhang