Jedna linijka w robots.txt zablokuje trenowanie AI przez Google’a i OpenAI

Dotąd każdy, kto chciał wyłączyć swoją stronę z trenowania AI, musiał tworzyć osobną regułę dla każdej firmy i poznawać po kolei nazwy takie jak GPTBot, ClaudeBot czy Google-Extended. Google, OpenAI, Anthropic i Microsoft zapowiadają teraz, że będą odczytywać tę samą linijkę: wspólny „token polityki” w pliku robots.txt, czyli niewielkim pliku tekstowym, który od początków internetu wskazuje wyszukiwarkom, dokąd nie powinny zaglądać. Wystarczy dodać wpis raz, by przekazać tę samą odpowiedź czterem największym twórcom AI.

Pomysł wyszedł od Kevina Kelleya, kierującego pracami nad standardami technicznymi w Anthropic. Zgłosił go do Internet Engineering Task Force, organizacji opracowującej techniczne reguły działania internetu. Sprytne jest to, że propozycja nie wprowadza żadnej nowej składni. Właściciel strony tworzy zwykłą grupę reguł, ale w wierszu User-Agent wskazuje nie robota, lecz cel wykorzystania: __usage_ai-training. Zapis „Disallow: /” oznacza, że nie wolno trenować na żadnych treściach z tej strony, a wiersz „Allow” może wyznaczać wyjątki, na przykład zestaw materiałów prasowych, z których firma chętnie pozwoliłaby uczyć model.

Dla bloga, sklepu czy redakcji najważniejsze jest to, czego nowy wpis nie zmienia. Określa preferencje dotyczące wykorzystania treści, a nie tego, kto może odwiedzać stronę, więc wyszukiwarka nadal działa. Google informuje, że jeśli strona zrezygnuje z trenowania za pomocą wspólnego tokenu i nie wymieni osobno Google-Extended, potraktuje to jako blokadę dla Google-Extended. Obejmuje ona trenowanie Gemini, ale nie usuwa strony z Google Search. Microsoft składa taką samą obietnicę w odniesieniu do Bing: to ustawienie nie wpływa na możliwość pojawienia się strony w wynikach wyszukiwania.

Microsoft idzie o krok dalej niż pozostali. Oprócz trenowania wprowadza osobną preferencję dotyczącą wykorzystania treści jako źródła odpowiedzi — można ją ustawić dla każdej strony osobno za pomocą znacznika meta lub nagłówka HTTP. Decyduje ona o tym, czy dana strona może zasilać generowane na bieżąco odpowiedzi Bing, Copilota i Microsoft 365. Witryna może odmówić trenowania, a jednocześnie zezwolić na wykorzystanie treści w odpowiedziach, zachowując w nich cytowania i linki. Microsoft ostrzega, że odmowa takiego wykorzystania „znacząco ograniczy” widoczność strony w tych usługach, a żadna z opcji nie gwarantuje uwzględnienia treści, ruchu ani zapłaty.

Haczyk kryje się w pliku, który większość stron już ma. Projekt Kelleya celowo sprawia, że powszechna reguła wieloznaczna „User-agent: *” nie uwzględnia nowego tokenu. W efekcie plik robots.txt blokujący dziś wszystkie boty wcale nie wyraża preferencji dotyczących trenowania AI. Właściciele stron, którzy chcą z niego zrezygnować, muszą dodać osobną grupę z nową nazwą. Sygnał działa też wyłącznie na przyszłość: wszystko, co firmy pobrały przed pojawieniem się tej linijki, znajduje się już w ich zbiorach treningowych, a projekt nie zobowiązuje żadnej z nich do przestrzegania zasad. To prośba, której respektowanie obiecały cztery firmy, a nie zabezpieczenie.

Najbardziej rzuca się w oczy nieobecność Meta. Andy Stone, szef komunikacji firmy, powiedział serwisowi The Verge, że wspólny sygnał docierający jednocześnie do kilku dostawców to „ważny krok”, ale nie ujawnił, czy Meta będzie go respektować. Moment jest niezręczny. Tego samego dnia, w którym cztery firmy ogłosiły poparcie dla rozwiązania, weszły w życie zaktualizowane warunki biznesowe Meta. Przyznają jej prawo do wysyłania robotów na strony powiązane z firmowymi kontami na Facebooku, Instagramie i WhatsAppie oraz wykorzystywania zebranych treści do trenowania jej produktów.

Wdrażanie rozwiązania przebiega nierównomiernie. Anthropic już zaczęło obsługiwać token, choć Kelley napisał, że objęcie nim wszystkich usług firmy zajmie trochę czasu. Microsoft będzie go respektować podczas skanowania stron od 1 lutego 2027 roku, a po 1 marca przestanie traktować starsze znaczniki NoArchive i NoCache jako sygnały dotyczące trenowania lub wykorzystania treści w odpowiedziach. Google planuje obsługiwać token w 2027 roku i obiecuje informować o postępach, natomiast OpenAI zobowiązało się jedynie do wdrożenia go w najbliższych miesiącach. Propozycja musi jeszcze przejść przez grupę roboczą AI Preferences w IETF, zanim stanie się formalnym standardem. Google zaznacza, że jest zgodna z unijnym kodeksem postępowania dotyczącym modeli AI ogólnego przeznaczenia, który już teraz uznaje robots.txt za podstawowy sposób wyrażania przez wydawców preferencji w formie możliwej do odczytania przez maszyny.

To, co czyni ten moment wyjątkowym, to skala rozwiązania. Po latach procesów sądowych i sporów licencyjnych o to, kto jest właścicielem otwartego internetu, pierwsza wspólna odpowiedź sprowadza się do kilku znaków w zwykłym pliku tekstowym, który każdy może zmienić w minutę. To, jaką ochronę zapewni, zależy od tego, kto jeszcze dołączy — a firma, na której platformach znajduje się najwięcej stron firmowych, wciąż nie powiedziała „tak”.

Tagi: sztuczna inteligencja, OpenAI, Google, Anthropic, microsoft, meta