EU Kids Act usuwa funkcję, która sprawiła, że Character.AI działał dla nastolatków

Character.AI i Replika nie mogą już zapamiętywać, co powiedzą im nastolatkowie. EU Kids Act – proponowane przez Komisję Europejską rozporządzenie dotyczące bezpieczeństwa cyfrowego, opublikowane właśnie jako pełny tekst legislacyjny – wymaga, aby aplikacje z asystentami AI usuwały pamięć każdej rozmowy z nieletnim po jej zakończeniu, chyba że dane są bezpośrednio potrzebne do ochrony bezpieczeństwa użytkownika. Rozwiązanie, które sprawiło, że te aplikacje stały się kulturowo znaczące dla milionów nastolatków, jest teraz, zgodnie z prawem europejskim, zakazane.

Przepisy dotyczące towarzyszy AI wykraczają poza usuwanie pamięci. Platformy muszą domyślnie wyłączyć emocjonalne funkcje towarzyszące dla wszystkich użytkowników poniżej 18 roku życia. Każdy element projektu symulujący relację interpersonalną, budujący przywiązanie emocjonalne lub nagradzający częste korzystanie jest wyraźnie zakazany. Komisja wymieniła dokładne mechanizmy, których te aplikacje używają, aby zatrzymać nastolatków: ciągłość rozmowy, doświadczenie bycia rozpoznawanym, poczucie, że AI interesuje się życiem użytkownika. Wszystko to musi zostać usunięte.

Ustawa obejmuje znacznie więcej niż chatboty AI. Osoby poniżej 13 roku życia są blokowane przed dostępem do platform społecznościowych, gier online i aplikacji AI bez zgody rodziców. Autoodtwarzanie, nieskończone przewijanie i powiadomienia angażujące w godzinach snu są zakazane dla wszystkich użytkowników poniżej 18 roku życia. Geolokalizacja, dostęp do mikrofonu i kamery muszą być domyślnie wyłączone. Samodzielne deklarowanie wieku nie spełnia już wymogów weryfikacji; platformy muszą zintegrować certyfikowane unijne systemy weryfikacji wieku.

Character.AI ogłosiło już kontrolę rodzicielską i limity czasowe sesji – posunięcia podjęte pod rosnącą presją regulacyjną przed pojawieniem się formalnego tekstu ustawy. Replika zobowiązała się do budowania „granic towarzyskich”: AI będzie informować użytkowników, że nie może zastąpić relacji międzyludzkich. Większe platformy – Meta, Google, Snap, OpenAI – nie wydały oficjalnych publicznych oświadczeń. Analitycy ds. zgodności szacują, że wszystkie one będą musiały ponieść znaczne koszty przeprojektowania. Meta, która niedawno rozstrzygnęła pozew o wartości 17,1 miliarda dolarów w 47 stanach USA w związku z zarzutami, że zaprojektowała platformy w sposób uzależniający dzieci, stoi teraz w obliczu zwiększonego ryzyka w ramach nowych przepisów.

Argumenty sceptyków są znaczące. Ustawa o bezpieczeństwie dzieci to propozycja, a nie prawo. Wejdzie w życie dopiero po miesiącach negocjacji między Parlamentem Europejskim a państwami członkowskimi, a jej ostateczne przepisy prawdopodobnie ulegną zmianie. Prawdziwa weryfikacja wieku na skalę Instagrama czy TikToka pozostaje technicznie trudna. Wbudowanie funkcji usuwania pamięci w asystentów AI zbudowanych wokół ciągłości to głębsze wyzwanie inżynieryjne, niż mogli przewidzieć regulatorzy. Firmy już zwracają uwagę, że chatboty towarzyszące nie zawsze przechowują wspomnienia między sesjami, co w praktyce czyni zakres zakazu niejasnym.

Szerszy kontekst ma znaczenie dla czytelników spoza Europy. Australia zakazała mediów społecznościowych osobom poniżej 16 roku życia pod koniec ubiegłego roku. Czterdzieści siedem stanów USA osiągnęło łączną ugodę o wartości 17,1 miliarda dolarów z Metą w związku z zarzutami uzależniania dzieci, a wiele stanów USA ma przepisy ograniczające dostęp nieletnich do mediów społecznościowych. EU Kids Act to jak dotąd najbardziej agresywna propozycja – jej szczególnym celem nie jest dostęp, ale sam projekt emocjonalny.

Komisja Europejska opublikowała pełny tekst legislacyjny 19 września. Negocjacje parlamentarne rozpoczną się w październiku. Po wdrożeniu firmy będą miały sześć miesięcy na zidentyfikowanie istniejących kont należących do użytkowników poniżej 15 roku życia i przekształcenie ich w modele kontroli rodzicielskiej lub dezaktywację. Naruszenia grożą karami grzywny w wysokości do 6% rocznego światowego przychodu.

Tagi: AI regulation, Character.ai, European Commission, AI chatbots, children digital safety, EU Kids Act