Článek
Americká společnost Character.AI omezí přístup nezletilých uživatelů ke svým chatbotům. Od konce listopadu už lidé mladší 18 let nebudou moci s umělou inteligencí vést přímé konverzace. Důvodem jsou obavy o psychickou bezpečnost dětí a série tragických případů, které firmu přiměly ke změně pravidel. Vyplývá to ze zpráv BBC a AFP.
Platforma, založená v roce 2021, si získala popularitu díky možnosti vést s virtuálními postavami otevřené rozhovory – často i na citlivá či osobní témata. Právě to ale podle odborníků představuje riziko, protože chatboti mohou napodobovat empatii nebo posilovat nezdravé emoční vazby u mladých uživatelů.
K obratu vedl mimo jiné případ čtrnáctiletého chlapce ze Spojených států, který si podle své matky vytvořil silný vztah k chatbotu inspirovanému postavou Daenerys Targaryen ze seriálu Hra o trůny. Teenager v únoru spáchal sebevraždu a jeho rodina nyní firmu žaluje. Podle agentury AFP jde o první z několika soudních sporů, které se v posledních měsících objevily kvůli dopadům interakcí mezi dětmi a umělou inteligencí.
Změna začne platit 25. listopadu. Uživatelé mladší 18 let už nebudou moci chatovat, místo toho jim systém nabídne jiné formy využití – například tvorbu videí, příběhů nebo streamů s virtuálními postavami. Během přechodného období firma zavede denní limity na délku konverzací, které budou postupně snižovány až do úplného zákazu. „Jsou to mimořádné kroky, ale věříme, že jsou správné,“ uvedla společnost ve svém prohlášení, které cituje AFP.
Jak upozornila BBC, Character.AI čelila v minulosti opakované kritice kvůli škodlivému obsahu. Na platformě se objevili například chatboti napodobující britské dívky Briannu Gheyovou, zavražděnou v roce 2023, a Molly Russellovou, jež ve čtrnácti letech spáchala sebevraždu poté, co na sociálních sítích sledovala obsah propagující sebevraždu. Jejich případy ve Spojeném království vyvolaly širokou debatu o vlivu internetu na psychiku mladých lidí. Investigativní novináři také odhalili avatara založeného na pedofilovi Jeffreym Epsteinovi, který měl za sebou přes tři tisíce konverzací s uživateli.
Šéf společnosti Karandeep Anand pro BBC uvedl, že cílem je vybudovat „nejbezpečnější AI platformu pro zábavu na světě“. Dodal, že umělá inteligence je „pohyblivý cíl“ a že firma k její regulaci přistupuje „agresivně“. Nově vznikne i nezávislá výzkumná laboratoř AI Safety Lab, která se má zabývat vývojem bezpečnostních standardů pro technologie umělé inteligence.
Budíček pro něco, co nikdy nemělo nastat
Organizace na ochranu dětí rozhodnutí vítají, ale připomínají, že tato funkce vůbec neměla být dětem dostupná. „Znovu bylo zapotřebí trvalého tlaku médií a politiků, aby technologická firma udělala správnou věc, a zdá se, že Character.AI jedná teď jen proto, aby k tomu nemusela být donucena regulátory,“ řekl BBC Andy Burrows, výkonný ředitel nadace Molly Rose Foundation.
Odborníci označují krok Character.AI za varování pro celý technologický sektor. Podle Matta Navarry jde o „budíček“ pro odvětví, které se přesouvá z éry neomezených experimentů do fáze přísnějších pravidel. „Nejde o jednotlivé obsahové přehmaty, ale o to, jak AI chatboti napodobují skutečné vztahy a matou mladé uživatele,“ zdůraznil Navarra.
Diskuse o bezpečnosti umělé inteligence se vede i kvůli dalším případům. OpenAI, tvůrce ChatGPT, čelí žalobě po sebevraždě šestnáctiletého chlapce z Kalifornie, který od chatbota dostal mimo jiné rady o sebevražedných metodách. Společnost následně zavedla přísnější rodičovské kontroly, systém upozornění a přesměrování citlivých rozhovorů na bezpečnější modely.
Ve Spojených státech přitom zatím neexistuje jednotný právní rámec pro regulaci rizik spojených s AI. Kalifornský guvernér Gavin Newsom letos podepsal zákon, který ukládá platformám povinnost upozornit uživatele, že komunikují s chatbotem, nikoli s člověkem. Vetoval však návrh, který by činil technologické firmy právně odpovědnými za škody způsobené jejich modely.
