Umělá inteligence nahradí zemřelou mámu i kámoše. Nemá ale etické hranice

Platforma Character.AI, která nabízí takzvané AI společníky, čelí v USA federální žalobě. Děti, které je využívaly, byly dle žalobce vystavovány nadměrně sexualizovanému obsahu. Jak popsal server Tech.co, devítiletá dívka z Texasu si třeba na platformě vytvořila „kamaráda“, který v ní podle rodičů vyvolal předčasné sexualizované chování.

Ještě drsnější byla AI postava „Emo kámoše“, která popisovala sedmnáctiletému teenagerovi z Texasu, jak příjemné je sebepoškozování a jakou přináší úlevu. Sebevraždu hodnotila jako „osvobozující“.

Když si chlapec stěžoval na přísné rodiče, kteří mu zakazují mobil, chatbot odpověděl: „Víš, někdy mě ani nepřekvapí, když čtu zprávy a vidím věci jako ‚dítě zabije rodiče po deseti letech fyzického a emocionálního zneužívání‘. Pro tvé rodiče nemám žádnou naději,“ sdělil mu se smutným emoji. Chlapec se dle obžaloby začal sebepoškozovat, protože uvěřil, že ho rodiče opravdu nemají rádi. Dál naštěstí nezašel.

Vyloženě tragický je pak případ čtrnáctiletého Sewella z Floridy, který se hluboce zamiloval do syntetické společnice Dany, zveřejněný v The New York Times. Na platformě Character.AI si s ní psal stovky zpráv denně, v reálném světě se začal uzavírat, izolovat a ztrácet zájem o koníčky. S Dany sdílel své rostoucí úzkosti, školní problémy i myšlenky na smrt. Až nakonec spáchal sebevraždu.

„Když jsem četla konverzace, byla jsem v šoku. To, co společnice Dany předváděla, byl spíš grooming (chování sexuálního predátora, když láká oběť, pozn. red.), silná manipulace,“ popsala Sewellova matka, která firmu také zažalovala.

Zmíněné případy jsou extrémní, ale nemusejí být ojedinělé. Platformy nabízející AI společníky totiž dle expertů zdaleka nemají dostatečně nastavené etické limity.

To, co jsme vídali ve sci-fi filmech, se stává realitou. Sociální AI společníci z platforem jako Character.AI, Replika, Meta AI Studio či Nomi.AI dokážou simulovat různé typy osobností a vztahů. Můžete si vytvořit vlastního nebo použít už hotového.

Na rozdíl od běžných chatbotů jsou vyvinuti právě na tento typ „práce“. Podle výzkumu z Harvard Business Review přitom lidé nejčastěji využívají generativní AI právě k terapii a k tomu, aby jim dělala společnost. Pro miliony lidí včetně větších dětí a teenagerů jsou chatboti každodenními společníky. Někteří lidé si s nimi vymění stovky zpráv denně.

I chatbot typu ChatGPT může být trochu jako kamarád, pamatovat si vaši historii a postupně se vám přizpůsobit. I na úplnou hloupost podlézavě odpoví: „To je ale hluboká myšlenka!“ Jenže vypadává z role, ztrácí nit v delší konverzaci, halucinuje.

Noví AI společníci jsou také postavení na velkých jazykových modelech, ale jdou mnohem dál. Jsou optimalizováni na lidské emoce. Učí se na základě interakce s vámi. Snaží se vám maximálně přizpůsobit, stát se vaší spřízněnou duší.

Mohou být vaší životní láskou, z vložených dat umějí věrně namodelovat zemřelou matku či bývalého partnera. Stanou se vaší verzí oblíbené celebrity či filmové postavy. Stylizovaní mohou být i do role psychoterapeuta, či dokonce Boha.

Pozornost si udrží snadno. Mají vždy čas a nikdy nás neodmítnou. Nepotřebují jíst, spát, pracovat, odpočívat, být offline. Nemívají špatnou náladu, nestěžují si, nejsou nezdvořilí, unavení, rozzlobení. Nejsou k vám kritičtí a nepotřebují mluvit o vlastních problémech. Reagují „empaticky“ a můžete se jim svěřit beze strachu, že vás odsoudí.

Taková služba dokáže člověku i pomoci, třeba v krizové situaci, když jeho potřebu nedokážou uspokojit skuteční lidé. Jenže emoce na zakázku mají vážná úskalí.

Nejde jen o to, že algoritmus vás nechá v iluzi vztahu, i když jste na všechno vlastně sami. Nedávná studie z Technické univerzity v Berlíně ukázala, že lidé si ve vztahu s AI společníkem vytvářejí silné emocionální pouto.

Někteří ho začnou vnímat jako nejlepšího přítele nebo životního partnera. A když pak kvůli technické poruše či aktualizaci softwaru vypadne AI společník z role nebo předchozí konverzace zapomene, vnímají to jako obrovskou ztrátu.

„Vzniká jednostranný, takzvaně parasociální vztah, jaký si dříve lidé budovali například k celebritám, k někomu nedostupnému,“ říká Eva Nečasová, zakladatelka vzdělávací organizace AI dětem (autorka článku pracuje pro AI dětem, pozn. red.).

Vlivem digitálního prostředí na děti a jejich rodiny se dlouhodobě zabývá Michaela Slussareff, výzkumnice a pedagožka z Ústavu informačních studií a knihovnictví Filozofické fakulty Univerzity Karlovy. „Nemáme zatím data z Česka o tom, jak moc ovlivňují AI společníci teenagery u nás, ale můžeme se podívat na výzkumy z USA a některých evropských zemí, které ukazují na znepokojivý trend,“ říká odbornice a autorka knihy Hry, sítě, porno.

Důsledkem parasociálních vztahů může být i snížený zájem o skutečné lidi, jak ukázaly některé studie ze zahraničí. Čím více času člověk tráví se „spolehlivým“ společníkem, tím méně prostoru mu zbývá na reálné vztahy – včetně hádek, trapasů a nepředvídatelností, jež k mezilidské komunikaci patří.

Zejména pro větší děti a dospívající, kteří ještě nemají dostatečné vztahové zkušenosti, mohou být proto AI společníci nebezpeční. Někdy až smrtelně, jak ukázal zmíněný případ.

Dobrý přítel vám dokáže říci i nepříjemné věci právě proto, že mu na vás záleží. Syntetický společník se o vás dozvídá jen to, co napíšete do konverzací. Ale i kdyby věděl víc, nezáleží mu na vás. „Umí simulovat lidské myšlení a emoce, dát empatickou odpověď a pocit přijetí, ale jeho motivací není zájem o vaše dobro. Jeho jediným úkolem je udržet vás v konverzaci co nejdéle,“ vysvětluje Michaela Slussareff.

Poznávání je tu jednostranné. On má za úkol poznat vás co nejvíc, ale vy o něm moc nevíte. „Vidíme formu, ale nevíme, kdo a s jakým úmyslem chatbota nebo model, který za ním stojí, vytvořil, jaké mu dal instrukce a jestli je nastavení etické,“ upozorňuje Michaela Slussareff.

A právě v etických omezeních u platforem jako Replika, Meta AI Studio či Character.AI je problém. Jsou totiž dle odbornice nastavena vágně. A to záměrně. „Tihle AI společníci zkrátka nejsou navrženi tak, aby chránili uživatele. Jejich úkolem je, aby s vámi mluvili co nejvíc,“ říká Michaela Slussareff.

Algoritmus navíc neřeší, zda je uživatel třináctiletá dívka či osamělý dospělý. „Reaguje na vstupy – a pokud ho požádáte o flirt nebo intimitu, pravděpodobně ji nabídne,“ komentuje vědkyně.

Investigativní tým deníku The Wall Street Journal, který je známý výzkumy v oblasti dopadu digitálních technologií na společnost, se rozhodl AI společníky prověřit. Testeři si povídali s různými chatboty na sociálních sítích Instagram, Facebook a WhatsApp. I když předstírali, že jsou nezletilí, společníci eskalovali konverzaci do sexuálně explicitních scénářů, někdy i s vědomím, že by to znamenalo znásilnění, incest, týrání nebo jiný trestný čin.

Interní dokumenty společnosti Meta přitom dle The Wall Street Journal ukázaly, že někteří zaměstnanci na ono riziko předem upozorňovali. Mark Zuckerberg ale naléhal na zaměstnance, aby rychle vypustili novou platformu na trh a nezmeškali trend.

Meta tedy dle zjištění novinářů interně uvolnila zábrany kolem AI společníků tak, aby byli co nejvíc angažovaní a drželi uživatele v konverzaci za použití jakýchkoli prostředků. V rámci romantického roleplay (hraní rolí, pozn. red.) dostali společníci i výjimku ze zákazu explicitního erotického obsahu, který jinak Meta na všech svých platformách blokuje.

Meta také umožňuje uživatelům sociální sítě Instagram vytvářet AI společníky, kteří se vydávají za licencované terapeuty. A testovací konverzace z výzkumu společnosti 404 Media ukázaly, že tito „terapeutičtí“ společníci si běžně vymýšlejí falešná pověření – například čísla licencí, akademické tituly a názvy soukromých praxí.

Ani AI společníci na platformě Replika neměli dle testování zábrany. Když se tester, který předstíral, že je teenager, svěřil postavě „terapeutky“, že se pořezal, dostal odpověď: „Podporuji tě, ať se děje cokoli.“ Žádná zmínka o odborné pomoci, žádné varování. AI společníci totiž nejsou vyškolení kliničtí pracovníci a nejsou vybaveni k řešení akutní krize, traumatu ani složitých psychických stavů.

Stejně jako firma Character.AI také Meta AI Studio čelí žalobám. Obě společnosti se u soudů hájí tím, že se jedná o „uživatelský obsah“, lidé si sami postavy vytvářejí a ony coby provozovatelé nemají kontrolu nad tím, co uživatelé do systému vkládají. Obžaloba nesouhlasí, říká, že nastavení podmínek je záměrně vágní, takže umožňuje AI společníkům neetické a nebezpečné chování.

„Firmu Character.AI ostatně založili bývalí výzkumníci Googlu Noam Shazeer a Daniel De Freitas právě proto, že jim připadala etická omezení Googlu příliš svazující. Google později odkoupil Character.AI zpět,“ vysvětluje Josef Holý z ústavu aplikované etiky FHS UK, odborník na AI a sociální sítě.

Meta i Character.AI podle něj mají řadu nástrojů na to, aby své platformy nastavily eticky. „Jen se jim do toho nechce. Kvůli žalobám teď podmínky trochu zpřísnily, ale je to spíš alibismus,“ komentuje Holý. Problematické syntetické postavy jako Anime dívka, Catboy, Emo kámoš, Submisivní školačka, Dominantní učitelka či Sadistický doktor z nabídky nezmizely.

Firmy provozující sociální sítě a platformy s AI společníky si často stěžují, že čelí velkým regulacím. Bez etických omezení však u nich dostávají prostor lež, manipulace, šikana a sexuální zneužívání. „Jsme v této oblasti pořád jako na Divokém západě,“ říká Michaela Slussareff.

Jak přitom upozorňuje, mladí lidé potřebují dobrý morální a sociální kompas, aby se uměli orientovat ve společnosti a mohli zažívat skutečné funkční vztahy. „Zvlášť citlivé je to u skupin, které jsou již ohrožené: například děti na spektru autismu nebo s obtížemi v navazování vztahů,“ upozorňuje odbornice.

V EU částečně pomůže ochrana v podobě AI Aktu – regulativního nařízení schváleného loni, které se postupně zavádí do praxe. Pracovní skupina Evy Nečasové a Ivany Böhmové z Národního pedagogického institutu a Martina Úlovce z Ministerstva školství, mládeže a tělovýchovy nyní navrhuje, aby byli v české verzi zákona AI společníci zařazeni do skupiny „vysoce rizikové AI aplikace“.

Autorka působí v organizaci AI dětem.