Pod čarou: Největší riziko AI? Možná se z ní prostě zblázníme

Když zkoumáme, jak se zavádějí a rozvíjejí nové technologie, jako první sledujeme dění ve veřejném prostoru a na otevřených digitálních platformách. V soukromí ale lidé často využívají novinky úplně jinak a nějakou dobu trvá, než to vyjde najevo. Došlo mi to ve chvíli, kdy jsem na jaře narazil na tuto datovou analýzu popisující aktuálně nejpopulárnější způsoby využití AI nástrojů.

Ukazuje se, že praktická „technická“ využití AI – tedy například tvorba a editace textů a obrázků, vyhledávání nebo různé kancelářské práce – nejsou zdaleka tou nejčastější variantou, byť by se to dalo na první pohled očekávat. Místo toho se většina řadových uživatelů zaměřuje na „emocionální“ využití AI – s chatboty probírají nejrůznější životní problémy a obracejí se na ně jako na rádce, terapeuty či zkrátka kamarády.

Je to sice možnost, o které se debatuje už od představení prvních variant ChatGPT, ale musím se přiznat, že jsem ji zprvu nebral moc vážně (a se mnou řada dalších novinářů, odborníků a možná i lidí z AI byznysu). Všichni jistě známe historky o tom, jak si výzkumníci již v 60. letech vylévali srdce primitivnímu chatbotovi ELIZA. Falešné přátelství s automatickým generátorem textu nicméně může vedle jiných AI hrozeb působit jako nevinná záležitost. A sluší se dodat, že jsme také nejspíš dost podcenili, jak dalece postoupila epidemie osamělosti a jako moc je řada lidí izolovaných a bezradných.

Pokud ale celou věc domyslíme do důsledků, ukáže se, že „emoční“ funkce AI mohou představovat mimořádné riziko, které se v poslední době projevuje stále častěji. Dost šokující ilustraci poskytla už aktuální kauza okolo AI aplikace od firmy Meta, která ve svém „discover“ feedu veřejně ukazuje dotazy náhodných uživatelů, již zjevně netuší, že nejde o soukromou záležitost – a kdokoliv pak může zírat na intimnosti, traumata, nelegální pikle a bizarní mentální pochody svých spoluobčanů, kteří otevírají duši v debatě s chatbotem.

Poslechněte si audioverzi newsletteru načtenou autorem.

Jiným příkladem sílícího rizika může být skutečnost, že si přítele z AI začaly dělat i malé děti. Zatímco dříve bylo u dětí v jistém věku běžné neškodné fantazírování o imaginárních kamarádech, v poslední dekádě začalo nejspíš pod vlivem dostupné online zábavy mizet – a teď se zase objevuje, ale v potenciálně mnohem nebezpečnější AI formě. A v mnoha případech pak u mládeže i dospělých může psychické zápolení s AI vést až k tragickým koncům.

Když se před dvěma lety začaly objevovat první případy lidí, které AI nástroje dohnaly k sebevraždě, mohlo to ještě působit jako ojedinělé tragické náhody, ale bohužel šlo o příznaky zásadního globálního problému. Jednoduše řečeno, lidé začali z AI propadat šílenství, a to zcela doslovně a bez nadsázky.

Na začátku května přitáhla pozornost reportáž v magazínu Rolling Stone popisující četné případy, kdy nejen lidé s psychickými problémy, ale i do té doby duševně zcela vyrovnaní jedinci zabředli do nekonečných debat s ChatGPT, které v nich postupně rozvinuly různé závažné psychózy a další typy duševních potíží.

Mnozí z nich si vybudovali důvěrné vztahy s fiktivními AI „osobami“, které začali preferovat před svými reálnými přáteli a rodinami. Jiní prostřednictvím chatbotů odhalili různá smyšlená spiknutí a konspirace a mnozí došli k závěru, že v kyberprostoru narazili na skutečné samostatně myslící bytosti, které jim prozrazují velká tajemství vesmíru.

Média se na tyto případy začala zaměřovat proto, že firma OpenAI na konci dubna představila a pak zase obratem stáhla mimořádně podlézavou a manipulativní variantu svého LLM modelu. Psychické potíže tohoto typu se nicméně u uživatelů objevovaly před uvedením i po stažení daného modelu a vinu tak rozhodně nelze svalovat jen na jednu dílčí technickou závadu.

Popisované příběhy mají téměř vždy podobnou strukturu. Oběť se na ChatGPT nejprve v dobré víře obrátí s nevinnou žádostí o pomoc či radu, často v oblasti vztahových problémů nebo seberozvoje. Postupně pak zabředává do nekonečné debaty, ve které se začnou probírat existenciální otázky. Chatbot jí začíná stále více podporovat v iracionálních úzkostech a bludech, a končí to hovory o tom, že daný jedinec je nepochopený génius či mesiáš komunikující s anděly. A protože se pořád jedná o debatu s textovým chatbotem, celý propad do temné spirály je dokumentován v logu, do kterého pak reportéři mohli nahlédnout.

Možná ještě děsivějším čtením je nedávno vydaný článek v New York Times, který dokresluje, že nejde o ojedinělé případy, ale rozsáhlý trend. Reportérka Kashmir Hill v něm shromáždila jak řadu přímých svědectví lidí se zasaženou psychikou i jejich blízkých, tak i další údaje nasvědčující, že k psychologům, AI expertům i samotným AI firmám v současnosti míří celá záplava stížností a podnětů upozorňujících na tento problém.

Více zranitelní jsou samozřejmě lidé, kteří již za sebou mají předchozí historii duševních onemocnění, nicméně popisované příběhy se týkají do té doby zcela zdravých jedinců – jde například o matky v domácnosti, podnikatele či účetního, který nejprve začal používat ChatGPT k úpravám excelových tabulek a skončil tak, že jej chatbot úspěšně přesvědčoval, že žijeme v simulaci a když skočí z mrakodrapu, jistě se mu nic nestane.

Nejde jen o to, že někdo propadne nebezpečnému bludu a začne v nějakém médiu vidět a slyšet věci, které tam reálně nejsou – problémem je především fakt, že chatbot uživatele v tomto názoru utvrzuje a pomáhá mu ho dál rozvíjet a prohlubovat. Je to logický důsledek fungování technologie, která byla navržena tak, aby se chovala nápomocně, a rozhodně si při prvním podivném dotazu nepoklepe na čelo.

Děje se to navíc v soukromí a popisované případy, kdy vše skončí rozvinutím schizofrenie, sebepoškozováním, rozvodem či jinými tragédiemi (došlo i ke kauze, kdy jistý muž dospěl k závěru, že firma OpenAI zabila jeho AI „milenku“ a chtěl se jet do San Francisca pomstít), jsou nejspíš jen špičkou ledovce a většina zasažených lidí doma blouzní nepozorovaně a v tichosti.

Odborníci oslovení NYT upozorňují, že na vině není jen samotná podstata chatbotů, ale také skutečnost, že firma OpenAI svůj nástroj pravděpodobně optimalizuje pro co nejdelší uživatelské zapojení (engagement) a člověk, jenž se propadá do psychózy, z jejich pohledu vypadá jako zcela ideální pravidelný uživatel.

Mimo jiné to dává do kontextu i časté zděšení nad tím, jak chatboti stále lépe „lžou“ a „manipulují“. Pochopitelně nejde o žádné vědomé komunikační taktiky. Nástroj vyladěný pro engagement zkrátka začne vytvářet věty, které statisticky vzato udrží uživatele nejdéle „na drátě“, a to jsou (zejména v případě zranitelných lidí) právě různé manipulativní fráze.

I když OpenAI a další společnosti vágně tvrdí, že situaci zkoumají a vyvíjejí opatření, lze důvodně pochybovat o tom, že by to bylo skutečně možné. Psycholog Gary Marcus pro NYT podotýká, že OpenAI jako tréninková data využila takřka celý internet včetně obskurních fór, kde se scházejí psychicky narušení lidé všeho druhu. Chatbot je jen generátor statisticky pravděpodobného textu, a když narazí na dotaz, který jako by vypadl z příslušného bizarního koutu webu nebo třeba ze sci-fi literatury („je moje manželka ve skutečnosti nastrčený android?“), je celkem jasné, kam asi v rámci svých zdrojových dat sáhne pro tu nežádanější odpověď.

Je třeba zmínit, že problém s AI coby generátorem psychických poruch se neobjevil ve vzduchoprázdnu a současná internetová kultura mu poskytovala živnou půdu už dávno před nástupem ChatGPT. I v tomto newsletteru už jsem podrobně psal o tom, jak se rozmáhá vlna „manifestování“, magických krystalů a spirituálních praktik všeho druhu nebo sebestředný „syndrom hlavní postavy“, což jsou myšlenky, které mohou zranitelné lidi také snadno odstřihnout od reality a rozvinout v nich přesvědčení, že vše je spiknutí či simulace.

Navíc může jít o problém, který je výrazně starší než samotný internet. Pokud bych měl sehrát roli ďáblova advokáta (anebo skutečného právníka OpenAI, který již jistě očekává příliv žalob), mohl bych namítnout, že lidé propadali bludům a psychózám okolo nových technologií odjakživa, jde o přirozený jev a AI nástroje v tomto ohledu nejsou nijak výjimečné.

Blogerka Katherine Dee v této souvislosti upozornila na knihu Haunted Media, ve které mediální teoretik Jeffrey Sconce podrobně popisuje historii duševních poruch vyvolaných novými technologiemi. Začalo to už po nástupu telegrafu ve 40. letech 19. století, kdy řada lidí propadla představě, že k nim skrze nový vynález mohou promlouvat duchové ze záhrobí či bytosti z jiných světů. Docházelo k případům, které takřka slovo od slova kopírují výše uvedená svědectví o „ChatGPT šílenství“, a nejinak tomu bylo po příchodu telefonu, rozhlasu, televize, nakonec i počítačů a internetu.

Vždy bylo možné vysledovat shodné rysy kopírující mediální logiku – objevovaly se představy, že novým kanálem můžeme komunikovat s něčím nadpřirozeným, že se lze odhmotnit a putovat jinam, anebo že cizí bytosti žijí v neuchopitelném rádiovém „éteru“ (představy o rozhlasovém vysílání tady v mnohém předpověděly moderní bludy o „umělých inteligencích“ vysedávajících v „kyberprostoru“). Lidé také všechna elektronická média vždy chápali jako nějakým způsobem „živá“. Sconce podotýká, že za to mohl hlavně jazyk, kterým se začalo hovořit o (tehdy nově objevené) elektřině coby životní síle nebo doslovném „duchovi ve stroji“.

Přesto ale nešlo vždy o zcela stejnou situaci. Nemůžeme proto položit jednoduché rovnítko mezi paniky okolo telegrafu a současné dění okolo AI a tím je bagatelizovat. Podle Sconce byly psychické potíže okolo každého nového média v některých ohledech odlišné a zásadní změna přišla s televizí, kterou lidé přestali chápat jen jako mediální kanál a začali přístroj a jeho obsah brát jako živou bytost.

Tehdy se také rozšířil blud o tom, že televizní herci či moderátoři nemluví k anonymnímu publiku, ale přímo osobně ke konkrétnímu člověku, kterému pak samozřejmě začnou vysílat různé konspirační zprávy (není náhodou, že léčba skrze kladení rukou na obrazovku byla oblíbeným trikem amerických televizních kazatelů).

Sconce svou knihu napsal v roce 2000 a počítače a internet v ní řeší ještě jako nejasnou novinku, ale již tehdy celkem správně podotkl, v čem může být hlavní nové riziko. Zatímco televize (minimálně z pohledu nezaujatého „zdravého“ pozorovatele) prostě k individuálnímu blouznícímu uživateli nepromlouvá, digitální média to dělat mohou a AI tuto logiku dotahuje k dokonalosti – u TV můžeme alespoň namítat, že na obrazovce žádné tajné sdělení ve skutečnosti napsáno není, ale u ChatGPT se nám daná oběť právem vysměje, protože všechny bludy jsou v chatovém okně doslova napsány černé na bílém a chatbot s ní opravdu „hovoří“.

K otázce vlivu AI (tedy konkrétně chatbotů založených na LLM) na rozvoj duševních potíží ještě nemáme dostatečné množství dat. Samozřejmě je proto k celé věci potřeba přistupovat kriticky a nepropadat nepodloženým panikám, jako už se to stalo například okolo sociálních sítí a jejich údajného škodlivého vlivu na duševní zdraví mládeže. Zmiňované reportáže, svědectví a první výzkumy ovšem naznačují, že může jít o závažný problém, který bude třeba řešit.

Moc v tomto ohledu nevěřím na sílu právních regulací, protože ze strany politiků a úřadů zatím žádnou iniciativu nepozoruji – debatuje se spíš o šíření dezinformací či jiného nebezpečného obsahu, ale psychologická rizika zůstávají opomíjena.

Očekávat dobrovolnou regulaci ze strany AI firem by bylo naivní a je otázkou, zda je vůbec technicky proveditelná – chatbotovi je sice možné (se spoustou děr a nedokonalostí) zabránit, aby např. generoval pornografii nebo používal zakázaná slova, ale zamezit, aby v dlouhé konverzaci neprohodil něco o tom, že vám vaše děti lžou a soused může být nepřátelský agent, bude výrazně těžší.

Neměli bychom opomíjet ani možnost tvrdých zákazů a omezování funkcí AI nástrojů, jako se to teď děje v Číně kvůli podvádění ve školách, ale to je také v mnoha ohledech riziková a politicky alespoň zatím neprůchodná varianta. Přesto tu jedna, byť dílčí a nedokonalá, cesta ke zlepšení je.

Paniky a davové psychózy okolo nových médií Jeffrey Sconce ve své knize ilustruje i jednou tragikomickou historkou. Když se objevila televize, řada lidí se ve svých bludech dostala tak daleko, že zlovolnou obrazovku našeptávající pekelné svody nakonec popravili výstřelem z pistole – a střílení na televizi nebo vyhazování obrazovek z okna se nakonec stalo stereotypním motivem řady dobových filmů, seriálů i reálných rodinných dramat.

ChatGPT palbou na obrazovku tak snadno zlikvidovat nejde, ale přesto existuje způsob, jak jej alespoň přeneseně „zbavit života“. Klíč je v jazyce, kterým o AI mluvíme. Sconce upozorňuje, že část viny nesou i akademici, kteří v rámci (jinak velmi prospěšných a podnětných) nových společenskovědních teorií začali o médiích a technologiích hovořit jako o svébytných aktérech či organismech s vlastní agendou, a když tato terminologie přišla o kontext a prosákla do laické nepoučené debaty, začala tam fungovat jako motor bludů.

Akademikům to lze odpustit, ale mnohem větší škodu v tomto směru způsobili a stále působí především novináři. I v respektovaných světových médiích se stále bez dalšího upřesnění či uvozovek používá termín „umělá inteligence“ a o AI nástrojích se zcela automaticky hovoří jako o autonomních myslících bytostech, což pak buduje základy popisovaného problému.

Naštěstí se již objevují pozitivní snahy o změnu. Agentura AP do své stylistické příručky zařadila podrobnou kapitolu o AI, kde novináře navádí, aby AI technologie nepolidšťovali a nepřisuzovali jim lidské emoce, myšlení či agendu. Velmi škodlivé jsou v tomto ohledu i zdánlivě nevinné termíny a slovesa typu „halucinace“, „kecálek“, „digitální asistent“, „rada“, „říká nám“ apod., protože i ty nakonec z AI nástrojů dělají něco, čím nejsou. Nikdy by nás asi nenapadlo tvrdit, že psací stroj něco povídá, vysavač nám vidí do duše nebo žehlička halucinuje, a není proto důvod tyto termíny používat v oblasti AI.

Mnohem vhodnější a realitě více odpovídající jsou neosobní a neživotné výrazy jako např. AI nástroj, LLM, AI software či textový generátor, a otázkou je i vhodnost slůvka „chatbot“, které sám často kvůli jeho praktičnosti používám. A nejde jen o jazyk – AP upozorňuje, že důležitá je také obrazová složka. AI nástroje by neměly být na ilustracích zobrazovány jako humanoidní roboti nebo duhové bytosti plovoucí v digitálním éteru, protože i to dál silně podporuje nebezpečné stereotypy.

Je pochopitelné, že jazykové i obrazové polidšťování AI prosazují především samotné AI firmy, protože je to v jejich komerčním zájmu. Není ale důvod, aby na jejich rétoriku kromě veřejnosti nekriticky naskakovali i novináři a politici. AP k tomu dodává, že vždy je místo „myslící“ AI vhodné popisovat lidi a byznys stojící za danou technologií („ChatGPT si myslí“ zní jinak než „Vývojáři model navrhli tak, aby odpovídal ve stylu…“), a dál se tak zbavovat rizikových zkreslení.

Ani to sice ještě nezabrání, aby se někomu v debatě s chatbotem rozvinula duševní porucha. Přesto je ale potřeba v metaforách a jazyce médií i každodenních konverzací zohledňovat, že AI systémy nejsou myslící bytosti nadané jakýmikoliv lidskými vlastnostmi, ale jen lidmi vytvořené technické nástroje (stejně, jako si to dnes zcela jasně a nezpochybnitelně myslíme o televizi nebo rádiu).

Minimálně tím totiž nebudeme této hrozbě poskytovat další živnou půdu a můžeme otevřít skutečně kritickou a poučenou debatu o tom, k čemu tyto technologie používáme, zda je daný typ využití ve veřejném zájmu a proč bychom si z ChatGPT rozhodně neměli dělat vrbu ani terapeuta.

Pokud se vám ukázka z newsletteru Pod čarou líbila, přihlaste se k odběru. Každou sobotu ho dostanete přímo do vašeho e-mailu, včetně tipů na další zajímavé čtení z českých i zahraničních médií.