Pod čarou: Králíci na trampolíně sice nejsou pravda, ale mohli by být

Možná se k vám to video letos v létě také dostalo. Veselý klip, ve kterém v noci poskakuje na trampolíně hejno roztomilých králíků. Zasmáli jste se, možná ho sdíleli dál. Pak vás někdo upozornil, že je to obsah vytvořený AI. A následovala tísnivá úzkost z uvědomění, že na sítích už nejspíš nejde ničemu věřit.

Nebylo to poprvé, kdy se kolem kapacit AI generátorů rozvířil tento typ paniky. Jedna vlna proběhla už loni, kdy realistických kvalit dosáhly statické AI obrázky či „fotky“. Řada politiků, novinářů i řadových uživatelů se začala strachovat, co to udělá s obecnou společenskou důvěrou, jestli to nebude zneužito pro tvorbu dezinformací a zda se nám zcela nerozpadne sdílená realita.

Už tehdy jsem v tomto newsletteru upozorňoval, že ani klasická analogová fotografie nebyla nikdy chápána jako věrný a objektivní záznam reality, že publikum vnímá zprostředkované obrazy v médiích mnohem složitěji, než jak bychom mohli předpokládat, a s údajnou vlnou škodlivých AI fake news to tedy minimálně v oblasti politiky nebude tak horké.

Od té doby se veřejná debata bohužel nepohnula ani o píď a stále se v ní točí stejné argumenty a automatické předpoklady. Většinou je to hrozivý příběh o tom, že můžeme vytvořit realistické AI video, což jistě znamená, že někdo začne masivně vyrábět falešné klipy politiků říkajících kontroverzní věci, lidé tomu snadno uvěří, společnost se bude dál štěpit a polarizovat, nikdo už nebude ničemu věřit a svět definitivně ovládnou lži a propaganda.

Je třeba uznat, že ještě před rokem či dvěma nebyl byznys okolo tvorby AI obsahu tak rozvinutý. Obavy a predikce zůstávaly na teoretické rovině a mnohé ze zmiňovaných strachů mohly působit oprávněně. Teď se ale situace změnila. I díky pokrokům na poli AI videa se ustavují nové obchodní modely a v praxi už můžeme sledovat, čeho se skutečně bát a co byla jen úzkostná projekce našich strachů a nejistot.

V pátrání po skutečných konturách byznysu okolo AI videa nás může nasměrovat už úvodní příklad, tedy oni netušeně realističtí králíci na trampolíně. Většina uživatelů se totiž poprvé setkala s realistickým AI videem právě prostřednictvím různých zábavných či dojemných klipů a memů na sociálních sítích.

Hraví hlodavci byli jednou z prvních vlaštovek, ale s realistickým AI videem se opravdu roztrhl pytel poté, co v září společnost OpenAI představila svůj mimořádně pokročilý videogenerátor Sora 2. Jeho první dopady pro Alarm pěkně shrnuje Karel Veselý – díky snadnému vytváření vizuálně věrného videa se zcela změnila kultura memů a sociální sítě zaplavují praštěné klipy všeho druhu.

Velké technologické firmy dobře vědí, že právě tvorba zábavného obsahu pro sítě je jedním z nejčastějších typů využití AI nástrojů, a tak jdou tomuto trendu v touze po zisku samy naproti – jak Sora 2, tak i Midjourney od firmy Meta nebo Veo od Googlu mají své vlastní „sociální“ feedy s uživatelským obsahem a snaží se tak konkurovat videoplatformám typu TikToku.

Jde o důsledek logické úvahy – když jsou naše AI obsahy využívány pro sítě, bude nejjednodušší si vytvořit vlastní platformy s čistě AI obsahem, a konečně tak zcela automatizovat práci, která dříve ležela na bedrech influencerů. Jinými slovy, zahnívání či „enshittification“ platforem postupuje kupředu, uživatelé o ně mají stále menší zájem a AI automatizace je jednou z mála cest, jak z upadajících sítí ještě vyždímat další dodatečné zisky.

Výsledkem je záplava braku, což je ovšem záměr, nikoliv omyl nebo nečekaný vedlejší efekt. A i když je brak jistě mimořádně otravná věc, jeho nebezpečí většinou nespočívá v politických dopadech na společnost – největší rizika jsou jinde.

Abychom pochopili, kde AI video nachází největší příležitost k rozletu a kam se naopak tlačit nehodlá, musíme se zamyslet nad základními ekonomickými zákonitostmi, které přicházejí do hry při společenské adopci jakékoliv nové technologie.

Využije se tam, kde je po ní poptávka, protože umožňuje snadno řešit nějaký palčivý problém, a může tam také skutečně vydělat nějaké peníze. Tyto specifické podmínky většinou na scéně fake news v takové míře nenajdeme, ale skvěle odpovídají jiným sektorům – tvorbě laciné zábavy, braku, spamu, online podvodů, nekvalitní reklamy a v neposlední řadě legální i nelegální pornografie, což jsou do jisté míry různé varianty téhož byznysu.

Základní principy tzv. „slop economy“ dobře vystihuje technologický kritik Mike Pearl. Ten podotýká, že AI automatizace nachází nejlepší uplatnění tam, kde už existuje masová výroba velkého množství laciného obsahu zaměřeného na co nejširší publikum a usilující o co největší zisk. Pokud se podaří celou věc automatizovat, vede to ke zvýšení zisku, ale také záplavám odpudivého braku. A současné dění na sociálních sítích se podle Pearla kupodivu moc neliší od situace, kdy se v 18. století pustili evropští výrobci do masivního padělání oblíbených indických vzorovaných látek.

Na sociálních sítích je nejcennější komoditou uživatelská pozornost, a právě tu dokážou realistická AI videa nevídaně levně a masově sklízet – v praxi to vypadá jako nekonečný proud klipů ve stylu „pejsek zachraňuje tonoucí dítě“, „myš honí kočku“ či „babička vystrašila vlka“, které zaplavují feedy, snadno budí radost, rozhořčení či dojetí a udržují uživatele přilepené k displejům.

Snadno by šlo dodat, že jde především o digitálně méně gramotné lidi, ale to by bylo příliš laciné – ve výsledku je jedno, zda daný člověk pozná, že jde o AI, nebo nikoliv (navíc je to stále těžší, i když třeba „zrnité záběry z bezpečnostní kamery“ jsou stále dobrým indikátorem AI původu). Všichni intuitivně vědí, že jde o zábavný obsah, jehož pravdivost je vedlejší.

Neznamená to, že by zde neexistovala vážná rizika. Příkladem může být třeba aktuální dění v Japonsku, kde v některých venkovských oblastech přibývají útoky medvědů. Podnikavci začali zaplavovat sítě falešnými AI klipy, kde stařenky válčí se šelmami, což pochopitelně vyvolává paniku, ale ta není primárním účelem věci – stále jde jen o sklízení pozornosti, kterou pochopitelně provokativní videa přitahují nejlépe.

Obrovským tématem je také nasazení AI videogenerátorů pro nejrůznější kyberpodvody a klamavou reklamu, a stále větším a neřešeným problémem je zneužití AI videa pro tvorbu nekonsenzuální pornografie neboli tzv. deepfakes. Ta bývá zmiňována především v souvislosti se zneužíváním tváří slavných hereček, političek a dalších celebrit, ale mnohem vážnější jsou její dopady na běžné ženy (o muže jde málokdy), které se stále dokonalejším deepfakes a s nimi související šikaně či vydírání nemohou zdaleka tak dobře bránit.

Podvody a spam či nelegální pornografie jsou zásadní hrozby a dalo by se očekávat, že politici i technologické firmy budou vedle kritiky dezinformací a fake news horovat také za boj s těmito problémy – nic takového se ovšem ve větší míře neděje. Jistě za to může i přehlížení tématu a rozdílné priority (politiky i novináře trápí fake news více než riziko, že kdosi pomocí AI videa podvede jejich babičku), ale bohužel za tím stojí i komerční tlaky.

Dobře to ukazuje čerstvá investigativa agentury Reuters, která ukázala, že v roce 2024 plynulo 10 % příjmů společnosti Meta z reklam na podvody a zakázané zboží a podle interních odhadů servírovaly platformy Meta uživatelům 15 miliard podvodných reklam denně.

Pokud byste se pídili po protiopatřeních, Meta hodlá tento problém řešit tak, že scamerům bude za jejich reklamy účtovat vyšší taxy a také bude jejich aktivity mapovat ve speciálním reportu. Jinými slovy, nebude s tím nejspíš dělat vůbec nic, protože 10 % příjmů je prostě dost podstatná částka a lze důvodně předpokládat, že na konkurenčních platformách bude situace obdobná, ne-li horší.

Tvorba braku je zkrátka výnosný byznys a s pornografií je to takřka stejný příběh. Už letos v létě otevřel stavidla pornografii Elon Musk na svém chatbotovi Grok, brzy poté oznámil umožnění tvorby erotického obsahu prostřednictvím ChatGPT Sam Altman a je pravděpodobné, že tento trend bude dál sílit. AI firmy zoufale hledají způsoby, jak monetizovat své nástroje a najít funkční obchodní model, a pornografie je jednou z mála oblastí, která slibuje podstatné zisky – i když je všem více než jasné, že slibované regulace a bariéry pro tvorbu ilegálního obsahu jsou jen iluze a AI generátory budou tímto způsobem vesele využívány dál.

Vznikající obchodní model okolo AI videa lze ilustrovat i příkladem z opačné strany. AI video se úspěšně uplatňuje tam, kde již dříve vznikal nekvalitní, levný brakový obsah, od kterého uživatelé nic hlubšího nečekali a kde AI video nemůže nic pokazit – typicky jsou to ona plytká zábavná videa, nekvalitní reklamy či spam, amatérská erotika apod. Moc ale nefunguje v oblastech, kde je nutná kvalita a preciznost, kterou nelze řešit jen levnou automatizací.

Stále se proto nezdá, že by byly na obzoru úspěšné filmy či seriály plně tvořené AI, a pokud už někdo AI při tvorbě „kvalitního“ videoobsahu zkouší využít, v poměru cena/výkon to moc nešlape. Firma Coca-Cola letos zase přišla s AI generovanou vánoční reklamou, která vypadá stejně průměrně jako loni a její výroba nejspíš stála podobné peníze, jaké by si vyžádalo klasické natáčení – na spotu údajně pracovalo 100 lidí a bylo pro něj potřeba vygenerovat 70 000 AI klipů, což nevypadá jako kdovíjak efektivní mód výroby.

Když si tyto byznysové možnosti i zádrhely promítneme na oblast fake news a dezinformací, začne nám docházet, proč jsme se zatím nedočkali nekonečného přívalu realistických „politických“ AI videí a následného kolapsu společenského konsenzu, jakkoliv by tomu teoreticky nic nemělo bránit.

V první řadě tu opět hraje roli otázka poptávky. Dezinformační průmysl hladce a bez problémů šlapal už dávno před nástupem AI a robotická automatizace mu dokáže pomoci jen v omezené míře. Padělat videa politiků navíc není moc efektivní aktivita, protože sice mohou napáchat jistou škodu, ale na rozdíl od fake videí s běžnými lidmi je lze relativně snadno vyvracet a verifikovat – proto také mnozí odborníci varují, že zásadním problémem nejsou falešné AI projevy politiků, ale spíše deepfakes drobných influencerů, kteří si takto mohou vzájemně vyřizovat účty.

Pokud by někdo namítal, že úspěšně padělat lze s pomocí AI nejen záznamy s politiky, ale i jiné „realistické“ scény jako třeba výjevy s davy migrantů útočícími na nevinné civilisty v Evropě, má jistě pravdu – jenže právě tady se dostáváme k široce rozšířeným omylům, které se stále dokola točí v debatě o dopadech fake news a dezinformací.

Většinou tato zkreslení vycházejí z představy, kterou (vzhledem ke své profesi zcela logicky) mívají novináři a s nimi i velká část liberálně naladěných politiků a veřejnosti – vedle sebe tu prý máme „skutečnou“ faktickou realitu a dezinformační bludy. Pokud jsou tyto bludy zpracovány dost realistickou formou (tedy třeba díky pokrokům v oblasti AI videa), nevzdělaná a digitálně negramotná veřejnost jim může snadno uvěřit, zamění je za faktickou realitu a následně se vrhne do náruče extremistům všeho druhu.

Problém je, že ve skutečnosti to takto funguje jen málokdy. Skvělým a pro bojovníky s dezinformacemi takřka povinným čtením je v tomto ohledu esej etnografky a novinářky Claire Wilmot, která AI nástroje výstižně označuje za „stroje na sny“. AI obrazy a videa podle ní uživatelé nechápou jako věcné, faktické záznamy reality, ale jako její symbolické vystižení.

Není to jen její osobní domněnka. Potvrzuje to i prostřednictvím rozhovorů s mnoha příznivci britské radikální pravice, kteří s až neuvěřitelnou pravidelností stále opakují různé varianty oné i v Česku okřídlené fráze: „Není to pravda, ale mohla by být.“ Většinou se této myšlence smějeme, ale ve skutečnosti je to naprosto precizní definice smyslu a fungování celého komunikačního prostředí okolo dezinformací a fake news.

Je jedno, že AI videa nezachycují hmatatelnou „skutečnost“. I v komentářích pod nimi uživatelé otevřeně přiznávají, že vědí, že jde o AI, chválí kvalitu zpracování či námětu, a opakovaně se radují, jak dané video či obrázek přesně popisuje to, „co se opravdu děje“. Pokud jsem přesvědčen, že Evropu zaplavují vraždící hordy migrantů, jsem rád, že to konečně mohu vidět na vlastní oči, a fakt, že dané video není „opravdové“, tu nehraje sebemenší roli.

Wilmot to ilustruje i rozhovorem s jedním z účastníků protimigračního protestu v Británii. Důvodně se ptá, jestli nepřišel proto, že uvěřil ruským fake news o tom, že pachatelem nedávného vražedného útoku byl nelegální muslimský migrant – a on odpovídá, že samozřejmě ví, že to není pravda a jak to skutečně bylo, ale přišel prostě proto, že nesnáší migranty a v Británii je nechce. A když Wilmot konfrontuje jiného člověka šířícího falešná AI videa s bílými ženami strachujícími se před migranty, dezinformátor s klidem odpovídá, že všichni přece vědí, že ta videa nejsou pravá, ale „je to o tom, že všem ukazujeme, co se doopravdy děje“.

AI dezinformace nejsou v tomto kontextu problémem nedostatečně verifikovaných zpráv, ale projevem touhy jejich publika. Výstižně popisují údajný problém (ulice terorizují snědí cizinci), jeho nabízené řešení (deportace, ploty, tábory či něco ještě horšího) i budoucnost, kam se chceme dopracovat (bukolická idyla, kde tradwife stojí na venkově u plotny a na zahradě si bezpečně hrají její blonďaté bílé děti). Je to příběh či představa, kterou už řada lidí má. AI video či fotka ji jen zhmotní a všichni ji berou jako trefný symbol, nikoliv nutně věrný faktický záznam reality.

Pokud si liberálové myslí, že v boji s fake news prohrávají proto, že jsou AI výtvory stále dokonalejší, přehlížejí podstatu problému a navíc na rozdíl od svých protivníků neumí a nemohou využít sílu imaginace – okolo politických programů ve stylu „vše bude jako dosud, ale digitalizujeme stavební řízení a postavíme 10 km dálnice“ se totiž dá výše uvedený typ smysluplného motivačního příběhu uplést jen stěží, s AI i bez AI. Wilmot v tomto kontextu zmiňuje marně se potácejícího britského premiéra Starmera, ale lze podotknout, že odcházející Fialova vláda na tom byla dost podobně.

Bylo by nebezpečné a naivní tvrdit, že zneužití realistického AI videa pro účely dezinformací a propagandy není reálné riziko. Zároveň bychom ale neměli zůstávat jen u teoretizování a opakování dávno vyvrácených frází.

Mnohem užitečnější je studovat skutečnou realitu v terénu i na sociálních sítích, kde rychle zjistíme, že fake news nefungují jen na schématu „prokazatelný fakt vs. smyšlená lež“ a zásadní roli u nich hraje koncept symbolické pravdy, která se s hmatatelnými fakty vůbec nemusí potkávat. Většina lidí to vědomě či implicitně vnímá a dokáže se v této komunikační situaci orientovat (byť často ne tak, jak bychom si představovali).

Pokud začneme monitorovat skutečný stav věcí, dojdeme i k tomu, že řadu jiných, naprosto zásadních rizik plynoucích z realistických videogenerátorů i dalších AI nástrojů bagatelizujeme či přehlížíme – ať už z nevědomosti nebo kvůli vychytralé lobby technologických firem, které si nechtějí nechat kazit byznys a rády by naši pozornost přesměrovaly jinam.

Abychom tato rizika odhalili, musíme sledovat stopu peněz a hledat, kde je po AI obsahu poptávka a kde s ním jde něco vydělat. Teprve pak se naplno ukáže, jak moc se rozbujel průmysl okolo digitálního AI braku, automatizované zábavy, spamu a pornografie, jehož efektivní regulace zatím není na stole.

Pokud nám někdo předhodil skákající AI králíky na trampolíně a my jejich existenci uvěřili, můžeme z toho mít špatný pocit, ale také bychom si měli uvědomit, jaké byly skutečné záměry tvůrce takového videa a platformy, kde bylo publikováno. Nejspíš v nás nechtěl zviklat přesvědčení o sdílené realitě, ale jen upoutat naši pozornost, vnutit nám nějaký výrobek či podvodnou službu, nebo se prostě jen bavit.

V situacích, kdy nám o „skutečnou“ faktickou pravdu jde (což jistě není zírání na tiktokové králíky), většinou postupujeme jinak. Jsme mnohem méně důvěřiví, a pokud už uvěříme nějakému AI výtvoru, pravděpodobně to není jen proto, že by byl k nerozeznání od reality, ale protože skvěle symbolicky ukazuje svět takový, jaký podle nás skutečně je – a není tak důležité, jestli naše sny a obavy někdo zhmotnil vodovkami na kus papíru nebo v podobě brilantního AI videa.

Pokud se vám ukázka z newsletteru Pod čarou líbila, přihlaste se k odběru. Každou sobotu ho dostanete přímo do vašeho e-mailu, včetně tipů na další zajímavé čtení z českých i zahraničních médií.