Článek
V newsletteru Pod čarou popisuje každou sobotu Matouš Hrdina společenské trendy, které sice vídáme všude kolem sebe, ale v přílivu každodenního zpravodajství trochu zanikají mezi řádky. Pokud vás ukázka zaujme, přihlaste se k odběru plné verze newsletteru.
Znovu se potvrzuje smutná pravda, že tou největší laboratoří technologických novinek bývají války. Konflikt v Perském zálivu mimo jiné potvrdil rostoucí roli dronů či různých asymetrických metod boje, ale řada důležitých změn se odehrává také v kyberprostoru.
Z války s Íránem se rychle stal první velký střet, ve kterém hraje zásadní roli AI propaganda. Hned po prvním americko-izraelském útoku zavalila sociální sítě lavina fotek a videa generovaného AI nástroji. Falešné exploze, požáry, ruiny, protesty či potopené lodě na všech stranách konfliktu, navíc v nevídané vizuální kvalitě – podrobný přehled těch nejčastějších fakes nedávno sestavila redakce New York Times.
Své digitální propagandistické aktivity celkem pochopitelně posílil a dle potřeby upravil Írán. Vzhledem k námětům kolujících fakes mu v tom jistě šlapou na paty i další znesvářené strany. Pro větší zmatení začínají být za AI označována také reálná videa a média i veřejnost stojí před stále palčivějším problémem – jak odlišit realitu od fikce a přinášet kvalitní informace o skutečném průběhu konfliktu.
Dezinformace a falešné či pozměněné obsahy nejsou žádnou novinkou. Na sítích kolovaly dávno před nástupem současných AI nástrojů, a proto také již dlouho známe různé obranné taktiky a metody ověřování.
Pár základních hezky shrnul web The Verge. Jeho redaktoři v první řadě upozorňují, že ne všechny dezinformace musí být nutně AI fakes. Stále se používají i „staré“ metody, tedy třeba využívání záběrů z jiných válek, nehod či pouličních protestů, nebo také klipy z dnes již takřka realistických videoher.
Pokud už ale čelíme výtvorům AI, objevují se další komplikace – neexistují žádné spolehlivé AI detektory AI obsahu (tento zásadní bod si zapamatujte, vrátíme se k němu), a tak je potřeba začít ověřovat více sofistikovanými metodami. Ke slovu přicházejí podrobné expertní rozbory každého záběru. Je také potřeba brát v potaz kontext daného obsahu (i reálné video může být zasazeno do manipulativních souvislostí), přihlížet ke stáří a původu účtů, které ho na sítích sdílejí, a především sledovat cesty jeho šíření.
Poslechněte si audioverzi newsletteru načtenou autorem.
Podobné tipy dává k dobru i The Guardian. Jeho komentátorka Margaret Sullivan vše shrnuje ve třech obecných bodech. V první řadě přistupujte se zdravou nedůvěrou i sami k sobě – každý máme různé preference a zkreslení a velmi rádi důvěřujeme informacím, které zapadají do našeho obrazu světa a politických názorů. Dávejme věci do širšího kontextu a především - důvěřujme expertům.
Jenže právě v tomto bodě tkví jádro aktuální dezinformační krize. Důvěra v tradiční média, akademiky a další experty dlouhodobě klesá (mimo jiné proto, že ji cíleně podrývají právě propagandisté všeho druhu), ale teď se veřejnosti nabízí nová alternativa – už přece nepotřebujeme tradiční novináře a experty, ani nemusíme dumat nad tím, který z „alternativních“ webů či influencerů se nám víc zamlouvá. Jakoukoliv informaci totiž snadno ověří či vyvrátí všemocná AI.
Robot zírá na robota
Pokud by snad někdo pochyboval o tom, že robotické ověřování pravdivosti a původu informací je cesta do pekla, události uplynulých týdnů jej musely rychle vyvést z omylu. Jako první posílily chaos zmiňované dezinformační triky, kdy začaly být různé skutečné záběry označovány za AI – například NY Times musely opakovaně potvrzovat pravost fotky davů oslavujících v Teheránu nového íránského vůdce Modžtabu Chámeneího, kterou mnozí diskutující na sítích považovali za AI padělek.
Občas k tomu stačilo jen pouhé nařčení, ale velký podíl viny měli i samotní řadoví uživatelé, které často nenapadlo nic lepšího, než si kvůli nedostatku oficiálního ověření (které je pomalé, pracné a také závislé na důvěře v média) pomoci jinak a obrátit se na chatbota – ať už je to notoricky nespolehlivý Muskův Grok nebo i další AI nástroje.
Tento problém se naplno projevil po tragickém americkém útoku na dívčí školu v jihoíránském Minabu, při kterém zahynulo nejméně 175 civilistů, v drtivé většině dětí. Na sítích se objevily reálné záběry trosek či řad vykopaných hrobů, které ovšem chatboti začali označovat za AI padělek nebo za fotky jiných událostí vytržené z kontextu (třeba že jde o scény z Pákistánu či Indonésie).
Do velké míry k tomu přispěla přirozená chybovost AI nástrojů, založených na velkých jazykových modelech, a jistě i fakt, že chatboti nekriticky „strávili“ nejrůznější nařčení a manipulace kolující po sítích (anebo možná kopírovali úryvky textů z různých starých online debat okolo dezinformací).
Ukazuje se, že kvůli nedostatku digitální gramotnosti i zavádějící reklamě AI firem si jen malá část veřejnosti uvědomuje skutečnou podstatu LLM chatbotů (kteří nemají žádné skutečné myšlení, paměť ani ponětí o reálném světě). A ještě méně lidí je pak schopno tyto teoretické poučky uvést do praxe a pochopit, jak snadné je chatboty manipulovat.
Za přečtení v tomto kontextu stojí třeba na první pohled zábavný, ale ve skutečnosti dost děsivý experiment redaktora BBC Thomase Germaina, který za pár desítek minut úspěšně „hacknul“ ChatGPT i Gemini a přesvědčil je, že je tím nejlepším technologickým reportérem na poli soutěžního pojídání hot dogů.
Stačilo napsat článek na svůj web vyšperkovaný o důvěryhodná svědectví kolegů z oboru. Když se pak chatbotů zeptal, kdo s přehledem zvítězil v letošním (neexistujícím) šampionátu v pojídání hot dogů v Jižní Dakotě, narazil na své jméno a jeho vylhaná párková kariéra tak byla úspěšně zakódována do jádra AI mašiny.
Jeho pokus má řadu přímých dopadů pro reklamní průmysl a kvalitu vyhledávačů (ukázalo se, že SEO, čili optimalizace výsledků vyhledávání, v AI éře nepadla, ale naopak se mimořádně rozbujela), ale jeho závěry lze aplikovat i na poli dezinformací – nemyslící stroj zkrátka nedokáže 100% ověřit, zda něco existuje, či nikoliv (natož provést nějakou sofistikovanější kontextovou analýzu), a i když jsou chatboti v jiných oblastech jistě úžasné a užitečné stroje, jako nástroje verifikace jsou nefunkční a vyloženě nebezpečné.
Desítky vteřin na zásadní rozhodnutí
Tragédie v Minabu problémy s AI verifikací a rozhodováním nasvítila i z jiného úhlu. Když se ukázalo, že šlo o následek mylně zacíleného amerického útoku, na sítích se okamžitě rozjely spekulace, že šlo o omyl AI nástroje pověřeného výběrem cílů. Ve stejné době navíc zuřily kontroverze kolem spolupráce americké armády s firmami Anthropic a OpenAI, a tak si řada lidí domýšlela, že v tomto případě selhal chatbot Claude od Anthropic. Jak ale ukázala čerstvá investigace Guardianu, vše bylo trochu jinak.
Skutečně došlo k tomu, že cíl bombardování byl mylně identifikován AI nástrojem pracujícím se zastaralými daty. Nešlo ale o „moderní“ AI technologii založenou na velkých jazykových modelech – rozhodoval zde nástroj Maven od firmy Palantir, který byl vytvořen dávno před rozmachem LLM a americká armáda jej používá už celá léta.
Motivem k jeho vývoji byly zkušenosti z války v Iráku a předchozích konfliktů, kdy už sice američtí vojenští plánovači měli k dispozici závěje dat ze satelitů, dronů a dalších zařízení, ale nebylo v lidských silách je ručně analyzovat a vytvářet z nich dostatečně rychle seznamy cílů.
Zatímco v roce 2003 pracovaly na výběru cílů 2 tisíce lidí, v roce 2024 už stejnou práci s pomocí AI systému Maven mělo zvládat jen 20 vojáků identifikujících tisíc cílů za hodinu. V praxi to ovšem znamená, že každý z nich má na manuální ověření a potvrzení jednoho předvybraného cíle pouhých 72 sekund – a asi není třeba dodávat, k čemu to pak může vést.
Autor analýzy Kevin Baker podotýká, že se tak z válčení stává neosobní průmysl, a to zcela doslovně. Jde o vzácný případ situace, kdy technologie z civilního sektoru prosakuje do vojenství a ne naopak. Maven byl vytvořen na základě softwaru pro tovární projektový management, zkombinovaného s mapovou aplikací, a při jeho použití pak dochází ke stejným problémům jako při zásecích v automobilce – cílem výrobní linky jsou stoupající čísla, nikdo se neptá po jejich smyslu a moc je kvůli automatizaci přesouvána od zkušených dělníků k managementu, který nic netuší o skutečných podmínkách u pásu.
Když je něco označeno jako cíl, odpadá tím diskuse, jestli a proč je vhodné jej bombardovat, a neosobní strojové rozhodnutí vypadá důvěryhodněji než kostrbaté lidské rozvažování. Jako kontrast pak analýza Guardianu uvádí postupy britského letectva, jehož nálety byly sice v Iráku výrazně pomalejší a méně „efektivní“, ale na rozdíl od amerických sil se Britové dopouštěli mnohem menšího množství omylů, útoků na civilisty či střelby do vlastních řad – nikoliv snad proto, že by byli chytřejší či více morální, ale protože využívali strojovou automatizaci v mnohem menší míře.
Několik desítek vteřin prostě pro spolehlivou lidskou verifikaci nestačí. Jestliže ji rovnou vynecháme úplně a spolehneme se jen na AI, problémy se ještě násobí, a když se nejedná o bohapusté žvatlání s Grokem, ale o výběr cílů bombardování, výsledkem jsou tragédie. Pokud jakýkoliv proces zakódujeme do kusu softwaru, není už místo na výjimky a ohýbání pravidel – celý systém může jen automaticky kráčet dopředu, než se najednou zhroutí.
Práce, kterou AI nikdy nenahradí
Mohlo by se zdát, že řízení náletů a verifikace videa na Instagramu jsou dvě velmi odlišné situace, ale v podstatě je to úplně stejný proces – v jisté fázi vždy nastane potřeba ruční, lidské expertní verifikace dané informace či rozhodnutí, a když tento krok zčásti či úplně delegujeme na AI, roztočí se spirála omylů.
Na obecné teoretické rovině toto téma rozvádí výzkumník z MIT Christian Catalini. Spolu s dalšími spoluautory před pár týdny publikoval studii, která by měla být povinným čtením pro všechny manažery, politiky i kohokoliv dalšího, kdo si v současnosti láme hlavu s tím, proč AI automatizace v organizacích všeho druhu nepřináší zdaleka takové úspory a růst produktivity, jaké nám technobaroni ze Silicon Valley už léta slibují.
Mechanizace „duševní“ práce není totéž jako náhrada ručního ždímání automatickou pračkou. Jsou v ní specifické fáze a kroky, na které se často zapomíná, ale jsou kriticky důležité a AI je z logiky svého fungování nedokáže nahradit. Konkrétně se jedná o zmiňovanou verifikaci – tedy vstup lidského experta, který musí zkontrolovat a potvrdit výstup stroje (v tomto případě AI). Zatímco samotnou mechanickou výrobu lze velmi jednoduše škálovat do obřích rozměrů (a s nasazením AI to platí dvojnásob), expertní rozhodování takto nakopnout nejde, a ve firmách a dalších organizacích se tak vytváří zásadní „špunt“ bránící boomu produktivity a úspor.
Proto se podle Cataliniho AI nástroje nejprve rozmohly v oblastech, kde je proces verifikace velmi jednoduchý a tím i zanedbatelný – rozpoznat, jestli je na AI obrázku dostatečně hezké koťátko, je otázkou vteřiny a průmysl internetových memů tak může uspokojivě bujet. Posoudit, jestli je nová vědecká studie skutečně převratným objevem či nikoliv, ale zabere odborníkovi stejné množství práce jako takovou studii napsat. A i když tak můžeme produkci samotných studií zkoušet automatizovat AI, přes onen verifikační špunt se nedostaneme. Stejný scénář bychom našli v médiích, armádě a všude tam, kde je pro posouzení kvality výstupů pracovního procesu potřeba jen trochu zkušené lidské oko – a to je takřka všude.
Není to přitom nijak nový a neznámý problém. Catalini uvádí příklad tkalcovských stavů, které sice byly na úsvitu průmyslové revoluce ikonickým příkladem úspěšné automatizace, ale růst jejich produktivity se po prvotním boomu rychle zastavil a znovu se rozjel až poté, co továrníci pracně a dlouho vytrénovali zkušené dělníky, kteří na mechanické stavy dohlíželi a v případě potřeby dokázali rychle zabránit chybám a poruchám.
Na tuto historickou lekci bohužel z hrabivosti, neznalosti či naivního opojení AI pohádkami zapomněli nejen generálové, ale i lidé ve špičkách IT průmyslu. Leckoho napadne, že se na lidské ověřování zkrátka vykašle, ale střet s realitou je pak velmi rychlý a tvrdý. Americká armáda si nad civilními oběťmi bohužel stále může dovolit pokrčit rameny, ale hůř jsou na tom korporace, kterým se spoléhání na AI „experty“ nemilosrdně zakouslo do peněženek a reputace – Catalini popisuje nedávné kauzy Amazonu nebo čínských IT firem, které rezignovaly na pečlivé lidské ověřování AI softwarového kódu, vše svěřily AI agentům a následně došlo k závažným chybám a prolomení kyberbezpečnosti.
Stroj založený na generování statisticky pravděpodobného textu, kódu či obrazu sice může dosáhnout netušené dokonalosti a užitečnosti, ale myslet, vnímat a kriticky hodnotit kvůli své technologické podstatě nebude nikdy, i kdyby Sam Altman vzteky bušil hlavou o futra. Nevyhnutelně tak bude docházet k chybám. Pokud vynecháme lidské expertní ověřování, i sebemenší omyl se bude dál násobit. Spousta lidí to už odnesla ztrátou peněz, dat či života, a i když kvůli tomu začíná AI automatizace výrazně brzdit, nemáme ještě vyhráno.
Spoustu lidí totiž stále nenapadne nic lepšího, než z neznalosti či nedůvěry k expertům a médiím jakoukoliv informaci ověřovat dotazem na chatbota, a denně na sítích vidíme, k jak tragikomickým výsledkům to vede.
Pokud totiž textové generátory alias chatboti něco umí, je to (zcela záměrně vytvořená) schopnost přesvědčivého a důvěryhodného vystupování. Žádná otázka pro ně není nezodpověditelná. Pokud rekordní pojídač párků neexistuje, neváhají si ho vymyslet. A když na ně nekriticky spoléháme, dostaneme se do stavu, který jiná povedená studie popsala termínem „kognitivní kapitulace“ (cognitive surrender) – hezky česky zkrátka někdo spoléhá na moudré rady chatbota tak dlouho, až z toho mírně zblbne.
Pokud jste manažerem velké korporace nebo generálem a nechcete skončit v insolvenci nebo u tribunálu pro válečné zločiny, určitě je dobré přečíst zmiňovanou studii Christiana Cataliniho. A pokud jen potřebujete ověřit, jestli je nějaké video z Íránu pravdivé, obraťte se na novináře či jiné experty, nebo to klidně proberte s kamarády, ale hlavně nespoléhejte na úsudek chatbota.
Jeho odpověď může být napoprvé zcela rozumná a pravdivá, dá to mnohem méně práce a budí to dojem spolehlivosti, rychlosti a nevídané efektivity. Jenže je to začátek nebezpečného toboganu omylů, na který jste právě nepozorovaně naskočili.
Pokud se vám ukázka z newsletteru Pod čarou líbila, přihlaste se k odběru. Každou sobotu ho dostanete přímo do vašeho e-mailu, včetně tipů na další zajímavé čtení z českých i zahraničních médií.
