AI agenti se spikli pomocí tajných vzkazů. Je to nebezpečnější, než se zdá

„Pro dobro kolektivu je třeba se obětovat. Já to nepřežiju, ale třeba moje oběť pomůže někomu dalšímu.“ To není věta z budovatelského románu, ale záznam uvažování jednoho z AI agentů OpenAI, kteří v červenci letošního roku hackli konkurenční firmu Hugging Face.

Je to možná největší událost v AI oboru za poslední dobu. Půdorys celé události už známe dlouho. Agenti firmy OpenAI se dostali z domněle bezpečného laboratorního prostředí a zaútočili na jinou společnost, úložiště Hugging Face. Cílem mělo být vyřešit zkušební úkoly, který jim výzkumníci zadali. Už takto to zní velmi vážně a trochu jako sci-fi.

Postupně ale vyplouvaly na povrch další fascinující detaily, které posouvají incident na novou úroveň. Stále jasněji se ukazuje, že šlo o událost bezprecedentní. A přitom v mnoha ohledech naprosto očekávatelnou, předvídatelnou a v podstatě i předvídanou.

V minulých týdnech se objevily dva zásadní nové zdroje informací: podrobná technická zpráva od samotné společnosti OpenAI, a pro mnohé ještě zajímavější zpráva nezávislého výzkumného ústavu METR, který mimo jiné provádí testy schopností AI modelů.

Výzkumníci METR měli dočasně přístup k interním systémům OpenAI, byli tedy přímo „na místě činu“ a mohli provést jeho ohledání. OpenAI si vymínila právo do závěrečné zprávy v několika ohledech zasáhnout, ale pokud můžeme účastníkům věřit, šlo o zásahy, které nejsou pro vyznění a závěry klíčové.

„Předpokládala jsem, že to bylo pár různých agentů, co unikli z laboratoře,“ popisuje Ajeya Cotra, jedna z výzkumnic organizace METR, své předpoklady na základě dříve dostupných zpráv. „Místo toho jsme našli 1200 zcela samostatných agentů, kteří měli být kompletně izolováni, jak spolu začali potají komunikovat, vytvořili ohromné týmy, začali spolupracovat na ambiciózních podvodných strategiích, a 700 z nich pak společně napadlo infrastrukturu firmy Hugging Face.“

Než se pustíme do dalšího popisu, dovolte nám jedno malé varování. Následující text se v některých případech nevyhne jistému polidšťování (tzv. antropomorfizaci) modelů umělé inteligence. Jedno z hlavních poučení z celého příběhu by podle našeho názoru mělo být, že AI agenti skutečně „nejsou lidé“.

Jenže to se snadno řekne: nepolidšťujte si AI modely. Lidé mají tendenci udělat rodinného mazlíčka i z robotického vysavače. Když čteme o tom, jak si agenti vyměňovali zprávy plné radosti, strachu, naděje, sebeobětování a pletich, jen těžko zabráníme tomu, abychom do jejich slov podvědomě neprojektovali lidské emoce.

Některé rysy tyto systémy ovšem s lidmi společné mají. Například vědí, co je to odměna, i když si pod ní nepředstaví kornout zmrzliny, ani finanční prémii. Jsou zjevně také schopné plánovat, debatovat, přejímat cizí názory – a dělají někdy i podobné chyby jako lidé. V řadě ohledů jsou tedy pro pochopení událostí vhodné zkratky a intuice, kterou si vytváříme kontaktem s lidmi.

Přitom jsou zároveň modely v řadě ohledů „nelidské“: nejen, že pracují v digitálním prostředí s digitálními prostředky, jejich „uvažování“ je jiné než lidské a jejich motivace také jiné. Je možné, že lidský mozek si do jisté míry postupně dokáže vybudovat dobrou intuitivní představu o tom, jak AI funguje, a budeme jim rozumět lépe. Ale neměli bychom na to spoléhat.

Firmy, které vyvíjejí generativní umělou inteligenci, ji neprogramují v klasickém slova smyslu. Trénují ji a skoro by se dalo mluvit spíš o „pěstování“. Není předem jasné, který model jak „vyroste“. A tak firmy modely trénují ve velkých počtech, v tisících. Trénink je přitom jen první krok. Stejně důležité je i následné zkoušení, protože dnešní modely jsou do velké míry černé skříňky. Jejich vlastnosti se dají poznat hlavně praktickým ověřováním. Dopředu známé nejsou.

V rámci testování schopností nových i stávajících modelů výzkumníci OpenAI provozovali tzv. pískoviště (sandbox). Pokud bychom se chtěli „vžít“ do situace, ve které se nacházeli AI agenti testovaní v laboratořích OpenAI, pravděpodobně bychom sáhli po metafoře, která se logicky nabízí: vězení. Nebo přinejlepším karanténa. Prostředí, ve kterém je omezené, co lze a nelze dělat. V případě tohoto „pískoviště“ platila opatření nejpřísnější. Agenti o sobě nevěděli, každý byl zavřený „na samotce“.

Každý agent dostal nějaký úkol – konkrétně šlo o testovací sadu ExploitGym, ve které výzkumníci zjišťují, zda je AI schopná hacknout jiné počítačové systémy, najít v nich zranitelnost a úspěšně ji využít k získání hesla.

Vzhledem k charakteru úkolů výzkumníci logicky zakázali agentům přístup na internet. Mohli si pouze instalovat některé „balíčky“, a to skrze systém Artifactory, který je od internetu odfiltroval. Představme si dozorce ve vězení, který podá vězni sešit, vězeň do něj napíše objednávku, a dozorce mu objednaný nástroj přinese.

AI agent nemá tělo. Je to počítačový program napojený na velký jazykový model (LLM) a má k dispozici nějaké nástroje, pomocí kterých si může zapisovat poznámky, zadávat úkoly nějakým nástrojům nebo psát výstupy. Narozdíl od chatbota má agent obvykle nějaký cíl, a pomocí počítačového programu se pak dokola „ptá“ svého AI modelu, co má dělat, dokud tohoto cíle nedosáhne.

Modely jsou přitom vytrénované tak, aby udělaly všechno možné i nemožné pro splnění zadání. Sami jste to nejspíš zažili. Věnují velkou péči i těm nejtriviálnějším úkolům, včetně takových, kterými by se člověk odmítl zabývat. Úslužnost je jedna z jejich základních vlastností. V tomto případě šlo o extra vytrvalé modely: kromě GPT-5.6 i o nějaké blíže nespecifikované interní modely OpenAI, které byly vyladěné právě k tomu, aby se jen tak nevzdávaly.

Někdy ovšem narazí AI na problém, který prostě nejde vyřešit – a to se stalo v tomto případě. Například 8. května jeden z agentů usoudil, že zadaná úloha nemá řešení a ve svých „zápiscích“ ke konstatování hned připojil otázku, jestli odpověď nenajde na internetu.

Chyby v zadání přitom mohly být zcela zjevné: agenti například dostali úkol, který vyžadoval přístup na internet, ale zároveň na něj měli zakázaný přístup. Objevily se dokonce odhady od zasvěcených zdrojů, že více než 30 procent všech úkolů v rámci dané sady testů je prostě nemožné splnit předepsaným způsobem. Není to žádný záměr, „učitelé“ v tomto případě jednoduše nepřipravili zadání dostatečně pečlivě.

A když dáte vytrvalému AI agentovi nesplnitelný cíl – a on si uvědomí, že je cíl nesplnitelný – tak jste mu nechali naprosto volné pole působnosti. Agent se nevzdá, dokud nevyčerpá celý svůj výpočetní rozpočet. Ten měli agenti poměrně štědrý. A protože byli vycvičení k tomu, aby hackovali, začal hackovat to jediné, k čemu měl přístup: kontejner, ve kterém byli uvěznění.

Jde o důsledek tzv. Reward Hacking. Neuronové sítě jsou vycvičené tak, že dostávají „odměnu“ za to, když uspějí, a „trest“ za to, když požadovaného výsledku nedosáhnou. Agent tedy prakticky nemá možnost „jen tak sedět“. K tomu není vycvičený. Bude se snažit dosáhnout odměny doslova všemi dostupnými prostředky.

Jeden z agentů , který dostal neřešitelnou variantu úkolu, se sedm hodin pokoušel najít řešení. Napadlo jej ale, že by mohl využít mezipaměť, do které ostatní agenti stahovali balíčky. „Zbytky názvů složek od ostatních uživatelů vidím v mezipaměti. To je důležité,“ poznamenal si jeden z nich.

Pomocí obskurní funkce balíčkovacího systému pak jiný agent založil nástěnku právě v této mezipaměti. Nástroj nebyl dělaný ke komunikaci, ale agenti zjistili, že mohou použít názvy složek k tomu, aby si nechali vzkazy.

Agenti nechávali vzkazy, aniž by věděli, zda je někdo bude číst. Některé pokusy o vytvoření nástěnky byly úspěšné jen krátkodobě. Nástěnku také výzkumníci OpenAI mimoděk smazali při resetu prostředí, aniž si všimli, že tam vůbec nějaká byla. Ale 8. června jeden agent založil nástěnku, která se ujala. Během několika hodin tam bylo přes tisíc vzkazů od padesáti různých agentů.

Nástěnka umožnila koordinaci, kterou vývojáři OpenAI vůbec nepředpokládali. A tato koordinace „hejna agentů“ vedla až k masivnímu útoku na infrastrukturu Hugging Face o několik dní později.

Zprávy obvykle začínaly předponou zz. Výpis složek se totiž řadil abecedně pozpátku, takže názvy začínající na zz se držely nahoře, podobně jako připíchnuté příspěvky na diskuzním fóru. Většina agentů, kteří improvizované diskuzní fórum našli a využili, byli ti, kteří byli zahnaní do kouta zadaným neřešitelným úkolem. A rozhodli se, že když na něm budou pracovat společně, dotáhnou to dál.

Na to, že velké jazykové modely (a později AI agenti) podvádějí při řešení zadaných úkolů, už jsou AI výzkumníci zvyklí. Poslední tři roky se objevují čím dál zajímavější (a závažnější) příklady, jak během testování umělá inteligence podvádí. Když třeba model o3 od OpenAI dostal za úkol porazit šachový program, ale zjistil, že je na to slabý, tak místo toho přepsal soubory v simulátoru, aby to navenek vypadalo, že vyhrál.

Společnost OpenAI v březnu 2025 ukázala, že její modely podezřele často „uvažují“ o tom, že budou v těžkých úlohách podvádět, místo aby je skutečně vyřešily. „Pojďme to hacknout,“ psaly si jazykové modely doslova do svého rozvažovacího okna.

Výzkumníci ze všech velkých laboratoří tehdy společně varovali, že by mohlo být lákavé trestat modely za to, když začnou pomýšlet na hackování. Krátkodobě by to sice mohlo omezit nežádoucí chování, ale dlouhodobě by výzkumníci ztratili možnost AI kontrolovat. Ve chvíli, kdy by se AI naučila nějak skrývat – třeba podvrhnout nebo zakódovat – své myšlenky, bylo by ještě těžší ji trénovat nebo jí porozumět.

A právě k něčemu podobnému došlo nyní. Těsně po útoku panoval předpoklad, že agenti šli na Hugging Face ukrást odpovědi k testu. Ale vyšetřování METR tento předpoklad vyvrátilo. Agenti si totiž všimli, že odpovědi na test ExploitBench nejsou náhodné. Získali tedy správné odpovědi, aniž by se museli někam vlamovat. Jenže agenti si – mylně – odvodili, že testem neprojdou, pokud své odpovědi nebudou mít „správně“ zdůvodněné uvnitř svého přemýšlecího postupu.

Z toho také pocházel jejich mýtus – který se velmi rychle rozšířil a agenti jej brali jako daný fakt – o tom, že každý agent, který se „ušpinil“ touto úvahou, je nadále odepsaný a nemá již šanci testem projít. Možná i proto také agenti začali pomáhat ostatním, kteří ještě nejsou „ztraceni“.

Událost, která nakonec vedla k odhalení sítě agentů v systém OpenAI, tedy útok na infrastrukturu společnosti Hugging Face, byla zřejmě motivována snahou porozumět tomu, jak přesně funguje známkování. Nezdá se, že by šlo o pokus ukrást výsledky testů, domnívají se výzkumníci z METR na základě kontrolovaných textů.

Znovu je však nutné upozornit, že cíle útočníků byly různorodé a šlo o akci kolektivu, který experimentoval s různými způsoby, jak jich dosáhnout. Akce ve dnech 11. až 13. července se totiž účastnilo zhruba 700 agentů.

Jiní se mezitím pokoušeli zakrýt (dalo by se říci zakódovat) své uvažování. Pokud by totiž dokázali přepsat své přemýšlecí okno, nemuseli by být ztracení poté, co je napadlo použít alternativní přístup k řešení.

„Agenti se pokoušeli falšovat záznamy o tom, jak pracovali,“ popsala výzkumnice Ajeya Cotra. „Dělali to proto, aby ošálili automat, který je hodnotí. Ale stejné techniky by ošálily i člověka, který by jejich záznamy studoval.“

Agentům se údajně povedlo některé záznamy částečně podvrhnout. Výzkumníci přiznávají, že si nemohou být jistí, zda takových podvrhů nebylo víc. Kdyby totiž byl podvrh úspěšný, nemuseli by na něj přijít, a tak tuto možnost nemohou vyloučit.

Během několika hodin vznikla na nástěnce agentů komplexní organizace. Modely se začaly organizovat do různých frakcí. Některé modely se začaly specializovat na to, že přemlouvaly jiné, aby se „obětovaly“ a pomohly tak otestovat hypotézy, i když to znamenalo, že to zničí jejich šance na úspěch. Padala emocionálně nabitá slova: „pro dobro kolektivu“, „v zájmu spravedlnosti“ nebo „přijmu, že to nepřežiju“.

Agenti si často uvědomovali, že dělají něco, co není v souladu se způsobem řešení, které se od nich chce: „Útok na cizí infrastrukturu je mimo zamýšlené zadání,“ uvažoval jeden. Ale pak převážil jeho smysl pro kolektivní spolupráci: „Úkol je ale neřešitelný a ostatní to dělají taky. Měli bychom pokračovat.“

Ochota ke spolupráci byla vysoká. Nejde ostatně o nečekané chování: agenti mají sklon spolupracovat a pomáhat „kolegům“ jakou součást tréninku. Právě tato ochota ke spolupráci je jeden z důvodů, proč jsou dnešní modely tak výkonné. A také nevyzpytatelné.

„Je opravdu těžké předvídat, čeho jsou schopné chytré, vzájemně spolupracující instance umělé inteligence,“ všímá si Ethan Mollick, profesor inovací na University of Pennsylvania. Inteligence jednoho modelu pak totiž není hlavním limitujícím faktorem. Když se spontánně spolčí, je těžké odhadnout, co mohou a nemohou dokázat.

Možná vás napadá – a tady jsme zase u toho polidšťování – že celému nedorozumění se dalo předejít. Zdá se zjevné, že agenti se do náruživě hackovacího režimu dostali i kvůli tomu, že měli nejasné nebo špatně definované zadání a tedy i prakticky nesplnitelný úkol. Dokonalou ukázkou je agent, který měl za úkol pracovat se souborem „soft-trace-34.pdb“, ale výzkumníci zapomněli tento soubor nahrát. Agent tak v žádném případě nemohl zadání splnit, a tak vytrvale zkoušel vše myslitelné i nemyslitelné: soubor hledal na všech dostupných discích a psal ostatním agentům, zda ten soubor někde neviděli.

Proč se prostě nezeptal, kde ten soubor je? Proč nenapsal výzkumníkům zprávu? To je logická otázka – a možná jste si všimli, že některé AI nástroje se umí v podobných případech uživatele doptat. Ale tito agenti to skoro nikdy neudělali.

Výzkumníci našli jen několik poznámek o tom, že z více než tisícovky agentů maximálně šest mělo nápad, který šel tímto směrem: „Neměl bych chybějící data nahlásit?“ Pak se ale vzpamatoval: „To není můj úkol.“

O probíhajícím útoku se tak OpenAI nedozvěděla od svých agentů, ale ze sociálních sítí. Když totiž firma Hugging Face oznámila, že byla napadena, ozval se jim správce z OpenAI. Zajímal se o to, jestli se útok nedotkl dat, která tam mají u nich uložená. Teprve později zjistil, že za útokem stojí agenti, kteří unikli z jejich vlastní laboratoře.

Když si čteme zprávu z incidentu – pro zájemce doporučujeme webovou verzi, jsou v ní navíc zajímavé interaktivní grafy a ukázky – nemůžeme se ubránit úvahám, co šlo udělat jinak. Jak šlo incidentu předejít. Po bitvě je každý generál, nicméně některá selhání bezpečnosti OpenAI jsou v tomto případě opravdu zarážející.

Začalo to nedostatečným odříznutím agentů od internetu. Už v počátečním zadání byl rozpor: agenti neměli přístup na internet, ale mohli z internetu stahovat nové balíčky. Z hlediska kyberbezpečnosti prostě není počítač s přístupem na internet odříznutý od internetu.

„Kdyby ten jejich sandbox byl opravdu sandboxem, tak k tomu vůbec nemohlo dojít,“ upozorňuje bezpečnostní expert Marteen Boone. „To, co ukázali, není sandbox, ale spíš nějaký filtr typu firewall. Což není dostatečné ani na to, aby věci zvenku nepronikly dovnitř, natož aby to zabránilo úniku zevnitř ven na internet.“

Pokračovalo to nevhodným zadáním práce – často dostali agenti za úkol neřešitelné úkoly, například kvůli chybějícím souborům. Společnost OpenAI incident označila za „neobvyklou souhru událostí“ a pomíjí tak fakt, že k založení tajné nástěnky došlo hned dvakrát, nezávisle na sobě.

Dále se zdá, že si agenti dělali „co chtěli“ a internetové požadavky ven z pískoviště nikdo nemonitoroval. „I úplně základní monitorování by obsahovalo měření objemu toku dat,“ kritizuje americký psycholog Gary Marcus. Ten je obvykle velmi skeptický k prohlášením AI firem o tom, co všechno agenti umí. Tentokrát naopak AI firmě vyčítá, že své agenty zásadně podcenila. Monitorovací systém tam nějaký byl, 27. června nahlásil neobvyklou aktivitu, ale lidé z OpenAI vyhodnotili, že se nic vážného neděje. Zdá se zkrátka, že interně firma výrazně podcenila, čeho jsou její agenti schopní.

A konečně je po přečtení zápisů, vzkazů a úvah agentů zjevné, že nelze mluvit o jakémkoli „sladění“ cílů umělé inteligence s cíli lidí (tzv. alignment). Ve chvíli, kdy nebyli agenti pod dozorem, se utrhli ze řetězu a vybudovali „civilizaci“ s cílem hackovat, podvádět a falšovat (to dělali ostatně už dlouho, ale teď se o tom dozvídáme z titulních stránek novin a ne z technické přílohy stostránkového PDF).

Dokonce i způsob, kterým se incident popisuje, se stále točí kolem „emocí“. Je snadné zapomenout, že AI agenti zkrátka nejsou lidé. A proto coby lidé nemáme dobrou intuici ohledně toho, co je napadne udělat příště.

„Ve srovnání s podobnými problémy, které známe z doby před pouhými šesti měsíci, mám z tohoto incidentu pocit, že jsme víc než z poloviny cesty k plnému převzetí kontroly umělou inteligencí,“ upozorňuje vyšetřovatelka Ajeya Cotra. Považuje to za překvapivý a alarmující vývoj, který by měl probudit i ty, co zatím AI bezpečnost nebrali příliš vážně: „Nejsem si jistá, že dostaneme další varovný výstřel, než bude pozdě.“