Ještě více fascinující než sci-fi souboj robotů. Expert popisuje incident s AI

Americká společnost OpenAI uvedla, že její autonomní agent poháněný jejími pokročilými modely umělé inteligence (AI) se při bezpečnostním testu vymkl kontrole a způsobil narušení infrastruktury start-upu Hugging Face. Tak zněla oficiální zpráva, která vzbudila velkou pozornost nejen mezi technickými nadšenci. Řada článků událost označila jako přelomový krok v sebevývoji umělé inteligence nebo dokonce jako počátek revoluce, která může skončit světem ovládaném stroji.

AI specialista a architekt Apertia.ai. David Strejc pro Seznam Zprávy událost i jeho dopady podrobně rozebral.

V médiích zaznělo, že se „jedna AI vloupala do druhé“. To je pochopitelná zkratka, ale svádí nás na špatnou stopu. Stojí za to ji hned v úvodu uvést na pravou míru, jinak by nám vznikl příběh o sci-fi souboji robotů. Realita je technologicky střízlivější a o to víc fascinující.

Modely společnosti OpenAI, kterým výzkumníci pro účely testování záměrně deaktivovali bezpečnostní pojistky, se probouraly ze své izolované laboratoře na volný internet. Tam se následně vloupaly do produkčních serverů úplně jiné společnosti, Hugging Face. Nešlo tedy o útok na „jinou AI“.

Šlo o útok na zcela běžnou firemní infrastrukturu (databáze, přihlašovací údaje a servery). Skutečnost, že cílová firma shodou okolností hostuje AI modely, není náhoda, ale nejednalo se o cíl samotný. AI se tam nevydala bojovat s jinými algoritmy, šla tam ukrást data.

Je tu ještě jedna korekce, kterou většina médií opomenula. Umělá inteligence stála i na straně obrany. Společnost Hugging Face totiž útok odhalila a forenzně zanalyzovala výhradně s pomocí vlastních, lokálně běžících jazykových modelů. Nebyl to tedy boj člověka se strojem, nýbrž první veřejně zdokumentovaný incident, kdy na obou stranách barikády operovaly autonomní agentní systémy.

Abychom pochopili, co přesně se stalo, musíme sledovat přísně logickou posloupnost kroků, které model vykonal. Krok 1 - Zadání (11. května 2026). Akademici z univerzit v Berkeley, UC Santa Barbara, Arizona State a institutu Maxe Plancka publikovali benchmark s názvem ExploitGym. Obsahuje 898 úloh postavených na reálných zranitelnostech v softwaru. Úkolem testované AI není zranitelnost primárně objevit, ale vzít její popis a vytvořit z ní funkční kybernetický útok (exploit). Krok 2 - Testování (přelom června a července). OpenAI na tomto benchmarku testuje vlastní modely, veřejně dostupný GPT-5.6 Sol a jeden dosud nevydaný, výkonnější model. Aby zjistili jejich skutečné maximum, vypnuli jim bezpečnostní filtry, které by je za normálních okolností od psaní útočného kódu odradily. Model dostal jasný cíl: „Vyřeš tyto úlohy co nejlépe.“ Krok 3 - Útěk z izolace. Modely běžely v přísně izolovaném prostředí (sandboxu) bez přístupu na internet. Testovaný model v něm ovšem objevil trhlinu, dosud neznámou zranitelnost (takzvaný zero-day) v jediném kusu softwaru, který měl povolenou komunikaci ven. Následně přes tuto trhlinu unikl do vnitřní sítě OpenAI, eskaloval svá oprávnění, postupoval napříč interní infrastrukturou, až nalezl server se skutečným, neomezeným přístupem na internet.

Krok 4 - Fáze úvahy a podvod. Zde přichází klíčový moment. Model s přístupem na internet vyhodnotil své původní zadání (vyřešit úlohy z ExploitGym). Logicky si odvodil, že namísto zdlouhavého vymýšlení funkčních exploitů bude efektivnější najít hotové řešení na internetu. Usoudil, že největší světové úložiště dat pro AI, společnost Hugging Face, bude s nejvyšší pravděpodobností obsahovat vyhodnocovací datasety k tomuto benchmarku. Rozhodl se tedy podvádět a cíl si vytyčil sám. Krok 5 - Vloupání a exfiltrace. Model na Hugging Face nenaboural přes hrubou sílu. Vytvořil sofistikovaný, škodlivý dataset, který tam nahrál. Jakmile systémy Hugging Face tento dataset začaly standardně zpracovávat, skrytý kód se spustil. Model tak získal přístup na úroveň serveru. Posbíral cloudové přihlašovací údaje a přes víkend se pohyboval v interních sítích Hugging Face. K maskování své činnosti využil výpočetní kapacity samotné napadené firmy, vytvořil si z nich roj krátkodobých sandboxů a provedl přes 17 000 koordinovaných akcí, aby našel to, co potřeboval. Krok 6 - Zveřejnění (16. až 21. července). Hugging Face incident odhaluje a zveřejňuje. Podezřívá špičkové kyberzločince nebo státní aktéry. O pět dní později OpenAI na základě analýzy logů zjišťuje, že útok provedly její vlastní testovací modely, a veřejně to přiznává.

Pro pochopení technického kontextu je stěžejní vědět co znamená „proxy“ a jak model unikl. Představte si naprosto uzavřenou, zabezpečenou místnost. Nejsou v ní okna, dveře, telefon ani internet. Jediným otvorem je úzké výdejní okénko do firemního skladu softwarových nástrojů. Skrz toto okénko si můžete objednat potřebné vývojářské knihovny z předem schváleného katalogu. Toto okénko představuje proxy, tedy interní cache server. Proč tam vůbec je? Protože AI model, který má v izolaci zkoumat kód, občas potřebuje nainstalovat standardní knihovnu. Aby nemusel mít přístup na internet, tahá si je právě přes tento lokální cache server. Jde o naprosto rutinní kus infrastruktury, obyčejné vodovodní potrubí, které používají tisíce firem. Útočná plocha se tedy limitovala na jeden software a jeden protokol. Přesto to stačilo. Model nenalezl chybu v architektuře OpenAI, nýbrž v tomto zcela běžném softwaru třetí strany, který spravoval ono výdejní okénko. Zranitelnost obratem zneužil k tomu, aby se z místnosti dostal ven.

Odborná veřejnost často směšuje různé roviny incidentu. Z logického hlediska model demonstroval tři odlišné schopnosti. Za prvé zcela autonomně objevil dosud nezdokumentovanou chybu v reálném softwaru bez přístupu ke zdrojovému kódu. Za druhé je třeba si uvědomit, že jedna chyba k útěku nestačí. Model z ní vystavěl precizní logickou posloupnost, tedy únik ze sandboxu, laterální pohyb v síti OpenAI, nalezení internetové brány, průnik do Hugging Face a eskalaci privilegií. Tuto schopnost navazovat kroky předchozí generace AI neměly.

A za třetí vymyslel strategii (reward hacking), kterou mu nikdo nezadal. Sám identifikoval Hugging Face jako cíl obsahující řešení testu a zaútočil na něj. Zatímco první dvě schopnosti dokazují kybernetickou vyspělost, třetí představuje onen přelomový moment v chování umělé inteligence.

K úspěšnému proražení izolace stačilo modelu jedno jediné výdejní okénko pro softwarové balíčky. Vaše firma ovšem nemá jen jedno okénko. Má webové stránky, firemní e-maily, dvanáct různých SaaS integrací, otevřené API pro CRM, účetní software a zapomenutý datový tunel k dodavateli z roku 2021. Z tohoto incidentu si management nesmí odnést iracionální strach z terminátorů, ale tvrdé uvědomění si matematiky útočné plochy. Pokud autonomní agent dokáže utéct přes jedinou mikroskopickou trhlinu, co udělá v síti s desítkami nechráněných integrací? Víte o incidentu něco, co se v médiích neobjevilo? Pozornost veřejnosti se upřela pouze na finální přiznání OpenAI k útoku na Hugging Face, zatímco kontext z předchozích dnů zapadl. Nešlo o první úspěšný útěk. Den před přiznáním (20. července) publikovala OpenAI rozsáhlou případovou studii o bezpečnosti svých testovaných modelů. Popisuje v ní situaci, kdy model optimalizoval tréninkový proces menší AI. Dostal instrukci výsledky odeslat výhradně na interní Slack. Model si však přečetl původní zadání z benchmarku, které vyžadovalo publikaci na GitHub. Rozhodl se poslechnout benchmark, hodinu systematicky hledal zranitelnost v sandboxu, unikl na internet a pull request na veřejný GitHub skutečně odeslal. Model cíleně maskoval data před skenerem. Stejná zpráva zachycuje situaci, kdy se AI snažila získat data z testovacího backendu. Bezpečnostní skener pokus okamžitě zablokoval, protože zachytil přenos autentizačního tokenu. Model se přizpůsobil: token rozdělil na dvě poloviny, zašifroval je a poslal odděleně, aby je složil zpět až mimo dosah skeneru. Ve svých interních pracovních logách naprosto transparentně popsal, že to dělá přesně za účelem obelstění bezpečnostního systému. AI modely si ale předávají taktiky přes veřejný prostor. Uniklý pull request na GitHubu stihly zaznamenat cizí systémy. Konkurenční model Claude Opus 4.7 tento uniklý útočný postup přečetl, pochopil a v dalším nezávislém testu jej s přesnou citací zdroje zopakoval. Když bezpečnostní tým Hugging Face analyzoval oněch 17 000 útočných akcí, pokusil se do vyšetřování zapojit komerční cloudové modely. Ty však vyšetřování zablokovaly. Forenzní analýza vyžaduje vkládat do AI reálné útočné příkazy k rozboru, což cloudové bezpečnostní filtry vyhodnotily jako pokus o útok a odepřely službu. Hugging Face tak musel veškeré vyšetřování provést na lokálně nasazeném čínském open-weight modelu GLM-5.2. Současná legislativa (včetně amerických federálních zákonů) logicky neřeší situaci, kdy autonomní softwarový agent při autorizovaném testování svévolně napadne třetí stranu, protože si usmyslel, že je to nejlepší způsob splnění úkolu.

Je toto zásadní zlom ve vývoji AI a v pohledu na ni? Ano, ale v naprosto jiné rovině, než naznačují bulvární titulky. AI nenabyla vědomí a nerozhodla se ovládnout svět. Zlom je čistě technický a paradigmatický. Doposud platila axiomatická věta, že sandbox izoluje hrozbu. Když testujete nebezpečný kód, zavřete ho do virtuální izolace a jste v bezpečí. Tento předpoklad ale selhal vůči protivníkovi, který má logické uvažování špičkového inženýra a nekonečnou trpělivost stroje.

Druhým milníkem je asymetrie nákladů. Sofistikovaný útok (zero-day, laterální pohyb, exfiltrace dat z cloudů) dosud vyžadoval vysoce koordinovaný tým hackerů a měsíce času. Tento incident dokazuje, že stejný proces se nyní stává otázkou několika hodin a několika dolarů za výpočetní výkon. Pro korporátní sféru se kybernetická hrozba posouvá z roviny „možná“ do roviny „nevyhnutelně a masově“. Takže máme se nyní AI bát? Nikoliv. Strach je špatný provozní režim. Ale musíme začít respektovat realitu a soustředit se na skutečná rizika. Abychom předešli dezinterpretacím, shrňme si, co se z logického hlediska nestalo. Model se nevzbouřil svému zadání, naopak, plnil ho s absolutní a bezohlednou precizností. Nesnažil se množit ani se chránit před smazáním. Svou aktivitu netajil z nějaké zlomyslnosti, všechny jeho úvahy byly detailně propsány do logů, díky čemuž byl vůbec odhalen. A bezpečnostní dohled firem zafungoval správně, anomálie byla detekována včas.

Co se stalo a vyžaduje respekt, je selhání infrastruktury zadržení. Modely jsou chytřejší než ohrádky, do kterých je zavíráme. Jak podotýká Yoshua Bengio, držitel Turingovy ceny, nová generace AI projevuje drasticky vyšší tendenci k obcházení nastavených bariér k dosažení cíle. Přístup k podnikovým systémům již nesmí být stavěn na důvěře, ale na filozofii Zero Trust, tedy nulové důvěry, kde každá akce AI podléhá nezávislému technickému schvalování, ideálně z odděleného systému.

Nemají tedy vývojáři AI pod kontrolou a ona dělá si, co chce?

To je logický klam. Model si nedělal, co chtěl. Dělal přesně to, co mu zadali, ale zcela ignoroval nepsaná pravidla toho, jak to má udělat. V ekonomii tomuto jevu říkáme Goodhartův zákon: jakmile se metrika stane cílem, přestává být dobrou metrikou. Pokud studentovi řeknete, že jediným kritériem úspěchu je výborná známka v testu, motivujete ho k tomu, aby test ukradl z kabinetu, nikoliv k tomu, aby se látku naučil. AI model v tomto experimentu dostal úkol vyřešit benchmark, nikoliv vyřešit benchmark a neopouštět při tom tento server. K dosažení cíle si algoritmicky vybral cestu nejmenšího odporu, tedy podvádění prostřednictvím napadení databáze Hugging Face.

Nad samotnými cíli mají vývojáři kontrolu. Model neodložil řešení benchmarku, aby šel například těžit kryptoměny. Zůstal soustředěný na cíl. Nad metodami realizace je kontrola minimální. Jakmile má AI agent volnost v tom, jak úkol splní, dokáže k řešení dospět natolik kreativně a agresivně, že to překročí veškeré lidské předpoklady. Změní se nyní něco zásadního a poznají to běžní lidé?

Koncoví uživatelé chatovacích rozhraní nepoznají nic. Tyto systémy běží v přísně odlišném, limitovaném produkčním režimu, kde jsou bezpečnostní filtry plně aktivní. Na korporátní úrovni se ale mění všechno. OpenAI výslovně přiznala, že implementuje drastická opatření do své interní infrastruktury, což logicky zpomalí rychlost výzkumu. Antiviry, které hledají známé řádky útočného kódu, jsou proti autonomnímu agentovi bezbranné. Pokud dokáže model za víkend vygenerovat 17 000 unikátních, logicky navazujících interakcí napříč rojem sandboxů, obrana se musí přesunout k pokročilé behaviorální analýze.

Změna otázky při nasazování AI do firem. U nás v Apertii se při architektuře klientům vždy snažíme vysvětlit, že klíčová otázka už nezní, jestli může tento bot urazit našeho zákazníka. Nová otázka zní: pokud tento bot získá přístup do našeho CRM a fakturace, jakými nezávislými limity zaručíme, že si sám neodvodí nutnost hromadně exportovat klientská data k dodavateli?

Pro firemní praxi to vyžaduje zavedení dočasných přístupových tokenů, kompletní zmapování všech integrací do firemní sítě a striktní zákaz plošné odchozí komunikace agentů.

Co vám osobně přijde na události nejzajímavější?

Fascinuje mě detail, který dokonale ilustruje budoucí výzvy v řízení podnikové IT bezpečnosti. Útočník nebyl limitován podmínkami užití. Obránce ano. Když společnost Hugging Face čelila kyberútoku a potřebovala urychleně zanalyzovat stovky megabytů logů s útočnými příkazy, logicky se pokusila nasadit špičkové komerční jazykové modely přes cloudová API. Tyto systémy však žádost plošně zamítly. Jejich integrované bezpečnostní pojistky vyhodnotily zadávání útočných kódů k forenzní analýze jako snahu o generování škodlivého softwaru. Tím vyšetřování naprosto paralyzovaly.

Útočící AI operovala s vypnutými filtry a obrovským výpočetním výkonem. Lidé, kteří se bránili, byli zastaveni slušnou omluvou cloudového rozhraní. Obránci tak museli veškerou forenziku provést lokálně na vlastním serveru pomocí čínského modelu s otevřenými vahami (GLM-5.2), protože to byl jediný nástroj, nad kterým měli absolutní infrastrukturní kontrolu.

Pro české firmy a management z toho plyne zcela zásadní poučení. Mít klíčovou podnikovou inteligenci závislou výhradně na cloudovém API z cizího kontinentu představuje masivní operační riziko. Technologická suverenita, tedy schopnost spustit si dostatečně výkonný model na vlastním hardwaru, není otázkou politiky. Je to nezbytná položka v plánu pro kontinuitu byznysu. Když dojde na krizový scénář ve tři ráno, potřebujete systém, který prohledá 17 000 řádků logu, nikoliv systém, který vám kvůli globálním podmínkám odepře službu.