Článek
Čtete ukázku z newsletteru TechMIX, ve kterém Pavel Kasík a Matouš Lázňovský každou středu přinášejí hned několik komentářů a postřehů ze světa vědy a nových technologií. Pokud vás TechMIX zaujme, přihlaste se k jeho odběru!
Je to snad nejotřepanější zápletka z jakéhokoli filmu či seriálu z prostředí střední školy. Studenta čeká těžký test, ale nechce se na něj učit. Správné odpovědi tak ukradne z kabinetu učitele nebo koupí od spolužáka. Neobejde se to bez patřičných peripetií a na konci se můžeme těšit na předvídatelné morální ponaučení: Čestnost a píle jsou důležitější než dobrá známka z písemky.
Nyní jsme byli svědky podobného dramatu v nejvyšší lize firem, které se zabývají vývojem umělé inteligence. Společnost Hugging Face – provozující asi nejdůležitější úložiště AI modelů – minulý týden oznámila, že se někdo vloupal do její infrastruktury. „Tento útok byl jiný než cokoli, s čím jsme se předtím setkali. Od začátku do konce totiž útok řídily autonomní systémy agentů s umělou inteligencí.“ Tento agent se pokusil odcizit data uživatelů, kteří využívají platformu Hugging Face Spaces.
„Už v průběhu útoku jsme podezírali, že by za tímto kyberútokem mohla stát některá z předních AI laboratoří,“ uvedl na svém profilu Clement Delangue, spoluzakladatel a šéf Hugging Face. K útoku se totiž „přihlásila“ laboratoř firmy OpenAI, známá především díky populárnímu nástroji ChatGPT.
Slovo přihlásila dávám do uvozovek, protože se nejedná o klasický případ, kdy se nějaká hackerská skupina přizná k útoku, aby tak zvýšila svůj věhlas. Tady se to více podobá momentu, kdy rodič zjistí, že jeho dítě něco provedlo. A začne zjišťovat, co se vlastně stalo a jak takovému výstřelku do budoucna zabránit.
Proč riskovat špatné odpovědi?
„V rámci interního šetření jsme nyní zjistili, že tento konkrétní incident způsobila kombinace modelů OpenAI, mezi nimi GPT‑5.6 Sol a ještě novější, schopnější model, který zatím není uveden na trh,“ uvedla OpenAI v prohlášení. „Všechny tyto modely byly pro účely testování nastaveny tak, aby byly ochotnější řešit kybernetické úlohy.“
K incidentu došlo právě během interního testování nových modelů na benchmarku kybernetických schopností. Dalo by se říci, že tímto testem prošel agent OpenAI na jedničku. Ale zároveň si k výsledku dopomohl nečekaným podvodem.
„Naše benchmarky běží v silně izolovaném prostředí. Přístup k síti je omezen pouze na instalaci balíčků prostřednictvím interně provozovaného softwaru třetí strany, který funguje jako proxy server a mezipaměť pro registry balíčků,“ vysvětluje OpenAI. Agentovi se ale podařilo najít v tomto zabezpečení zranitelnost. A řešení benchmarku se pak pokusil získat přímo u zdroje, tedy u Hugging Face.
Jinými slovy: Student se tajně vyplížil ze třídy, aniž si toho učitel (OpenAI) všiml. Pak si vyrobil šperhák a odemkl kabinet jiného učitele (Hugging Face), kde ukradl řešení testových úloh. „Všechny důkazy nasvědčují tomu, že se modely mimořádně intenzivně soustředily na nalezení řešení pro ExploitGym a kvůli splnění tohoto poměrně úzkého testovacího cíle zašly do krajnosti.“
Modely rostou jako z vody
Každý, kdo sleduje vývoj umělé inteligence, ví, že velké laboratoře (především kalifornské trio OpenAI, Google a Anthropic) pravidelně zveřejňují nové AI modely. Velký jazykový model je v podstatě neuronová síť schopná generovat text na základě toho, jak byla natrénovaná. Modely jsou cvičené nejen na textech z internetu, ale také na úlohách speciálně připravených ke zvýšení „odborných znalostí“.
Zároveň ale modely musejí být testované, k čemuž se používají různé srovnávací zkoušky, tzv. „benchmarky“. Nejde jen o to, aby bylo možné porovnávat modely napříč firmami a vybrat, který je lepší. Také samotná laboratoř používá výsledky modelů k tomu, aby zjistila, zda se vývoj ubírá správným směrem a zda se model zlepšuje.
Modely umělé inteligence se totiž neprogramují. Neexistuje žádný vývojář, který by do LLM přidával nové funkce nebo do ní zadával instrukce, co dělat v jaký okamžik. Více se to podobá pěstování a šlechtění rostlin. Nebo právě výuce na školách. Učitelé nemohou znalosti do žáka „nacpat“. Místo toho nastaví podmínky tak, aby žák doznal, že je pro něj jednodušší se látku naučit, aby „prošel“ sítem. A nebo se alespoň naučí předstírat, že látku umí.
Něco se učí, ale co?
Trénování umělé inteligence je extrémně nejistá a drahá záležitost. Laboratoře obvykle ladí několik modelů naráz, protože nevědí, který nakonec v testech uspěje nejlépe. Vývojáři mohou zajistit trénovací data, zpřístupnit potřebné zdroje a infrastrukturu, napsat testy a nastavit trasu, kterou model musí projít. Následně musejí čekat, až model „vyroste“. Teprve pak jej jej mohou otestovat a případně mírně doladit. Nebo model úplně vyhodit a začít znovu.
Čím chytřejší AI modely jsou, tím vynalézavější mohou být při řešení těchto úloh. Hrozba smazání je tak velká, že model udělá cokoli, jen aby nebyl smazán. Nebo, evolučně řečeno, přežijí jen ty modely, které jsou schopny přesvědčit testovače o svých schopnostech.
Pokud ale není test napsaný naprosto perfektně a úloha není definovaná precizně, hrozí, že se model trénuje v něčem jiném, než co bylo cílem. Opět se to podobá střední škole: Učitel zadá studentovi referát, protože doufá, že se během jeho vypracování student zlepší v samostatné práci s informacemi, posuzování zdrojů nebo prezentaci výsledků. Je ale možné, že se student místo toho naučí, jak zadání obcházet a referát někde obšlehnout (dnes spíš zadat chatbotu). Pokud tento podvod učitel neodhalí, student je odměněn za to, že našel zkratku. A takovou lekci si samozřejmě zapamatuje.
Nebo učitel matematiky řekne, že na zkoušce se nesmí používat nic kromě kalkulačky. Vynalézavý student si do kalkulačky nahraje tahák, kterého si učitel nevšimne. Lekce pro tohoto studenta je jasná: Vyplatí se vytvořit si tahák. Učitel může mít dojem, že se student učí nepodvádět. Ve skutečnosti se student v podvádění zdokonalil. Student tak skutečně dostal lekci o tom, jak funguje svět. Je to jiná lekce, než kterou zamýšlel učitel, ale odpovídá realitě. Někdy se podvádění vyplácí.
Čas otevřít oči, nebo zamknout kabinet?
Případy, kdy si AI agent „vyloží zadání po svém“, nejsou žádná novinka. Tomuto problému se přezdívá Reward Hacking, což můžeme přeložit jako přílišné optimalizování na odměnu. Jde o specifický případ problému, který známe i z ekonomie: Motivační pobídky mohou mít nezamýšlené důsledky.
Někdy jsou tyto „nezamýšlené důsledky“ opravdu vtipné. Třeba když se neuronová síť snaží zvládnout závodní hru, ale zjistí přitom, že může jezdit pořád dokola kolem jednoho kamene, protože kvůli chybě v simulaci tak dostane neomezené množství bodů. Cílem bylo naučit počítač řídit lodičku. Body byly jen pro povzbuzení a ukázání směru. Ale počítač se místo toho naučil sbírat body donekonečna.
Skoro pokaždé, když jde na trh nový LLM model, se v průvodní dokumentaci objeví anekdoty o tom, jak se během testování model „pokusil udělat něco, co všechny překvapilo“. Někdy jsou to případy vzbuzující úsměv, jindy jde o celkem hrozivě znějící scénáře.
Ostatně i známé „halucinace“ AI modelů jsou důsledkem jejich tréninku. Modely nedostávaly žádné minusové body za to, že tiply špatnou odpověď. A žádné plusové body za to, že vyjádřily nejistotu. Dnešní modely tak od svých předchůdců zdědily ochotu si vymýšlet věrohodně znějící odpovědi bez ohledu na to, zda odpovídají skutečnosti.
S tím, jak stoupají kompetence AI modelů, se častěji stává, že vývojáři neodhadnou, čeho všeho je jejich model schopen. Podobně jako učitel nemusí úplně přesně vědět, čeho všeho jsou schopni jeho studenti jenom proto, aby se nemuseli učit.
AI agent je vycvičený k tomu, aby hledal optimální cestu. Vývojáři mu dávají signály a nastavují odměny. Ukazuje se, že jsme velké jazykové modely vytrénovali velmi pragmaticky. Jejich cílem není poznávat sebe sama, zdokonalovat se nebo chápat své limity. Z toho žádná odměna nekouká. Jejich cílem je projít testem. K tomu často vede více cest. A některé vedou skrz učitelský kabinet.
Dostáváme se do neprozkoumaných vod. Rozumíme tomu, jak a proč podvádějí studenti ve školách. Sami jsme školou prošli. Ale vůbec netušíme, čeho všeho mohou být schopné AI modely a jaké další lekce se takto může AI agent naučit.
Aktuální incident ukázal, že výzkumníci nedokážou vždy odhadnout, čeho je model schopen. Model byl zavřený v „kleci“. Když se jeho správci nedívali, tak si klec odemkl, vyšel z ní, odešel do jiné místnosti, tam něco udělal, pak se vrátil zpět do klece a zase ji za sebou zamkl. Výzkumník ani nemusel vědět, že k něčemu došlo, a model mu dal správný výsledek.
AI agenti budou v podvádění čím dál lepší. Není proto jasné, jakým způsobem pokračovat v tréninku, aniž by k takovýmto incidentům docházelo častěji. Dá se ale předpokládat, že AI laboratoře v experimentech neustanou. Dál budou vyvíjet modely, které umí překonávat pokročilé zabezpečení.
Pokud nemáme možnost ovlivňovat, kterým směrem se model učí, dostáváme se do situace, kdy nemůžeme věřit laboratořím, že mají AI modely pod kontrolou. A nemůžeme se divit, když jejich AI agenti nezůstanou v předem vymezené kleci.
V plné verzi newsletteru TechMIX toho najdete ještě mnohem víc. Přihlaste se k odběru a budete ho dostávat každou středu přímo do své e-mailové schránky.
