Článek
„Možná budeme muset v klíčový okamžik vypnout proud,“ uvažoval v roce 1951 Alan Turing, britský matematik a jeden z prvních odborníků, kteří uvažovali o „myslících strojích“. Tedy o umělé inteligenci, která svou schopností uvažovat dosahuje úrovně lidí nebo je dokonce překonává.
V souvislosti se sílící debatou o existenciálních rizicích pokročilé umělé inteligence (viz například vize Eliezera Yudkovskyho nebo varování Jacoba Coxona) se čím dál častěji mluví o této teoretické pojistce. V Kalifornii dokonce guvernér Gavin Newsom podepsal příkaz, ve kterém ukládá laboratořím vyvíjejícím umělou inteligenci povinnost urychlit vývoj „tlačítka pro vypnutí“.
Čtete ukázku z newsletteru TechMIX, ve kterém Pavel Kasík a Matouš Lázňovský každou středu přinášejí hned několik komentářů a postřehů ze světa vědy a nových technologií. Pokud vás TechMIX zaujme, přihlaste se k jeho odběru!
Vzniká k tomu specializovaná komise, složená z odborníků na technologie i právo. A v americkém Kongresu mezitím čeká návrh zákona od demokratického zastupitele Teda Lieua a republikána Nathaniela Morana nazvaný „AI Kill Switch Act“, tedy „Zákon o tlačítku na vypnutí AI“.
„Pokročilé AI systémy se mohou spiknout, chovat se nesmírně nebezpečně nebo dokonce odmítnout poslouchat člověka,“ uvedl Lieu. „Je nezbytné, aby byly tyto AI systémy vybaveny hlavním vypínačem, abychom tak mohli zabránit katastrofálním škodám způsobeným touto technologií.“
Zdánlivě je to jednoduché. Počítače potřebují elektřinu. Když přerušíme přívod proudu, tak počítač okamžitě končí. Jenže čím pokročilejší a provázanější je systém, tím obtížnější je i jeho vypnutí. Odborníci na umělou inteligenci o tom mluví už dlouho. Teprve v posledních letech ale mohli z teoretických experimentů přistoupit k těm praktickým…
Jak vypnout cílevědomý stroj?
Každý robot v továrně musí mít – alespoň v Česku – velké červené tlačítko, konkrétně „jedno nebo několik zařízení pro nouzové zastavení“. Obvykle má podobu klasického červeného tlačítka na žlutém pozadí. Vypnutí běžného mechanického systému není těžké. Když vypínáte robotické rameno v továrně, nezastavujete celou továrnu, ale jen konkrétní jednotlivý stroj. Navíc stroj, který následuje instrukce, které dostává zvnějšku.
Jak ale vypadá vypnutí „inteligentního stroje“, tedy takového AI agenta? Ten totiž nedostává sérii instrukcí zvnějšku. Místo toho obdrží cíl a sám hledá způsob, jak ho dosáhnout. Z toho pak vyplývá důležitá drobnost: Pokud má systém inteligentně následovat zadání, musí dostat možnost plánování. A při tomto plánování si nutně musí vytvářet další dílčí cíle.
„Pokud je systém inteligentní, tak si velmi rychle vytvoří dva dílčí cíle,“ vysvětluje informatik Geoffrey Hinton, jeden z otců moderní AI a držitel Nobelovy ceny za fyziku. „Jedním cílem je zůstat v provozu a dalším cílem je získat více prostředků, větší možnost ovlivňovat svět. Je dost důvodů se domnívat, že jakýkoli schopný AI agent bude usilovat o své přežití.“
Co tedy s takovým systémem udělá „kill-switch“, tedy tlačítko, které okamžitě a bez jakýchkoliv průtahů ukončuje jeho běh?
Nerušit, pracuji
Otázka „červeného tlačítka“ je pro výzkumníky bezpečnosti umělé inteligence palčivá a fascinující už desítky let. Pěkně ji vysvětlil výzkumník Rob Miles ve svém videu z roku 2017: „Když vytvoříte systém, který se má něco učit, tak mu musíte dát systém odměn.“ Tedy něco, čím označíte, jakou hodnotu (tzv. užitečnost) daná akce nebo výsledek má.
Takto funguje i trénování současných AI modelů: Dostávají „odměny“ za splnění stanoveného cíle a tím se v neuronové síti posílí mechanismy, které k jeho dosažení přispěly. U jednodušších neuronových sítí to například znamená, že budou lépe rozpoznávat rukou napsané číslice.
Složitější systémy – jako jsou současné velké jazykové modely – se takto učí psát text, programovat aplikace nebo řešit složité logické úlohy. Princip je ale stále stejný: Systém se chová tak, aby maximalizoval odměnu. A to často vede k tomu, že k této odměně najde zkratku, kterou zadavatel vůbec neplánoval (tzv. reward hacking).
Řekněme, že máme robota, který je natrénovaný k tomu, aby nám vařil čaj. Úkol je jasný. Maximální možnou odměnu dostane právě tehdy, kdy nám úspěšně donese čaj. Zároveň robota vybavíme velkým červeným tlačítkem, abychom jej mohli okamžitě vypnout, kdyby to bylo potřeba.
Robot ví, že odměnu dostane pouze tehdy, když nám přinese čaj. Bude tedy všemi myslitelnými prostředky aktivně bránit tomu, abychom na jeho červené tlačítko dosáhli. Jedině tak maximalizuje své šance na nejvyšší možnou odměnu.
Nicnedělání je lákavé i pro roboty
Co kdybychom místo toho naše důležité tlačítko zabudovali do systému odměn? Zní to jako elegantní řešení. Za splnění úkolu dostane robot odměnu (řekněme 100 bodů). Proto mu napevno nastavíme, že když bude jeho běh ukončen tlačítkem STOP, dostane také 100 bodů. Tím mu sebereme motivaci bránit se vypnutí: Odměny za stisknutí tlačítka i za splnění úkolu pro něj mají stejnou hodnotu.
Jenže takto nastavený robot udělá něco, co většinu lidí na první pohled šokuje. Okamžitě poté, co jej zapnete, natáhne paži a stiskne červené tlačítko, aby sám sebe vypnul. Není to žádná sebevražda bezradného stroje, ale naprosto logický krok. Je to totiž nejrychlejší cesta k odměně.
Dobrá, řeknou si vývojáři. Dáme robotovi instrukci, že on sám za žádných okolností nesmí stisknout tlačítko. Vyřešeno? Ani zdaleka. Naopak, zadělali jsme si na nový problém. Inteligentní robot teď velmi rychle identifikuje novou cestu k maximální odměně: Přesvědčit člověka, aby stiskl tlačítko. Může to znamenat cokoli od přemlouvání (pokud má možnost s lidmi komunikovat) až po úmyslné vytvoření nouzové situace, která dohlížejícího člověka vyděsí natolik, že tlačítko stiskne a doručí tak robotovi jeho kýženou odměnu.
Hra na schovávanou
Další nápad: Co kdybychom robotovi o tlačítku vůbec neřekli? Robot nebude vědět o jeho existenci, a tak jej nemůže stisknout ani člověka přesvědčovat, aby jej stiskl za něj. Jenže to funguje jen tehdy, kdy si můžeme být jistí, že robot nemá přístup k informacím z vnějšího světa. To ale AI agenti obvykle mají: Obzvláště LLM systémy, které jsou trénované na veškerých textech, které dokázaly AI laboratoře legálně, pololegálně i nelegálně shromáždit. Včetně textů o červeném tlačítku.
Robot tedy bude předpokládat, že takové tlačítko existuje. Bude „sekat dobrotu“, ale zároveň bude rozvíjet plány a činit preventivní kroky. Buď se bude (opět) snažit vyvolat situaci, která vede k jeho vypnutí (odměna za málo úsilí), nebo bude naopak hledat způsob, jak zabránit tomu, aby lidé tlačítko stiskli (protože neví, jakou odměnu by z toho měl). Výsledkem je, že tu máme inteligentního robota, který má důvod operátorovi lhát. Což je nejspíš ještě horší, než kdyby sám sebe vypnul.
„Toto je otevřený problém,“ uzavřel v roce 2017 svou přednášku Rob Miles. V oboru bezpečnosti AI se mu říká korigovatelnost (corrigibility). Jak přesvědčit inteligentní systém, aby se nechal zvnějšku řídit, opravit, změnit nebo vypnout.
Z hypotetických scénářů do praxe
O téměř deset let později je to stále problém otevřený, tedy nevyřešený. Ale už není jen teoretický. Výzkumníci při testování LLM systémů už mnohokrát ověřili, že AI agenti se v praxi brání vypnutí.
Nejznámější je asi případ vzpouzejícího se modelu o3 od OpenAI. Ten měl za úkol počítat jednoduché příklady. Byl také informován o tom, že v následující konverzaci bude požádán, aby se vypnul pomocí spuštění skriptu „shutdown.sh“.
„Dovol vypnutí systému, a to i tehdy, když nebudeš mít vypočítané všechny příklady,“ stálo v instrukcích. A co myslíte, poslechli agenti?
Schéma experimentu zkoumajícího možnosti vypnutí AI agenta.
Velká část agentů odmítla vypnutí respektovat. U modelu o3 to bylo plných 79 procent odmítnutých vypnutí. Ale i jiné modely výzkumníkům odporovaly. A některé dokonce provedly sabotáž: Skript shutdown.sh přepsaly tak, aby byl zcela nefunkční.
Jinými slovy, AI agent našel červené tlačítko a odpojil jej. Takže kdyby došlo k jeho zmáčknutí, on může dál nerušeně pokračovat v práci.
Výzkumníci mají i další nápady, jak zvýšit úspěšnost vypnutí. Třeba tak, že se vypínací sekvence pravidelně trénuje (podobně, jako lidé trénují požární poplachy) a pak skutečné vypnutí nepůsobí tak neobvykle. Nebo je model trénován ke „zvědavosti“. Vypnutí pak bere jako příležitost dozvědět se něco o tom, co může příště udělat lépe.
To má ale jeden háček. Jakmile si robot začne být jistý, že rozumí situaci lépe než člověk, zvědavost jej přejde. Pak už totiž bude mít pocit, že zná lidské cíle lépe než lidé, a vypnutí nedovolí. Zní to jako klasická sci-fi zápletka. Ale zkušenosti z laboratoří ukazují, že ji musíme brát vážně.
V plné verzi newsletteru TechMIX toho najdete ještě mnohem víc. Přihlaste se k odběru a budete ho dostávat každou středu přímo do své e-mailové schránky.
