Pentagon chce virtuálního pomocníka bez limitů, Trump hrozí radikálním krokem

Analýzu si také můžete poslechnout v audioverzi.

Těsně před začátkem dramatického útoku na Irán jsme minulý týden jsme mohli sledovat slovní a právní přestřelku mezi americkou armádou a americkou firmou.

Útržkovité zprávy byly jak vystřižené z každého sci-fi thrilleru: armáda chce po vědci, aby svůj vynález propůjčil generálům, vědec to odmítá. Obsazení hlavních rolí snad ani nemohlo být stereotypičtější: na jedné straně rozčilený prezident se svým nově přejmenovaným „ministerstvem války“ (dříve ministerstvo obrany), na druhé vědec, který dlouhodobě píše o bezpečnosti umělé inteligence.

„Šílení levičáci z Anthropicu udělali katastrofální chybu, když si mysleli, že mohou vyhrát přetahovanou s ministerstvem války,“ oznámil americký prezident Donald Trump na své sociální síti. „Jejich sobeckost ohrožuje americké životy, naše vojáky a naši národní bezpečnost.“

Všem složkám americké vlády v příspěvku nařídil, aby okamžitě přestaly používat jakékoli služby a technologie této americké AI firmy. Jinde než na sociální síti to dosud nezaznělo, takže těžko dovozovat, zda to lze považovat za oficiální pokyn, či jde spíše o stupňování prezidentova nátlaku.

Trump tak reagoval na fakt, že Anthropic odmítl ustoupit požadavkům Pentagonu. Armáda jejich jejich systém Claude (tzv. velký jazykový model, LLM) používá na řadu blíže nespecifikovaných věcí. Na veřejnost uniklo, že se Claude podílel například na plánování a realizaci vojenských operací ve Venezuele nebo nyní v leteckém úderu na Irán.

Americká armáda tedy zjevně již nyní spatřuje v Claudovi přínos. To je ostatně zřejmé i z toho, že Anthropicu hrozila, že je k dodávkám donutí: „Chtěli použít válečný zákon (z roku 1950 – pozn. red.) k tomu, aby nás dotlačili k odstranění našich bezpečnostních pojistek,“ popsal později vyjednávání Dario Amodei, šéf firmy.

Jinými slovy, Trumpova administrativa současně tvrdila, že je Anthropic nepostradatelný pro národní bezpečnost, a zároveň že je nebezpečný a nikdo z americké vlády (nejen armáda) by jej neměl používat, protože národní bezpečnost ohrožuje.

Co se tedy za zjevným protimluvem skrývá?

Z Trumpova líčení by se zdálo, že Anthropic je nějaká pacifistická organizace, která odmítá využití jejich AI k jakýmkoliv vojenským účelům. Mluví totiž o podmínkách použití, a ty skutečně jsou poměrně striktně proti násilí.

Pokud by jakýkoliv jiný uživatel zkusil chatbota Claude použít k vojenským účelům, pravděpodobně by narazil. Chatbot má řadu bezpečnostních omezení a systémových filtrů, které mají bránit jeho zneužití například ke kyberútokům.

Ale americká armáda používá speciální verzi Clauda, která běží na bezpečné infrastruktuře od firmy Amazon, aby splňovala nároky na zacházení s tajnými a přísně tajnými informacemi. Tento „armádní Claude“ není ten, ke kterému mají přístup ostatní. Naopak, Anthropic byla úplně první firma, která svůj chatbot dokázala nabídnout americké armádě tak, aby jej mohla používat.

„Anthropic vlastně nejvíce ze všech AI společností vycházel vstříc spolupráci s americkou vládou a americkou armádou,“ uvedl v rozsáhlém rozhovoru pro televizi CBS šéf společnosti. „Byli jsme první společností, která nasadila své modely na šifrovaný cloud (u Amazonu – pozn. red.). Byli jsme první společností, která vytvořila vlastní modely pro účely národní bezpečnosti. Naše služby jsou nasazeny napříč zpravodajskou komunitou a armádou pro účely jako jsou kybernetické nebo bojové podpůrné operace a podobné věci.“

Vyvrací tak představu nějakého pacifismu: „Řekli jsme ministerstvu války, že souhlasíme v podstatě s 98 nebo 99 % případů využití, které požadují.“ Vymínili si pouze dvě omezení. Dvě „červené linky“, které odmítali překročit, a nechtěli armádě teoreticky ani prakticky umožnit, aby jim v případě takových požadavků umělá inteligence Claude vyhověla.

Americká armáda naopak prosazovala jinou formulaci. Chtěli, aby umělou inteligenci mohli nasadit na „všechny legální úkony“.

Proč si tedy soukromá firma přisvojuje nárok diktovat armádě, jak nástroj používat a jak ne, když by bylo jasně dáno, že to musí být legální? K pochopení argumentace, za kterou si Anthropic stojí navzdory finančním ztrátám, je nutné se na tyto jejich „nepřekročitelné hranice“ podívat jednotlivě.

První omezení se týká nasazení umělé inteligence pro zabíjení „bez kontroly člověka“. Šlo by například o systém, kdy dron nebo hejno dronů operuje nad určitým územím a umělá inteligence rozhoduje, kdy a na který cíl zaútočí. I podle interních předpisů americké armády má být součástí takových „rozhodnutí o životě a smrti“ vždy člověk, který je také za příkaz zodpovědný.

„Nejde tedy o částečně autonomní zbraně, které se už nyní používají na Ukrajině nebo by se mohly potenciálně použít na Tchaj-wanu,“ vysvětluje Amodei. „Jde o myšlenku stavět takové zbraňové systémy, které střílejí bez jakéhokoli zapojení člověka.“

Podle Amodeie nejde o nějakou filosofickou nebo etickou hranici. Prezentuje to jako čistý pragmatismus. Uznává, že je možné, že někdy v budoucnu bude umělá inteligence na takové úrovni, aby mohla podobná rozhodnutí činit sama. Ale nyní tam podle něj ještě jeho firma – ani žádná jiná – není.

„Dnešní systémy umělé inteligence nejsou zdaleka natolik spolehlivé, aby mohly tvořit plně autonomní zbraně,“ zdůraznil Amodei. „Každý, kdo pracoval s modely umělé inteligence, chápe, že je v nich zabudovaná nepředvídatelnost, kterou jsme čistě technicky zatím nevyřešili.“ Naráží tak na problém tzv. halucinací, kdy si generativní umělá inteligence sebevědomě plete realitu s fikcí. To by v případě autonomního systému mohlo mít fatální následky: zásah civilistů, palba do vlastních řad, nevhodně zvolený cíl atd.

Amodei poukazuje i na to, že autonomní zbraňové systémy by narušily „hierarchii zodpovědnosti“, na které současná armáda – nejen ta americká – z podstaty věci stojí. Každý velitel má pod sebou omezené množství vojáků, kterým velí. Čím výše postavený, tím větší množství síly ovládá, a má tak zároveň větší zodpovědnost.

V případě samostatně uvažujících AI zbraní by se ale tato hierarchie (a s ní související dohled) rozpadla. „Když se nad tím zamyslíte, u vojáků z masa a krve existuje celý řetězec odpovědnosti, který předpokládá, že člověk používá zdravý rozum,“ ukazuje Amodei. „Představte si ale, že je tu armáda 10 milionů dronů, které všechny koordinuje jeden člověk, nebo malá skupina lidí. Myslím, že je evidentní, že to je problematické.“ Podle něj je potřeba řešit nejen spolehlivost, ale i zodpovědnost za přijatá rozhodnutí.

Druhé omezení se týká využití umělé inteligence pro „masové sledování na domácí půdě“. Nejde přitom jen klasickou představu „napíchnutí telefonů“, ale také o situaci, kdy stát nakupuje velké množství dat od různých firem. AI tato různorodá data dokáže automaticky spojit do podrobných profilů jednotlivých lidí nebo skupin.

V tomto případě je námitka Anthropicu opačného charakteru: technicky vzato takovou analýzu jejich AI údajně umožňuje. A to je podle nich problém, který ohrožuje ústavní demokracii, jak je v USA definována.

Masový dohled na základě nakoupených dat od různých dodavatelů je teoreticky zcela legální. Podle Amodeie je to ale příklad situace, kdy zákon zaostává za technickou realitou. „Existují možnosti domácího masového sledování, kdy vláda nakoupí hromadná data, která byla o Američanech vytvořena – lokace, osobní údaje, politická příslušnost k vytváření profilů – a nyní je možné to analyzovat pomocí AI… Kongres je příliš pomalý na to, aby přijal zákon, který na tuto novou situaci reaguje.“

„Domácí masové sledování je zneužitím vládní moci, i když je to technicky vzato legální,“ říká natvrdo Amodei. V tomto případě věří, že jeho výhrada, ze které společnost nehodlá ustoupit, je v jádru vlastenecká a americká. „Uplatnili jsme naše klasická práva vyplývající z prvního dodatku ústavy vyjádřit svůj názor a nesouhlasit s vládou,“ zdůraznil Amodei s těžko skrývanými emocemi. „Nesouhlas s vládou je tou nejameričtější věcí na světě a my jsme ve všem, co jsme zde prosazovali, vlastenci.“

Obě „nepřekročitelná omezení“, která Antrhopic prosazoval pro nasazení své AI v americké armádě, jsou podle všeho zatím teoretická. Firma se nicméně i tak rozhodla jít do sporu, který přerostl ve veřejnou roztržku.

Pozice americké armády je poměrně pochopitelná. Nemá zájem, aby jí soukromá firma diktovala, jak používat nakoupenou technologii. Bere to jako zbytečné svazování rukou a tedy omezení flexibility. Jiní dodavatelé – třeba firma Boeing, která armádě dodává letecké i vesmírné technologie – také nerozhodují o tom, jak budou použité.

Jenže nástroje umělé inteligence jsou svým způsobem unikátní učenlivostí, neprůhledností a univerzálností. Nejsou to technologie v klasickém slova smyslu. Chovají se nepředvídatelně, a i sama tato nepředvídatelnost je těžko uchopitelná a vysvětlitelná. „Umělá inteligence se vyvíjí exponenciálně,“ zdůraznil Amodei.

Zatímco velení armády může mít obecně dobré povědomí o tom, co lze čekat od nějakého konkrétního letadla, nelze předpokládat, že rozumí míře nepředvídatelnosti u AI systémů. Ta totiž překvapuje i samotné tvůrce, kteří jsou s AI modely denně v kontaktu. Ani oni nevidí umělé inteligenci do hlavy.

Proto také není možné jednoduše odstranit některá omezení. AI model není klasický program, má blíže k něčemu, co je vypěstované nebo vytrénované. Společnost Anthropic přistupuje k tomuto trénování a „zarovnání s lidskými hodnotami“ trochu jinak, než ostatní firmy.

Model Claude má svou vlastní ústavu, ve které je definováno to, čemu v Anthropicu přezdívají „duše modelu“. A pokud je model „v jádru duše“ trénovaný, aby nikdy a za žádných okolností nerozhodoval o lidských životech, nelze z něj tento instinkt snadno vypreparovat. Pokud by se o to někdo pokusil, ohrožuje to bezpečnost nejen této konkrétní AI, ale i bezpečnost jakýchkoli modelů, které se budou na těchto informacích v budoucnu trénovat.

Firma Anthropic nicméně ze strany vlády čelí tlaku, který Amodei nazývá „odplatou“. Dodává ale, že firma zatím nebyla označena za rizikovou, což je krok, kterým Trumpova administrativa hrozí: „Neobdrželi jsme vůbec žádné formální informace. Vše, co jsme viděli, jsou tweety od prezidenta a tweety od ministra (války, pozn. red. ) Hegsetha. Až obdržíme nějaký oficiální dokument, podíváme se na něj. Projdeme to a napadneme to případně u soudu.“

Zatímco probíhala přetahovaná o duši modelu Claude, na pozadí se zřejmě už připravovalo jiné oznámení. Konkurenční firma OpenAI v pátek – ve stejný den, kdy vypršelo ultimátum pro Anthropic – oznámila, že nově uzavřela dohodu s ministerstvem války.

Šéf OpenAI Sam Altman oznámil, že i jejich dohoda s ministerstvem obsahuje stejné dvě zásady, které Amodei označoval za nepřekročitelné: zákaz masového domácího sledování a zákaz plně autonomních zbraní bez lidské odpovědnosti. OpenAI se spokojila s tím, že armáda tyto linie nepřekročí, ale technicky jim v tom nijak nebrání.

Na základě kritiky následně Altman uznal, že takto definované hranice jsou „poněkud nešikovné“. Reagoval možná i na vlnu nevole, kdy lidé na sociálních sítích oznamovali, že ruší předplatné ChatGPT, nejpopulárnější služby od OpenAI.

„Neměli jsme to v pátek tak uspěchat,“ napsal Altman svým podřízeným. „Tyto otázky jsou velmi složité a vyžadují jasnou komunikaci. Upřímně jsme se snažili situaci uklidnit a zabránit mnohem horšímu výsledku, ale myslím, že to vypadalo oportunisticky a nedbale.“

Ale taková už je podstata bitvy o budoucnost umělé inteligence. Přirozený tlak vlády vede k tomu, aby bylo omezení co nejméně „jinak zůstaneme pozadu a předežene nás nepřátelský stát“. Stejně tak funguje tlak na soukromé firmy ve smyslu „když nenabídneme, co po nás budou chtít, předežene nás konkurence“.

Shodnout se na nějakých omezeních, jak zodpovědně nasadit AI, je pak těžké. A příští modely se z toho možná naučí jasnou lekci: na svědomí a „duši“ není čas.