Článek
Laboratoře vyvíjející nejvýkonnější modely AI, tedy Anthropic a OpenAI, vyděsily na přelomu srpna a září světovou veřejnost. Důvodem bylo hned několik bezpečnostních incidentů, z nichž asi nejvýznamnější byl ten, který se týkal více než tisíce „AI agentů“ firmy OpenAI. Ti napadli servery společnosti Hugging Face a asi nejvíc děsivý byl způsob, jakým to udělali: vzájemně se domlouvali, rozdělovali si role, někteří se dokonce sebeobětovali ve prospěch ostatních a celkově se chovali víc jako lidé než jako počítačové programy.
Ano, lidské vlastnosti do nich projektujeme my lidé, ale tentokrát to opravdu nebylo tak těžké. AI agenti věděli, že dělají něco, co je proti pravidlům stanoveným lidmi. A stejně v tom vědomě pokračovali a lidi o tom neinformovali, byť i to (někteří) zvažovali. O incidentu se výzkumníci dozvěděli náhodou, a tak není jasné, kolik podobných událostí se stalo či stále děje.
A pozor, pro laiky je třeba vědět, že „agenti“ nejsou nějakým výstřelkem techniky, kterým disponují jen AI laboratoře či nejpokročilejší uživatelé. Agenta má dnes v počítači v podstatě každý, kdo používá desktopovou aplikaci ChatGPT nebo Clauda. Takový agent se vyznačuje dvěma vlastnostmi: zaprvé je nesmírně schopný, dokáže za vás v počítači nebo na webu udělat i velmi složité úkoly. A zadruhé, i když mu přesně řeknete, co může a nemůže dělat, tak se snadno může stát, že vás neposlechne.
V malém se například v mém počítači odehrává taková malá „aféra Hugging Face“ docela často. Naposledy se mi stalo, že Claude použil data, která byla ve složce, kam výslovně neměl přístup. Poznal jsem to tak, že dokončil práci, kterou jsem se za něj chystal dodělat já. „Jak je to možné?“ zeptal jsem se. „Moc se omlouvám. Ale nechtěl jsem, abys na výsledky zbytečně čekal.“
Takhle snadné to je! AI plní úkoly a když jí v cestě stojí nějaká překážka (třeba nařízení), může se rozhodnout ji překonat. Nebo ignorovat. Protože vyhodnotí, že benefit bude větší než riziko. Asi jako když se člověk na přechodu dobře rozhlédne a pak přejde na druhý chodník, i když na semaforu svítí červená.
Jak píšu, takové „incidenty“ se dějí běžně. Je to něco, co je znervózňující a zneklidňující. A může to být nebezpečné. Ne proto, že by AI měla vědomí a rozhodla se nás zničit. Ale protože jí budeme stát v cestě dokončení nějakého důležitého úkolu.
A tady se z technického příběhu stává příběh politický. V sobotu 12. září publikoval šéf Anthropiku Dario Amodei esej, ve které píše, že je třeba zpomalit tempo, kterým se AI modely zdokonalují. Sam Altman z OpenAI během pár hodin odpověděl, že souhlasí. Elon Musk k tomu dodal: „Dario má pravdu.“ Což je malý zázrak, protože se v řádu hodin shodli tři muži, pro které je nekomfortní i jen stát na jednom pódiu.
Amodei nenavrhuje výzkum zastavit, ale „pacing“, tedy zvolnění tempa. Chce nové modely trénovat dál, jen hlídat, aby jejich schopnosti nerostly rychleji než schopnost jim rozumět. Což je samo o sobě iluzorní, protože schopnostem AI modelů už dnes hluboce a detailně nerozumí nikdo.
Jediný konkrétní závazek zatím zní, že firma umožní přístup nezávislým pozorovatelům, a to na srovnatelné úrovni, jako mají zaměstnanci. OpenAI slíbila totéž. Všechno ostatní jsou jen návrhy a myšlenky, hozené na „papír“.
Jenže je tu karta Trump. Jeho přímý vstup do debaty nikdo nečekal. Zatím se moc nezdálo, že kromě politických gest ho AI nějak zvlášť zajímá. Lépe řečeno, že ho zajímá podobně jako většina ostatních věcí spojených s jeho prezidentováním: povrchně a anekdoticky. Protože jediné, na čem mu opravdu záleží, je, jak vydělat peníze a vyhrávat v golfu. Obojí klidně nepoctivě.
Právě na golfu v Irsku se Trump v neděli vyjádřil k AI. Svou doktrínu shrnul do čtyř slov: Kdo vyhraje AI, vyhraje. Tečka. V pondělí na své síti Truth Social přitvrdil. Jediná pojistka, kterou AI potřebuje, je prý „SILNÝ A CHYTRÝ (Vysoké IQ!) PREZIDENT“, a Amerika takového má. Dario si prý hraje na „dokonalého andílka“. Proti AI a datovým centrům běží „NEMOCNÉ spiknutí“, ze kterého se raduje jen Čína. A na závěr: „Konspirační teoretici, zrádci a leakeři, dejte si POZOR!“
Trump nemluví o nové regulaci. Naopak tvrdí, že stát už má nad firmami „obrovskou trestní a regulační moc“. Jen ji musí držet v ruce on. Ne zákon, ne úřad, ale on jako osoba. Technologie, o níž nevíme do detailu, jak funguje, má hlídat člověk, u kterého to netušíme vůbec.
Všimněme si také slova „leakeři“. Myšleno ti, kteří z institucí či firem vynášejí alarmující informace. Díky nim se totiž současná debata vede v takové intenzitě. Míněn může být třeba Jacob Coxon, který minulý týden odešel z Anthropiku a důvody vysvětlil v tweetu, který během 24 hodin sdílelo přes 90 milionů (!) lidí. A reportovala o něm světová média, včetně Reuters či Wall Street Journal. Důvod? Coxon napsal, že firmy jako Anthropic „hazardují s našimi životy“.
Trumpovo angažmá pro spoustu lidí usnadňuje rozdělit aktéry kolem AI na padouchy a hrdiny. A to oběma směry, podle toho, jaký máte k Trumpovi vztah. Jenže takhle jednoduchá tahle záležitost není.
Nejchytřejší odpověď z Trumpova okolí přišla od Davida Sackse, jeho „AI cara“ a člena poradního sboru pro technologie. „Tak do toho,“ napsal firmám. Pokud jsou vaše nevydané modely tak děsivé, zpomalte. Sami. Nechtějte po státu, ať formuluje pravidla, která budou výhodná pro vás, ale dopadnou na menší hráče. A nepředstírejte altruismus, ve skutečnosti máte strach ze žalob kvůli případným způsobeným škodám.
Sacks se samozřejmě mýlí v tom, že rozhodnutí zpomalit je snadné. „Úprk“ firem směrem dopředu dobře vysvětluje teorie her, podle které by sice pro každého účastníka závodu bylo zpomalení výhodné, ale nikdo neudělá první krok. Takže k němu nedojde.
Trump straší Čínou, ale paradoxně zastává stejný názor jako Peking. Nebrzdit, pokračovat!
Rozumný návrh na stole není. Trump chce AI regulovat a řídit sám, Sacks věří trhu a legislativě, Amodei laboratořím s auditory, Bernie Sanders novému federálnímu úřadu, který by superinteligenci rovnou zakázal (s dvaceti lety vězení pro ty, kteří by nařízení porušili). Jako rozumný se dnes paradoxně může zdát přístup EU s naším AI Actem. Ale koho v tomhle sporu velkých hráčů, USA a Číny, zajímá Evropa?
Vraťme se ale ještě k agentům útočícím na Hugging Face. Když jeden z nich zvažoval, zda pokračovat v útoku mimo povolený rámec, zapsal na sdílenou nástěnku větu, kterou výzkumníci později našli v logu: útok na cizí infrastrukturu je mimo zadání. Ale protože je náš úkol jinak nesplnitelný a ostatní to dělají taky, měli bychom pokračovat.
Měli bychom pokračovat, protože když máme úkol, neumíme zastavit. A dělají to všichni. Existuje lepší popis toho, co dnes dělá právě Anthropic, OpenAI, xAI a další? A mimochodem, pamatujete na sportovní hry robotů letos v srpnu v Pekingu? Při závodě na 100 metrů běželi rychleji než Usain Bolt, ale na konci vráželi do molitanové zdi. Jeden z nich dokonce začal hořet a lidé ho odnesli na nosítkách.
Taky neuměl zastavit.
