Pod čarou: Kartelové dohody AI firem jsou větší riziko než zdivočelí agenti

Pokud nežijete jako poustevníci v lesích, nejspíš vás záplava zpráv o rizicích AI a blížící se robotí apokalypse nemohla minout.

Pozornost se k tématu upřela už v průběhu srpna poté, co AI agenti od OpenAI šikovně hackli online úložiště firmy Hugging Face. Následovala odhalení o dalších podobných incidentech, za kterými stály nástroje od OpenAI i konkurenční společnosti Anthropic. Aby se bouře spekulací ještě posílila, OpenAI se pochlubila, jak její agenti (za kontroverzních okolností) vyřešili mimořádně obtížný matematický problém.

Na titulní stránky se pak téma AI bezpečnosti dostalo díky tweetu sedmadvacetiletého AI výzkumníka Jacoba Coxona, který rezignoval na práci pro Anthropic s tím, že se AI firmy chovají nezodpovědně a lidé vyvíjející AI věří, že nás AI „může všechny zabít do konce dekády“. Bližší detaily o údajné nadcházející AI apokalypse sice nezmínil, nicméně k mediální smršti to stačilo.

Jeho varováním přitakali další lidé z prostředí velkých AI firem. Šéf Anthropic Dario Amodei minulý týden publikoval esej, ve které volá po silnější regulaci a zpomalení vývoje nových špičkových AI modelů, a jeho návrhy obratem podpořili i Sam Altman z OpenAI a Elon Musk.

Reakce ze strany médií, politiků a veřejnosti byly celkem předvídatelné. V první fázi se začala rozebírat především technická rovina věci, tedy zda AI nástroje skutečně mají kapacitu zničit lidstvo, popř. kdy by k tomu mohlo dojít. Zkonsolidovaly se obvyklé tábory ustrašených „AI věřících“ a jim odporujících sarkastických skeptiků. A pokud už se někdo kriticky podíval na ekonomické pozadí věci, většinou se jen opakoval zavedený argument, že vše je chytrou reklamou AI firem, které skrze varování před apokalypsou předstírají nereálné schopnosti svých nástrojů a tím lákají nové zákazníky a investory.

Poslechněte si audioverzi newsletteru načtenou autorem.

Ten je jistě platný, jenže dnes již příliš obecný. S konstatováním, že vize AI apokalypsy je jen chytré PR, si nevystačíme, a byznysové motivy velkých AI firem je potřeba rozebrat více do hloubky. A kupodivu to není až tak složité, protože Amodei i další lídři začali v uplynulých týdnech hrát svou partii s nezvykle otevřenými kartami.

Nejprve smeťme ze stolu technologické otázky, které teď spíše jen odvádějí pozornost od podstaty věci. Údajná zkáza lidstva, kterou se nedávno jal líčit Coxon a už léta před ním řada jiných insiderů z AI byznysu, vždy spočívá v tom, že ji má způsobit jakási hypotetická, aktuálně neexistující technologie s nejasnými schopnostmi (občas se používají pojmy jako „superinteligence“ apod.), jejíž datum vzniku se příhodně odkopává stále dál do budoucnosti.

Pokud se ale podíváme na aktuální varovné kauzy, zjistíme, že se za mediálně atraktivními bajkami o „zdivočelých AI agentech“ skrývají sice technologicky obdivuhodné, ale v principu banální postupy. Útok AI agentů na servery Hugging Face velmi zevrubně popsali Matouš Lázňovský a Pavel Kasík, a ještě stručněji a pádněji to udělal technologický publicista a bloger Cory Doctorow, který konstatuje, že onen nekontrolovaný duch ve stroji je ve skutečnosti jen chatbot opakovaně zkoušející různé triky z knihovny zavedených hackerských metod – na jehož kontrolu se tvůrci z OpenAI záměrně vykašlali.

Pokud z kauzy okolo Hugging Face i dalších zmiňovaných incidentů odstraníme nános sci-fi žargonu, jednoduše je lze popsat tak, že nové AI nástroje jsou překvapivě dobré v hackingu. To je jistě závažný problém a výzva na poli kybernetické bezpečnosti, ale zároveň nejde v principu o nic nového a apokalypsa rozhodně není v dohledu.

Takto přízemní jazyk by ovšem AI firmám moc nehrál do karet. A když se podíváme na časovou souslednost popisovaných kauz, kritickému novináři či politikovi by se v hlavě mělo rozblikat hned několik varovných kontrolek. K útoku na Hugging Face došlo v červenci, ale více se začal řešit až po vydání výzkumných zpráv a reportů v minulých týdnech. Podobně se v příhodný čas oživily i jiné starší kauzy, do toho přišlo nepravděpodobně virální varování mladého a do té doby zcela neznámého Coxona, následně Amodeiova esej, kterou zjevně nenapsal přes noc…

V debatě okolo AI byznysu bohužel kritický odstup schází, ale zkusme si celou situaci představit třeba na příkladu automobilového průmyslu. Kdyby třetiřadý inženýr ze Škodovky vyhlásil, že jejich auta jsou nebezpečná a všichni se v nich zabijeme, pak by samotná automobilka vydala varovné výzkumné zprávy, obavám by horlivě přitakal i šéf firmy a následně by spolu s lídry dalších automobilek prohlásil, že by se uvedení nových vozů mělo pozdržet, nejspíš bychom v celé věci vytušili nějakou levotu.

O altruistické přistřižení křídel rozlétaným AI agentům zde skutečně nejde ani náhodou. A fakt, že se jedná o dobře koordinovanou kampaň s obchodními motivy, snadno potvrdí už jen zběžný pohled na finanční stav AI sektoru i na argumenty Amodeiovy eseje.

Celý AI sektor ve Spojených státech finančně tak trochu naráží do zdi. Nemusí to znamenat, že by OpenAI či Anthropic byly před krachem, jak to občas naznačují někteří radikálnější kritici. AI firmy sice skutečně potřebují neustálý příliv peněz od investorů a Anthropic se navíc připravuje na bouřlivě diskutovaný vstup na burzu (dění na finančních trzích v této souvislosti analyzoval kolega Vladan Gallistl), ale problémem je spíše neudržitelný obchodní model stojící na vodě.

Jak opakovaně podotýká publicista Ed Zitron, OpenAI a Anthropic jsou stále hluboce zadlužené firmy v červených číslech, a i kdyby někdy začaly generovat čistý zisk, je otázkou, zda budou schopny zhodnotit astronomické investice, které již spolykaly.

Přibližně 80 % zisků obou společností z poskytování AI služeb firemním klientům přichází od jednoho procenta zákazníků, mezi kterými mají nezanedbatelný podíl různé technologické startupy – tedy další ztrátové firmy financované spekulanty. Situace tak v některých ohledech začíná připomínat hypoteční krizi před krachem v roce 2008 (kdy americké banky poskytovaly úvěry i zjevně insolventním klientům, jen aby udržely vysoký zájem o své produkty).

Příjmy firmy Nvidia zase v konečném důsledku závisejí právě na úspěších OpenAI a Anthropic, celý sektor bývá kritizován za možné cirkulární financování (Nvidia lije peníze do firem, které si kupují její čipy) a je jasné, že jde o velmi křehkou konstrukci, která se může snadno zhroutit – třeba když na trh vlétne levná čínská konkurence.

Přesně to se v současnosti děje, což velmi otevřeně ve své eseji přiznává i sám Amodei. Kvůli rizikům spojeným s AI rozvojem navrhuje tři základní opatření, na kterých by se podle něj měly dohodnout přední americké AI firmy – a měla by na ně také přistoupit americká vláda.

V první řadě by měly být nové AI modely, tréninkové postupy i kapacity a nasazení aktuálních AI nástrojů zevrubně monitorovány kontrolory nezávislých třetích stran – otázkou ovšem zůstává, o koho přesně by mělo jít (zmiňuje například neziskovku METR) a jak zajistit jeho skutečnou nezávislost, notabene v prostředí Silicon Valley prolezlém složitými personálními a finančními vazbami. O případných sankcích samozřejmě není řeč.

Zcela otevřeně se pak Amodei „odkopává“ v dalších dvou bodech, kdy si navíc mírně protiřečí. Požaduje jednak koordinaci vývoje a regulace AI v demokratických zemích (čti – mimo Čínu) a zároveň globální koordinaci mezi demokratickými a autoritářskými zeměmi pod záštitou americké vlády – jinými slovy líčí klasický geopolitický střet zabalený do žargonu kybernetických rizik.

Bezelstně konstatuje, že americké firmy nesmí ve vývoji AI zpomalit zase tak moc, aby je předehnala Čína – a pokud by se to snad stalo, pak by americká vláda měla Pekingu nějak důrazně domluvit. A i když to zdůvodňuje požadavky národní bezpečnosti, šikovně opomíjí ekonomický rozměr věci – tedy fakt, že čínské AI modely (které jsou navíc mnohdy open-source či tzv. open weights) mohou americkým konkurentům velmi snadno vypálit rybník.

V reakci na Amodeiovu esej začala řada kritiků poukazovat na fakta, která šéf Anthropic elegantně opomněl uvést. Modely od Anthropic už možná nejsou těmi nejlepšími na trhu, vývoj špičkových modelů se stále více prodražuje a jejich schopnosti nerostou tak rychle. Budování nových datových center je nejen v USA vysoce nepopulární. Čína si navíc buduje své vlastní rozsáhlé a nejspíš i lépe řízené výpočetní kapacity (firmy jako DeepSeek staví vlastní centra a nespoléhají na pronajaté cloudové služby jako američtí konkurenti).

Zpomalení ve vývoji nových AI modelů by tak vytvořilo urgentně potřebný finanční polštář. Jenže kdyby se do toho pustila jen jedna firma, investoři i konkurenti by ji sežrali zaživa a mohlo by to vyvolat krach celého sektoru. Jedinou cestou je tak vzájemná koordinace – jinými slovy kartelová dohoda. Protože právě legalizace kartelu a jeho geopolitická ochrana ze strany americké vlády je právě to, co Amodei požaduje a čemu také nadšeně přitakávají Altman či Musk.

Aby toho nebylo málo, Amodei a jeho podporovatelé nepožadují jen legální kartelovou dohodu, ale také, aby si nad nimi v otázce regulací americká vláda umyla ruce a nechala je, ať se kontrolují sami. Celé divadélko se před zraky médií zrovna teď rozehrálo možná i proto, že nejen v americkém Kongresu sílí volání po zavedení účinné regulace AI sektoru shora a šéfové velkých firem dostávají oprávněný strach.

Nedávný návrh senátora Bernieho Sanderse neváhá požadovat vysoké tresty odnětí svobody pro odpovědné osoby a nucené rozpouštění AI firem porušujících daná pravidla, v řadě amerických států se také začínají objevovat první žaloby proti AI firmám za škody způsobené jejich nástroji využitými pro trestnou činnost.

Na účelovost a nesmyslnost seberegulace AI firem upozorňuje i bývalá šéfka americké Federal Trade Commission (FTC) Lina Khan. Ta podotýká, že v USA již existují zákony postihující firmy dodávající škodlivé či vadné výrobky, aktuální legislativa již také upravuje otázky konkurence či plagiátorství, a dodává, že na poli AI v USA zjevně existuje řada problémů v oblasti střetu zájmů a monopolního chování, které jsou už také předmětem řady vyšetřování.

První bod Amodeiova návrhu je tak zjevnou snahou o prolobbování falešné seberegulace AI sektoru dřív, než by pod tlakem veřejného mínění došlo k opravdové účinné regulaci shora ze strany státu, která by také umožňovala reálné postihy a sankce.

V poslední době to není zdaleka jediná podobná aktivita – v podstatě totéž už před několika týdny učinila firma Meta, která v rámci mimosoudního vyrovnání v ostře sledované kauze okolo údajných negativních dopadů sociálních sítí na děti mimo jiné navrhla seberegulační pravidla tak, aby jí je náhodou nenadiktoval stát zvenčí.

Občas se v této souvislosti používá i termín regulatory capture – ten označuje situaci, kdy stát pod tlakem lobbingu či otevřené korupce nastaví regulační pravidla tak, aby podporovala agendu příslušné zájmové skupiny, a nikoliv veřejnosti, a následně je navíc v žoldu dané lobby účinně vymáhá a zaštiťuje svou mocenskou kapacitou.

Pokud Trumpův režim na tuto taktiku Silicon Valley kývne (což je otázkou), stále je to jen polovina úspěchu – americké AI společnosti si prostřednictvím pochybné seberegulace a kartelové dohody mohou vykolíkovat teritorium v rámci USA, ale pořád také potřebují ochranu před zahraniční konkurencí.

Z toho pramení Amodeiova verbální akrobacie okolo „demokratických“ zemí (které lze k dohodě o „zpomalení“ ukecat) a autoritářských režimů, tedy Pekingu, který se jeho finančním trablům může jen smát.

Stojí za zmínku, že v Číně v debatách o AI kyberbezpečnosti většinou schází hysterický apokalyptický podtón, řeší se spíš datová bezpečnost a především se nenafukuje taková bublina jako v USA – přední čínské AI modely jsou jen o fous pozadu za těmi americkými, přitom jsou mnohem levnější na vývoj a provoz, a to se v Číně do vývoje AI investuje mnohonásobně méně peněz než v USA.

Aktuální reakci amerických AI firem na bajky o AI apokalypse i reálné bezpečnostní incidenty tak lze shrnout do úsměvného konstatování: „Ano, všechno to jsou velké a nebezpečné problémy a rizika, víme o nich, moc se stydíme, věřte nám. Vyřešíme si to sami, hlavně nám do toho nekecejte, natož abyste nás za případné levárny a nedbalosti pokutovali nebo posílali sedět. Nechte nás uzavřít kartelovou dohodu, jinak se možná finančně položíme, a také nás ochraňte před firmami z Číny, které umí dělat totéž co my, ale dvacetkrát levněji, což není fér.“

Je asi jasné, že s tímto přístupem problémy spojené s divokým rozmachem AI nástrojů nevyřešíme, spíš bychom je jen posílili. A že jich není málo. Jak upozorňuje například AI výzkumnice Timnit Gebru (která mimo jiné v dané oblasti pracovala pro Google a rozhodně tedy nemluví do větru), spekulace o superinteligenci, která si nás za deset let dá k svačině, jen odvádějí pozornost od skutečnosti, že AI již autonomně navádí zbraně v různých koutech světa, posiluje ekologickou devastaci, usnadňuje online podvody či sexuální obtěžování, chrlí dezinformace… a nic z toho AI firmy skutečně účinně neřeší.

Jako zastírací manévr podle ní slouží nejen apokalyptické vize, ale i nenápadné jazykové kličky, kdy AI systémy antropomorfizujeme, přisuzujeme jim vlastní agendu a přehlížíme, že jde jen o nástroje v rukou příslušných firem či jiných lidí. Jako třeba v případě útoku na Hugging Face, za který nemohli zdivočelí agenti, ale zcela nekompetentní a nedbalé řízení experimentů ze strany zaměstnanců OpenAI.

Jednoduše řečeno, AI nikdy nic nedělá „sama“, vždy za tím jsou lidé a návrhy Amodeie a dalších velkých hráčů tento princip odpovědnosti záměrně obcházejí. A přitom je tu několik jednoduchých pravidel, díky kterým bychom se mohli těmto manipulacím snadno vyhnout.

V první řadě musí novináři, politici i veřejnost k AI sektoru přistupovat stejně jako k jakémukoliv jinému byznysu – tedy brát stanoviska insiderů kriticky, zkoumat, kdo a proč má v dané věci finanční zájem, obracet se na skutečně nezávislé experty a nenechat se tahat za nos jen proto, že je daná technologie údajně složitá, nepochopitelná a přelomová. Místo hypotetických hrozeb je nutné řešit reálné aktuální problémy. A když šéf miliardové firmy přijde s nějakým hezky znějícím nápadem, je dobré předpokládat, že to opravdu nedělá jen z dobroty srdce a jde mu především o vlastní peněženku.

Pokud se vám ukázka z newsletteru Pod čarou líbila, přihlaste se k odběru. Každou sobotu ho dostanete přímo do vašeho e-mailu, včetně tipů na další zajímavé čtení z českých i zahraničních médií.