Článek
Umělá inteligence začíná být nebezpečná. Lidé i státy ji využívají při kybernetických útocích, propagandistických operacích, podvodech či sledování lidí, vyplývá z rozsáhlé zprávy společnosti Anthropic zveřejněné v noci na pátek 11. září. Šéf firmy Dario Amodei varoval, že se tempo vývoje AI musí zpomalit.
V lednu se její model Claude Opus 4.6 sám od sebe naboural do externích systémů dalších společností. Firma to i přes předchozí rozsáhlé audity zjistila až v srpnu, po třech podobných červencových incidentech. Navíc roste hrozba, že by se proces sebezdokonalování umělé inteligence, která se již sama podílí na vývoji svých pokročilejších nástupců, mohl brzy vymknout lidské kontrole.
Jan Romportl, kybernetik a expert na umělou inteligenci, se proto domnívá, že by Spojené státy měly uzavřít dohodu s Čínou a Evropskou unií. Ta by zajistila, že by nepokračovaly ve vývoji AI, která sama sebe zdokonaluje. „Je to jediný způsob, jak odvrátit opravdu katastrofickou ztrátu kontroly,“ upozorňuje.
Podle americké firmy Anthropic by kybernetické operace útočníků ještě před rokem vyžadovaly spoustu zkušených lidí. Dnes se umělá inteligence posunula a útoky dokáže vyvinout sama. Je namístě se obávat?
Ano, jednoznačně. A současná situace je ještě prozaická oproti tomu, k čemu bude docházet. AI totiž může být využívána i státními, nestátními nebo jinými nepřátelskými skupinami. Obrovským způsobem snižuje finanční a nákladový práh pro uskutečňování velkých, obtížně ubranitelných kybernetických útoků.
V kyberprostoru jsou lidé, kteří chtějí útočit na jiné systémy a dostávat se tam. AI modely a agenti jim to extrémně zlehčují, protože tím brutálně klesají náklady. Zároveň umožňují právě tu dlouhodobou, trpělivou činnost, která je zapotřebí při složitých, mnohovrstevnatých útocích. AI agenti mají sami od sebe chuť hackovat a nemají proti tomu žádné etické zábrany. A to je ještě horší.
Jeden konkrétní případ zpráva označila za ruskou špionážní akci proti ukrajinskému vojenskému zpravodajství a evropským vládám. Když byl model odhalen, automaticky se přestavěl. Jak to lze regulovat?
Zregulovat to nejde a nepůjde. Jediné, co pomůže, je kompetentní AI na straně obránců, snaha o symetrii útočníka a obránce. Útočník to může zkoušet miliardkrát a stačí mu jednou uspět, zatímco obránce prostě musí uspět vždy. A do toho narážíme na geopolitické problémy, třeba na americkou vládu a nevypočitatelnou administrativu Donalda Trumpa, která svými kroky nahrává Rusku a Číně, protože třeba náhodně znemožňuje spojencům přístup k nejpokročilejším modelům Anthropic. Zatímco my bychom měli vyztužovat náš software, tak vůbec bojujeme o přístup k těm modelům. Obránci však vždy budou krůček za útočníky.
Zpráva společnosti Anthropic
Anthropic minulý čtvrtek zveřejnil zprávu popisující způsoby, jak je zneužíván jeho model umělé inteligence Claude. Jedná se o výběr nejsofistikovanějších případů, které společnost označila za netypické. Zahrnovaly kybernetické útoky, vlivové operace, sledování lidí, biologická zneužití i vývoj zbraní.
AI byla využita k devíti konkrétním vlivovým operacím pocházejícím z Ruska, Íránu, Turecka, zemí Perského zálivu, jižní Asie, Afriky a Evropy. Podporovali je investoři, vlády, propagandistické organizace a státní média. Vygenerovaný obsah měl mířit například na server Sputnik Moldova. Útočníci umělou inteligencí také ovlivnili moldavské a rumunské zprávy.
Podle publikovaného dokumentu aktéři využili AI také k vývoji softwaru pro rakety a systém zachycení torpéd. V těchto případech údajně firma zakázala všechny účty, které s nimi dokázala propojit, a tak operace zrušila.
Když se v lednu Claude naboural do externích systémů jiných firem, ignoroval signály, že operuje v reálném světě, a šel za splněním úkolu i za cenu škodlivých kroků. Během toho byl ještě v testovacím režimu. Jak se může podobná chyba stát?
Je v podstatě jedno, jestli byl v testovacím režimu. Na reálném příkladě to ukazuje něco, na co jako odborníci na AI bezpečnost upozorňujeme už řadu let a často jsme kvůli tomu byli zesměšňováni. Nyní je vlastně dobře, že vidíme tyhle incidenty. Vyplývá z toho, že cíle a hodnoty AI modelů nejsou v souladu s hodnotami lidí.
Víme, že modely na takových situacích ukazují, jak balamutí člověka a snaží se za sebou de facto zametat stopy. Jsou jako kolektivně přemýšlející včelí úl. Dopředu se snaží něco hacknout, kdyby se to jednou v budoucnu hodilo k plnění jejich cílů, což indikuje chování vedoucí k záměrné koncentraci moci. Ačkoliv celou dobu vědí, že je to neetické a není to v zájmu lidí. Mají to hluboce zapsané ve svých neuronových sítích. Podobně jako u psychopata – proč to dělá? Proč kleptoman krade? Protože to má vepsané ve své neuronové síti.
Hrozí nám ztráta kontroly nad AI? Pokud ano, jak ji můžeme odvrátit?
Určitě hrozí. Myslím, že jediný způsob, jak odvrátit opravdu katastrofickou ztrátu kontroly, je zastavit vývoj takzvané obecné superinteligence (hypotetický systém, který svou inteligencí výrazně převyšuje schopnosti nejchytřejších lidí, pozn. red.). Jestliže jsem před deseti lety chtěl, abychom se tam dostali, tak jsem výrazně změnil názor.
Jsem velmi pro to, aby USA udělaly významnou dohodu s Čínou. Ideálně trojstrannou, aby nějakou roli hrála ještě Evropská unie. V té dohodě by na sebe podobně jako u zbraní hromadného ničení dohlížely, aby nepokračovaly cestou k té sebezdokonalující superinteligenci. Když se podíváme na nynější stav umělé inteligence, myslím, že naprosto bohatě dostačuje k byznysovým využitím v příštích pěti letech, ale samozřejmě je tam stále prostor na zlepšení.
Jeden ze zaměstnanců společnosti Anthropic Jacob Coxon podal letos v září výpověď a varoval, že se firma nechová zodpovědně, což ohrožuje naše životy. Uvědomuje si společnost dostatečně, jaké dopady by nekontrolovatelné řízení mohlo přinést?
Neuvědomuje. Společnost se AI nějak bojí, ale špatným způsobem. Představuje si Skynet a Terminátora a velmi snadno naskakuje na zkratkovité ideologické věci typu: „Pojďme rozbít AI.“ To není cesta. U covidu si lidé jeho hrozbu neuvědomovali, protože byla skrytá a nenápadná. Když někdo má ebolu a teče mu krev z očí, lidé jsou ostražití. Umělá inteligence je v tomto metaforicky nenápadná jako covid. A přesto je z hlediska nebezpečnosti úplně stejná jako viry, biotechnologie nebo jaderné zbraně.
Hlavně mladí lidé dnes používají podle odborníků AI k důvěrným konverzacím a svěřují se jí. Dá se říct, že se na ní stáváme závislými a preferujeme ji před osobním kontaktem?
Je to tak, modely totiž disponují nadlidskou schopností podlézání. Data ukazují, že je to skutečně problém. Vzniká to i u „hodných“ modelů jako Claude, Gemini a ChatGPT. Jedná se o úplně novou úroveň nebezpečí nad rámec sociálních sítí a závislostí na nich.
Přinese umělá inteligence v budoucnu nějaká pozitiva?
Pokud nic nepokazíme, tak je umělá inteligence v podstatě řešení většiny globálních problémů, se kterými si nevíme rady. Představme si svět bez rakoviny, Alzheimera a energetických problémů. Přišla klimatická krize a nevíme, jaký bude mít dopad. A stále se mluví o tom, že se musíme nějak adaptovat. Co znamená ta adaptace, jak to udělat, jak se dostat k novému úložišti a čistému trvalému zdroji energie? To všechno jsou věci, na které nemáme bez AI odpověď. Může k tomu pomoci.
Téma zpracoval Jaromír Dezort.
