Hrozba i příležitost. Co přinese AI model Mythos a proč se ho mnozí bojí

Nový model umělé inteligence společnosti Anthropic, Claude Mythos, otřásá světem umělé inteligence, a nejen jím. Má údajně v řadě úkonů překonat lidské schopnosti, což znepokojilo regulační orgány, zákonodárce i finanční instituce.

„Principiálně se Mythos ničím neliší, kromě toho, že jde o zatím největší a nejvýkonnější model této firmy. Hlavní zajímavostí je, že tento model byl pouze oznámen, ale nebyl vydán na veřejnost, s odkazem na obavy ohledně jeho potenciální zneužitelnosti v oblasti kyberútoků,“ vysvětluje zakladatel startupu Aisle Ondřej Vlček.

Podle Davida Strejce, AI specialisty a architekta společnosti Apertia.ai, se od běžných jazykových modelů liší hlavně rychlostí a důsledností, v jednom interním testu dokázala napsat funkční kybernetický útok devadesátkrát úspěšněji než její přímý předchůdce. „Zjednodušeně: většina dnešních AI umí upozornit, že v programu je chyba. Mythos je první model, který se tu chybu snaží sám od začátku do konce zneužít, bez pomoci člověka,“ dodává.

K Mythosu získalo přístup dvanáct technologických gigantů, a to prostřednictvím iniciativy zvané Project Glasswing. Patří mezi ně například Amazon Web Services, Apple, Microsoft a Google nebo výrobci čipů Nvidia a Broadcom. Dále k němu má přístup přibližně 40 dalších amerických organizací, které vyvíjejí nebo spravují kritickou softwarovou infrastrukturu.

Společnost Anthropic během testování zjistila, že model je vysoce schopný v oblasti kybernetické bezpečnosti a hackerských úloh a překonává přitom schopnosti lidí. Odhalil podle ní tisíce vysoce závažných zranitelností, v každém rozšířeném operačním systému a webovém prohlížeči alespoň nějakou. Někteří ministři financí, představitelé centrálních bank a finančníci již vyjádřili vážné obavy, že by tento model mohl ohrozit bezpečnost finančních systémů.

Před Mythosem varovala například Americká asociace pro cenné papíry (ASA), podle které představuje vážnou hrozbu pro bezpečnost finančních dat. Technologie by prý mohla být zneužita například k prolomení databáze Consolidated Audit Trail, spravované Komisí pro cenné papíry a burzy (SEC). To by mohlo vést k masovým krádežím identit a odhalení obchodních portfolií.

Kvůli obavám z Mythosu se s vedením největších amerických bank sešel šéf americké centrální banky Jerome Powell a ministr financí Scott Bessent. Schůzky se účastnili šéfové institucí jako Bank of America, Citigroup či Goldman Sachs. Přestože se centrální banka Fed ani ministerstvo financí ke schůzce oficiálně nevyjádřily, samotná účast klíčových ekonomických autorit ovšem naznačuje, že americká vláda vnímá možné bezpečnostní dopady nového AI modelu vážně.

Je ale Claude Mythos skutečně takovou hrozbou? Podle Strejce je kontext schůzky amerických bankéřů spíš politický.

„Americký ministr financí a šéf centrální banky skutečně svolali kvůli Mythosu nouzovou schůzku se šéfy velkých bank, ale impulz přišel od lobbistické skupiny, která už léta kritizuje americkou Komisi pro cenné papíry za to, že v jedné centrální databázi drží informace o každém obchodu na burze, včetně osobních údajů investorů,“ komentuje situaci Strejc.

„To je skutečně rizikový design a kritici na něj upozorňovali dávno před Mythosem. Nový AI model se jim prostě hodil jako záminka, jak dlouholetý problém dostat do titulků. Riziko existuje, ale panika je zesílená zájmy, které s Mythosem přímo nesouvisí,“ dodává.

Modelem se ovšem zabývali také finančníci a politici ve Velké Británii nebo v Kanadě. Na nebezpečí upozornil také prezident německé centrální banky a člen rady guvernérů Evropské centrální banky (ECB) Joachim Nagel. Kvůli posouzení případných rizik s Anthropicem jedná i Evropská komise. Spolupráci s evropskými orgány kvůli možným rizikům a přínosů navázala také Česká národní banka.

Podle Vlčka existuje reálný předpoklad, že dnešní digitální infrastruktura - včetně globálního bankovního systému - trpí velkým množstvím zranitelností. „Pokud by měl útočník k dispozici autonomní systém se schopností tyto zranitelnosti vyhledávat a v podstatě okamžitě zneužívat, mohlo by to vést ke katastrofálnímu narušení kritické infrastruktury - a být efektivně zneužito i jako zbraň,“ myslí si.

Podle odborníka na umělou inteligenci Jana Romportla by navíc Mythos mohl výrazně zdostupnit možnost objevovat a zneužívat chyby různých IT systémů. Doposud podobné hrozby držela na uzdě velmi vysoká cena provedení takových kybernetických útoků, a právě proto jsou zatím terčem kybernetických zločinců hlavně exponované osobnosti a instituce. Americkou vládu nyní může děsit to, že spuštění případného útoku by nyní mohlo být mnohem dostupnější.

„Bojí se, že cena nebezpečného kyberútoku na libovolný software v jejich infrastruktuře dramaticky klesne. Například tisícinásobně: z původní typické ceny cca pět milionů dolarů za útok na pět tisíc dolarů za útok,“ uvádí.

Společnost Anthropic zatím není přesvědčena, že by měl k Mythosu mít přístup úplně každý - právě kvůli obavám ze zneužití. „Nejprve musíme přijít na to, jak se na takový svět připravit, než se budeme moci vypořádat s myšlenkou, že k tomu budou mít přístup zločinci,“ uvedl vedoucí výzkumu firmy Logan Graham pro televizní stanici NBC. Podle Strejce je ale pravděpodobnost, že by Mythos mohl být zneužit k masovým kyberútokům nebo krádežím dat, menší, než se může z médií zdát.

„Když Anthropic Mythos testoval proti Linuxu, tedy systému, na kterém běží většina internetu, model sice našel desítky závažných chyb, ale po několika tisících pokusů nedokázal ani jednu z nich vzdáleně zneužít,“ vysvětluje.

„Jinými slovy: našel odemčené dveře, ale dál ho zastavil alarm, mříže a zámky. Moderní software má několik vrstev ochrany, a ty fungují. Šéf zabezpečení prohlížeče Firefox navíc potvrdil, že mezi 271 chybami, které Mythos v prohlížeči odhalil, nebyla jediná, na kterou by nepřišel i zkušený lidský výzkumník,“ dodává. Mythos je podle něj tedy spíš rychlejší auditor, ne zbraň hromadného ničení.

Podle ředitele vývoje umělé inteligence antivirové firmy Gen Digital Petra Somola poskytne Mythos v okamžiku zveřejnění útočníkům dočasnou výhodu. Právě proto ale Anthropic technologii zpřístupnil vybraným partnerům - aby z pozice obránců měli možnost v klíčových systémech všechny Mythem zjistitelné nedostatky odhalit dříve, než útočníci.

„Po rozšíření Mythos funkcionality lze očekávat, že po nějaké době opět nastane rovnováha – digitální svět bude poopravován a robustnější a pro útočníky bude opět náročné dosahovat svých cílů. Přizpůsobí se pak zase jiným novým způsobem,“ dodává Somol s tím, že hrozba odhalení „děr“ v systémech existovala vždy, nezávisle na existenci tohoto modelu.

Příchod Mythosu jako příležitosti k opravě chyb uznává také Romportl. I kdyby byl podle něj nový AI model dostupný i pro širokou veřejnost, přístup by k němu byl přes API, díky čemuž by mohl Anthropic stále částečně kontrolovat, k čemu přesně je využívaný. Masové kyberútoky tak podle něj čistě kvůli Mythosu nejspíš nehrozí.

„Myslím si, že to nakonec i během několika málo měsíců Anthropic uvolní. Ale je dobře, že nyní postupuje opatrně. Skutečnou hrozbou bude, až se stejně schopné modely objeví volně ke stažení. Odhaduji, že to bude cca během půl roku, kdy jich dosáhne i Čína,“ uvažuje.

V návaznosti na výrazný mediální ohlas a obavy, které Mythos obklopují, se objevila také teorie, že se ze strany Anthropicu jedná tak trochu o marketingový tah. V rakouském deníku Der Standard to napsal například novinář Andreas Proschofsky, podle kterého vzniká mimo jiné podezření, že je nový model příliš náročný na financování - provoz údajně stojí pětkrát více než u jiných jazykových modelů.

Mimo jiné si tak společnost buduje důvěryhodnost u potenciálních zákazníků tím, že se dobrovolně vzdává potenciálního výdělku. Pasuje se tak prý do role etického lídra, kterému - na rozdíl od konkurence - záleží na budoucnosti lidstva.

„Souhlasím a mám pro to konkrétní důvody. Jiní výzkumníci nezávisle zopakovali několik ‚vlajkových‘ nálezů Mythosu pomocí běžně dostupných AI modelů - včetně ChatGPT - tedy technologií, které dnes používají miliony lidí. Americký kryptograf Bruce Schneier, jedna z nejuznávanějších postav oboru, napsal, že Anthropic ukázal ‚pěknou sestřihovou smyčku úspěchů‘, ale nezveřejnil, jak často jeho model hlásí plané poplachy,“ vysvětluje Strejc.

Dodává, že technologický poradce amerického prezidenta David Sacks otevřeně mluví o tom, že Anthropic má „historii strašení“. „To neznamená, že je Mythos podvod - je to skutečně výkonnější model než jeho předchůdci. Ale rámec ‚je to tak nebezpečné, že to nesmíme pustit ven‘ plní současně dvě role: chrání veřejnost a buduje značku firmy. Zdravá skepse je v tomhle kontextu odpovědnost, ne cynismus,“ uzavírá.

Vlček je vůči pochybám o schopnostech Mythosu opatrnější. Historické příklady podle něj ukazují, že Anthropic je skutečně schopen posouvat schopnosti svých modelů na nečekanou úroveň.

„Na druhou stranu, do jaké míry je opodstatněný tento přístup strašení a znemožnění přístupu k tomuto modelu širší komunitě, nelze úplně určit; je dosti pravděpodobné, že jednou z motivací mohl být i jakýsi pokus o zviditelnění a vytvoření pocitu, že tento model je na míle napřed před jakoukoli konkurencí,“ uvažuje.

Podle Romportla se nemusí reálná hrozba nutně vylučovat s dobrým marketingem. „Rozhodně obavy nejsou přehnané. Anthropic postupuje velmi dobře z hlediska bezpečnosti. Toto je samozřejmě možné využít i k marketingu - určitě to ale není ve vzájemném rozporu,“ komentuje.

Zároveň se nejedná o první případ, kdy vývojář umělé inteligence tvrdí, že vzhledem k schopnostem svých modelů by je raději neměl uvádět na trh. V únoru 2019 se společnost OpenAI odvolávala na podobné obavy, když se rozhodla navzdory tehdejším zvyklostem neuvést svůj model GPT-2 ihned po představení. Jeho plnou verzi zpřístupnila až v listopadu téhož roku. Model GPT-2 byl přímým předchůdcem modelu GPT-3.5, který poháněl ChatGPT v listopadu 2022.