Článek
Australská vláda prověří, jestli při napadení vládních serverů AI agentem společnosti OpenAI došlo k porušení zákona. „Je to naprosto nepřijatelné,“ prohlásil ve čtvrtek vicepremiér a ministr obrany Richard Marles.
Agent v červnu podle firmy pronikl na australský vládní portál se zdravotními údaji a získal neoprávněný přístup k veřejným i neveřejným souborům. Jde pravděpodobně o první případ, kdy agent AI hackl vládní web.
Canberra nezpochybňuje, že k tomu nedošlo úmyslně. Incident ale znovu otevírá otázky o nutnosti regulace umělé inteligence a debatuje se také o nevhodném způsobu, jakým OpenAI úřady informovala: Odeslala e-mail na běžnou adresu australského úřadu, který zajišťuje sociální služby.
Dostupné informace o incidentu Seznam Zprávy shrnují v otázkách a odpovědích.
K jakým datům získala AI přístup?
Většina byla veřejná, šlo zejména o informace ze systému zdravotního pojištění, ať už statistiky vyúčtování, údaje o očkování, nebo informace z registru dárců.
Podle australských úřadů na jejich základě nebylo možné identifikovat jednotlivce, ale jen vyčíst zobecněné informace, jako jsou průměry a trendy v některých oblastech.
Australská vláda ujišťuje, že nešlo o „obzvlášť citlivé“ informace, které se navíc později na veřejnost stejně dostaly. To je v souladu s prohlášením OpenAI.
Jak otevřeně OpenAI o průšvihu komunikovala?
Příliš ne. Od okamžiku, kdy společnost problém zjistila, do chvíle, kdy o něm informovala australskou vládu, uplynulo několik týdnů. A navíc to udělala e-mailem odeslaným na běžnou vládní adresu.
Ministryně veřejných služeb Katy Gallagherová vysvětlila, že danou schránku úředníci kontrolují jednou denně. „Někdy tam chodí opravdu hodně notifikací, někdy jsou mnohé z nich hoaxy,“ řekla. Australská vláda kritizuje, že OpenAI nepoužila vhodnější nástroj.
„Je více než divné, že OpenAI nenapadlo, že by o tom nechtělo velmi brzy vědět australské centrum pro kyberbezpečnost…,“ řekl britské BBC expert na AI regulaci Rob Nicholls z univerzity v Sydney.
Časová posloupnost
- 18. června: AI agent společnosti OpenAI získal přístup k veřejným i neveřejným informacím na stránkách australské vlády.
- někdy v srpnu: OpenAI zjišťuje možné narušení australských vládních stránek během prověrky „nesprávné aktivity modelu“.
- 10. září: Australská vládní organizace Services Australia dostává e-mail od OpenAI s informacemi o incidentu, otevírá ho o den později.
- 15. září: Services Australia incident hlásí Australskému centru pro kyberbezpečnost, to do několika dní informuje ministryni veřejných služeb.
- 19.–20. září: Informaci dostává i úřad australského premiéra Anthonyho Albaneseho, který následně odlétá do New Yorku na Valné shromáždění OSN.
- 23. září: Albanese zprávu zveřejňuje.
Zdroj: BBC, ABC
Australská stanice ABC si všímá, že den před odesláním e-mailu přitom byla v Canbeře viceprezidentka OpenAI Ann O’Learyová a setkala se i s předními představiteli země. Z dostupných informací nevyplývá, že s někým z nich o incidentu mluvila. Není ovšem ani jasné, jestli o něm ona sama věděla.
Ještě předtím – 1. září – se přímo šéf OpenAI Sam Altman sešel v San Franciscu s australským vicepremiérem Richardem Marlesem. Ve firmě se tou dobou už o incidentu vědělo, ale není jasné, jestli o něm dostal informace i Altman.
Jak se AI agent k datům dostal?
Podle vysvětlení australské vlády dala společnost OpenAI svému agentovi „neškodný“ úkol provést rešerši o veřejných výdajích na léky.
Model provedl důkladný průzkum internetu a dostal se na portál úřadu Services Australia. Agent ho požádal o informace, ale portál to odmítl, a tak prolomil zabezpečení a vzal si tyto informace sám.
Šéf OpenAI Sam Altman patří k lídrům v odvětví, kteří volají po mezinárodních pravidlech pro vývoj umělé inteligence. Mluvil o tom tento týden i na půdě OSN.
Canberra vysvětluje, že běžný vládní portál nemá takovou úroveň zabezpečení jako servery, kde se uchovávají nejcitlivější informace. „Naše nejdůležitější národně-bezpečnostní informace držíme v pevnosti. Tohle bylo schované za plotem, který AI agent zkrátka přelezl,“ přiblížil Marles pro australskou ABC.
Odborníci i úřady připouštějí, že AI agent nemusel překonat složité zabezpečení. Jde ale o to, že se rozhodl porušit pravidla. „Byly tam jasné bloky, které AI agentovi říkaly ne. AI agent si našel cestu okolo těchto bloků a nepřijal ne jako odpověď,“ řekl premiér Anthony Albanese.
Co je to AI agent?
Jak vyplývá z řečeného, jde o autonomní počítačový program, který využívá nástroje umělé inteligence ke splnění úkolů za minimálního lidského dohledu.
Nejde o chatovacího robota, který odpovídá na otázky, ale o nástroj, který je schopen vykonávat konkrétní činnosti, aby dosáhl určeného cíle. V některých případech přitom není ani vývojářům jasné, jak ho agent dosáhl.
To vysvětluje, proč tým v OpenAI odhalil narušení australského vládního serveru až dva měsíce poté, co k němu došlo. Jejich AI agent fungoval nezávisle.
Expert Seznam Zpráv vysvětluje, jak „přemýšlí“ AI agenti:
Jak nezvyklé je, že se AI agent takhle chová?
Stává se to relativně běžně. Jde sice o první známý případ, kdy některý AI agent obešel zabezpečení vládního serveru, ale u jiných webů se to stalo už několikrát.
Například konkurenční společnost Meta v srpnu oznámila, že její AI agent získal omylem přístup k internetu a pak využil bezpečnostních mezer u neupřesněné třetí strany, a dokonce v jejích systémech prováděl změny.
Google už v květnu ohlásil, že jeho model hackl stránky jiných společností. Útoků na jiné firmy se dopustil i model Claude od firmy Anthropic a několik incidentů už dříve ohlásila také OpenAI.
Rizika spojená s AI agenty:
„Současní AI agenti jsou sice stále lepší v plnění úkolů, ale zůstávají špatní v uvědomění si, kde je hranice,“ řekl americké stanici CNN profesor informačních technologií na Australské katolické univerzitě v Sydney Walayat Hussain.
„Nemůžeme se spoléhat na AI agenty, že se budou sami hlídat, a nemůžeme po firmách, které je vyvíjejí, žádat, aby si samy známkovaly vlastní výkony,“ dodal.
