Článek
Když vědci umělé inteligenci psali o pomoc při vyplňování žádosti o grant, požadavek společnost Anthropic zastavila. Snažili se totiž popsat, jak geneticky upravit organismus, aby měl vylepšené vlastnosti. Zkoumali virus chikungunya, který přenáší komáři, neexistuje na něj lék a způsobuje horečky a silné bolesti. Jejich cílem bylo vytvořit jeho mutace a vpravit je do organismů.
Virus by se stával stále nebezpečnějším, infikoval by živá zvířata a výzkumníci by pozorovali varianty způsobující nejzávažnější příznaky. Jistě by se to dalo využít při vývoji léčiv. Ovšem také pro vývoj nebezpečné biologické zbraně.
Tento a čtyři další případy zveřejnila společnost Anthropic v rozsáhlé zprávě 10. září. Varovala před operacemi, kdy „aktéři modely využívali způsoby, jež by mohly podpořit vývoj biologických zbraní. Firma uvedla, že všem pokusům nakonec zamezila. Biologické zbraně jsou prostředky hromadného ničení využívající živé bakterie, viry nebo toxiny.
Vždy takto pracovali vědci. Otázky kladli modelu Claude. Psali ale ze zemí, kde není podporován. „Netvrdíme, že se snažili ublížit,“ napsala firma ve zprávě. Ačkoliv informace ve zmíněném incidentu naznačovaly, že výzkum provádějí civilní výzkumníci, měl se odehrávat ve vojenském ústavu.
Anthropic situaci označil za „neobvyklou“ a biologické zneužití za „jedno z nejzávažnějších rizik pokročilých AI modelů“. Dále zpráva popisovala kybernetické útoky, vlivové operace pocházející například z Ruska a Íránu a sledování lidí.
„V zájmu AI firem není vyvolávat paniku a odpor veřejnosti, který probudí regulátory. Pokud tedy vypustí informaci o tom, že existuje nějaké riziko, problém či incident, realita bude pravděpodobně daleko horší,“ napsal redakci Vít Janiš, filozof a sociolog umělé inteligence z Mendelovy univerzity v Brně.
Tenká hranice mezi zneužitím a přínosem
„Pokud by se vývoj vymkl z rukou, může to znamenat vznik nových, horších chorob. Potenciálně se jedná o obrovský problém,“ řekl Ondřej Bajgar, výzkumník bezpečnosti umělé inteligence. Že se může jednat o zneužití pro biologické zbraně, firma zjistila z okamžiků, kdy se dotyčný uživatel ptal prakticky na dvojznačnou věc. Výzkumníci totiž využívali principu, že stejné biologické informace lze použít k prospěšnému vývoji léků, nebo je naopak zneužít. Díky tomu si pak uživatelé vlastně udržovali zdání nevinného výzkumu.
V jednom z případů útočník využil Claude k vytvoření databáze peptidů ze zvířecích jedů a k následnému navrhování nových molekul. Projekt byl oficiálně prezentován jako neškodný medicínský vývoj léků proti bolesti a antidepresiv, kvůli čemuž dotazy zprvu nebyly bezpečnostními filtry zablokovány. Vygenerovaná sada sloučenin však zároveň obsahovala molekulární struktury pro cíle, které podléhají mezinárodní kontrole, protože mohou sloužit jako zbraně.
Bezpečnostní mechanismy tak samy o sobě nedokážou bez širšího kontextu rozlišit, jestli slouží léčbě nebo vývoji biologické hrozby. „Zda se zajímáte o vývoj vakcín nebo biologických zbraní, je pro modely těžké vyhodnotit. Mezi těmito oblastmi je dost tenká hranice,“ uvedl Janiš.
„Umělá inteligence v podstatě otevírá znalosti všem. Dnes už nemusíte být špičkovým expertem, abyste dokázal sesumírovat vysoce odborný text. To samozřejmě slouží i lidem, kteří to nemyslí se společností dobře. A nedá se s tím nic dělat,“ sdělil Janiš.
Nejnebezpečnější jsou čínské modely
Ve vývoji biologických zbraní pokládá Bajgar za nejnebezpečnější čínské modely, které si lze stáhnout a upravit dle vlastní potřeby. Říká se jim „open source“ modely a údajně zaostávají za vyspělejšími známými americkými konkurenty, jako třeba od OpenAI a Anthropic. „Snad si i na čínské straně uvědomují všechna rizika. Zatím se ale nějakými bezpečnostními opatřeními poctivě nezabývali,“ upozorňuje.
Veřejně dostupné čínské modely s otevřeným kódem jsou hrozbou především proto, že je lze po stažení relativně snadno zbavit veškerých bezpečnostních blokátorů. Kdokoliv si je může upravit pro vlastní potřeby. Žádný dodavatel nad jejich provozem nemá kontrolu a jejich otevřené parametry umožňují zkoumat, jak fungují. Jedná se například o modely Qwen a řady GLM.
Umělá inteligence navíc zlevňuje kyberútoky a může představovat klíčovou roli ve vojenských konfliktech. Čínský ministr státní bezpečnosti Čchen I-sin proto navrhl vybudování nové bezpečnostní bariéry, která má pomocí přísnější legislativy zavést ochranu před úniky dat a jasnou právní odpovědnost pro AI firmy.
„Musí vzniknout mezinárodní dohody“
Biologické zbraně zakazuje Úmluva o zákazu biologických zbraní z roku 1975. „Je těžké je použít na nepřítele, protože hrozí, že se vyvinutá nemoc vrátí zpět,“ vysvětlil Bajgar. „Nesmíme do světa pouštět modely, které by komukoliv pomohly tyto zbraně vyvinout. První krok by mohly udělat Spojené státy, když zregulují své firmy. Napříč všemi tématy v AI si myslím, že by se mohlo přistoupit k nějakému konsenzu a mezinárodní dohodě, že nebudeme zveřejňovat AI modely, které biologickými schopnostmi překročí určitou úroveň.“
Ochránit se před hrozbou přírodních zbraní se podle Bajgara můžeme dvěma způsoby. Buď model přenastavíme, aby na potenciálně nebezpečné otázky neodpověděl a sám si to uvědomil. Mluví i o druhé variantě, kdy na chat dohlíží ještě jiný model a může kdykoliv celou konverzaci vypnout.
U některých modelů vývojáři preventivně nastavili hranice tak pevné, že odmítal poskytnout znalosti na úrovni středoškolské biologie. „Specificky se jednalo o model Fable 5,“ zmínil Bajgar. Podobným způsobem by se totiž daly zneužít prakticky všechny otázky týkající se vědy. Pokud nastavíme tvrdá omezení, neochudíme se tím o nové vědecké poznatky od umělé inteligence? Nepodkopáváme tím rozvoj vědy? „Může to k tomu vést, záleží, jak široce filtry nastavíme. Nelze vyloučit, že pokud budeme moc opatrní, limitujeme vědu samotnou.“
Umělá inteligence se v přírodních vědách využívá už nyní. V srpnu výzkumníci ze Stanfordovy univerzity díky AI vyvinuli kompletně nové viry, které zabíjejí jiné bakterie – bakteriofágy. Modely vyprodukovaly přes 300 návrhů, 16 z nich dokázalo zabít konkrétní bakterii. Podle vědců jde o přelomový krok, který může pomoci v boji s infekcemi, které jsou rezistentní vůči antibiotikům.
V historii přírodní zbraně používali už starověcí Řekové, když trávili studny svých nepřátel zdechlinami nemocných zvířat. Dále je použilo Japonsko v druhé světové válce, nechalo několik čínských vesnic zasypat bombami, které obsahovaly blechy nakažené morem. V roce 2001, týden po teroristických útocích 11. září a téměř třicet let po ustanovení Úmluvy, rozeslal americký vědec dopisy s jemným bílým práškem obsahujícím antrax, bakterii způsobující plicní a kožní problémy. Pět lidí tehdy zemřelo.
Článek zpracoval Jaromír Dezort.
