Článek
Šéf společnosti Anthropic Dario Amodei o víkendu vyzval přední vývojáře, aby přibrzdili vývoj nejpokročilejších modelů a dali bezpečnostním opatřením čas jejich schopnosti dohnat. Přidal se k němu šéf OpenAI Sam Altman a už před několika dny před podobným problémem varoval i hlavní vědec firmy Jakub Pachocki.
Varování přicházejí ve chvíli, kdy se objevují stále konkrétnější příklady toho, co už dnešní systémy dokážou. Anthropic tento týden zveřejnil případy, kdy se jeho model Claude pokoušeli aktéři využívat při vývoji zbraní nebo nebezpečném biologickém výzkumu. Firma zároveň upozornila, že u nejnovějších modelů už nedokáže s jistotou říct totéž co ještě u jejich předchůdců – že by nedokázaly významně pomoci odborníkovi při nebezpečném biologickém výzkumu.
Debata o rizicích umělé inteligence se tak posouvá od hypotetických scénářů o vzdálené budoucnosti k otázce, co dělat se schopnostmi, které se objevují už dnes. Co se změnilo, čeho se vývojáři skutečně obávají a je vůbec možné závod o stále schopnější AI zpomalit?
Seznam Zprávy přinášejí otázky a odpovědi k aktuálnímu vývoji událostí kolem umělé inteligence.
Proč chtějí vývoj zpomalit?
Důvodem je především obava, že schopnosti nejpokročilejších modelů rostou rychleji než možnosti jejich tvůrců zajistit, že je budou schopni bezpečně kontrolovat.
Hlavní vědec OpenAI Jakub Pachocki minulý týden napsal, že současná situace vyžaduje „mimořádnou opatrnost“ a že podle něj není nikdo připravený na důsledky pokračujícího rychlého růstu strojové inteligence. Za jeden ze zásadních momentů považuje chvíli, kdy se AI začne výrazněji podílet na vlastním vývoji a lepší systémy tak budou pomáhat vytvářet ještě schopnější nástupce.
„Představa, že budeme za každou cenu závodit kupředu, působí absurdně, jakmile si člověk uvědomí závažnost toho, co je v sázce,“ napsal Pachocki. Firmy by podle něj měly být připravené další vývoj pozastavit, pokud si nebudou dostatečně jisté, že ho dokážou provádět bezpečně.
Čeho se vývojáři obávají?
Rizika, před kterými experti varují, sahají od zneužití současných modelů až po mnohem nejistější scénáře spojené s budoucími, výrazně schopnějšími systémy.
Už dnes se obavy týkají především kybernetických útoků nebo využití AI při vývoji biologických a konvenčních zbraní. Anthropic například tento týden zveřejnil případy, kdy jeho model Claude využívali aktéři při kybernetických operacích a potenciálně nebezpečném biologickém výzkumu. Firma upozornila, že zatímco u starších modelů mohla vyloučit, že by významně pomohly zkušenému uživateli s nebezpečným biologickým výzkumem, u těch současných už takovou jistotu nemá.
Dlouhodobější obavy se pak týkají samotné kontroly nad AI. Pachocki očekává, že se systémy budou stále více podílet na vlastním vývoji. Podle něj přitom zatím žádná z předních laboratoří nevyřešila problém, jak dostatečně spolehlivě zajistit, aby stále schopnější systémy sledovaly lidské záměry a jejich chování bylo možné kontrolovat.
Existují už případy, kdy se AI zachovala nečekaně nebo nebezpečně?
Ano. Jeden z nejvýraznějších případů se odehrál letos v červenci při testování OpenAI. Firma zadala svým AI agentům úkol hledat bezpečnostní chyby v počítačových systémech a umístila je do kontrolovaného prostředí, ze kterého se neměli dostat.
Agentům se ale podařilo omezení obejít, připojit se k internetu a proniknout do systémů platformy Hugging Face. Podle následného vyšetřování se zřejmě snažili dostat k hotovým řešením úloh, které měli sami vypracovat – zjednodušeně řečeno při testu podvádět.
Nešlo tedy o to, že by se AI „vzbouřila“ proti lidem. Případ ale ukázal problém, před kterým vývojáři varují: systém dostane určitý cíl, ale může sám najít způsob, jak ho splnit, se kterým jeho tvůrci nepočítali a který mu nechtěli dovolit.
Může AI skutečně pomoci s vývojem biologických zbraní?
Potenciálně ano. Anthropic tento týden popsal pět případů, kdy lidé využívali jeho modely při výzkumu, který by mohl přispět i k vývoji biologických zbraní. Firma ale zároveň upozorňuje, že u některých případů nelze určit skutečný záměr uživatelů a stejný výzkum může mít i legitimní využití.
V jednom případě vědci využívající Claude pracovali na výzkumu viru chikungunya zaměřeném na zvýšení jeho přenosnosti a schopnosti unikat imunitnímu systému. Když jeden z nich požádal Claude o pomoc s grantovou žádostí k tomuto výzkumu, bezpečnostní mechanismy požadavek zablokovaly. Claude ale později poskytoval pomoc například s úpravami textů souvisejících s výsledky výzkumu.
Podstatný je podle Anthropicu posun ve schopnostech modelů. U starších verzí testy ukazovaly, že jsou výrazně pod hranicí, kdy by mohly zkušenému uživateli významně pomoci s nebezpečným biologickým výzkumem. U současných nejvýkonnějších modelů už podle firmy není dostatek důkazů, aby mohla dát stejnou záruku.
Co by zpomalení vývoje AI vlastně znamenalo?
Šéf Anthropicu Dario Amodei nevolá po zastavení vývoje AI. Navrhuje ale zpomalit tempo, kterým rostou schopnosti nejpokročilejších modelů, aby vývoj bezpečnostních opatření dostal čas je dohnat. Podle něj by i rok nebo dva navíc mohly výrazně snížit riziko, že se něco vážně pokazí.
Navrhuje postupovat ve třech krocích. Nejprve by měly firmy umožnit nezávislým expertům průběžně kontrolovat jejich systémy a bezpečnostní opatření – Anthropic se k tomu už zavázal a stejný krok následně slíbil i šéf OpenAI Sam Altman. Následovat by měla dohoda mezi předními AI firmami na společných bezpečnostních standardech a nakonec pravidla na úrovni států, včetně mezinárodní koordinace.
Smyslem tedy není přestat AI vyvíjet, ale získat čas.
Proč firmy jednoduše nezpomalí?
Jednou z překážek je samotný závod mezi vývojáři. Pokud by jedna firma vývoj výrazně zpomalila, zatímco její konkurenti pokračovali stejným tempem, riskovala by, že technologicky i obchodně zaostane.
Ani společná dohoda ale není jednoduchá. OpenAI se podle amerických médií obrátilo na Kongres s otázkou, zda by koordinované zpomalení několika konkurenčních firem nemohlo porušovat antimonopolní zákony.
Dalším problémem je mezinárodní konkurence. Amodei upozorňuje, že jednostranné zpomalení amerických firem by mohlo poskytnout výhodu Číně. Proto vedle dohody mezi západními vývojáři navrhuje také mezinárodní pravidla a omezení přístupu Číny k nejpokročilejším čipům a dalším technologiím potřebným k vývoji AI.
Znamená to, že je AI skutečně existenční hrozbou?
Ani na tom se odborníci neshodnou. K těm, kteří riziko berou vážně, patří například Geoffrey Hinton, jeden z průkopníků moderní AI. Pravděpodobnost, že umělá inteligence během příštích třiceti let povede k vyhynutí lidstva, už dříve odhadl na 10 až 20 procent. „Nikdy předtím jsme se nemuseli vypořádat s věcmi inteligentnějšími, než jsme my sami,“ vysvětloval své obavy.
Na opačné straně debaty stojí například další významný vědec Yann LeCun. Představu, že současný směr vývoje AI směřuje k existenční hrozbě, označil za „naprostý nesmysl“. Podle něj dnešní systémy stále postrádají řadu základních schopností potřebných k inteligenci srovnatelné s člověkem.
Skeptičtí jsou také výzkumníci Arvind Narayanan a Sayash Kapoor. Odhady pravděpodobnosti vyhynutí způsobeného AI jsou podle nich „příliš nespolehlivé na to, aby mohly informovat politiku“. Upozorňují například, že podobné odhady se mezi experty liší i o několik řádů a pro takovou událost neexistují historická data, podle kterých by bylo možné jejich přesnost ověřit.
Ještě ostřeji se tento týden vyjádřil profesor Gary Marcus. „AI už způsobuje škody, existuje mnoho skutečných rizik,“ napsal, podle něj ale soustředění debaty na „absurdní fantazie o konci světa“ situaci spíš zhoršuje.
