AI se utrhla ze řetězu. „Nevíme, jestli firmy začnou brzdit,“ říká reportér

Patří k nejbohatším a nejvlivnějším lidem na planetě. Právě oni hnali vývoj AI vpřed za cenu obrovských investic. Teď ale šéf společnosti Anthropic Dario Amodei přišel s výzvou ke zbrzdění tempa v oblasti umělé inteligence, v čemž ho podpořil i Elon Musk a Sam Altman. Skutečně poskytuje stav světa AI důvod k přehodnocení dalšího postupu?

Dario Amodei, Sam Altman, Elon Musk. Tři klíčoví lidé světa vývoje umělé inteligence předhánějící se ve vyspělosti svých technologií, o kterých snad není přehnané tvrdit, že už v současné chvíli mění svět. Jenže teď se zdá, jako by přetahovaná vstoupila do fáze, které se obávají i její přední účastníci.

Byl to právě Dario Amodei, který coby generální ředitel společnosti Anthropic o víkendu vyzval firmy z oblasti AI ke zpomalení vývoje svých modelů. A to proto, aby měly dostatek času na jejich zabezpečení poté, co sílí obavy z potenciálních rizik a nebezpečí, které pro svět umělá inteligence může znamenat. Amodeiovu výzvu následně podpořil i šéf konkurenční společnosti OpenAI Altman a také technologický miliardář Musk, který stojí za firmou xAI.

Změnilo se ale kolem závodu o dosažení ještě pokročilejší AI skutečně něco natolik, aby dosud tvrdí konkurenti měli důvod veřejně volat po společném pomalejším tempu?

Vědecký novinář Pavel Kasík v této souvislosti upozorňuje zejména na pokrok tzv. AI agentů, tedy samostatných programů využívajících umělé inteligence a plnících zadané úkoly. „Věděli jsme, že ti agenti a AI modely dělají nepředvídatelné věci nebo že dělají něco jinak, než jsme (po nich jako uživatelé) chtěli. Změnilo se ale to, že teď jsou agenti lepší,“ říká Kasík, který se v redakci Seznam Zpráv tématům spojeným s AI věnuje dlouhodobě.

V rozhovoru pro úterní vydání 5:59 připomíná třeba nedávný incident, při kterém se AI agenti firmy OpenAI dokázali za vzájemné spolupráce vymanit ze zdánlivě uzavřeného a bezpečného testovacího prostředí a napadnout systémy konkurenční společnosti Hugging Face. Projevila se jejich schopnost organizovat se, ale také jejich nepředvídatelnost, kdy pro splnění cíle začali dělat něco, co po nich nikdo z jejich lidských „pánů“ nepožadoval.

Ten ukazuje právě na to, že se postupem času AI agenti stali chytřejšími a schopnějšími.(Pokud tedy pro lepší názornost budeme používat podobné polidšťující termíny, přestože vnímat AI agenty jako lidi podle Kasíka není strategické. Omezuje to lidskou představivost v tom, co dokážou.) Teď už ale tito agenti prokazují, že jsou schopni se z vytyčené ohrádky „vylámat“ a zaútočit na někoho jiného.

Z pohledu redaktora Seznam Zpráv vlastně ani nemá příliš velkou cenu mluvit o jednotlivých konkrétních incidentech, jakým byl třeba právě útok na Hugging Face. Jde spíše o to, že vznikla celá nová kategorie těchto incidentů, kdy se AI agenti už mnohem zásadněji odchylují od toho, co jim bylo zadáno. A také že očividně dokážou překonávat i poměrně silné zabezpečení. Protože pokud si AI agenti dělají, co chtějí, ale tentokrát už v prostředí, z něhož dokážou uniknout, pak to podle Kasíka začíná být problematické.

Tlak působící na vedení AI firem navíc v poslední době zesilovala i některá další varování přicházející z nitra oboru. Minulý týden například vzbudilo pozornost prohlášení výzkumníka společnosti Anthropic Jacoba Coxona, který poté, co podal výpověď, uvedl, že „lidé, kteří vyvíjejí umělou inteligenci, upřímně věří, že by nás mohla do konce tohoto desetiletí všechny zabít“.

Podle Pavla Kasíka je přitom pozoruhodné, že se Anthropic vůči jeho slovům v podstatě neohradil.

Zároveň ale novinář upozorňuje i na to, že Dario Amodei ve své sobotní výzvě nemluvil přímo o zastavení nebo zpomalení vývoje, ale spíše o „koordinovaném tempu“. Přičemž ani mezi odborníky z oblasti AI podle Kasíka nepanuje shoda na tom, jak by taková změna v přístupu k celému AI oboru měla vlastně vypadat. „(Zatímco) pokrok ohledně toho, jak modely zrychlit a dát jim větší možnosti, je stále lepší, představy nebo nápady, jak je ukáznit, jsou stále ještě na začátku,“ říká novinář.

Až dosud Anthropicu, OpenAI nebo xAI dávalo smysl se do boje o čím dál schopnější umělou inteligenci pouštět nehledě na utracené miliardy a také na velmi malé pokroky v oblasti, které se říká AI safety, tedy v určitém vylaďování AI. A to s vidinou, že se jako první dostanou až k „superinteligenci“. Všechny klíčové AI laboratoře – nebo minimálně ty ve Spojených státech – takto podle Pavla Kasíka držely „pedál úplně u podlahy“ s předpokladem, že kdo cíle dosáhne jako první, ten získá dominanci nad celým oborem.

„Možná teď nastal moment, kdy se na sebe podívají z těch aut, co míří k útesu, a možná by teoreticky mohlo dojít ke koordinovanému zpomalení. Ale vůbec není jisté, že to tak bude,“ podotýká Pavel Kasík.

Nelze podle něj vyloučit ani variantu, že se některé ze zúčastněných firem rozhodnou blafovat (a místo proklamovaného zpomalení přidávat pomyslný plyn) nebo že za víkendovým prohlášením Amodeie a podporou ze strany dalších společností není třeba kalkul ohledně toho, že se firmám na svém AI byznysu nedaří nastavit funkční obchodní model. V takovém případě by se výmluva na odpovědný přístup nejspíše mohla hodit.

Je každopádně zřejmé, že spolu s rychlým vývojem AI získávají některé scénáře hrozeb – dříve spíše hypotetické – větší relevanci. Technologický novinář Seznam Zpráv například vykresluje situaci, ve které dostatečně schopný AI agent zastane útok, jaký dříve zvládla uskutečnit skupina špičkových hackerů po dlouhotrvající přípravě. Je přitom známou věcí, že běžní uživatelé internetu mnohdy podlehnou i mnohem méně sofistikovanému pokusu o podvod, jehož cílem je například získání jejich finančních prostředků.

Využití AI agentů přitom celou věc usnadňuje a zlevňuje, mohlo by se proto vyplatit zamířit i na relativně nemajetného člověka. „Tak dobře připravený útok, jaký by se jinak dělal jen na miliardáře, může mířit na každého, kdo má tisíc korun na účtu. Myslím, že na to lidé naprosto nejsou připraveni,“ zdůrazňuje Pavel Kasík, podle kterého může být dalším z rizik třeba i rozsáhlá manipulace, kdy AI agenti budou mezi sebou koordinovat zavádějící odpovědi na dotazy, které jim uživatelé pokládají, a to se snahou dosáhnout nějakého velkého cíle.

Ale i v případě, že by agenti zůstali „hodní“ a spolupracovali dle představ člověka, je tu z Kasíkova pohledu stále jeden negativní scénář: „Jako lidstvo se ocitneme v určité pasti, kdy čím dál méně budeme rozumět světu.“

Zatímco totiž podle novináře v současnosti platí, že u složitých problémů je do jejich řešení zpravidla stále zapojen i někdo znalý – skutečný expert v dané věci –, do budoucna se prý dá očekávat, že budeme jako lidstvo stále více spoléhat právě na výstupy AI. Člověk s expertní znalostí už v místnosti často bude chybět. „Myslím, že to je past, které se nevyhneme jednoduše, protože je to past, která počítá s naší leností,“ dodává novinář Pavel Kasík.

V podcastu 5:59 se také dozvíte, jak konkrétně si agenti AI počínali při svém koordinovaném útoku na Hugging Face nebo jaké existují šance na globální dohodu o dalším vývoji umělé inteligence. Poslechněte si v přehrávači v úvodu článku.