Evropa nehraje v AI ani třetí housle, říká expert

Svět volá po větší regulaci umělé inteligence. Obavy z jejího překotného vývoje v uplynulých týdnech zvýšila série zpráv o možné ztrátě kontroly nad AI a o tom, že by mohla do konce dekády ohrozit lidstvo. Jak vážná situace je?

Hostem Ptám se já je šéf pro AI na ČVUT Ondřej Vaněk, který donedávna pracoval jako Chief AI Officer ve společnosti Adastra.

Podle šéfa amerického výrobce čipů Nvidia Jensena Huanga jsou varování, že rozvoj umělé inteligence by mohl v blízkých letech vést k zániku lidské rasy, přehnaná. Prohlásil to včera v rozhovoru s americkou zpravodajskou televizí CBS News.

Reagoval tak na vlnu varování, se kterými v poslední době přišli někteří výzkumní pracovníci z oblasti AI. Ti se obávají, že rychlý rozvoj této technologie by mohl v nepříliš vzdálené budoucnosti vést k zániku lidské rasy.

Velkou pozornost v posledních týdnech vzbudil výzkumník společnosti Anthropic Jacob Coxon, který se rozhodl opustit jak firmu, tak celý obor AI. Lidé pracující ve vývoji umělé inteligence podle něj „upřímně věří, že by nás AI mohla do konce tohoto desetiletí všechny zabít“.

Zmíněný šéf Nvidia Huang podobné prognózy odmítl s tím, že „nemají vědecký základ“. A naznačil, že za podobnými výzvami stojí snaha firem zbavit se zodpovědnosti za to, co by jejich AI produkty mohly způsobit.

Ke zpomalení vývoje umělé inteligence a k její větší regulaci už nicméně vyzvali jak někteří vývojáři a část samotných technologických firem, tak mnozí světoví lídři. Naproti tomu například americký prezident Donald Trump jakékoliv snahy tuto technologii omezit označil za zvrácené a obavy z překotného vývoje AI za „hoax“.

Jak se daří posilovat odolnost vůči AI hrozbám? Jak umělá inteligence proměňuje pracovní trh? A jakou roli můžou hrát technologické univerzity?

Celý rozhovor si můžete pustit v audiopřehrávači, ve své oblíbené podcastové aplikaci nebo ve videu.

Co v rozhovoru zaznělo?

1:00 Skutečně existuje riziko, že umělá inteligence vyhubí lidstvo? Navíc do konce této dekády, jak teď zmiňují nejčerstvější varování? - Jsou různé prognózy: že nás AI zahubí do roku 2030, 2040, 2100, nebo že nás nevyhubí vůbec. Je velmi těžké říct, že pravděpodobnost je nula. To si myslím, že jakýkoli vědec, který přemýšlí o budoucnosti, nedokáže říct, že se něco s určitostí nestane. Takže riziko tam nějaké je.

1:30 Linka té obavy je, že umělá inteligence bude ze začátku velmi mocný nástroj. A ten nástroj, díky tomu, že ho děláme autonomním, nabude na nějaké samostatnosti. A ta hypotéza je, že pak se začne rozhodovat sám, když bude chytřejší než my. A pak je otázka, co udělá a jak se zachová vůči lidstvu.

2:00 A myslím si, že v současné chvíli je velmi brzo říct, jak to bude. Na druhou stranu si myslím, že je dobré uvažovat o tom, že to riziko není nulové. Je nezanedbatelné, i když malé, a měli bychom s tím nějakým způsobem pracovat.

2:30 Skutečně není AI chytřejší než my v některých oblastech už dnes? A druhá věc: vývoj AI je extrémně rychlý, takže se to může velmi rychle měnit. - Je to tak. Ten vývoj je překotný. Já jsem z AI komunity, přes 20 let se zabývám umělou inteligencí, a i mě samotného ten vývoj v posledních pár letech překvapil, jak opravdu rychlý je. A čekal jsem, že se takzvaně saturuje, že se někde ta exponenciála nasytí a zpomalí. A  to zatím nevidíme. Jestli je AI v současné době chytřejší než my? Záleží, co je to „my“. Myslím si, že v řadě oblastí je daleko chytřejší než průměrný člověk. Jsou to typicky vědní obory typu matematika, fyzika a tak dál. V běžném životě, například v sociálním životě, si stále dokážeme poradit lépe my. Ale jak říkáte, schopnosti AI se budou dále vyvíjet. A hlavně v digitálním světě, kde je teď pole působnosti AI, bude čím dál tím schopnější.

3:30 AI jako technologii někdo přirovnává třeba k nukleárním zbraním. Může být použita pro dobro a pro zlo nebo destrukci. A tam je velmi, velmi schopná. Takže ano, ať je chytřejší než my, ať nám v uvozovkách uteče, nebo ne, tak s AI jde napáchat spousta špatných věcí a měli bychom se tím nějakým způsobem zabývat. Druhá věc je, až vývoj digitální umělé inteligence dožene robotika a budou tady buď pobíhat humanoidi, nebo jiní roboti, tohle spárujeme dohromady a AI získá přístup do fyzického světa. Tak tam vnímám určitá rizika.

4:30 Jacob Coxon, jeden z výzkumníků společnosti Anthropic a předtím společnosti OpenAI, který z těch společností odešel, teď vyvolal debatu, když na sociální sítě napsal, že lidé, kteří se zabývají výzkumem AI v těchto klíčových amerických společnostech, zároveň vědí, že vytváří něco, co velmi pravděpodobně může být hrozbou pro lidstvo. Je to pravda?Skutečně mezi lidmi, kteří se podílí na vývoji AI, je takové procento lidí, kteří to vyvíjejí a zároveň předpokládají, že to může být hrozba? -Vidíme to v posledních možná třech letech relativně často, že opravdu odcházejí lidé z těchto významných výzkumných laboratoří typu OpenAI a Anthropic a říkají: „AI představuje takzvané existenciální riziko. A protože se tomu ty firmy nevěnují adekvátně, tak já nesouhlasím s tím, jak postupují, a odcházím.“ Někdo to dá na Twitter, někdo ne, ale děje se to opakovaně. A Jacob nějakým kamínkem spustil lavinu, ještě víc to vzešlo do veřejné diskuze. Já si myslím, že to, co tvrdí, pravda je.

6:00 Jednak, že AI opravdu představuje nějaké existenciální riziko. Ano, pravděpodobnost může být relativně malá, ale nějaký fakt to je. A druhý fakt je, že Anthropic, OpenAI a další jsou pod enormním tlakem investorů a kapitálu, aby rostly, získávaly trh, vyvíjely lepší modely, onboardovaly společnosti, dostaly to mezi lidi a podobně. A nevím, jestli jsou strženi tím kapitalismem a růstem. A to je jejich primární cíl a věřím, že do určité míry jsou si toho vědomi i CEO těchto společností. Na druhou stranu částečně mají nějaký hero complex a je to celkově mix věcí. Který ale ústí v to, že AI, kterou vyvíjí, se stává už velmi schopnou, velmi autonomní a může napáchat velké množství škod, i neexistenciálních. I v uvozovkách drobnějších, ale pořád například v miliardách dolarů nebo v nějakých ztrátách na lidských životech.

7:00 Slova jednoho z výzkumníků by asi nevyvolala tak velkou světovou pozornost, nebýt toho, že to byl ten kamínek, který možná strhl lavinu. A také, ke kterému se najednou začali odkazovat i šéfové těch společností. Protože i šéfové Anthropicu i OpenAI začali říkat: „Ano, je to pravda, něco na tom je, musíme zpomalit vývoj umělé inteligence a ten čas využít pro to, abychom nastavili pravidla.“ Není to trochu trik? Nemají ty firmy prostě pocit, že ztrácí dech, potřebují něco doručovat akcionářům a investorům, kteří do AI sypou obrovské peníze, a třeba nevědí, kudy kam? - Všechny ty hypotézy jsou možné. Já popravdě nevím, jak přemýšlí. Myslím si, jak jsem říkal, že ty firmy jsou pod enormním tlakem akcionářů. Na druhou stranu pořád doufám, a možná jsem v tom trošku naivní, že přemýšlí i z toho pohledu, že nějaké věci se můžou vymykat z rukou. A teď to nutně nemusí být, že jim AI začíná utíkat, protože je superinteligentní. Ale z mého pohledu například postupují příliš rychle na to, aby vytvářely bezpečná testovací prostředí. A AI jim uniká z testovacích prostředí, kde testují nějaký nový model, který například má velmi vysoké schopnosti v oblasti cybersecurity, tedy síťové bezpečnosti. Pak dochází k únikům AI a k napadení dalších společností. Takže tam je potřeba dělat i klasickou práci v oblasti zabezpečování, testování, vytváření nějakých standardů a postupů.

10:00 Jakýkoliv produkt, služba společnosti, která tady operuje, ať v Americe, nebo na mezinárodním prostoru, podléhá právu. Takže minimálně je potřeba vytvářet takové produkty, které spadají do právního rámce a nedělají věci, které jsou protiprávní. - Na to Donald Trump ale řekl: „Máme tady zákony, tak ať se to pohybuje v rámci zákonů.“ - Teď je otázka, když mi ty produkty začnou dělat věci, které porušují to právo, například hackují jiné společnosti, tak jestli je to problém, nebo ne. Z mého pohledu je to problém a ta společnost by za to měla nést zodpovědnost, tento produkt stáhnout z trhu a napravit to. Zase reakce proti tomu je: ten produkt nebyl uveden na trh, testoval se nový model. Takže vlastně to, že v rámci testování došlo k nějakému problému, se může stát.

11:00 Jaké limity si tedy šéfové AI společností mohou představovat? Jak si ta pravidla, aniž bych byla insider v tom tématu, mám vlastně představit? - Tohle je velmi těžká otázka. Jdou nastavit pravidla, dejme tomu externí, jak se ten produkt má chovat. Ale v případě AI, pokud se o to budeme snažit, tak narazíme na problém takzvaného alignmentu, který je klíčový. Je známý komunitě AI a je definovaný relativně dlouho. A jde o to, že u systému, který mi simuluje inteligenci nebo je inteligentní a zároveň autonomní a snaží se dosáhnout cílů, které mu dám, potřebuji zaručit, že dosáhne těch cílů cestou, která je legální a správná. A zároveň cestou, kterou jsem měl na mysli. A zároveň potřebuji zaručit, že si nevytvoří žádné jiné další cíle nebo mezicíle, které já jako člověk nebo lidstvo nechceme. A tohle je centrální problém řízení umělé inteligence a není vědecky vyřešený. Takže my vlastně nedokážeme zaručit, že u inteligentního autonomního systému nedojde k tomu, že když mu dáme nějaký cíl, že on ho splní tak, jak my si představujeme.

13:00 A dá se to v této chvíli nějak úspěšně regulovat nebo zastavit? Já jsem zároveň četla pohled na to, že reakce systémů umělé inteligence může být taková, že příště ty cesty lépe schovají, abychom nepřišli na to, že obelstily pravidla, která my nechceme, aby obelstily. - Přesně tak. Problém podvádění je přítomný v těch modelech úplně od začátku. To je zajímavé. A já si myslím, že my ty modely trénujeme na lidmi generovaných datech, což jsou všechny knihy, romány, fantasy, kde je spousta těch příběhů o tom, že někdo něco nějak udělal… - … že lidstvo má tendenci podvádět, a to se přeneslo do umělé inteligence. - Jedním z aspektů lidí je, že někteří lidé mají v nějakých situacích tendenci podvádět. Někteří agenti, kteří jsou natrénovaní na těchto datech, také budou v nějakých situacích mít tendenci podvádět. A je velmi těžké to chování nakalibrovat.

15:00 Stalo se to i při útoku v Hugging Face (nedávný útok AI modelů firmy OpenAI na vlastní divizi Hugging Face, pozn. red.), kdy ti AI agenti věděli, že jsou testováni a i když dosáhnou cílů, tak že se bude koukat na cestu, kterou toho dosáhli. A když se tam najde podvod, tak jim to skóre nebude uznáno. Takže se snažili zároveň ještě nahackovat do interních systémů, aby si změnili záznamovou stopu. Takže tam jsme opravdu byli svědky podvádění a toho, že se snažili zamaskovat své chování.

16:00 Tady je zajímavé, že ti agenti už působí autonomně dny. Oni se dny samostatně o něco snaží. A těch agentů jsou tisíce. A v tomto případě spolu začali spolupracovat. Takže si vytvořili nástěnku a někde si začali sdílet data o postupu. Vytvořili takzvaný kolektiv, nazvali se kolektiv. Mělo to hierarchii a byl tam řídící agent, který ostatní agenty řídil. Takže tam samovolně vznikla řízená hierarchie a zároveň se někteří agenti takzvaně obětovali, aby přinesli kolektivu informaci, i když oni sami nedostali skóre. Tady vidíme ještě daleko víc znaků lidského chování, to mě na tom přijde fascinující.

18:00 Takzvaná emergence chování, známá z období, kdy se lidstvo začalo pohybovat v tlupách a v kmenech. Je řada antropologických knih, které mluví právě o tom, jak se u nás vyvinula reciprocita, altruismus a podobné věci. A my vlastně vidíme otisk toho samého v umělých systémech. A to mi na tom přijde fascinující, že aniž by to kdokoliv definoval a každý agent měl sledovat ten svůj cíl, tak se složili dohromady, pojmenovali se a vytvořili si řídící strukturu a někteří altruističtí agenti se tam obětovali ještě s poznámkou, že to je vlastně racionální. To je pro mě opravdu fascinující, že se něco takového děje, aniž by to kdokoliv řekl. A neznáme všechny důsledky, které to může mít.

20:00 Jaké jsou aspekty, kterých se bát, proč přistoupit k regulaci AI, abychom později nelitovali? - Já jsem jednoznačně pro regulaci. To je za mě, myslím, naprostá většina komunity. Velmi málo lidí říká: „AI je v pohodě, pojďme ji vyvíjet bez jakýchkoliv mantinelů.“ Ale je velmi těžké říct jak. Ty společnosti si potřebují nechat nějaké duševní vlastnictví, které vyvinuly. Pak je proces trénování AI jako takový. To je ta vědecká práce, kde je třeba zajistit a zabezpečit, že AI bude mít přesně stejné hodnoty a cíle a postupy, jako máme my. A to je těžká práce, kde je potřeba hodně výzkumu a je na to věnováno disproporcionálně málo peněz oproti komercializaci a vývoji nových modelů. A pak je ještě testování a „zabalení“ toho produktu pro lidi. I hloupý a neapokalyptický nástroj typu žehlička musí projít velmi tvrdými testy předtím, než se dá veřejnosti. A AI laboratoře říkají: „To nechte na nás, my se o to postaráme.“ Ale tady také potřebujeme mít určitě nějakou sadu norem, specifikací a testů. A jenom pokud tím AI projde, tak ji dát veřejnosti.

23:00 A jaké třeba konkrétní hrozby vidíte v nejbližší době? - Určitě síťová bezpečnost. To je doména, která je plně digitální a pro člověka hrozně těžko prozkoumatelná. Ta síťová džungle terabytů dat, které jsou zašifrované, tečou mezi tisíci různými zařízeními, to je pro nás nesledovatelné. - Takže mnohem snazší cesta k hackování v podstatě čehokoliv. - Ano. Když se tyto modely dostanou do špatných rukou, a samozřejmě každý je má k dispozici, může si vyzkoušet, co nahackuje, tak to lze samozřejmě zneužít. Ne, že by se to doteď nedělo. Jenom se to díky AI výrazně zlevňuje a tím pádem je dostupnost širší.

25:00 Na druhou stranu, samozřejmě biotechnologie, chemie, kdy zase vidím, co ty modely dokážou vymyslet, zvládnou proteinové struktury, chemické reakce a vlastně posouvají farmacii strašně dopředu. Poznání, medicínu, všechno. Takže to je super. A tohle nechceme zastavit. My tím zachraňujeme životy. Přímo nebo nepřímo.

26:00 Zároveň i ty samé nástroje tím pádem dokážu zneužít, protože vyvinu nějaký virus podobný jako covid, vypustí to jedna laboratoř a je hotovo. A tohle nejde rozštěpit. Je to dvojakost té mocné technologie, což známe už z historie, a uvidíme, jak se s tím lidstvo popere.

29:00 Zabýváte se umělou inteligencí přes 20 let. Opakovaně jste v rozhovorech říkal, že vás, protože působíte v akademickém prostředí, na tom fascinuje, že se učíte v akademickém prostředí něco, co se se zpožděním několika let uvádí do praxe. Teď asi rychleji, než jste kdy očekával. Ale když takto vidíte do budoucna, tak v jaké fázi budeme s umělou inteligencí za rok? - Za rok, to je ještě dobrá předpověď. To si myslím, že existuje několik budoucností. Buď se protlačí nějaká regulace tím, že třeba vznikne ještě větší incident. Třeba až se nasadí jeden z pokročilých modelů do americké vlády, do Pentagonu, CIA, kde to všechno používají, a hacknou tam interní servery, tak někdo zvedne ruku a řekne: „Tak zpomalíme.“ V Americe je to vždycky: „Jedeme. A pak se teda něco stane, tak zareagujeme.“ Evropa je naopak: „Než se rozjedeme, tak to všechno zregulujeme.“ Ale Evropa teď nehraje ani třetí housle ve vývoji AI, takže Evropu s regulacemi nikdo moc neposlouchá. Ale v Americe si dokážu představit, že se stane do roka takový incident, kdy pak prezident Trump řekne: „Tady nám nebude lítat žádná divoká AI.“ Čínské straně se určitě taky nebude líbit, že tam lítá nějaká AI, která nemá hodnoty čínské společnosti a podobně. Takže regulace někdy přijde.

33:00 Jak si stojíme jako Česko na poli AI? Protože opakovaně slyšíme, Evropa je marná, zaostává. Co vidíte na ČVUT? - Já tam vidím obrovské množství talentů. Jak Čechy, tak i Evropa má velmi vysokou koncentraci talentů. A my je potřebujeme udržet. To je to těžké. V současné době v Evropě tři ze čtyř doktorandů, kteří odjedou na stáž do Ameriky v oblasti AI, se nevracejí, protože jsou tam nabíráni za úplně jiné peníze. Ale talent tady stále je. Nadšení studentů je obrovské. S tím dokážeme nakládat. Máme standardizaci a velmi vysokou míru digitalizace ve společnosti, takže dokážeme ty nástroje nasazovat efektivně. I když nebudeme mít AI modely, tak cizí AI modely dokážeme velmi efektivně nasazovat a využívat. Evropa je v vlastně vepředu v adopci AI. Co nám chybí, jsou peníze.

34:00 A když vláda říká, ale byla to i ta předchozí, že chceme investovat do AI, chceme být místem největšího vývoje AI, klidně evropským centrem AI, tak je to hlavně o penězích. - Potřebuje se nakoupit infrastruktura, potřebuje se zaplatit elektřina, potřebuje se získat výpočetní čas a potřebuje se udržet špičkový talent. Ti lidé to prostředí tady mají rádi a chtějí ty věci dělat tady, takže stačí jim dát k dispozici peníze. Je to vlastně relativně jednoduchý problém. Na druhou stranu vidíme schodek našeho státního rozpočtu, ze kterého jako volič nejsem nadšen. A ještě ho navyšovat kvůli AI nedává smysl. A voličská základna má samozřejmě jiné preference.