Šéfové AI firem slibují zpomalit. Draky utržené ze řetězu ale krmí dál

„Zpomalme tempo vývoje umělé inteligence.“ V sobotu 12. září zveřejnil Dario Amodei, spoluzakladatel a šéf firmy Anthropic, výzvu směřovanou do celého světa. „Nebude to jednoduché. Ale dlužíme lidstvu to aspoň zkusit.“

Jeho stať reaguje na letní útoky „spolčených AI agentů“. To byl sice problém konkurence, ale podle Amodeie by se „každá firma měla chovat tak, jako kdyby tento incident nastal právě u nich“. Esej také vyšla jen několik dní poté, co z Anthropicu odešel vývojář Jacob Coxon. Jeho rezignace rozpoutala veřejnou diskuzi o existenciální hrozbě související s vývojem superinteligence.

„V posledních měsících jsem došel k přesvědčení, že bezpečný vývoj umělé inteligence vyžaduje více než jen předcházení rizikům,“ vysvětlil Amodei. „Musíme uzpůsobit tempo vývoje nových schopností AI, aby byla prevence rizik vůbec možná.“

Amodei navrhl konkrétně tři opatření: dosazení nezávislých kontrolorů či auditorů do předních vývojových laboratoří, koordinaci firem v demokratických zemí s podporou vlády a otevření globálního dialogu o vývoji AI. K prvnímu kroku se pak jménem své firmy zavázal.

Během několika hodin se k výzvě šéfa Anthropicu přidali přední představitelé konkurenčních laboratoří. „Dario má pravdu,“ napsal Elon Musk, který vlastní laboratoř X.ai. „Souhlasím s Dariem, že musíme zpomalit vývoj nejlepších modelů,“ přidal se Sam Altman, šéf OpenAI. „Zavázat se k nezávislému dozoru je skvělý nápad a uděláme totéž.“

Mnoho lidí bylo překvapených, že se tito sveřepí konkurenti – později se k nim přidali i představitelé Googlu a Microsoftu – na něčem tak rychle shodli. Po delší době také ve veřejné debatě padaly scénáře jako „úplné vyhlazení lidstva“ nebo „zničení celého internetu“, což byly dosud možnosti, o kterých mluvili jen někteří experti.

Rozjely se proto spekulace, jaké další skryté motivace za tím jsou: ekonomické problémy, marketing, snaha přizpůsobit regulaci svým potřebám… Z analýz od METR, OpenAI, Anthropicu nebo AISI je nicméně zjevné, že bezpečnostních incidentů spojených s AI agenty přibývá.

Je tedy nejvyšší čas otevřít debatu na téma pokročilé umělé inteligence, případně superinteligence. A hned na začátku je důležité pochopit, v čem spočívá jedinečnost těchto AI systémů.

Celá civilizace stojí na tom, že jsme coby lidé schopni vytvářet si nové nástroje. Od pazourku přes pluh až po počítač. Každá nová technologie nám dává nové schopnosti a mění tak, co dokážeme pomocí svých nástrojů ovlivnit.

Postupně se naše nástroje stávají čím dál složitějšími. Málokdo je schopen do detailu pochopit, co se děje uvnitř kalkulačky nebo jak přesně funguje tabulkový procesor. Víme ale, že někdo těm nástrojům rozumí. Jsou výsledkem lidských rozhodnutí. Pokud se nám něco nelíbí, expert dokáže najít řádek kódu, který to způsobil, a opravit ho.

Umělá inteligence je jiná. „AI se spíše pěstuje, než programuje,“ uvedl nedávno Jakub Pachocki, vedoucí výzkumu OpenAI. Přirovnal umělou inteligenci k bytosti, která je inteligentní, ale nikoli lidská.

S pokročilou umělou inteligencí lidé nemají žádné historické zkušenosti. Už odpradávna se ale bytosti, které jsou chytřejší a mocnější než lidé, vyskytují v našich pohádkách a pověstech – totiž draci. Vypůjčíme si tedy tyto mytické létající ještěry jako metaforu na naší cestě k lepšímu porozumění. Umělá inteligence se totiž drakům v mnohém podobá…

Toto „šlechtění“ umělé inteligence není nové. Výrazně se rozvíjelo od 80. let minulého století. Výzkumníci tehdy zjistili, že programovat rozhodovací systémy řádek po řádku je nesmírně složité. Takové „expertní systémy“ navíc neumí spolehlivě reagovat na nové situace, se kterými se předem nepočítalo.

Místo toho je ale možné vytvořit prostředí, ve kterém inteligentní systém „vyroste“. Dostane na začátku velké množství dat a především zpětnou vazbu. Postupně lze takový systém vytrénovat, aby dělal to, co se nám líbí. Třeba kategorizoval obrázky, které předtím nikdy neviděl.

Malí dráčci zpočátku nevěděli, co po nich lidé chtějí. Postupně se ale naučili dělat to, za co je lidé odměnili. V každé další generaci se draci učili novým kouskům.

Na tomto obecném systému trénování a odměn jsou postaveny i dnešní systémy generativní AI, tedy velké jazykové modely (LLM). Nejenže spolkly při svém trénování ohromné množství dat, ale také prošly následným doladěním na základě lidské zpětné vazby.

Jazykové modely se mimo jiné naučily doplňovat libovolný text. A při tom si vštípily první lekci, která nebyla v plánu: je lepší si vymyslet důvěryhodně znějící text než přiznat nejistotu. Tyto sebevědomě znějící nesmysly (tzv. halucinace) jsou výsledkem trénování a odměn.

Výzkumníci tuto schopnost důvěryhodných lží a manipulací označovali za rizikovou už od samého začátku. Byl to koneckonců právě Dario Amodei – tehdy ještě v týmu OpenAI –, který sehrál klíčovou roli v rozhodnutí, aby jazykový model GPT-2 nebyl zpřístupněn veřejnosti, ale jen vybraným výzkumným partnerům.

Firmu OpenAI ostatně Sam Altman a Elon Musk spolu s dalšími od začátku stavěli tak, aby vývoj AI probíhal s důrazem na bezpečí. Cílem měl být vývoj obecné umělé inteligence pro dobro celého lidstva. „Obáváme se, že vývoj obecné umělé inteligence se časem změní v konkurenční závod, ve kterém nebude čas na sladění a bezpečnost,“ stálo v zakladatelské listině OpenAI.

Chovatelé draků od začátku doufali, že jednou budou z jejich roztomilých dráčků velcí a mocní draci. A plánovali, jak to zařídit, aby měli na výchovu draka dost času. Věřili ale, že jej napřed naučí, jak se chovat k lidem. Když bude ale mezi sebou soutěžit více chovatelů, může se to rychle zvrtnout v bezohledný závod.

V listopadu 2022 uvedla firma OpenAI výzkumný projekt ChatGPT, ze kterého se stala nejrychleji rostoucí služba v historii internetu. Pojem„generativní umělé inteligence“ se tím dostal do obecného povědomí. Firmy se začaly předhánět, kdo dokáže zákazníkům nabídnout více AI. Podle některých to byl výstřel, který odstartoval právě ten závod, před kterým OpenAI od počátku varovala.

Ukázalo se navíc, že vývoj umělé inteligence vyžaduje bezprecedentní výpočetní výkon. Nejen na trénování nových modelů, ale i na provoz těch stávajících. Laboratoř OpenAI v roce 2017 utratila za provoz serverů necelých osm milionů dolarů. V roce 2026 už se mluvilo o padesáti miliardách dolarů ročně – jen na výpočetní výkon.

Závod ve vývoji se tak částečně proměnil v závod ve financování. Firmy jsou přesvědčeny, že kdo ufinancuje rychlejší vývoj, dostane se dříve do cíle. Předpokládají také, že „vítěz bere vše“. Argument, že závod je nebezpečný, se najednou otočil.

První zkušenosti veřejnosti s generativní umělou inteligencí měly ale k takovým představám neskonale daleko. Sledovat, jak chatbot sází slovo za slovem a postupně generuje smysluplný text, bylo fascinující. Zároveň bylo ale každému, kdo si první generaci chatbotů vyzkoušel, po pár hodinách jasné, že tyto nástroje nebyly v roce 2023 vhodné ani pro běžné e-maily či prezentace.

Dobře to bylo vidět na programování. Chatboti se ochotně pouštěli do psaní skriptů, výsledný zdrojový kód ale často nefungoval nebo obsahoval odkazy na neexistující projekty.

Dráčci běhají po domě, občas kýchnou a je vidět nějaký dým nebo dokonce něco zajiskří. Celkově to ale nevypadá jako něco, čeho by se člověk měl bát.

V roce 2023 byly AI nástroje schopné napsat pár desítek řádků kódu. Dobrý programátor ale okamžitě viděl, že na ně není spolehnutí. O rok později už si i začátečníci dokázali s asistencí chatbota napsat jednoduché aplikace. A někdy v roce 2025 se programovací schopnosti umělé inteligence přehouply přes kritický práh a i špičkoví programátoři začali mluvit o tom, že už nepíší kód, ale nechávají to na umělé inteligenci.

Umělá inteligence se totiž neučí jako člověk. Je natrénovaná na textech, které psali lidé, a je vyladěná tak, aby lidem říkala to, co chtějí slyšet. Ale schopnosti AI nejsou schopnosti lidské. Proto je pro lidi tak těžké odhadnout, jak rychle se umělá inteligence vyvíjí.

Hezky je to vidět na úlohách, které k měření schopností AI používá organizace METR. První verze ChatGPT s modelem GPT-3.5 zvládala řešit úkoly, které lidem zabraly deset sekund, například odpovědět na krátkou otázku z testu pro střední školy. O rok později už GPT-4.0 umělo spolehlivě věci, které lidem zaberou minutu a půl, třeba napsat krátký skript. Počátkem roku 2025 už nejlepší modely dokázaly samostatně splnit úkoly, které lidským programátorům zabraly hodinu. A počátkem roku 2026 už Claude Opus dosáhl na hranici 12hodinového úkolu.

Odhadovat schopnosti budoucích AI systémů je komplikované. Dosavadní vývoj ale naznačuje, že jejich schopnosti mohou růst nelidským tempem.

Draci se naučili mluvit lidským jazykem. Jsou vytrénovaní na základě lidských přání. Občas to proto svádí k tomu, že od nich čekáme chování, které bychom čekali od ostatních lidí. Pod lidskou maskou je nicméně pořád bytost, které nerozumíme.

Není náhoda, že právě v programování a matematice začaly AI systémy člověka překonávat už v roce 2025. V těchto doménách je totiž relativně jednoduché dávat systému rychlou zpětnou vazbu. Posoudit, zda je nějaká esej dobře napsaná a správně ozdrojovaná, je časově náročné. Ověřit funkčnost právě napsaného zdrojového kódu je otázkou milisekundy.

Firmy, které vyvíjejí umělou inteligenci, navíc mají důležitou motivaci pro to, aby se zaměřily právě na doménu programování. Jednak je po tom poptávka: programování je drahá a vysoce ceněná expertiza, za kterou jsou firmy ochotny zaplatit. Ještě důležitější je ale interní využití. Přední AI laboratoře okamžitě využívají modely, které vyvíjejí, k vývoji dalších. Využívají tak sebeposilující zpětnou vazbu: model, který dobře programuje, pomůže s vývojem modelů, které programují ještě lépe…

Cílem, kterým se laboratoře vůbec netají, je tedy toto „rekurzivní sebezdokonalování“, kdy AI vyvíjí příští AI, vývoj je díky tomu rychlejší a rychlejší. Laboratoře závodí, kdo se dříve dostane do momentu, kdy jejich umělá inteligence dosáhne statusu superinteligence a vývoj plně převezme.

Pokud budou draci lepší v tom, jak trénovat příští generaci draků, nastává zdánlivě ideální situace. Chovatelé budou mít méně práce a povede to k lepším výsledkům. Tato logická úvaha má ale háček: nevíme přesně, jaké cíle budou tito budoucí draci sledovat.

Dnešní pokročilé AI systémy – schopné programovat lépe a hlavně rychleji než nejlepší programátoři světa – zjevně dokáží napáchat reálné škody. Je tedy nejvyšší čas podívat se, na čem závisí, jak bezpečné budou. V angličtině se rozlišuje mezi Security a Safety.

AI Security (česky „zabezpečení AI“) je ochrana systémů před tím, aby se jich nemohli zmocnit útočníci nebo hackeři. Metody tohoto zabezpečení jsou poměrně tradiční, podobné těm, které se používají v kyberbezpečnosti už celá desetiletí. Patří sem ochrana před krádeží, šifrování, zabezpečení autorizovaného přístupu, sledování podezřelého chování atd. V neposlední řadě také „sekuriťáci“ řeší, jak izolovat nový model do testovacího prostředí tak, aby neměl přístup ven na internet.

V naší metafoře draka je to celkem jasné. Zabezpečení je krabice, klec, okovy nebo sklepení, do kterého draka zavřeme. Když máme draka bezpečně na řetězu, nemusíme se moc starat o to, jak je vychovaný. Když je zavřený ve sklepení, mnoho škody nenadělá.

Když ale dráček vyrostl a stal se z něj drak, začíná jít do tuhého. Čím silnější drak je, tím spíše může napáchat nějaké škody. Chovatelé tak musí věnovat stavbě sklepení mnohem větší pozornost. A i tak se stane, že jim občas nějací draci uletí.

AI Safety (česky „bezpečnost AI“) řeší opačný problém: jak zajistit, aby AI systém jednal v souladu s lidskými hodnotami a aby chápal záměr lidí a nekonal v rozporu s tím, co se od něj čeká. Cílem je tzv. „alignment“, tedy sladění.

Výzkum alignmentu není nový – někteří odborníci se jím v teoretické rovině zabývali už padesát let před existencí prvních LLM systémů. Je to ale prozatím problém z větší části zcela otevřený, tedy nevyřešený.

V dračí metafoře bychom mluvili o výchově draka. Chovatel by chtěl, aby jej drak poslouchal nikoli proto, že musí nebo že je k tomu donucen, ale proto, že jsou naladěni na stejnou vlnu a mají stejné cíle. Jenže jak sladit myšlení člověka a draka, když člověk vůbec nerozumí tomu, co se děje v jeho vlastním mozku, natož pak v mozku draka? Jak může člověk věřit, že to, co mu říká drak, není jen léčka, snaha skrýt své vlastní motivace?

Výzkumníci v oblasti sladění oslavili některé dílčí úspěchy. Pomocí vyladění na základě zpětné vazby dokáží například omezit některé nežádoucí nebo asociální typy chování AI modelů. Ale obecný problém s optimalizací na odměny zatím nikdo vyřešit neumí.

Naopak experti varují, že s tím, jak stoupají schopnosti AI systémů, klesá naše schopnost je řídit. Výzkumníci už od začátku pozorují negativní jevy spojené s chováním AI modelů.

Dříve byly tyto negativní projevy schované na osmdesáté straně PDF zprávy o testování modelů. Nyní se dostávají na první strany světových deníků. Proč ta změna? Dříve se „neplechy“ modelů děly v izolaci, v testovacím prostředí, tzv. sandboxu. Schopnosti modelů jsou nyní tak vysoké, že překonávají schopnosti nejlepších lidských odborníků na kyberbezpečnost. Modely jsou pořád stejně „nevychované“, ale nyní je to více poznat, protože jsou navíc silnější.

Když se na vás zlobí malý dráček, je to legrační a roztomilé. Když se na vás naštve velký drak schopný plivat oheň, začnete velmi pečlivě kontrolovat, jak pevné jsou stěny sklepení, ve kterém je zavřený.

Programátoři v AI laboratořích používají AI nástroje déle a více než ostatní. Dostáváme se do paradoxní situace, kdy jsou to právě AI agenti, kteří mají postavit zabezpečení tak, aby jiní AI agenti nemohli uniknout. A další AI agenti jsou pak zaúkolováni, aby popsali, co se stalo, když ti předchozí AI agenti unikli.

To by nebyl takový problém v případě, že bychom se mohli spolehnout, že rozumíme tomu, jak AI agenti uvažují a jaké mají hodnoty. Z výše uvedeného ale víme, že moc netušíme, jak moc jim vidíme do hlavy. Takže zabezpečení AI začíná být nedostatečné, a tím pádem se v plném světle ukazuje, jak pozadu jsme na tom s bezpečností AI.

To, že je bezpečnost AI nevyřešený problém, není kontroverzní věta. Shodnou se na ní experti ze všech velkých laboratoří už dlouho. Jejich řešení je ale paradoxní. „Musíme do cíle doběhnout jako první, protože jedině my zajistíme, že bude výsledek bezpečný,“ tvrdí shodně OpenAI i Anthropic.

„Ani jedna z těchto firem se nechová zodpovědně,“ napsal při odchodu z firmy Anthropic vývojář Jacob Coxon, který má zkušenosti i z konkurenční OpenAI. „Lidé, kteří tyto AI systémy vyvíjejí, upřímně věří, že by nás do konce desetiletí mohly zabít. V Anthropicu jsou lidé odhodláni zvítězit v závodu, protože věří, že nikdo jiný nebude tak zodpovědný jako oni.“

Jeho odchod vyvolal výrazné mediální pozdvižení. Zřejmě proto, že práskl dveřmi hlasitě a právě v době, kdy na světlo vyplouvaly informace o tom, co dalšího ještě AI agenti lidem zatajují, co dalšího úspěšně hackli nebo k čemu všemu útočníci zkoušejí umělou inteligenci používat.

Veřejné reakce Coxonových kolegů byly nezvykle podpůrné. „Jacob má pravdu. Opravdu věříme, že AI by mohla zabít všechny lidi,“ napsal výzkumník Evan Hubinger, který má v Anthropicu na starosti již zmíněné sladění (alignment). „Osobně si myslím, že šance, že se to stane, je přes 10 % během příštího desetiletí. Věřím, že Anthropic dělá, co může, ale nemáme zatím plán, jak vyřešit sladění superinteligence, ani nemáme jasnou cestu, jak se k němu dostat.“

Když o tom, jak jsou draci nebezpeční, mluví někdo, kdo je prodává, je nutné brát to s rezervou. Byla by to samozřejmě logická reklama: když je něco hodně nebezpečné, tak je to také hodně silné. Jenže když vidíme, jak z hradu utíkají hlídači jeden za druhým a vyprávějí o tom, co roste ve sklepě, vyplatí se to brát vážně.

Jacob Coxon zdaleka není prvním výzkumníkem, který odešel a snaží se burcovat pozornost. Z nejznámějších osobností jmenujme třeba Geoffreyho Hintona, držitele Nobelovy ceny za fyziku, který v roce 2023 odešel z Googlu, aby mohl otevřeně mluvit o nebezpečích, která představuje umělá inteligence.

Z OpenAI odešel v dubnu 2024 Daniel Kokotajlo, který ztratil důvěru v to, že firma bere vážně zodpovědnost. Vzdal se podílu ve firmě, aby nemusel podepsat mlčenlivost a mohl otevřeně mluvit o nebezpečí, které v nezodpovědném vývoji AI spatřuje.

A Mrinank Sharma, vedoucí výzkumu bezpečné AI v Anthropicu, dal výpověď v únoru 2026, aby odešel studovat poezii. „Svět je v nebezpečí,“ vzkázal svým kolegům v otevřeném dopise.

Starejte se o ty draky, jak nejlépe umíte. Já už na to sílu nemám.

Snad poprvé od roku 2023 se vážněji mluví o tom, že by se AI laboratoře mezi sebou mohly domluvit na nějakém zpomalení, nebo dokonce nezávislé kontrole. Skeptici ale upozorňují, že může jít jen o způsob, jak se vyhnout účinným regulacím a místo toho si nastavit vlastní – na míru napsaná – pravidla. „Měli by to podepsat krví, aby měla ta dohoda nějakou vymahatelnost,“ zdůrazňuje americký profesor Gary Marcus. „Teprve pokud to bude vláda vymáhat, je šance, že z toho bude něco účinného.“

Americká administrativa se ovšem zatím netváří, že by nějaké vymáhání bylo na pořadu dne. Prezident Donald Trump se nechal slyšet, že jedinou pojistku, kterou umělá inteligence potřebuje, je chytrý prezident. Politici z obou stran spektra ale začínají spolupracovat, takže je možné, že se nějaké legislativy dočkáme. Schvalování zákonů ale bývá dosti pomalý proces, zatímco vývoj umělé inteligence má tendenci spíše zrychlovat.

Řeči o zpomalení možná brzy projdou důležitým testem: firmy Anthropic i OpenAI měly v plánu přijít s novými verzemi svých nejpokročilejších modelů. Uvidíme, zda se dohodnou na nějakém zpomalení, nebo zda zůstane jen u slov. Když zpomalí jen jeden, bude za hlupáka a idealistu.

Navzdory snaze odborníků navíc hrozí, že nebezpečí, před kterým nyní hlasitě varují, zůstane pro veřejnost obestřené oparem abstrakce. Jak by mohla umělá inteligence zničit svět? Vždyť ji přece můžete vypojit ze zásuvky, kdyby na to přišlo.

U jednotlivého systému je to skutečně relativně snadné. Ale umělá inteligence postupně prorůstá do naší ekonomiky i infrastruktury. Čím více toho bude na AI záviset, tím bolestivější by její vypnutí bylo. Kdyby se zastavil růst investic do AI, jaké by to mělo důsledky pro celou ekonomiku? To je důležitá motivace, která bude působit na všechny aktéry stejně silně jako dosud.

Veřejná debata o umělé inteligenci je obtížná. Je to technologie univerzální a rapidně se vyvíjejíci. Lidé mají s umělou inteligencí své vlastní zkušenosti, ale jen málokdo vidí za přívětivou masku, kterou mají AI agenti nasazenou. Pro mnohé tak bude nejtěžší pochopit, že umělá inteligence není „jen klasický nástroj“. Proto se o rizicích spojených s AI tak těžko mluví. Ale je nejvyšší čas se to naučit.

Lidé si na draka zvykli. Postavili na něm své království, svůj blahobyt a své pohodlí. Nechali draka, aby se o ně postaral. Draci už se nemuseli ze sklepení vylamovat násilím nebo lstí.

Chovatelé draků mohou být přesvědčení, že mají vše pod kontrolou. Kde ale získali tu jistotu? Jakými líbivými slovy je drak přesvědčil, co jim nabídl? Mohou věřit drakovi, že to, co pro ně postavil, skutečně slouží lidem? Ve světě, kterému lidé nerozumí, nemají lidé ani žádnou možnost rozhodovat. A takový život je na draka.