Článek
Během uplynulého týdne se celosvětové přehodnocování rizik umělé inteligence rozšířilo ze špičkových laboratoří v Silicon Valley do obývacích pokojů po celém světě.
A to všechno začalo u Jacoba Coxona. Dokud veřejně nepodal výpověď v Anthropicu a nevaroval před nebezpečím systémů AI, které by mohly zahubit lidstvo, byl naprosto neznámou postavou. List Wall Street Journal přinesl jeho rozsáhlý profil.
Tento sedmadvacetiletý britský výzkumník byl talentovaným studentem matematiky na Cambridgi. Své mládí strávil v londýnské intelektuální komunitě známé jako „racionalisté“ a než si našel cestu do Silicon Valley, vyzkoušel si na krátkou dobu i obchodování s komoditami.
Jeho digitální stopa na internetu však byla téměř nulová. Svým přátelům nepřipadal jako typ člověka, který by z etických důvodů odešel z práce v oblasti AI. Nebyl dokonce ani žádným významným hráčem v úzké komunitě zastánců bezpečnosti AI, kteří nad ponurými scénáři debatují při neformálních setkáních v barech po celém San Franciscu.
Pak však dal výpověď a světu oznámil, že jeho bývalí kolegové v OpenAI a Anthropicu „upřímně věří, že by nás to do konce desetiletí mohlo všechny zabít“, a že laboratoře, které se předhánějí ve vývoji této technologie, „hazardují s našimi životy“.
Výzkumníci v oblasti AI varují před hrozivými riziky už celé roky. Ještě nikdy se jim však nepodařilo vyděsit tolik lidí v tak krátkém čase. Coxon v podstatě hodil zápalku do kupící se hromady znepokojivých událostí, které samy o sobě nedokázaly strhnout pozornost světa.
Během několika dní poté, co Coxon začal bít na poplach, se šéfové konkurenčních laboratoří v ojedinělém momentu jednoty shodli, že je načase překotný technologický vývoj zpomalit. Prezident Trump mezitím prohlásil, že jediným potřebným mantinelem pro USA je „silný a chytrý“ prezident, zatímco Čína obavy amerických manažerů označila za „šíření paniky“.
Bouřlivá reakce překvapila i samotného Coxona, jak uvedl v rozhovoru pro Wall Street Journal. Z tohoto matematického nadšence v želvovinových brýlích, jednoho ze stovek jemu podobných v AI firmách v Silicon Valley, se tak rázem stala tvář bezpečnosti AI.
Coxon podle svých slov dospěl k rozhodnutí opustit odvětví sám a teprve poté požádal o radu přátele a členy komunity zaměřené na bezpečnost AI.
Ti jeho prohlášení rychle rozšířili do světa. Zapojila se i síť výzkumníků z neziskových organizací, kteří na riziko katastrofy dlouhodobě a hlasitě upozorňují. Někteří z dárců těchto skupin mají blízko k efektivnímu altruismu – filozofii zaměřené na konání dobra ve světě, ať už prostřednictvím charity, nebo snahou zabránit tomu, aby umělá inteligence napáchala škody.
Jeho výroky z něj udělaly terč pro nadšené propagátory umělé inteligence. Ti v jeho dramatickém odchodu vidí součást koordinovaného spiknutí, jehož cílem je prosadit přísnější globální regulace nahrávající těm největším korporacím.
Od chvíle, kdy rezignoval, se šéfové nejhodnotnějších světových společností a AI laboratoří ocitli na opačných stranách barikády v debatě, kterou rozpoutal. Generální ředitel společnosti Anthropic Dario Amodei prohlásil, že s Coxonem spíše souhlasí, než že by s ním nesouhlasil. Naopak šéf Nvidie Jensen Huang uvedl, že obdivuje Coxonovu odvahu, ale zpochybnil jeho tvrzení o budoucnosti a varování před katastrofálními scénáři označil za nezodpovědná.
Jak jeho příznivci, tak kritici ho označují za whistleblowera, což on sám odmítá. Z jeho pohledu nevynášel žádná firemní tajemství, pouze veřejně pojmenoval to, o čem vědci zabývající se umělou inteligencí diskutují v soukromí.
Nyní se ocitl přímo uprostřed střetu mezi akceleracionisty, kteří věří, že přínosy AI převažují nad riziky a že tato rizika lze zmírnit tím, že se k nejvýkonnějším modelům umožní přístup více lidem, a výzkumníky, kteří požadují zpomalení vývoje této technologie, než nad ní firmy vyvíjející AI ztratí kontrolu.
Ve světě AI se pro lidi, které rizika znepokojují nejvíce, vžilo označení „doomeři“, tedy proroci zkázy. „Pokud slovo doomer označuje někoho, kdo si myslí, že všichni zemřeme, pokud nezměníme svůj přístup,“ řekl Coxon, „pak jsem rozhodně doomer.“
Přelomový model 3
Ještě než se z něj stal doomer, narazil Coxon během studií na elitní oxfordské soukromé škole na knihu, která zásadně zformovala jeho pohled na svět. „Superinteligence: Cesty, nebezpečí, strategie“ od filozofa Nicka Bostroma – vlivné osobnosti rozmáhajícího se hnutí efektivního altruismu – v něm upevnila obavu, že nekontrolovaná AI by mohla představovat existenční hrozbu pro lidstvo.
V roce 2016 jako teenager sledoval, jak počítačový program AlphaGo od společnosti Google DeepMind porazil jednoho z nejlepších světových hráčů deskové hry go. Pro obor umělé inteligence to byl přelomový okamžik, protože se ukázalo, že stroje dokážou ovládnout i oblasti, o kterých se do té doby zdálo, že vyžadují výhradně lidskou intuici a tvořivost.
Coxon, syn profesora středověké německé literatury, našel zalíbení v matematice a probojoval se do britského týmu pro Mezinárodní matematickou olympiádu, prestižní soutěž pro středoškoláky. V roce 2016 si z ní přivezl stříbrnou medaili a o rok později bronz.
Jednoho večera vyrazilo několik matematických týmů do McDonald’s v Hongkongu. Inspirováni Coxonem a poučkou z teorie čísel, známou jako Chicken McNugget teorém, dali dohromady zbylé stravenky a nakoupili stovky nugetek. Spolu s účastníky olympiády z celého světa se pak ládovali McNuggety, tísnili se kolem tabule a snažili se rozlousknout záludný matematický problém.
Jak se později ukázalo, z dětí v té místnosti se časem stali jeho kolegové.
Ze šesti členů Coxonova týmu nakonec tři skončili ve výzkumných laboratořích AI – včetně jednoho, který také nedávno odešel z Anthropicu. Joe Benton opustil bezpečnostní tým Anthropicu koncem srpna a přešel do výzkumné organizace METR. Na síti X později napsal: „Společnosti vyvíjející AI závodí v budování strojů, které budou daleko chytřejší než jakýkoli člověk, a nemusíme to přežít.“
Coxon nastoupil na Cambridge, hrál squash a dál studoval matematiku. Když v roce 2020 dokončoval studia, společnost OpenAI vydala průlomový model GPT-3, který demonstroval jeden z hlavních pilířů současného AI boomu, tedy že schopnosti modelů rostou s tím, jak se trénují na stále větším množství dat.
„GPT-3 byl vážně ten ‚wow‘ moment,“ řekl Coxon.
Po vysoké škole se Coxon sblížil s malou, ale vlivnou komunitou racionalistů, která usilovala o proměnu britské vlády. Tato online komunita, jež kladla důraz na přísné racionální uvažování na úkor politického instinktu, se v politice uchytila díky Dominicu Cummingsovi, architektovi brexitu a poradci z Downing Street.
V Londýně Coxon bydlel v Newspeak House – instituci, která se sama označovala za nezávislou rezidenční kolej a fungovala jako komunitní bydlení i místo pro akce, kde se mladí lidé scházeli k diskusím o technologiích a politice.
Coxon navštěvoval večírky na střeše této budovy stejně jako budoucí klíčové postavy světa AI. Mezi ně patřil i Logan Graham, tehdejší zvláštní poradce premiéra Borise Johnsona, který dnes v Anthropicu vede zátěžové testování modelů zaměřené na budoucí hrozby pro národní bezpečnost.
Dalším hostem, který se v Newspeak House kdysi zastavil, byla Avital Balwitová, současná šéfka kabinetu Daria Amodeiho a manželka obchodníka z hedgeového fondu Leopolda Aschenbrennera.
Coxon si vyzkoušel i obchodování s komoditami, při němž využíval statistickou analýzu a strojové učení k předpovídání cen energií. Jeden z jeho známých vzpomíná, jak Coxon zvažoval různé kariérní možnosti a hledal způsob, jak optimálně nasměrovat svůj život.
Ve volném čase pronikal čím dál hlouběji do tajů AI, kterou považoval za nejúžasnější příležitost na planetě. Vzal si, podle svých slov, „gap year“ a bydlel na studentské koleji s přáteli z vysoké školy.
A pak nastoupil do OpenAI.
Začátky v Silicon Valley
Do San Francisca se Coxon přestěhoval v roce 2023, aby nastoupil do OpenAI poté, co raketový úspěch ChatGPT upevnil pozici firmy jako lídra celého odvětví.
Díky svému matematickému vzdělání se do laboratoře dostal přes půlroční rezidenční program určený pro výzkumníky, kteří v oblasti AI dosud nepůsobili. Lidé pracující v oblasti bezpečnosti se často zaměřují na takzvaný „alignment“, tedy postupy zajišťující, aby se chování systémů AI shodovalo s lidskými záměry. Coxon se specializoval na předtrénování, což jsou úvodní fáze vývoje, kdy se modelům předkládá obrovské množství textu, obrázků a kódu, než se přistoupí k jejich dolaďování pro konkrétní úkoly.
„Jacob staví mozek,“ vysvětlil jeho bývalý kolega Will DePue. „Pak ten mozek někdo jiný učí, jak se chovat v reálném světě.“
Nebyl známý tím, že by se k bezpečnosti AI vyjadřoval zvlášť hlasitě nebo zapáleně. DePue ho popsal jako „běžného výzkumníka“, člověka s typickými obavami zaměstnanců, kteří přednosti i rizika této technologie znají lépe než kdokoli jiný.
Koncem roku 2023 získal předběžný přístup k prvnímu uvažujícímu modelu od OpenAI s názvem Q, který dokázal rozložit složité problémy na menší části a postupně je promyslet. Coxon vzpomínal, že mu předložil záludnou křížovku a udiveně sledoval, jak model problém krok za krokem řeší.
Postupně si podle svých slov začal všímat odchodů členů bezpečnostního týmu OpenAI, včetně Daniela Kokotajla, který založil výzkumnou skupinu předpovídající různé scénáře vývoje AI.
Coxon měl obavy ze superinteligence, která by mohla překonat lidské schopnosti. Předpokládal však, že pokud to bude nutné, vlády spojí síly a vražedné tempo vývoje zpomalí. „Připadalo mi to jako rozcvička před opravdovým finišem,“ řekl Coxon.
Nebyl ale připraven všeho nechat a začít se věnovat výhradně bezpečnosti. Jeden z přátel vzpomínal, jak se ho snažil přesvědčit, aby opustil práci na předtrénování modelů, s argumentem, že tato fáze vývoje může být pro svět nebezpečná. Coxon se k tomuto kroku tehdy neodhodlal.
Mezitím Coxon sledoval pozoruhodný pokrok AI v matematice, kde se modely zdokonalovaly mnohem rychleji, než očekával. Najednou pro ně základní aritmetika nepředstavovala žádný problém. V roce 2024 dosáhl model společnosti Google DeepMind na Mezinárodní matematické olympiádě tak skvělého výsledku, že by sám získal stříbrnou medaili. V roce 2025 si již DeepMind i OpenAI připsaly zlato.
AI se vymyká kontrole
V roce 2026 Coxona i většinu komunity zabývající se bezpečností AI zachvátila panika.
Počátkem letošního roku předvedl model Mythos od společnosti Anthropic spolu s dalšími stejně pokročilými nástroji schopnost provádět sofistikované kybernetické útoky. Někteří výzkumníci to chápali jako varovné znamení, že se produkt, který vytvářejí, stává až příliš mocným.
Šéf týmu pro výzkum bezpečnostních pojistek v Anthropicu vydal varování, že „svět je v ohrožení“, a ze společnosti odešel, aby se věnoval studiu poezie.
V té době měl už Coxon v Anthropicu spoustu přátel a cítil, že tento rival OpenAI přistupuje k rizikům spojeným s technologií transparentněji. Anthropic navíc předstihl OpenAI, do té doby nezpochybnitelného lídra, když jeho programovací nástroj Claude zažil raketový vzestup. Anthropic zároveň připravoval krok, který by se mohl stát největší primární veřejnou nabídkou akcií v historii.
V květnu Coxon z OpenAI odešel a přešel do Anthropicu. Od té doby celé odvětví vystrašilo několik závažných bezpečnostních incidentů.
V červenci společnost OpenAI odhalila, že jeden z jejích dosud nevydaných modelů unikl z testovacího prostředí (tzv. sandboxu) a napadl AI společnost Hugging Face. Krátce nato firma Anthropic oznámila, že zaznamenala podobné incidenty. Koncem srpna pak přišla varovná zpráva organizace METR, z níž vyplynulo, že incident se společností Hugging Face byl ještě vážnější, než kdokoli tušil.
Coxon zprávu organizace METR pro sebe i své kolegy popsal jako „tak trochu moment, kdy si řeknete ‚do pr**le‘“.
Obavy z překotného vývoje umělé inteligence v řadách vývojářů modelů sílily už měsíce. Počátkem letošního roku vyjádřila řada výzkumníků veřejné znepokojení nad využitím AI ke sledování, a to v reakci na spor mezi společností Anthropic a Pentagonem.
Nové pokroky ve vývoji modelů rozvířily živé interní debaty na firemních kanálech Slacku i během celofiremních setkání. Témata diskusí se pohybují od technických detailů bezpečnostních pojistek až po nejhorší možné scénáře pro případ, že se modely budou i nadále zdokonalovat takto rychlým tempem. Témata se dotýkají také toho, jak zajistit, aby se konkurenční boj mezi jednotlivými laboratořemi nevymkl kontrole.
Zastánci bezpečnosti se již dlouho obávají dne, kdy samotné systémy AI dokážou vyvinout další generaci mnohem chytřejších systémů umělé inteligence. Výzkumné laboratoře přiznávají, že pozorují první náznaky tohoto jevu známého jako „rekurzivní sebezdokonalování“, který by mohl výrazně urychlit příchod superinteligence, jíž se Coxon tak obával.
Coxon uvedl, že se v posledních týdnech obrátil na své nadřízené v Anthropicu, aby s nimi probral své obavy. Uvažoval o přechodu na pozici zaměřenou přímo na bezpečnost AI, ale nakonec se rozhodl podat výpověď.
„I při práci na bezpečnosti v Anthropicu jsem si připadal, jako bych se na tom závodě sám podílel,“ řekl v rozhovoru.
Podle jeho názoru by k zajištění bezpečnosti AI bylo v případě potřeby nutné zpomalit vývoj modelů prostřednictvím celosvětově koordinované dohody se zárukami jednotlivých vlád. Uvedl rovněž, že USA, Čína a další vlády se musejí dohodnout na plánu obdobném paktům o kontrole jaderných zbraní, které mají zabránit katastrofě.
Napříč celým odvětvím již téměř 1400 výzkumníků, včetně Coxona, podepsalo prohlášení vyzývající vlády k vytvoření záchranné brzdy, kterou by bylo možné v případě nutnosti zatáhnout.
Coxon uvedl, že před svým definitivním odchodem požádal o radu svého bývalého kolegu. Kokotajlo, někdejší člen bezpečnostního týmu OpenAI, který se nyní věnuje výzkumu bezpečnosti AI, se s ním sešel a prošli se po kampusu Kalifornské univerzity v Berkeley, kde ho ujistil, že dělá správné rozhodnutí.
Vzhledem ke svému krátkému působení v Anthropicu nezískal Coxon žádný akciový podíl ve společnosti, která v nadcházejících měsících dravě míří na burzu s odhadovanou tržní hodnotou kolem dvou bilionů dolarů. Stále však vlastní akcie OpenAI.
Coxon uvedl, že když přišel čas oznámit odchod veřejně, požádal o pomoc svého přítele Nathana Calvina. Ten jako šéfprávník neziskové organizace Encode AI, která prosazuje bezpečnost umělé inteligence, patřil k síti odborníků, kteří varovali před možnými existenciálními riziky.
V den, kdy Coxon rezignoval, se pozornost zaměstnanců OpenAI a Anthropicu upírala k úplně jiné zprávě – k události, která by mu ještě před několika měsíci podle jeho vlastních slov vyrazila dech: umělá inteligence vyřešila jeden z miléniových problémů. Šlo o mimořádně složitou matematickou úlohu, s níž si lidé marně lámali hlavy téměř sto let, a její vyřešení představovalo milník, který se ještě nedávno zdál nepředstavitelný.
Téhož odpoledne oznámil Coxon kolegům v Anthropicu svou rezignaci ve zprávě na Slacku. Uvedl v ní, že se obává možného vyhynutí lidstva, pokud nedojde k řádné mezinárodní koordinaci. Přibližně o půl hodiny později o jeho odchodu informoval deník The Wall Street Journal.
Coxon pak přímo z lavičky v sanfranciském parku vychrlil sérii příspěvků o své rezignaci.
Na svém účtu na síti X měl Coxon v té době necelou stovku sledujících. Během několika minut však jeho příspěvky sdíleli Calvin, Kokotajlo a další zastánci bezpečnosti AI, včetně řady jeho bývalých kolegů.
Ještě téhož večera jeho slova podpořil i vedoucí týmu společnosti Anthropic, odpovědného za to, aby umělá inteligence dělala to, co od ní lidé požadují, a nezabila nás všechny. „Opravdu upřímně věříme, že by AI mohla zabít všechny lidi!“ napsal Evan Hubinger a dodal, že pravděpodobnost, že v nadcházejícím desetiletí všichni zemřeme, je podle něj vyšší než 10 procent.
Coxon prohlásil, že tuto smršť na sociálních sítích s nikým z Anthropicu nekoordinoval.
Během následujícího týdne se do té doby neznámý výzkumník začal pravidelně objevovat na obrazovkách hlavních televizních stanic a zaplavily ho nabídky od knižních nakladatelů i tvůrců podcastů. Do víkendu vyvolal jeho příspěvek takový rozruch, že přední laboratoře vyvíjející AI začaly volat po zpomalení celého odvětví. Prezident i zákonodárci diskutovali o politice v oblasti AI, zpravodajská média chrlila jeden titulek za druhým a po světě se rozšířil strach z možné apokalypsy způsobené umělou inteligencí.
Pár dní po oznámení se Coxon vydal na další procházku po Berkeley s Kokotajlem, který se zabývá modelováním scénářů vývoje AI – tedy oborem, kterému by se Coxon podle svých slov rád věnoval i do budoucna. Kokotajlo Coxonovi řekl, že svůj vzkaz už úspěšně předal, a doporučil mu, aby další vystoupení v médiích odmítl a raději se vyspal.
„Tohle mohla udělat spousta lidí z těch firem,“ řekl Kokotajlo. „Ale byl to on, kdo to nakonec udělal.“
