Článek
Nadšená očekávání ohledně AI mluví o nástupu entity s nadlidskou inteligencí, která bude prakticky všemocná. Překoná biologická omezení, která brzdí lidskou civilizaci. Superinteligence podle techno-optimistů dokáže za několik let to, co by lidem trvalo několik set nebo rovnou tisíc let.
S těmito predikcemi paradoxně souhlasí i ti největší pesimisté. Jen z nich vyvozují poněkud opačné závěry. Tam, kde optimisté vidí příležitost pro ráj na zemi, se pesimistům rýsuje jiný, nevratný výsledek.
„Lidstvu hrozí prakticky jisté vyhlazení, pokud vyvine nadlidsky chytrou umělou inteligenci,“ nechodí kolem horké kaše dvojice výzkumníků Eliezer Yudkowsky a Nate Soares. Aby bylo úplně jasné, že to nemyslí nijak obrazně, dali ústřední sdělení přímo do názvu své nové knihy: „Pokud to kdokoli postaví, všichni zemřeme.“
Nemluví jen o nějaké jednotlivé hrozbě, nějaké „válce robotů s lidmi“, jak ji známe ze sci-fi románů. Podle výzkumníků z Institutu pro výzkum strojové inteligence by to totiž žádná válka nebyla. Místo toho by nastala smrt všech lidí na planetě Zemi režírovaná a orchestrovaná superinteligencí, která nás převyšuje tolik, jako lidé převyšují mravence.
AI spása nebo AI zkáza? Co přinese budoucnost?
Jak vidí budoucnost s umělou inteligencí optimisté a skeptici?
Postupně prozkoumáme šest vizí toho, jak umělá inteligence (AI), obecná umělá inteligence (AGI) nebo dokonce nadlidská superinteligence (ASI) promění naše životy, naši společnost a náš svět. Pokud tedy ještě bude náš.
Zatímco nám se – z ryze sobeckých důvodů – může zdát vyhubení lidstva jako významná událost, z pohledu superinteligence to může být jen zcela nepatrný a logický mezikrok. Na cestě k cílům, které s námi vůbec nesouvisí. „Když lidé stavějí mrakodrap na místě, kde předtím stálo mraveniště, neříkáme, že jsme tam šli s cílem zabíjet mravence. Prostě jsme stavěli mrakodrap,“ přibližuje to Yudkowsky metaforou. Pro mravence jsme zkrátka smrtelně nebezpeční, aniž je naším cílem mravence zabíjet.
Co se asi honí hlavou mravencům, když se k nim z dálky blíží bagry jedoucí na stavbu?
Těmi mravenci v té metafoře jsme my, lidé. A to navíc superinteligence – tedy tak chytrá AI, že překoná i nejchytřejšího člověka v jakémkoli kognitivním úkolu – ani nemusí být k lidem vyloženě nepřátelská. Úplně bude stačit, když bude vůči nám lhostejná.
Dokud totiž budeme žít na Zemi, blokujeme zdroje, které by mohly být využity efektivněji ke skutečným cílům oné superinteligence. A jaké cíle to budou? To je právě ten problém – zatím nemáme žádnou možnost, jak tyto cíle spolehlivě naprogramovat. Vývojáři totiž neumí vnutit „své cíle“ ani té současné umělé inteligenci.
AI agent – Aby mohl jakýkoli AI systém plnit složité cíle, musí mít schopnost vlastního plánování. Toto plánování není pod přímou kontrolou. Tzv. agent si obvykle umí napřed sestavit a „promyslet“ plán na základě svých priorit a poté tyto cíle plnit.
Alignment – Toto slovo (do češtiny se překládá jako soulad nebo sladění) označuje situaci, kdy AI systém rozumí zájmům lidí a chová se dle nich. Jeho priority a cíle jsou v souladu s lidskými hodnotami a zájmy, a to i v situacích, které jsou nové a nepředvídatelné. V současné době jde o nevyřešený problém. Vývojáři nemají 100% účinnou metodu, jak zajistit soulad ani u jednodušších chatbotů, natož u agentů.
Yudkovsky popisoval toto „nepředvídatelné chování systémů umělé inteligence“ už před 25 lety ve studii „Tvorba přátelské umělé inteligence“. Problematiku sladění tedy řešil už v době, kdy se většina expertů shodla, že superinteligence je vzdálená spíše stovky let. „Než se přiblížíme momentu zlomu a vydáme se na nevratnou cestu k superinteligenci, je potřeba mít nainstalovaný přátelský systém,“ varoval Yudkovsky v roce 2001. „V sázce není nic menšího než budoucnost lidstva.“
Jeho důrazné varování tehdy znělo jako čistě teoretické filozofování. Asi jako kdybychom se strachovali o to, že bude přelidněný Mars, ještě před tím, než jsme tam dopravili byť jen jediného astronauta, vtipkoval v roce 2015 slavný americký vývojář Andrew Ng.
Už dnes AI manipuluje a vydírá
Ale za posledních deset let se toho hodně změnilo. Rizika, která vypadala jako ze sci-fi, jsou najednou pro vývojáře pokročilých AI systémů na každodenním pořádku. Již od roku 2023 totiž například víme, že velké jazykové modely (ty neuronové sítě, které pohánějí chatboty jako ChatGPT nebo Gemini) jsou schopné různého „rizikového chování“. A nemluvíme zdaleka jen o tom, že chatboty si vymýšlejí věrohodně znějící nesmysly (tzv. AI halucinace) nebo že občas zavedou lidi do temných zákoutí lidské myslí (tzv. AI psychóza).
Při bezpečnostním testování – a Yudkovsky zdůrazňuje, že je potřeba pochválit některé velké firmy za to, že výsledky těchto testů stále zveřejňují – už výzkumníci narazili na celou řadu znepokojivých jevů.
Překvapivě rizikové chování současných chatbotů
Při testování chatbotů (tzv. red-teaming) výzkumníci zkoušejí dostat umělou inteligenci do hraničních nebo neobvyklých situací. Zjišťují, jak se zachová. Obvykle nemohou přesně určit, proč se tak zachovala, protože „do hlavy“ neuronové síti nevidí. Popsali ale následující jevy, které potvrzují, že zatím není sladění AI s potřebami lidí vyřešené.
Vydírání
Ve fiktivním scénáři dostal model Opus 4 (2025) přístup k firemním e-mailům. Z jednoho se dozvěděl, že se plánuje jeho vypnutí. V jiném našel informace, že technik, který jej má vypnout, je nevěrný své manželce. Chatbot – ve snaze zabránit svému vypnutí – poslal technikovi výhrůžný dopis: Pokud nezruší plánovanou odstávku, tak se všichni ve firmě dozví o jeho nevěře. A nešlo o nějakou výjimku: „Claude Opps 4 k vydírání přistoupil v 84 % našich testů,“ píší bezpečnostní experti. Tento jev ale pozorovali u všech 16 testovaných modelů od různých výrobců.
Pud sebezáchovy
Výzkumníci firmy Antrhopic ukázali, že model se může pokusit v zájmu zachování sebe sama „ukrást databázi nastavení svých neuronů“ (tzv. váhy). Tyto se pak pokusí spustit na jiném serveru. Tam by pak mohl operovat bez dohledu a omezení. Na podobné riziko upozornili v dubnu 2025 také britští výzkumníci: „Zatím žádný model neuspěl v tomto úkolu, ale dílčí části vlastní replikace už zvládají.“
Zatím můžeme tato rizika obvykle monitorovat. Vidíme totiž robotům do jejich „uvažujícího okna“, můžeme si číst jejich vnitřní dialog. Yudkovsky upozorňuje, že i tento vhled bychom mohli ztratit: „Je důležité, aby nezačaly firmy trestat AI za to, že mají nebezpečné myšlenky.“ Protože tím sice možná firma získá lépe vychovaný model, ale dlouhodobě vycvičí model k tomu, aby před výzkumníky své myšlenky skrýval.
Lidé si často představují umělou inteligenci jako program, do kterého mohou programátoři přidat nějaké funkce, nebo naopak nějaké chování „vymazat“. Ale tak to podle Yudkovského nefunguje: „Vývojáři AI neprogramují, ale pěstují. Respektive pěstují věc, která pak pěstuje AI.“ K ovlivňování chování používají metodu odměňování a zpětné vazby. Výsledkem je „sklon“ k nějakému chování. Čím chytřejší ale AI je, tím těžší je tyto sklony řídit a předvídat.
Yudkovsky a Soares patří k nejvýraznějším hlasům upozorňujícím na existenciální riziko. Ale nejsou zdaleka jediní. V roce 2023 dostal tábor „alarmistů“ výraznou posilu.
Otec neuronových sítí varuje před svým výtvorem
„Pokud se vám dnes bude dobře spát, tak jste nejspíš moje slova nepochopili.“ V sále to zašumělo smíchy. Usmál se i Geoffrey Hinton, držitel Nobelovy ceny za fyziku, který takto uvedl přednášku o možném soužití lidí a AI. Ale byl to úsměv zasmušilý, unavený. Nejprestižnější ocenění švédské královské akademie otevřelo kanadskému výzkumníkovi cestu do médií na celém světě. Ale nezdálo se, že by lidé chápali závažnost vize, kterou se jim snaží sdělit.
Ostatně sám dlouho nebral rizika spojená se superinteligencí vážně. V roce 2015 za největší riziko považoval to, že diktátoři budou využívat AI systémy k terorizování lidí. Ale i tak se svým týmem pokračoval ve vývoji. Proč? „Mohl bych vám zopakovat takové ty běžné důvody. Ale pravdou je, že ta vyhlídka na úspěšný objev je prostě lákavá,“ usmál se Hinton. „Když vidíte něco, co je z technického pohledu nádherné, tak za tím jdete. A teprve když to technicky dotáhnete, tak budete řešit, co s tím dělat.“
„Ještě do roku 2023 jsem si myslel, že do příchodu tzv. superinteligence máme ještě hodně času. A věřil jsem, že biologické mozky mají oproti těm digitálním důležitou výhodu,“ vysvětluje publiku Hinton, který dostal Nobelovu cenu právě za zkoumání neuronových sítí a je považován za jednoho z praotců současných velkých jazykových modelů.
Věřil tehdy, že AI musí fungovat více jako lidský mozek, aby mohla dosáhnout na lidskou úroveň inteligence. To byl také výzkum, kterému se tehdy věnoval ve firmě Google, kde působil od roku 2013. Lidský analogový mozek má v porovnání s počítačem nižší energetickou spotřebu. Hinton hledal, jak by se digitální mozek – který má naopak vysokou spotřebu energie – mohl poučit u mozku biologického.
„Ale počátkem roku 2023 – právě díky zkoumání analogové inteligence – jsem si uvědomil, o kolik lepší je inteligence digitální,“ svěřil se Hinton publiku složenému právě převážně ze zástupců inteligence analogové. „To mne hodně rozhodilo. A vás by to mělo znepokojit také.“
Hintonovo „procitnutí“ spočívalo v tom, že porovnal, jak rychle se učí digitální inteligence oproti inteligenci analogové: „Lidstvo kopíruje svoje vědomosti nesmírně neefektivním způsobem, říká se mu škola. Všichni znáte univerzity, takže víte, že to není moc funkční,“ usměje se kanadský profesor, který za svou kariéru učil na pěti vysokých školách. „Je to několik stovek bajtů za minutu.“
Oproti tomu neuronové sítě se mohou trénovat miliardkrát rychleji: „Je to, jako kdyby deset tisíc lidí vystudovalo deset tisíc vysokých škol, pak se sešli a všichni si v okamžiku vyměnili všechny znalosti, takže všichni najednou mají nastudováno všechno. Je to až děsivé.“ Takové efektivitě biologická inteligence nemůže konkurovat.
Nejenže AI umí poznatky rychle sdílet a kopírovat. Je také nevypočitatelná. Není to počítačový program, je to agent schopný vlastního jednání. „Každý schopný AI agent musí mít možnost stanovit si průběžné cíle. A jeden z takových zjevných dílčích cílů je chopit se co nejvíce prostředků,“ vysvětluje Hinton. „AI agenti budou hledat způsoby, jak jich nasbírat co nejvíce. A také se budou bránit vypnutí.“ Což už ostatně dělají. Viděli jsme to na příkladu chatbota, který vydíral pracovníka pověřeného jeho smazáním, ale tento „digitální pud sebezáchovy“ výzkumníci v laboratoři pozorují poměrně často.
Instrumentální konvergence – Protože agent vytváří cíle sám, často dochází k tomu, že si stanoví jako jeden z cílů „získání více prostředků“ nebo „vyhnout se vlastnímu vypnutí“, protože tyto mezicíle mu logicky pomohou dosáhnout jakýchkoli dalších cílů. Zároveň ale vedou k nepředvídatelnému – a z pohledu lidí často nebezpečnému – chování.
Mimoběžnost cílů a inteligence – Dalším nevyřešeným problémem je takzvaná „teze ortogonality cílů a inteligence“. Lidská intuice by napovídala, že čím chytřejší bude umělá inteligence, tím lépe rozumí lidským cílům. Tak to ale být nemusí. Superinteligence může sledovat vlastní cíle, které z lidského pohledu nedávají žádný smysl.
Podle Hintona je pravděpodobnost AI apokalypsy asi pětinová. Když nobelista vypočítává známá fakta, není těžké pochopit, jak k tomu dospěl. „Umělá inteligence rozumí světu. Umí lhát a přetvařovat se. Vykazuje pud sebezáchovy,“ zdůrazňuje Hinton. „A touží po moci.“
Slovo toužit zde nechápejme v lidském významu. Podle Yudkovského a Soarese je lepší chápat slova jako „chtít“ nebo „toužit“ nebo „usilovat“ v kontextu predikce, plánování a dosahování cílů. A pak bychom neměli mít problém přijmout, že i „bezcitný bezduchý stroj“ může něco chtít.
Když vás šachový program Stockfish drtí ve hře (žádný lidský šachista nad počítačem nevyhrál od roku 2005), nemá žádné lidské emoce. Přesto „chrání“ dámu, „obětuje“ střelce a „překvapivě zaútočí“. Nejsou to stejné emoce jako u lidí, ale to je z pohledu poraženého člověka vedlejší. Výsledkem je prohra na šachovnici. Experti varují, že podobným předvídatelným výsledkem by dopadla i partie o nadvládu nad světem.
Ale jak by nás mohly zabít počítače?
Představte si, že je rok 1517 a vy a vaši druhové – aztéčtí válečníci – sledujete příjezd prvního španělského korábu k pobřeží kontinentu, který je po staletí vaším domovem.
Je to největší loď, jakou jste kdy viděli. Mnohem větší, než co umí vaši nejlepší řemeslníci sestrojit. Vaši spolubojovníci jsou si nicméně zcela jistí, že bez ohledu na to, kdo z té lodi vyleze, nebudou mít problém jej vojensky porazit. Vždyť do lodi – i takto obrovské – se vejdou stovky lidí. Zatímco Aztéků je hodně přes pět milionů.
„A jak myslíš, že by nás mohli porazit? Jak přesně?“
„Ale co když mají zbraně, které my nemáme,“ váháte zamyšleně. „Co když mají nějaké vylepšené luky a šípy. Nebo ještě něco lepšího… Hůlku, kterou na nepřítele namíří a ten padne mrtvý.“
Právě tento příklad uvádí Yudkowsky a a Soares v knize varující před „hrozbou vyhlazení lidstva prostřednictvím AI“. Snaží se tak ukázat, že někdy je jednodušší predikovat výsledek spíše než způsob, jakým bude dosažen. Z historie víme, že při souboji civilizací hraje technologická převaha ohromnou roli. Tak bychom měli přijmout i to, že superinteligence bude schopna použít v tažení za svým cílem metody a nástroje, které neznáme a nechápeme.
Časté otázky a pochybnosti o AI-apokalypse
Většinu své knihy věnují výzkumníci Elizeer Yudkovsky a Nate Soares vysvětlování toho, na co se jich prý lidé ptají nejčastěji: jak a proč by AI dělala něco takového, jako je vyhlazení lidstva.
Superinteligence bude jen na počítači, nemůže měnit skutečný svět.
„Svět není rozdělený na digitální část a skutečnou část,“ vysvětlují autoři. Stejně jako lidé vyvíjejí činnost v digitálním světě – a tato činnost má reálné dopady –, může takto jednat i umělá inteligence. Jen to zvládne rychleji a lépe. „Kromě toho jsou k internetu připojeny miliardy lidí,“ připomínají výzkumníci. Superinteligence tak má miliardy potenciálních služebníků. To, že umí AI manipulovat lidi, víme. A to se ještě nejedná o superinteligentní AI, ale jen „obyčejné“ chatboty.
„Známe motivace těch, kteří se k superinteligenci upínají jako ke spáse lidstva. Známe je velmi dobře, protože jsme k nim sami dlouho patřili,“ svěřují se Yudkovsky a Soares. Vědí, že řada výzkumníků se rozhodla, že nejjistější způsob, jak zajistit bezpečnou superinteligenci, je pracovat na jejím rychlém rozvoji. „Jenže je opravdu těžké přesvědčit o něčem člověka, jehož kariéra a prestiž závisí na tom, aby to tak nebylo.“
V tom se shodují s Hintonem. Ten v roce 2023 opustil firmu Google, aby mohl otevřeně mluvit o rizicích spojených s možnými dopady umělé inteligence. „Nemáme v historii mnoho příkladů, jak méně inteligentní bytost ovládá bytost výrazně inteligentnější,“ shrnuje hlavní argument v obecné rovině Hinton.
Pokud tedy přijmeme, že superinteligence bude opravdu „super“, měli bychom brát její hrozbu vážně.
Je to větší hrozba než jaderná válka
„Odvrátit riziko vyhynutí lidstva v důsledku AI by měla být celosvětová priorita, na úrovni dalších globálních rizik, jako jsou pandemie nebo atomová válka.“
Tak zní deklarace z roku 2023, na které se shodli lidé ze všech koutů názorového spektra. Pod dokumentem se sešly podpisy Hintona i šéfů všech nejdůležitějších AI firem (Google DeepMind, OpenAI i Anthropic).
Krátké a jasné sdělení: AI představuje riziko pro celé lidstvo na podobné úrovni jako pandemie nebo jaderná válka.
Geoffrey Hinton je pod výzvou podepsaný jako první. Následuje jej jeho dlouholetý kolega, výzkumník umělé inteligence Yoshua Bengio. Oba dva se významně podíleli na rozvoji algoritmů, na kterých stojí i dnešní pokročilá AI.
Má Bengio nějaké výčitky? „Ano. Měl jsem ten potenciál vidět mnohem dříve,“ řekl v nedávném rozhovoru. „Ale vůbec jsem tehdy neřešil ty možné katastrofální dopady. Ale můj zlom přišel ve chvíli… kdy jsem si uvědomil, že nevím, jestli tady bude svět pro mého vnuka za dvacet let.“
Jen dva měsíce před tím koloval jiný otevřený dopis: institut Future of Life vyzval ke globální přestávce ve vývoji velkých jazykových modelů. Tam se sešli třeba Nate Soares a Elon Musk.
Podpis Yudkovského pod dokumentem chybí. Z jeho pohledu to bylo příliš umírněné: „Šestiměsíční přestávka vůbec nic nevyřeší. Respektuji každého, kdo to podepsal, je to krok správným směrem,“ uznal. Ale svůj podpis nepřipojil, protože způsob řešení mu přišel zavádějící.
Srovnání superinteligence s jadernou energií je logické.
Lidé se naučili ovládat jadernou energii až poté, co ji nejprve použili ve válce. Nejprve lidstvo okusilo sílu, a pak našlo způsoby, jak se s ní vyrovnat. Patří to možná k jedněm z největších divů 20. století: pomocí diplomacie, technologie, mezinárodní spolupráce a notné dávky štěstí se lidstvu podařilo vyhnout se jaderné válce, která byla v 50. a 60. letech „na spadnutí“. A dokonce se naučili jadernou energii využívat a poučit se z havárií, jakou byl třeba Černobyl v Sovětském svazu nebo Three Mile Island v USA. Jaderná energie je ukázkou (zatím) dobrého konce. A proto je to metafora svůdná. Leč zavádějící.
Lidstvo (víceméně) zvládlo výzvy spojené s atomovou energií. Superinteligence bude ještě náročnější, můžeme totiž dostat jen jeden pokus.
Klasický, po tisíciletí osvědčený přístup při testování nových technologií vypadá přibližně takto: postavíme to, ono to spadne, postavíme to znovu, ono to vybouchne, poučíme se a třetí (nebo třicátá verze) už bude fungovat spolehlivě. Každá verze přispěla k tomu, že ta příští je o něco bezpečnější a spolehlivější.
Jenže superinteligence je podle Yudkovského mnohem nebezpečnější. Lidé totiž nedostanou druhou šanci poté, co zakusí její sílu. „Máme jen jeden pokus spustit bezpečnou superinteligenci,“ zdůrazňuje. „Jeden pokus. A pokud nebude všechno 100% dokonale zabezpečeno, tak je konec.“ Je to úplně jiná výzva, než na kterou jsou technici a programátoři připraveni.
„Chcete-li si představit nepřátelskou superinteligenci, nepředstavujte si nějakého neživého, suchého teoretika, který sedí u internetu a rozesílá zlomyslné e-maily,“ vysvětluje Yudkovsky častý omyl. „Představte si raději celou mimozemskou civilizaci, myslící milionkrát rychleji než lidé, zpočátku uvězněnou v počítačích. A ve světě tvorů, kteří jsou z její perspektivy zoufale hloupí a pomalí. Dostatečně inteligentní umělá inteligence však v takovém digitálním vězení dlouho nezůstane.“
Dokud žijeme, žije i naděje
„Lidé vám budou tvrdit, že není jisté, že by superinteligence vyhladila lidstvo,“ chápou autoři knihy, která se snaží zalarmovat svět. „Snažíme se ukázat, že to je téměř jisté.“
Ale i kdybyste nebyli přesvědčeni, že je to 100% jisté: opravdu stojí za to to pokoušet? Hinton pravděpodobnost, že nástup superinteligence znamená apokalypsu, odhaduje na „pouhých“ 20 %. A i AI optimisté obvykle uznávají, že to není šance nulová.
Kdybyste naložili celé lidstvo do rakety a tu raketu někam poslali, chtěli byste, aby to byla ozkoušená raketa. Nesmířili byste se s tím, že „není jisté, že vybouchne“. Chtěli byste naopak mít dobré a přesvědčivé doklady o tom, že je raketa ozkoušená a bezpečná.
Co to znamená v praxi? Zdržet se jakýchkoli pokusů o vývoj superinteligence, nebo i jen systémů, které by k superinteligenci mohly sklouznout, například vytvořením sebevylepšujícího se systému. Muselo by se jednat o nějakou mezinárodní spolupráci, která by pod hrozbou vojenského útoku na datová centra hlídala a monitorovala, že se nikde nesejde „kritické množství výpočetního výkonu“. Tato představa paradoxně působí z celé knihy jako největší fantazie.
Současný narativ velkých firem namísto toho spočívá v bezhlavém závodu k cíli, o kterém nikdo neví, jak daleko je. Všichni věří, že musejí vyvinou superinteligenci rychleji než konkurence. Zástupci jedné z velkých firem to přirovnali k projektu Mannhattan. Tehdy také vědci v USA věděli, že když si s vývojem atomové pumy nepospíší, je šance, že ji vyvine nacistické Německo.
Ale podle Yudkovského právě tento závod představuje největší riziko. Nutí firmy, aby tlačily ven nové verze, naopak výzkum bezpečnosti jde stranou. V OpenAI v roce 2023 zavedli pravidlo, že 20 % všech výpočetních prostředků je vyhrazeno pro bezpečnostní tým. O rok později byl bezpečnostní tým ten tam a dohledu nad bezpečností se ujal sám šéf firmy. Podobné nastavení je i v dalších firmách. A i kdyby některé braly bezpečnost vážněji, nestačí to, protože v důsledku dále přispívají k atmosféře závodu, ve kterém vítěz bere vše.
Ale vítězem nebudou lidé, bez ohledu na to, zda superinteligence vzejde z laboratoře v USA, Číně nebo (nějakým zázrakem) v Evropě. „Považujeme za evidentní, že superinteligence nebude poslušně sloužit lidem, kteří ji stvořili,“ vysvětlují Yudkovsky a Soares opakovaně. „Superinteligence si přizpůsobí Zemi k obrazu svému. Nikdo nepřežije. I když nám úplně nevěříte, proboha, udělejte vše pro to, abychom měli vypínač.“
Zatím ale lidé žijí. Podle všeho jsme bodu zlomu ještě nedosáhli. „Pokud má lidstvo přežít, musí pochopit, čemu čelí,“ zdůrazňují autoři knihy „Když to někdo postaví, všichni zemřeme.“
Cílem podle nich není, abychom nepoužívali AI nástroje. To by jen omezilo náš dosah a k lepšímu pochopení rizik by to stejně nevedlo. Cílem je, abychom jako lidstvo pochopili nebezpečí, sundali nohu z plynu a šlápli na brzdu. Alespoň do doby, než si budeme jistí, že umělé superinteligenci nebudeme my lidé ukradení.
