Kdo se bojí superinteligence

Jedním z témat čtvrtečního summitu Donalda Trumpa se Si Ťin-pchingem ve Washingtonu měla být existenciální rizika umělé inteligence. Americký ministr financí Scott Bessent a čínský vicepremiér Che Li-feng už také předběžně jednali o mechanismu pro hlášení nebezpečných incidentů a krizovou komunikaci.

Dílčí dohody nejsou vyloučeny; horší už to bude s jejich ověřováním a dodržováním. Čína a Spojené státy, potažmo Západ, totiž chápou příležitosti a rizika AI velmi odlišně.

Prolínají se tu navíc dvě základní existenční hrozby, které se většinou diskutují odděleně, pokud vůbec. Podle jednoho scénáře by se umělá inteligence mohla vymknout lidské kontrole. Podle druhého by ji naopak mohli někteří lidé, politické skupiny či stát ovládnout až příliš dokonale. První možnost ohrožuje lidstvo jako takové, druhá práva a svobody každého jednotlivce.

Západní debata o umělé inteligenci do značné míry vyrůstá z evropské eschatologické tradice. AI, či přesněji zatím stále hypotetická všeobecná umělá inteligence, má umožnit „transcendenci“ dosavadního lidského údělu, včetně překonání chudoby, nemoci, stárnutí, ba smrti samotné. Anebo se vymkne kontrole a namísto vykoupení přivodí Apokalypsu.

Za současnými futuristickými vizemi se skrývá dlouhá intelektuální cesta, od gnostických představ o vysvobození z nedokonalého hmotného světa přes Nietzscheho Übermenschen, nadlidi, až k současnému transhumanismu, „longtermismu“ a podobně. Pro tuto poněkud nesourodou směs vzájemně provázaných myšlenek se někdy používá akronym TESCREAL (transhumanism, extropianism, singularitarianism, cosmism, rationalism, effective altruism a longtermism).

Donedávna šlo o vcelku obskurní intelektuální a internetové subkultury. Jejich memy však vykazují disproporční vliv právě mezi protagonisty současného boomu AI, jako jsou Sam Altman či Elon Musk, a investory typu Petera Thiela blízkého Donaldu Trumpovi.

Mezi proponenty na pohled poněkud exotických teorií najdeme řadu zvučných jmen s reálným vlivem v americké i světové politice. Ray Kurzweil, jeden čas ředitel vývoje v Googlu, už dvě desetiletí předpovídá příchod „singularity“, tedy bodu, kdy technologický vývoj překročí lidskou schopnost ho vůbec sledovat a předvídat.

V diskuzích o možných rizicích předpokládaného vývoje k singularitě jde v zásadě o to, zda všeobecná umělá inteligence (AGI, Artificial General Intelligence) a cyklicky se sebezdokonalující superinteligence povede k nové utopii prakticky neomezených možností, nebo se člověku vymkne z rukou a lidstvo naopak zničí.

V anglofonní debatě se tento problém obvykle shrnuje pod pojmem alignment (shoda, soulad). Dokážeme udržet nadlidskou inteligenci v souladu s lidskými hodnotami a zájmy? Taková obecná otázka ovšem předpokládá, že se shodneme, co tyto hodnoty a zájmy vůbec jsou.

V Čínské lidové republice přitom definuje veřejný zájem a hodnoty z titulu své vedoucí úlohy komunistická strana, respektive její stále užší vedení. To se za Si Ťin-pchinga de facto scvrkává na jednoho člověka.

Si od dubna 2014 prosazuje vlastní koncepci „celkového pojetí státní bezpečnosti“, které zahrnuje prakticky všechny oblasti života, od ekonomiky a kultury přes společnost a technologie až po kyberprostor a data. Jejím základem je „politická bezpečnost“, tedy ochrana vedoucí úlohy Komunistické strany Číny. Velká část čínské debaty o potenciálu a rizicích AI se odehrává právě na pozadí tohoto ústředního konceptu.

Dobře to ilustruje nedávné shrnutí vnitrostranických diskuzí na toto téma z pera ministra státní bezpečnosti Čchen I-sina. Čchen uvádí, že produkty AI v Číně používá přes půl miliardy lidí a denně se zpracuje více než 140 bilionů tokenů.

Mezi hlavními riziky ale nejmenuje vzpouru superinteligentních robotů. Varuje především před „nepřátelskými silami“, které pomocí deepfakes, automaticky generovaných textů a „inteligentních internetových armád“ vedou proti Čínské lidové republice informační válku. Ta podle něj ohrožuje politickou, systémovou a ideologickou bezpečnost země (rozuměj režimu).

I čínské vedení se obává, že se AI vymkne kontrole – kontrole strany.

Odlišně vidí čínské vedení také potenciál AI. Nehledá v něm nějakou futuristickou obdobu vykoupení lidstva, ale mnohem prozaičtěji nástroj účinnější kontroly nad společností.

Současné vedení Komunistické strany Číny charakterizuje přímočarý technooptimismus. V AI, velkých datech a dalších digitálních technologiích nachází příležitost konečně uskutečnit Leninův sen o centrální kontrole společnosti. Co se nepodařilo v Sovětském svazu s jeho omezenými možnostmi, může dnes realizovat technologicky vyspělá Čína.

Strana už nemusí občany špiclovat primitivními metodami kádrových posudků, všudypřítomných udavačů a uličních výborů. Stačí průběžně vyhodnocovat obrovské množství dat, která jí z velké části ochotně poskytují sami uživatelé mobilních telefonů a „superaplikací“ typu WeChat. AI umožňuje tato data propojit a tím je využít nejen ke sledování jednotlivců, ale i k centralizovanému řízení společnosti jako celku.

Čínská Celostátní rozvojová a reformní komise to popisuje jako „celoplošné vnímání“. Kamery, drony, satelity a centrální digitální databáze mají s pomocí AI umožnit rozpoznávat „společenská rizika“ a ta pak „včas odhalit, včas zasáhnout, včas vyřešit“.

Riziko ztráty kontroly nad stále autonomnějšími systémy si uvědomuje i Peking. V praxi však zároveň spoléhá na svou mnohokrát osvědčenou schopnost nové technologie politicky ovládnout.

Přesně to se jí koneckonců podařilo s internetem, jehož decentralizovaná architektura měla právě takovou politickou kontrolu vyloučit. Leninský koncept centralizovaného řízení dovádí pomocí digitálních technologií k dokonalosti. V ideálním případě by stranické vedení mohlo vládnout jen prostřednictvím algoritmů, s minimální potřebou fyzického donucování či násilí. Lidé už se sami přizpůsobí nastavené digitální realitě jako v nějaké počítačové hře.

Takové využití AI k řízení společnosti je o poznání konkrétnější a praktičtější než futuristické vize techno-proroků o vesmírné singularitě. Má navíc další nespornou výhodu: Nepotřebuje žádný kvalitativní skok k AGI. Současná umělá inteligence je pro podobné účely dostačující. Dá se realizovat teď a tady.

Americké a čínské představy o možnostech a rizicích AI se tak podstatně rozcházejí. V jedné věci se však obě technologické velmoci shodnou: superinteligence může definitivně rozhodnout jejich vleklé geopolitické soupeření.

Pokud jednou skutečně vznikne AGI schopná neustálého samostatného sebezdokonalování, země, která jí dosáhne jako první, by mohla získat rozhodující mocenskou výhodu. Proto už dnes probíhá intenzivní závod o čipy, výpočetní kapacitu, energii, modely a talenty.

V tom také spočívá největší překážka případné dohody Trump–Si. Čím větší mocenskou výhodu může superinteligence přinést tomu, kdo jí dosáhne jako první, tím menší bude motivace zpomalit její vývoj.

My ostatní se tak ocitáme mezi dvěma mlýnskými kameny. Na jedné straně hrozba Apokalypsy, pokud by se superinteligence skutečně vymkla lidské kontrole. Na druhé straně superinteligence jako prostředek nadvlády v rukou nikoliv zdivočelých algoritmů, ale lidí zvláštního ražení s přebujelou vůlí k moci. A to nemusí být zdaleka jen čínští komunisté.