Pod čarou: Papež AI neodmítá. Problém je sobectví a honba za ziskem

Když se roztočí nové kolo bouřlivé debaty mezi technologickými optimisty a kritiky, většinou za to může uvedení nového AI modelu či potrhlý projev některého z lídrů Silicon Valley. Tentokrát ale diskuzi trochu nečekaně rozpoutala nová encyklika papeže Lva XIV., Magnifica Humanitas, ve které hlava katolíků upřesňuje a rozvíjí církevní doktríny v oblasti nových technologií a umělé inteligence.

Sítě v posledních dnech zaplavily divoké výkřiky o tom, že papež kritizuje AI nebo proti umělé inteligenci rovnou vyhlásil křížovou výpravu, a mnozí dokonce spekulovali, že katolíci teď budou moci z náboženských důvodů odmítat používat AI.

Nadšení a vzrušené reakce jsou pochopitelné. Problém ovšem je, že rozsáhlý dokument nejspíš drtivá většina lidí vůbec nečetla a místo toho spoléhala na různé chytlavé útržky kolující po sítích nebo si encykliku rovnou nechala shrnout chatbotem. Text je to skutečně sáhodlouhý, ale i tak se vyplatí mu věnovat pár hodin pozornosti. Zjistíme totiž, že nic z výše uvedeného v něm Lev XIV. neříká ani nenaznačuje – naopak zdůrazňuje, že se nevymezuje proti technologiím jako takovým a že AI může být prospěšným nástrojem.

Encyklika sice nese podtitul „O ochraně lidské osobnosti v časech umělé inteligence“, ale samotné AI se věnuje jen v menší části a vlastně o ní neříká nic, co bychom ještě neslyšeli. Její skutečná hodnota leží jinde – první „americký“ papež v ní přehledně shrnuje všechny hlavní argumenty kritiků technologického průmyslu, celou debatu zasazuje do mnohem širšího společensko-ekonomického rámce a nabízí velmi konkrétní a radikální řešení aktuálních globálních problémů, která dalece přesahují banální postoje typu „zakažme AI“.

Mnohé zkreslené reakce na encykliku jistě vycházejí i ze stereotypního dojmu, že katolická církev je nenapravitelně konzervativní a zpátečnickou organizací. Představa papeže glosujícího otázky umělé inteligence tak působí jaksi paradoxně a vede k předpokladu, že novoty typu AI musí římský biskup zákonitě pranýřovat. Minimálně na poli technologií a jejich dopadů na společnost to ale rozhodně neplatí.

Lev XIV. to vysvětluje v úvodu encykliky, který nejspíš většina glosátorů přeskočila, ale pro pochopení celé věci je dost zásadní. Své papežské jméno si kardinál Prevost loni zvolil s odkazem na papeže Lva XIII., který v roce 1891 v encyklice Rerum Novarum začal řešit otázky práce a sociálních změn vyvolaných průmyslovou revolucí a formuloval novou sociální doktrínu církve, kterou pak rozvíjeli i jeho následovníci.

Poslechněte si audioverzi newsletteru načtenou autorem.

Ony „nové věci“ (res novae) už na konci 19. století rozhodně novými nebyly. Církev je začala řešit doslova s křížkem po funuse, a jak teď otevřeně konstatuje Lev XIV., bylo to především proto, že v nových dramatických sociálních konfliktech uviděla příležitost pro misijní činnost a získávání nových oveček. Logicky se tak postavila na stranu vykořisťovaných a pracujících a začala kritizovat bezuzdnou honbu za ziskem na úkor veřejného blaha. Od té doby na socioekonomické změny reaguje již výrazně pružněji a současný vstup Vatikánu do debaty o AI a digitálních technologiích tak není vůbec překvapivý.

Nikterak nové a překvapivé nejsou ani názory a řešení, které Lev XIV. nabízí. Obhajobu práv migrantů, silný důraz na sociální spravedlnost, odmítání války či boj s klimatickou krizí se dnes řada konzervativních odpůrců snaží vykreslovat jako netypickou novotu současného „progresivního“ papeže či jeho předchůdce Františka, ale čerstvá encyklika přehledně popisuje, že jde jen o rozvíjení stále stejné doktríny, jejíž historie sahá hluboko do minulosti.

Ústředním tématem Magnifica Humanitas proto nejsou samotné technologie, ale především otázka jejich dopadu na práci a lidskou důstojnost. Text opakovaně zdůrazňuje požadavek na důstojnou mzdu, bez které lze těžko žít smysluplný a hodnotný život, a také prozíravě konstatuje, že negativní dopady technologií na pracující nejsou důsledkem individuálních selhání, ale špatného nastavení ekonomických a institucionálních struktur ve společnosti.

Řada lidí na sítích sdílela pasáž, kde papež hlásá, že lidská důstojnost by neměla být odvozována z ekonomické efektivity daného jedince a máme na ni nárok všichni, rovně a bezvýhradně. To je jistě důležitý postřeh, ale je vypovídající, že tak často už nebyla sdílena druhá část argumentu.

Lev XIV. totiž zároveň konstatuje, že většina lidí čerpá důstojnost právě z práce, která by proto měla být smysluplná, dobře odměněná a chráněná. Jenže mnoho lidí už si dnes nejspíš vůbec nedokáže představit, že by taková práce mohla existovat, a jako jedinou alternativu k otročině pod nadvládou technologických korporací vidí nejspíš jen život podpořený nepodmíněným základním příjmem, což je teď nikoliv náhodou v Silicon Valley docela populární myšlenka.

Zde také nová encyklika přechází od teorie k velmi praktickým a aktuálním detailům. Papež říká, že AI s sebou sice nesla příslib, že nás zbaví otravné pracovní rutiny, ale ve výsledku se pracující musí přizpůsobovat tempu a logice stroje místo toho, aby se stroj přizpůsobil jim. To následně vede k redukci schopností (tzv. deskilling), pracující jsou pod invazivním digitálním dohledem, odbavují nezáživné repetitivní úkony, jsou připravováni o agendu a iniciativu – a nic z toho se nezmění, dokud budou nové technologie navrhovány s ohledem na maximalizaci zisku, a nikoliv lidský prospěch, což rozhodně není totéž.

Hlava katolíků následně varuje, že automatizace nesmí vést k plošnému rušení pracovních míst. Apeluje na boj s nezaměstnaností a podporu odborových organizací, ale zároveň dodává, že zaměstnanost nemůže být např. nutností pro získání občanství a obecně podmínkou lidské důstojnosti.

Konkrétně jsou zmiňovány nové formy nejisté, prekarizované práce (tzv. gig economy) a papež kromě jiného komentuje třeba těžkou a špatně placenou práci moderátorů obsahu – je tu zjevné, že církev se dlouhodobě zaměřuje především na zástupy věřících v chudých zemích globálního Jihu a osudy latinskoamerických kurýrů, kopáčů v dolech na vzácné kovy či brigádníků v keňských datacentrech jsou pro ni zásadním tématem.

Mnozí komentátoři si všimli, že se Lev XIV. v encyklice omlouvá za historická selhání církve v boji s otrokářstvím, ale i zde je potřeba doplnit kontext – jde jen o úvod k pasáži, kde papež konstatuje, že nové technologie s sebou přinášejí i nové formy otroctví, ať už jde o digitální obchod s bílým masem, nebo zmiňované vykořisťování pracujících v nejnižších patrech IT průmyslu, a právě tam by měla směřovat pozornost církve, politiků i světové veřejnosti.

A když říká, že „každé zavádění automatizace a AI by mělo být doprovázeno ověřitelnými opatřeními na ochranu zaměstnanosti, rekvalifikaci a participaci dělníků, aby tak technologie přispívala k rozvoji lidských schopností a volného času, nikoliv k rostoucímu vyloučení“, je to velmi konkrétně formulovaný politický program, se kterým už ostatně přišli luddité na začátku 19. století a těžko proti němu jde něco namítnout.

Tato argumentační linka prochází celou encyklikou a papež ji rozvádí dalece nad rámec dílčí problematiky práce a zaměstnanosti. Varuje totiž před velmi omezeným náhledem na věc, který je v současné debatě bohužel dost častý – do úmoru řešíme, jaká jsou rizika AI systémů, jak je lépe trénovat či používat, ale přehlížíme základní otázku, kdo a proč dané technologie vlastní a kontroluje.

Lev XIV. opakovaně kritizuje koncentraci moci a majetku v rukou hrstky elit a konstatuje, že zatímco zavádění a dopady nových technologií dřív do jisté míry kontrolovaly státy, dnes je to již zcela v rukou mocných soukromých aktérů podléhajících jen mizivé veřejné kontrole.

Odvolává se na princip všeobecného určení pozemských statků – koncept, dle kterého by měly být všechny základní zdroje „od Boha“ dostupné k užívání všem lidem bez rozdílu a nemohou být uzurpovány malou skupinou lidí za účelem zisku. Výslovně říká, že církev sice do velké míry respektuje soukromé vlastnictví i možné benefity soukromého podnikání, ale princip všeobecného určení je tomu vždy nadřazen – a pro jistotu opakuje, že nejde o nějakou vágní teologickou teorii, ale oficiální církevní doktrínu, kterou prosazovali i jeho předchůdci a vychází z Bible.

Zatímco dříve se oněmi pozemskými statky myslely hlavně zdroje a suroviny typu vody, půdy, nerostů apod. (ale také třeba vzdělání, bydlení a práce), Lev XIV. podotýká, že teď už si s tím nevystačíme a do této kategorie musíme zařadit i nové formy věcí a majetku – například patenty, algoritmy, digitální platformy, technologickou infrastrukturu a data. Upozorňuje, že v situaci, kdy bohatství států stále více závisí na znalostech a technologiích a tyto statky jsou často pod kontrolou soukromých firem, dochází k růstu nerovností a řada lidí nemá přístup k životně důležitým technologiím, ale také třeba k viditelnosti na digitálních platformách apod.

Velmi explicitně tedy tematizuje růst tzv. digitálních propastí (digital divide) mezi národy i jednotlivými společenskými skupinami a prosazuje něco, čemu se často zjednodušeně říká „právo na internet“. Tím ale tato široká kritika technologického průmyslu nekončí – papež také uvádí, že velké technologické korporace si dělají neoprávněný monopol na expertizu, data, rozhodování o přístupu k platformám a jejich ekonomickým možnostem.

Proto bychom na tomto poli měli usilovat o nezávislou kontrolu, transparentní algoritmy, možnost odvolání a nápravy, a především rovný přístup k datům, která jsou dnes stejně důležitá jako voda či nerostné suroviny – když západní IT firmy „těží“ data v chudých zemích a následně je zpeněžují, je to totéž, jako když tam drancují vzácné kovy a zisky pak vyvádějí do zahraničí.

Pasáže o dopadech technologií na zaměstnanost nebo socioekonomických nerovnostech jsou zásadní částí celé encykliky, ale pozornost (trochu ke škodě věci) přitáhly hlavně papežovy myšlenky o ochraně unikátní lidskosti tváří v tvář AI. Podle mě jde o nejslabší část dokumentu, protože místy vychází ze specifického náboženského pohledu na věc, ale i tak se v ní najde řada zajímavých postřehů.

Důležité je především konstatování, že AI a další nové technologie nejsou neutrálním nástrojem, u kterého záleží jen na tom, zda je „dobře“, či „špatně“ používán. Je to populární řečnická figura mezi lidmi ze Silicon Valley, ale papež podotýká, že každá technologie má ve svém designu zakódovány hodnoty a názory svých tvůrců a majitelů – v tomto případě tedy především honbu za ziskem, a nikoliv snahu o obecné blaho, která by měla mít prioritu.

Mimo jiné to znamená, že AI nikdy nemůže být „neutrální“ a „objektivní“, natož morální. Jedním z velkých rizik je tu právě dojem falešné objektivity AI rozhodnutí, za kterými se skrývá odpovědnost a hodnoty konkrétních jedinců. Problém začíná už tím, že nad vývojem a nasazením AI a dalších technologií nemáme širokou veřejnou kontrolu a spoluúčast. A sebemorálnější AI je k ničemu, když onu morálku definuje jen hrstka miliardářů a programátorů v Kalifornii.

Z toho také vychází ústřední biblická metafora encykliky, kde papež nastiňuje dvě vize budoucnosti. Stavbu Babylonské věže (tedy megalomanský projekt sloužící jen k ukojení ambic mocných elit) a jako její protiklad budování hradeb Jeruzaléma (kolektivní počin podporující obecné blaho).

V současnosti dominantní „babylonský“ přístup vede k obětování slabších na oltář zisku, popírání lidské různosti a především redukci lidí na data, která ovšem nikdy nedokážou postihnout celou realitu – v praxi to znamená závěje křivd a nespravedlností, kdy nečitelné algoritmy rozhodují o zaměstnání, dostupnosti úvěrů, viditelnosti na sítích apod.

Papež správně konstatuje, že AI systémy nemají žádné myšlení, osobnost, skutečnou inteligenci a představu o realitě, natož morálku, emoce a lidské zkušenosti. To vede i k tomu, že stroje nemají schopnost soucitu a nechápou, že se lidé mohou změnit k lepšímu bez ohledu na to, co indikuje jejich datový profil. Proto důvodně pranýřuje nelidské a hrozivé využití autonomních AI systémů na bojišti a také vyzývá k „odzbrojení“ (disarm) AI – nemyslí tím ovšem jen vojenské využití AI, ale především zamezení tomu, aby AI sloužila jen jako nástroj k získávání a upevňování politické a ekonomické moci.

Encyklika velmi podrobně vyvrací v Silicon Valley populární ideologii transhumanismu a představy, že by se lidé měli spojit s roboty nebo jimi být dokonce překonáni – jen se hodí dodat, že je celkem zbytečné stavět do opozice k nelidské AI údajně unikátní lidskou osobnost a duši vycházející od Boha.

Celý argument totiž může klidně fungovat i bez Boha a víry. I když si hezky ateisticky připustíme, že člověk je jen pytel masa a kostí bez duše a unikátního vědomí, nebo snad dokonce v duchu Silicon Valley budeme AI považovat za novou formu života a inteligence, v konečném důsledku je to naprosto jedno. Principy nerovné distribuce moci, vykořisťování a upírání lidské důstojnosti budou pořád stejné. A pořád také bude nutné se ptát (jako to dělá Lev XIV.), kdo a proč AI modely trénuje a kontroluje a kdo jim jen bezmocně podléhá.

Nic z toho ovšem neznamená, že by AI byla pohledem Vatikánu sama o sobě špatná či zbytečná – záleží to jen na otázkách vlastnictví, regulací a kontroly. Papež tak k novým technologiím zaujímá výrazně smířlivější a zároveň radikálnější stanovisko než řada laických kritiků technologií, kteří si nedokážou představit žádnou třetí cestu mezi totální technologickou dystopií a bukolickou idylou, ve které jsme telefony a digitální platformy upálili na hranici a odešli do lesů.

Tato alternativní možnost tu stále je. Představa, že bychom mohli nové technologie sami kolektivně navrhovat, spoluvlastnit, kontrolovat a nasazovat k budování obecného dobra, a nikoliv k extrakci zisku, ovšem dalece přesahuje varianty, které jsou dnes diskutovány v lokální politice i mezinárodních organizacích, a je tak smutné a vypovídající, že velkou mainstreamovou platformu nachází až v encyklice katolického lídra.

Právě proto si Magnifica Humanitas zasluhuje podrobnější přečtení, a nikoliv jen povrchní interpretace, které nám ve výsledku mohou možnosti imaginace spíš zúžit než rozvinout.

Je poněkud nešťastné, že Lev XIV. v závěru encykliky cituje pasáž z fantasy eposu Pán prstenů, kde čaroděj Gandalf nabádá, že si nemáme bezmocně zoufat ze stavu světa a radši bychom měli usilovat o dílčí zlepšení v rámci možností a času, který nám byl dán. Zjevně tím chtěl vytrollit amerického ultrapravicového miliardáře a technologického investora Petera Thiela, který je znám svou láskou k J. R. R. Tolkienovi a nenávistí k Vatikánu, ale brát si tu na pomoc britského katolického spisovatele je trochu dvousečné.

Tolkienovy knihy totiž bez ohledu na své četné kvality často trpí právě onou zjednodušenou černobílou vizí světa, kde jsou dýmající komíny technologií automatickým symbolem zla, kdežto nezkalená příroda a nostalgická selanka hobití vesnice vzorem zlatých časů, kam se toužíme vrátit. Nic takového ale ve skutečném světě není reálné ani prospěšné. Jak papež upozorňuje v jiných částech encykliky, neměli bychom se obracet do minulosti, ale novým problémům aktivně čelit a technologický rozvoj formovat ku prospěchu všech.

Hodnotu člověka a jeho důstojnost přitom vůbec nemusíme odvozovat od Boha a náboženského vidění světa. I když je Magnifica Humanitas samozřejmě také chytře napsaným kusem církevní reklamy, nabízí kromě moralizování a etických teorií spoustu hluboce promyšlených a překvapivě detailních rad a návodů, jak současné krize kolem technologií řešit.

Aby tento text nebyl delší než samotná encyklika, radši jsem se vyhýbal přímým citacím, ale na závěr se možná ještě jedna hodí: „Nestačí zdůrazňovat efektivitu a slavit přínos inovací, pokud jsou postaveny na záměrně skrytém řetězci vykořisťování. Když technologie slibuje osvobození, ale přináší nové formy globálního podřízení, je v rozporu se základními principy lidské důstojnosti.“

Není to plošné odmítnutí technologií, ale pádná výzva, jak je navrhovat a nasazovat jinak a lépe. Teď jen zbývá, aby tento plodný směr debaty prosákl i za hranice Vatikánu a konečně nahradil zbytečné potlachy o tom, jestli má AI duši a zda to s námi chatboti myslí dobře.

Pokud se vám ukázka z newsletteru Pod čarou líbila, přihlaste se k odběru. Každou sobotu ho dostanete přímo do vašeho e-mailu, včetně tipů na další zajímavé čtení z českých i zahraničních médií.