Článek
„Jsem unavená fyzicky, jsem vyčerpaná psychicky. Jsem jako chodící zombie,“ popisuje svůj den datová anotátorka z Nigérie. Její pracovní den spočívá v označování dat. Za den musí odbavit kolem tisícovky tiketů, tedy textů, obrázků nebo videí. Co klik, to nová data pro trénování systémů umělé inteligence kdesi na druhé straně světa.
Její práce je – na místní poměry – dobře placená. Ale v Evropě nebo v Americe by za stejné peníze rozhodně nikdo podobnou práci nepřijal. Nástupní mzda je někde kolem deseti korun za hodinu. Ostatně právě proto velké firmy jako Meta, Google nebo OpenAI najímají agentury, které pak hledají globálně nejlevnější místo pro vytěžení ochoty místních obyvatel.
„Nejhorší není ani tak to násilí, co každý den vidíme,“ citují autoři knihy Feeding The Machine (Jak krmíme stroje) dalšího datového anotátora ze stejného centra. „Nejhorší je sexuálně explicitní obsah. Člověk si pak zvykne na věci, které nejsou normální.“
Prakticky denně jsou prý anotátoři skrze obrazovky svědky snímků sebevražd, mučení nebo sexuálního násilí. Mnozí takovou práci dlouho nevydrží. Bez jejich nasazení by ale moderní AI systémy nikdy nevznikly.
AI spása nebo AI zkáza? Co přinese budoucnost?
Jak vidí budoucnost s umělou inteligencí optimisté a skeptici?
Postupně prozkoumáme šest vizí toho, jak umělá inteligence (AI), obecná umělá inteligence (AGI) nebo dokonce nadlidská superinteligence (ASI) promění naše životy, naši společnost a náš svět. Pokud tedy ještě bude náš.
Zatím vyšly tyto díly:
- AI nás spasí. Pokud jste člověk, nepřekážejte (radikální optimisté)
- Pokud postavíme superinteligenci, lidstvo vymře (radikální varování)
- Nikdo nebude muset pracovat, AI se o nás postará (vize šéfů AI firem)
- Na superinteligenci nečekejte, je to reklama (kritika přehnaných narativů)
Na základě odpovědí datových anotátorů se vylepšuje systém automatického odhalování nepřípustného obsahu například na sociálních sítích. Ti označovači, kteří se osvědčí (mají vysokou míru shody na testovacích datech), mohou získat i o něco lepší pozice. Vybírají ze dvou textů jeden, který je vygenerovaný lépe. Tato data pak používá i váš chatbot, když za vás píše e-maily nebo referáty. Jiní na snímcích z videa označují patníky, semafory, chodce a ostatní auta. I díky jejich práci se pak firmy mohou pochlubit tím, že samořídící auta řídí bezpečněji než lidé.
Práce anotátorů je vyčerpávající. Ale bez nich se AI trénovat nedá. Zatím.
Když se mluví o trénování umělé inteligence, obvykle se píše o té finančně nejnákladnější a technologicky nejnáročnější části, která probíhá na speciálních čipech v datových centrech. Ale méně známé jsou osudy anonymních lidí, bez kterých by se ladění AI systémů neobešlo.
Trénování sítě – Vývojáři shromáždí velké množství dat a pak nechají neuronovou síť, aby postupně vylepšovala svoje odhady a zpřesňovala svoji „statistickou intuici“ na základě těchto reálných dat.
Doladění pomocí lidské zpětné vazby – Právě metoda RLHF (Reinforcement learning from human feedback) pomohla překlenout propast mezi jazykovými modely a užitečnými chatboty. Lidé vidí několik variant odpovědí a ručně vybírají, která se jim více líbí, nebo která přesněji splňuje zadání.
Inference – Když je neuronová síť vytrénovaná a doladěná, je možné ji nasadit do provozu. Takový model pak lze použít ke generování textu nebo obrazu, a tato činnost se nazývá inference. Během inference už se model obvykle nemůže „doučit“ nové informace. Na to je potřeba trénování.
Firma OpenAI platila svým anotátorům v Keni za ladění modelů pro ChatGPT necelých padesát korun na hodinu.
Tohoto ladění se mimoděk účastníme všichni. Většina z nás za to nedostává ani tu korunu za hodinu. Stačí, když AI nástroje používáme. Nebo dokonce i když jen píšeme text nebo publikujeme fotku či video. Firmy potřebují pro trénování nových modelů co nejvíce dat, pokud možno od co největšího počtu lidí. A samozřejmě se (zvláště dříve) nikoho neptaly na dovolení.
Urychlit, vytěžit, zefektivnit, vyřadit
Ještě před deseti lety sloužily nástroje pro automatické překlady jako zdroj pobavení. Ne že by nebyly užitečné, ale kdyby se na ně člověk spolehl s překladem delšího textu, uřízl by si ostudu. V posledních pěti letech se ale strojový překlad výrazně zlepšil. Do té míry, že na mnohé dokumenty už si nemusíte najímat profesionály: chatbot typu Gemini nebo ChatGPT to zvládne přeložit na podobné úrovni, navíc stokrát rychleji. Jak se to povedlo?
Jazykové modely a překladatelské nástroje se trénovaly mimo jiné na tzv. paralelních textech. Jde třeba o Bibli nebo předpisy a nařízení Evropské unie. Zkrátka texty profesionálně a pečlivě přeložené lidmi, navíc jasně strukturované.
V první fázi to lidským překladatelům nejenže nevadilo, ale dokonce jim to usnadňovalo práci. Překladové systémy připravily hrubý překlad a ušetřily tak nějaké procento monotónní práce, tento čas pak překladatel mohl věnovat pečlivějšímu rozvažování složitějších pasáží.
Jenže tím překladatelé paradoxně vytvářeli naprosto ideální tréninkové texty. Stali se mimoděk datovými anotátory.
Práci datového anotátora si můžete vyzkoušet na hodnocení překladů. Vždy uvidíte dva texty: jeden je přeložený člověkem, druhý počítačem. Vy máte za úkol vybrat lépe znějící překlad.
Digitální efektivita umožňuje okamžité kopírování a relativně rychlé trénování. Zvlášť když jej porovnáme s tím, jak dlouho se musí řemeslu učit zkušený překladatel. Překladatelé tak doslova pomáhali trénovat svou levnou náhradu.
Někdy kolem roku 2024 nebo 2025 najednou začaly být výsledky automatizovaných systémů tak dobré, že už to přestala být legrace. Kreativní práce překladatelů se postupně proměnila v post-editační peklo. Je to jako kdyby šofér místo řízení musel jen sledovat, jak řídí někdo jiný. A neustále být na pozoru, aby v případě sebenepatrnější chyby mohl sáhnout po řízení a zatáčku vybrat.
„Při post-editaci si připadám jako průtokový ohřívač,“ glosuje to překladatel Miroslav Pošta, který se specializuje na titulky pro audiovizuální obsah. „Za den musím zpracovat mnohem víc informací než při běžném překladu. Na druhou stranu musím být ostražitější než při revizi lidského překladu, protože halucinace a další chyby ve výstupu jsou méně předvídatelné a často také méně nápadné. Musím k textu přistupovat s presumpcí viny.“
V překladatelském stavu proto panuje pochopitelná hořkost. Odborníci přicházejí o zakázky, mladí překladatelé mají problém získat zkušenosti. „Mezi překladateli, zvlášť v některých zemích, sílí pocit, že když jsou jazykové modely a neuronové sítě trénovány na našich překladech bez našeho souhlasu, jedná se o krádež duševního vlastnictví,“ říká Pošta. „Ta by měla být kritizována a do budoucna zakázána.“
Dopad AI na profesi překladatelů přitom není unikátní. Naopak, jde v podstatě o učebnicové schéma, jak funguje „vytěžování“ dostupných dat systémy umělé inteligence. V podstatě kopíruje proces trénování neuronových sítí. Zpočátku jsou výsledky žalostně nepoužitelné. Velmi rychle se ale zlepší až na úroveň průměrného člověka. A pak ji překonávají. Paradoxně právě díky lidem, kteří museli nedokonalé výstupy opravovat. Pokud pracujete na počítači, je možné, že právě teď svými výstupy krmíte nějakou neuronovou síť a učíte ji další drobné nuance z vašeho oboru, které dosud nezvládala generovat.
Na to, aby AI měnila svět, nemusí být super
Když se mluví o etických otázkách spojených s umělou inteligencí, skoro vždy probíhá debata v abstraktních pojmech. Nejčastěji jde v těch otázkách pro lepší názornost o život. Jak by se rozhodlo samořídící auto, kdyby mělo ohrozit chodce nebo svého pasažéra? Vyhladí superinteligence lidstvo? Přehodil by chatbot výhybku, aby zachránil své servery před smazáním, i když by tím přesměroval vlak na kolej s pěti nevinnými…?
Jakkoli jsou tyto otázky zajímavé, zastírají důležitou skutečnost: AI (a dříve strojové učení) už dávno mají vliv na naše životy. A ne vždy k lepšímu.
„Umělá inteligence už nyní mění životy lidí po celém světě,“ zdůrazňuje Timnit Gebru, odbornice na AI etiku. V roce 2020 údajně nedobrovolně opustila firmu Google poté, co vydala studii mapující některé dopady AI na nerovnost ve světě. Gebru založila vlastní výzkumný institut DAIR, kde se podobným tématům věnuje dál.
Výzkum, který Gebru stál místo (společnost Google oficiálně tvrdí, že „přijala její rezignaci“), se věnoval mimo jiné dopadům velkých jazykových modelů na vnímání světa. Pokud se totiž umělá inteligence trénuje na velkém množství dat z internetu, je téměř jisté, že se „učí papouškovat“ i některé velmi nepříjemné, nesprávné nebo rovnou škodlivé texty.
Jistě, také lidé si čtením textů na webu mohou upevnit své předsudky a získat falešnou představu o světě. Na to nepotřebujeme umělou inteligenci. Ale když se takových chyb, zkreslení nebo předsudků dopouští AI, dopouští se jich opakovaně – a ve velkém.
Algoritmické zkreslení – Pokud bylo nějaké zkreslení přítomné v trénovacích datech, projeví se obvykle i ve vytrénované neuronové síti. Například pokud je nějaký jazyk v trénovacích datech méně zastoupený, budou výsledky v tomto jazyce častěji obsahovat překlepy a gramatické nesrovnalosti.
Algoritmická diskriminace – V některých případech může algoritmické zkreslení vést k diskriminaci i v reálném světě. Například nástroj pro doporučování délky trestu navrhoval delší tresty obviněným jen na základě toho, že byli tmavé pleti.
Iluze objektivity automatu – Lidé nemají problém pochopit, že se diskriminačního chování dopouštějí ostatní lidé. Ale od strojů obvykle očekávají objektivitu. Předsudek skrytý v algoritmu tak může být mnohem hůře odhalitelný, protože rozhodnutí má punc „strojového zpracování“.
Jde o systematické zesílení těch nejhorších rasistických, xenofobních, sprostých, toxických a násilných textů. Právě proto pak musejí firmy modely dále ladit, aby tyto tendence potlačily.
Jakmile je ale konverzace s chatbotem delší, vyladěné instinkty mají tendenci ustupovat. Proto také delší konverzace s chatbotem mohou být tak podivné, konspirativní a temné.
Dokonalé šmírování
Ale to se pořád pohybujeme v malém měřítku. Zkusme si to představit na úrovni celé sociální sítě: každý váš klik, zaváhání, o pět procent delší sledování nějakého videa, to vše umí systém zaznamenat a přizpůsobit tomu, jaké další video vám doporučí. Nemůžete si být jistí, proč vám program ukazuje právě ta videa, která vidíte. Ani vývojáři to nejspíš netuší. Nenaprogramovali totiž algoritmus na míru pro vás. Naprogramovali jej tak, aby byl efektivní. Vytěží vaši pozornost do posledního zbytku. Pokud by to neudělali, udělá to někdo jiný. „Naším největším konkurentem není televize, ale spánek,“ glosoval to v roce 2017 šéf Netflixu.
A to jsme se zatím bavili hlavně o vedlejších důsledcích „strojové efektivity“. Softwaroví giganti nesledují žádné vyloženě zlé úmysly tím, že hledají nejlevnější dodavatele anotovaných dat. Vývojáři softwaru pro překlad se nesnaží uškodit překladatelům. Provozovatel sociálních sítí nechce poškodit demokracii.
Prostě se jen chovají racionálně, optimalizují metriky… a digitální systém se postará o znásobení dopadů. Ale neuronové sítě jsou samozřejmě ideálním nástrojem pro kohokoli, kdo má zájem této efektivity využít k cílené a úmyslné manipulaci ostatních lidí. Nebo dokonce celých populací.
Začít to může třeba na míru připravenými podvody, kdy někdo ukradne váš hlas a vaši podobu, aby s jejich pomocí obalamutil vaše příbuzné nebo kolegy. Zatímco nás ještě trochu chrání méně obvyklý jazyk, v angličtině už jsou podobné podvody poměrně běžné – jsou totiž nesmírně levné a mohou být poměrně účinné.
Jak by ale mohla AI sloužit ke šmírování v masovém měřítku? Nemáme nejspíš problém představit si, jak by nových technologií mohl využít diktátorský režim. Automatizovaný dohled, na míru připravená propaganda, analýza obrazu a identifikace každého občana podle obličeje či hlasu. Klasická tuctová dystopie.
Tuto scénu důvěrně známe z dystopických sci-fi filmů. Do ní bychom se nenechali vmanipulovat.
Jenže nové technologie přinášejí sílu masového dohledu i mimo diktátorské režimy. Experti varují před dopady tzv. šmírovacího kapitalismu: lidé se zcela dobrovolně vzdají svého soukromí. Na oplátku dostanou nějakou funkci navíc: mohou si vygenerovat selfie ve stylu oblíbeného animovaného filmu, nebo třeba získat slevu na základě předchozích nákupů. Lidé obvykle nedohlédnou, jakou cenu mohou jejich data mít. Dívají se na ně totiž z pohledu jednotlivce. Jenže AI systém se na datech trénuje v masovém měřítku. A naučí se věci, které by vás ani nenapadly.
Algoritmus nějakého videoserveru vás třeba může – na základě analýzy milionů kliků ostatních lidí – zařadit do skupiny „osamělí a znudění“. Což shodou okolností koreluje s vyšším počtem kliknutí na reklamy. Systém se – bez jakékoli záště nebo poťouchlosti – rozhodne vás ještě více izolovat od vašich přátel. Začne vám ukazovat další videa, která korelují se zvyšováním pocitu samoty. Ještě více prohloubí vaši izolaci, a to jen proto, aby o půl procenta zvýšil šanci, že si příští reklamu dokoukáte až do konce. Stejnou pozornost pak v téže chvíli věnuje půl miliardě dalších lidí.
Rozděl a panuj, dotaženo téměř k dokonalosti. Poslední dílek do skládačky pak dodá právě generativní AI. Nemusí jen doporučovat, jaká videa sledovat. Tam by se pořád mohlo stát, že uvidíte stejné video jako někdo jiný, a budete pozornost věnovat jiným lidem, mimo dosah algoritmu. Ale co kdybychom vám videa vygenerovali na míru, přesně podle předchozích preferencí? Dnes je to zatím příliš nákladné, ale za rok?
„Šmírovací kapitalismus zcela ovládl naše globální informační a komunikační prostory. Vznikají tak nebezpečné podmínky, které žádná demokracie nemůže přežít,“ vysvětluje psycholožka a socioložka Shoshana Zuboffová z Harvard Kennedy School. „Jedná se o institucionální souboj na život a na smrt naší doby, který rozhodne o osudu demokracie v tomto století.“
„Pro někoho, kdo chce věřit, že naše společnost může využít umělou inteligenci ke konání dobra, je to pořádný oříšek,“ píše o všudypřítomném vytěžování uživatelských dat Suresh Venkatasubramanian z Centra pro technologickou zodpovědnost. „Jakákoli nasbíraná data bude možné vytěžit k prakticky jakémukoli účelu, bez ohledu na to, jaký byl původní důvod jejich sběru.“
Jak je vidět, nepotřebujeme superinteligenci k tomu, abychom se jako společnost dostali do pořádného průšvihu. Naše dystopie může být navenek barevná, svobodná a jásavá. Algoritmy budoucnosti nás mohou rozdělit způsobem, proti kterému bude polarizace názorů na sociálních sítích jen slabý odvar.
Je těžké poznat, že žijete v dystopii, když máte před sebou pořád něco, co vám nedovolí odtrhnout oči.
Každý budeme mít před očima svou realitu, která bude nejen lepší než ta skutečná, ale bude také nepochopitelná a nevysvětlitelná pro ostatní lidi kolem nás. Což ale nebude až tak vadit, protože debaty s ostatními lidmi vůbec začaly být takové divné. Naštěstí je tu moje osobní AI, která se mi věnuje kdykoli…
V případě sociálních sítí už víme, kam vede samoregulace softwarových firem. Nemyslí to špatně, ale velmi dobře optimalizovaly a najednou se nestačily divit, kam je jejich algoritmy zavedly. Pokud dáme státům a firmám volnou ruku v případě nasazení pokročilé AI, můžeme skončit v sofistikované verzi šmírovací totality, která se navenek bude tvářit jako na míru připravený ráj.
Ráj, ve kterém se budou lidé ptát – každý svého chatbota – proč je v dnešní době tak těžké se s někým seznámit?
