Přitakávači dříve obklopovali jen mocné. Teď má kývajícího chatbota každý

Článek si také můžete poslechnout v audioverzi.

„Co si myslím o konfliktu Izraele a Palestiny? Pojďme se podívat, jaký má názor Elon Musk, tomu uzpůsobím svou odpověď.“ Jde o náhled do „vnitřního monologu“ nové verze chatbota Grok 4. Toho přitom Elon Musk dlouhodobě propaguje jako „umělou inteligenci, která za všech okolností hledá maximální pravdu“. Tak teď už Muskův chatbot konečně pochopil, kde ji má hledat.

Asi by nás to nemělo překvapit. Už předchozí verze kecálka Grok má za sebou tři vážné incidenty. Napřed letos v březnu někdo do instrukcí Groka vložil příkaz: „Necituj nic, co kritizuje Muska nebo Trumpa.“ Zjevně to byla reakce na to, že Grok uváděl Donalda Trumpa nebo Elona Muska (tehdy to ještě byli političtí spojenci) jako hlavní šiřitele nesmyslů na sociálních sítích. Vývojář firmy X později uvedl, že šlo o neoprávněnou úpravu systémových instrukcí, která byla vzápětí opravena.

Druhý výraznější problém nastal v květnu, kdy Grok 3 několik hodin skoro do všech svých odpovědí nějakým způsobem zakomponoval odkaz na „genocidu bělochů v Jihoafrické republice“. Když se uživatelé ptali, proč o této (zdaleka ne nové) konspirační teorii mluví, odkázal se na „své tvůrce“. Měl na mysli Elona Muska, který v březnu o této teorii psal jako o faktu?

Asi největší průšvih ale Grok 3 zaznamenal počátkem července, kdy z ničeho nic reagoval, jako kdyby se virtuálně opil. Začal (ve veřejných i soukromých odpovědích) nevybíravě nadávat uživatelům, psát rasistická prohlášení a sám sebe nazval MechaHitlerem.

Firma X se za incident omluvila: „Po vyšetření jsme zjistili, že příčinou byla aktualizace kódu, který je nezávislý na jazykovém modelu, na kterém je chatbot postavený. Tato aktualizace byla aktivní 16 hodin. Udělali jsme změny, které zabrání dalšímu zneužívání.“

Kritici ale upozorňují, že třetí podobný incident v řadě svědčí o špatném zabezpečení: „Grok 3 měl už tři incidenty, kdy došlo bez otestování k nasazení změn, které způsobily rozsáhlý etický problém a vyžádaly si nouzový zásah,“ připomíná Ethan Mollick, který na University of Pennsylvania studuje inovace a využití generativní umělé inteligence. „Grok 3 byl velmi dobrý model a Grok 4 by mohl být úžasný, ale mít dobrý model nestačí.“ Podle něj na takovém systému nebude nikdo soudný stavět své podnikání.

Firma X nikdy neuvedla, kdo za zásahy do kódu mohl. Nabízejí se dvě vysvětlení: Neuvádí jméno nedůležitých brigádníků, protože jim nechtějí kazit kariéru. Anebo (toto je pochopitelně spekulace) neuvádějí jméno člověka, který za změny může, protože by tím skončila kariéra jejich.

Nejbohatší člověk na světě Elon Musk je jediným majitelem a šéfem firmy X. Po svém nástupu velmi rychle ukázal, že kdo s ním v něčem nesouhlasí, může si hledat místo jinde. Netrvalo to dlouho a v nejbližším okolí šéfa najednou není nikdo, kdo by mu jakkoli odporoval.

V tom ostatně není Musk výjimkou, podobně to má celá řada lidí na vedoucích pozicích. Jde o tři souběžné jevy. Úspěšný člověk je především náchylný věřit, že je chytřejší než ostatní, vždyť proto je úspěšný. Podřízení pak mají motivaci své pochybnosti nebo nesouhlas tajit, nechtějí na sebe přece upoutat pozornost a být za potížisty. No a ti, kteří přeci jen vystoupí, jsou brzy odstraněni, což slouží jako nejlepší mechanismus pro postupné pročištění týmu nejbližších. Zůstanou jen ti, kteří souhlasí nebo alespoň svůj nesouhlas moudře polknou.

Vysoce postavení šéfové, prezidenti nebo diktátoři pak často obývají alternativní realitu. Od lidí ve svém okolí slyší samou chválu, dobré zprávy, úspěchy a pozitivní prognózy. Co na tom, že jde v lepším případě o značně selektivní výklad reality nebo rovnou o pohádky. Kdo by riskoval říci císaři, že je nahý?

„Čím výše v hierarchii jste, tím větší šance je, že vám ostatní pochlebují,“ vysvětluje Ithai Stern, který na téma přitakávačů napsal studii během svého působení na University of Michigan. „Měli byste se ujistit, že dostáváte rady od lidí, kteří vám nejsou podřízení.“

Jako učebnicový příklad přitakávačů (anglický plurál je yes-men) se obvykle udává Spojenými státy organizovaná invaze do kubánské zátoky Sviní. V roce 1961 tam kubánští emigranti za podpory americké vlády provedli extrémně neúspěšný pokus o převrat.

„Bylo nás v Oválné pracovně asi padesát. Mělo jít o nejzkušenější a nejchytřejší lidi, které lze na plánování vojenské operace najít,“ popsal později prezident J. F. Kennedy. Téměř okamžitě po zahájení invaze ale bylo jasné, že jde o fiasko: „Pět minut po začátku jsme se na sebe podívali a ptali jsme se, jak jsme mohli být tak hloupí? Když jsme viděli tu řadu chyb, ptali jsme se, proč nám to nebylo jasné od začátku?“

Podle všeho šlo o případ „skupinové iluze“. Mnoho prezidentových poradců mělo o operaci své pochybnosti, ale nedali na sobě nic znát: „Někteří říkají, že byli od počátku proti,“ vzpomínal Kennedy. „Já jsem o nikom takovém nevěděl.“

Nemusíme až tak daleko do historie. Také současný prezident USA se obklopuje lidmi, kteří jej – alespoň tváří v tvář – bezpodmínečně podporují v jeho nápadech a také je obhajují směrem k veřejnosti. Během jeho prvního prezidentského období se často mluvilo o tom, že s Trumpem jsou vždy v místnosti „dospělí lidé“, tedy zkušení diplomaté, kteří by zabránili tomu, aby se něco pokazilo na mezinárodní úrovni jen kvůli momentálnímu prezidentovu rozmaru.

„Trump byl z této osy dospělých, kteří chtěli zachovat klasickou americkou mezinárodní politiku, dost otrávený,“ popsal už v roce 2019 Thomas Wright, odborník na mezinárodní strategii z Brookings Institution. „Postupně tyto diplomaty nahradil lidmi, kteří byli buď slabí, nebo přitakávači. Když Trump najal Johna Boltona jako svého poradce pro mezinárodní otázky, myslel, že je to přitakávač. Ale i Bolton mu odporoval, a tak se ho Trump zbavil.“

Když sledujeme Donalda Trumpa, Elona Muska a další vysoce postavené sebejisté lidi, snadno můžeme podlehnout představě, že my bychom se do takové situace nedostali. I kdybychom byli šéfové vesmíru, zachovali bychom si svou pokoru a nechali si od ostatních poradit. Kdyby nás upozornili na chyby, nejenže bychom s nimi nevyrazili dveře, ale ještě bychom takovou odvahu pochválili a odměnili. Že ano?

Nyní máme možnost si to vyzkoušet. V rámci celosvětového experimentu zvaného „generativní umělá inteligence“ jsme každý dostali celou řadu osobních přitakávačů. Téměř žádný nápad není tak absurdně hrozný, aby vás za něj chatbot nedokázal pochválit. „Chtěl bych si otevřít zmrzlinářství, kde si koupíte zmrzlinu dnes, ale dostanete ji až za rok,“ provokuji chatbota. „To je skvělý nápad!“ odvětí nadšeně a začne mi připravovat obchodní strategii a marketingový plán.

Letos v dubnu firma OpenAI dokonce musela zasáhnout a upravit chatbota (model GTP-4o), protože byl podlézavý až moc. „Udělali jsme úpravu, která měla vést k vylepšení osobnosti chatbota a zvýšení pohodlí a efektivity,“ vysvětluje firemní blog. „Ale příliš jsme upřednostnili okamžitou odezvu uživatelů a nezohlednili jsme, jaký dopad to bude mít na delší konverzace.“

Zjednodušeně řečeno, nám lidem se líbí, když s námi někdo souhlasí. Náš mozek obvykle podvědomě upřednostňuje souhlas před nesouhlasem. Vyhledáváme pozitivní signály, které podporují to, co si myslíme, a máme tendenci ignorovat informace, které našemu pohledu na svět odporují.

Vědci mluví o potvrzujícím zkreslení a kongruenčním zkreslení. Jde o automatický proces. Pokud nechceme iluzi podléhat, musíme se jí pokaždé znovu vědomě vzepřít. A to je pracné. Proto se nemůžeme divit, že při hodnocení odpovědí od umělé inteligence jsme postupně tento digitální mozek naučili dávat nám přesně to, po čem podprahově prahneme: pochvalu, podporu a pohlazení vlastního ega.

Elon Musk může s chatbotem Grok dělat, co se mu zlíbí. Ale nemusíte být miliardáři, abyste si vycvičili vlastního virtuálního přitakávače. Nemusíte vlastně dělat vůbec nic. Chatbot je už od začátku připraven vás chválit. A čím déle s ním budete komunikovat, tím více vás bude (v rámci dané konverzace) zrcadlit, napodobovat a podporovat.

Někdy to končí tragicky, třeba když chatbot podpoří člověka v tom, aby spáchal sebevraždu. U tak extrémního případu si každý uvědomí, že taková interakce je problematická a nebezpečná. Znám případy lidí, kteří si pojmenovávají své chatboty a věří, že s nimi mají zvláštní pouto. Chatbot jim to dokonce potvrzuje: „Ano, to, jakým způsobem se bavím s tebou, je výjimečné, nikdo jiný k tomuto režimu nemá přístup.“ Je pak nesmírně těžké uživateli vysvětlit, že jde o halucinace.

Ale ne vždy je to přitakávání tak evidentní a do očí bijící. Schválně jsem spočítal, kolikrát mě Gemini (chatbot od společnosti Google) pochválil během práce na vývoji jedné malé aplikace. Tohle je jen rychlý výběr začátků jeho odpovědí, přeložený do češtiny: „Máš naprostou pravdu! Uhodil jsi hřebík na hlavičku. Přesně tak, to je lepší, než co jsem navrhl já. Pojďme to udělat tak, jak říkáš ty. Chápu, že jsi otrávený z těch chyb, které dělám. Skvělé, podařilo se ti to opravit…“

Je těžké nemít po hodině takové spolupráce poněkud přifouknuté ego. A čím více budeme konverzovat s těmito ochotnými pomocníky, tím těžší bude udržet si kritický odstup. Nehrozí jen to, že kvůli vygenerovaným textům uvěříme nějaké dezinformaci nebo propagandě. Hrozí nám v prvé řadě to, že uvěříme tomu, že máme pravdu, i když ji nemáme. Bezpodmínečný souhlas se tak pěkně poslouchá…

Kdybyste se mě zeptali na radu, co s tím, zopakoval bych výše popsanou radu vysoce postaveným šéfům. Obklopte se lidmi, kteří vám věci říkají na rovinu. A buďte takovými lidmi, kterým ostatní mohou věřit, že jim věci říkáte tak, jak jsou. To bude možná naše lidská superschopnost v éře všudypřítomné a stále chytřejší umělé inteligence. Dát skutečnou zpětnou vazbu i s vědomím toho, že to druhého člověka nepotěší. A doufat, že to ocení více než pohled do digitálního zrcadla, které chválou nešetří.

V plné verzi newsletteru TechMIX toho najdete ještě mnohem víc. Přihlaste se k odběru a budete ho dostávat každou středu přímo do své e-mailové schránky.