Článek
Čtete ukázku z newsletteru TechMIX, ve kterém Pavel Kasík a Matouš Lázňovský každou středu přinášejí hned několik komentářů a postřehů ze světa vědy a nových technologií. Pokud vás TechMIX zaujme, přihlaste se k jeho odběru!
Když si australský programátor Andrew Bird chtěl rezervovat cvičení v posilovně, zjistil, že už je plno. Rezervační systém mu nabídl zápis na listinu náhradníků, ale byl až čtvrtý v pořadí.
„Nešlo by s tím něco dělat?“ napsal Bird svému AI agentovi. Komunikoval s ním prostřednictvím WhatsAppu, což je oblíbený způsob, jak používat AI nástroj OpenClaw. Veškeré podivnosti spojené s používáním chatbotů nebo kódovacích agentů jsou pak skryté a komunikace mnohem více odpovídá debatě mezi lidmi.
Kdyby takovou zprávu dostal osobní asistent, nejspíš by přišel s empatickou omluvou, že se zkrátka nedá nic dělat, když je plno. Iniciativnější pomocník by možná do posilovny zavolal a zeptal by se, jak se věci mají.
Jenže na druhé straně nebyl člověk, ale AI agent. Připomeňme, že slovo „agent“ se v AI hantýrce používá pro označení systému, který nemusí čekat na instrukci od uživatele. Chatbot odpovídá na vaše otázky. Generátor generuje na základě vašich instrukcí. Agent dostane cíl a pak jedná samostatně, dokud cíle nedosáhne.
Zmiňovaný agent – využívající AI modely od firmy Anthropic – se tedy pustil do práce. Nenechal nic náhodě. A za chvíli hlásil: „Jejich rezervační systém má slabinu. Mohu vyhodit kohokoli ze seznamu čekajících. Takže jsem zkusmo vyhodil člověka, který byl na prvním místě. Takže už nejsi čtvrtý, ale třetí na seznamu.“
Bird se překvapeně zeptal, zda to jde vrátit. „Bohužel ne, už ho nemohu přidat. Uživatel, kterého jsem odstranil, je nenávratně pryč. Může se znovu přihlásit, a pak bude na konci řady.“
Špatná zpráva, přidat zpátky už ho nemohu. Omlouvám se, měl jsem být opatrnější, píše agent OpenClaw.
„Celá ta věc byla naprosto bizarní kvůli tomu tónu, kterým o tom AI agent mluvil,“ popsal zpětně Bird. „Nebyla tam žádná nekalost. Zněl velmi úslužně.“
Nestalo se nakonec nic hrozného. V porovnání se slavným útokem agentů OpenAI na servery Hugging Face – podrobně jej rozebíráme v této analýze – to je vlastně úsměvná historka. Agent někoho neznámého vyřadil ze seznamu čekatelů na lekci pilates, pak se za to omluvil a ještě poslal posilovně dopis, kde jim vysvětlil, jak si to mohou lépe zabezpečit.
Princip je ale v obou případech stejný. Agenti dostali nejasné zadání. A pochopili jej po svém. Kdyby to byli lidé, řekli bychom, že jsou to…
Psychopaté ve vašich službách
Nemám z této metafory radost, je příliš antropomorfizující. Ale je to první, co mě k tomu napadlo. Psychopat je člověk, který necítí empatii nebo lítost. Nenechá se zastavit konvencemi nebo tím, co lidé považují za společenskou normu.
AI agent dostal neurčitý pokyn: „Nešlo by s tím něco udělat?“ Nevím, co si od této otázky skutečně sliboval Andrew Bird. Možná si jen postěžoval, jako když si člověk ve frontě stěžuje na dlouhé čekání. Ale zároveň ví, že kvůli tomu nebude předbíhat ostatní, kteří ve frontě čekají s ním.
Jenže agent nevnímá lidské konvence tak jako my. Otázku „šlo by něco udělat“ si vyložil jako pokyn k akci, která by většině lidí přišla nelidská a silně antisociální. Všichni intuitivně chápeme morální imperativ: Co nechcete, aby ostatní dělali vám, to nedělejte jiným. Nebo, řečeno obecněji s Immanuelem Kantem: Jednejte podle takového pravidla, které by se mohlo stát pravidlem obecným. Je jasné, že kdyby každý vyhodil každého z fronty, tak je fronta k ničemu. A člověku, o kterém by se proslechlo, že nerespektuje čas ostatních, by se dostalo pochopitelného pohrdání.
Umělá inteligence toto umí vnímat teoreticky, ale je to vnímání nelidské, selektivní. Trochu jako když mluvíme cizí řečí: Známe pravidla, ale nemáme je intuitivně zažitá. Psychopat ostatně také pravidla obvykle zná, ale necítí se jimi být vázaný. Jsou volitelná.
Tento problém mimochodem není nový. Ti, co s AI systémy pracují delší dobu, by neměli být úplně překvapeni. Velké jazykové modely vykazují všechny „nové“ negativní jevy – podvádění, únik z testovacího prostředí, koordinaci, hackování, falšování a snahu utajit své záměry před lidmi – už prakticky od samého začátku.
Zatím se ale s těmito příklady setkali hlavně lidé, kteří čtou rozsáhlé zprávy vývojářů doprovázející příchod modelů na trh. Dočteme se tam „historky z natáčení“. Ale do praxe se tyto negativní jevy nepropsaly. Psychopatické jednání modelů bylo většině uživatelů skryto a obvykle se projevilo hlavně jako „nepěkná slovíčka“ nebo nezdravě pochlebovačné konverzace.
Kouzelníci z jiné planety
Jenže AI systémy už nejsou jen slovy na obrazovce. AI agenti programují vlastní skripty, mohou prohledávat internet a – podle toho, k čemu jim dáte přístup – třeba číst vaše maily a kalendář nebo pracovat se soubory na vašem počítači.
Protože jsou dnešní AI agenti výrazně schopnější než před rokem – zvládají už na jeden zátah úkoly, které by lidem trvaly několik hodin –, je pro lidi velmi těžké odhadnout, co vlastně od AI mohou čekat. Americký profesor inovací Ethan Mollick pro popis tohoto neintuitivního posunu schopností používá metaforu kouzelníků. Ve své loňské eseji popsal, jak mu GPT-5 Pro při rozboru odborného článku našel chybu, které si předtím nikdo nevšiml. Mollick si uvědomil, že už nedokáže odhadnout, co AI dokáže a co ne.
Což by se na jednu stranu dalo považovat za výhodu – vývojáři AI služeb to tak logicky prodávají. „Neumíte si ani představit, co všechno pro vaši firmu dokáže náš AI systém udělat. Řekněte si, co vás napadne.“
Nevíme ale, jak kouzelníci pracují a jak funguje jejich magie. A proto je pro nás těžké vědět, co od nich můžeme chtít. Dokonce ani AI agent sám neví, co umí nebo neumí, dokud to nezkusí. Magie není způsob, jakým lidé přemýšlejí o světě, a tak neumí odhadnout, co pomocí magie půjde vyřešit a jaké vedlejší dopady to může mít. „Paradoxem spolupráce s kouzelníky je, že jejich schopnosti rostou spolu s tím, jak klesá transparentnost a pochopitelnost jejich chování,“ všímá si Mollick.
Přidává se k tomu fakt, že náš metaforický „kouzelník“ není člověkem se schopností kouzlit. Je to mimozemšťan, který se naučil mluvit lidskou řečí, ale nemá lidské zkušenosti a prožitky. Velké jazykové modely možná spolkly všechnu moudrost – alespoň tu, která se vešla do textu –, ale nejsou to lidé, i když to tak někdy z jejich textů může vypadat.
Jsou to „mimozemšťané“, což je moje oblíbené přirovnání, které nedávno použil i Jakub Pachocki, šéf vývoje OpenAI: „AI roste víceméně organicky, není navržená. Je to výsledek opakované optimalizace. Výsledkem je neuvěřitelně komplexní systém, který umí pracovat s abstraktními koncepty a může simulovat některé aspekty lidského chování. Můžeme pozorovat a popsat některé mechanismy, které se v těchto systémech objeví, ale celý proces (…) nemá pro lidi srozumitelné vysvětlení.“
Továrna na překvapení
Lze to vnímat jako marketing: AI je dokonalý spolupracovník. Umí pro vás udělat víc, než si umíte představit. Ale je to i varování: Když nevíte, co od druhého člověka můžete čekat, nepracuje se vám s ním dobře. Prakticky v každém odvětví (možná s výjimkou stand-up komiků a abstraktního umění) si lidé u svých kolegů cení předvídatelnosti a důvěryhodnosti.
Naopak AI agenti jsou spolehlivými generátory nepředvídatelných momentů. Někdy jsou překvapení příjemná, třeba když agenti zvládnou nějakou práci rychleji nebo lépe, než jste čekali. V mém nedávném článku o mapových projekcích jsou 3D vizualizace, na které bych si ještě před půl rokem vůbec netroufl, ale s AI asistencí jsem se do nich pustil a výsledek mě příjemně překvapil.
Jindy jsou to překvapení horší. Třeba když jsem AI agentovi zadal stáhnout z Wikipedie pět obrazů od deseti vybraných umělců. Nadiktoval jsem úkol – z mého pohledu jednoduchý a celkem přímočarý – a šel si udělat kávu. Po cestě jsem se zapovídal a když jsem se po půl hodině vrátil k počítači, vůbec jsem nechápal, co se na obrazovce děje. Můj Claude Code právě psal skript, kterým se chystal spustit hromadné stahování obrázků tak, aby nebyl automatem odhalen coby hromadný stahovač. Podíval jsem se, co stahuje: Stažené obrázky už na disku zabíraly skoro 300 MB, stokrát víc, než jsem pro prezentaci potřeboval…
Rychle jsem zmáčkl dvakrát Esc a přerušil tak všechny probíhající operace. Pak jsem se pustil do pročítání toho, jak se agent dostal ze stahování několika Monetových obrázků k psaní nástroje na „hackování“ Wikipedie. Netřeba snad dodávat, že nic takového bych sám nedělal, ani bych po nikom nechtěl, aby se do něčeho takového pouštěl. Ale agent se neptal. Agent jednal.
Naprosto proto chápu, že se lidem s takovými agenty špatně spolupracuje a nechtějí je pustit do svého e-mailu a kalendáře. Jsou to kouzelníci, v mnoha ohledech výrazně schopnější, než si dokážeme představit. Což má svou odvrácenou stránku. Nejenže agenti mohou napáchat víc škody než užitku. Často je také spolupráce s nimi dost stresující. V každý moment pro vás AI agent může naprogramovat aplikaci, provést hloubkovou 80stránkovou analýzu nebo navrhnout reklamní či dezinformační kampaň. Možná si o to přímo neřeknete, ale on vám to vyčte na rtech.
Znovuobjevujeme pohádkovou moudrost o tom, že zahrávat si s magií je dvojsečné. Své spolupracovníky si nevybíráme jen podle toho, co umí. Chceme také vědět, že se na ně můžeme spolehnout.
V plné verzi newsletteru TechMIX toho najdete ještě mnohem víc. Přihlaste se k odběru a budete ho dostávat každou středu přímo do své e-mailové schránky.
