AI je dost mizerný právník. Varování pro Rajchla, soudce i všechny ostatní

„Poslanci (…) flagrantně porušují zákon!“ hlásil poslanec Jindřich Rajchl (za SPD) svým příznivcům na Facebooku 7. listopadu. Jako důkaz přiložil obrázek s něčím, co na první pohled vypadá jako stručná, dobře ozdrojovaná právní analýza. Protože Rajchl je právník, řada jeho příznivců považovala jeho analýzu za relevantní posouzení platných zákonů. „Nastoupil právník,“ komentovaly to Parlamentní listy.

Bližší pohled ale ukáže, že tato analýza není dílo žádného právníka, ale naopak jde o snímek obrazovky s výstupem textu, který vygenerovala umělá inteligence. V tomto případě zřejmě model Gemini ve vyhledávači Google.

Hned první zákon, na který se „analýza“ odkazuje, už téměř čtvrt století není platný. Což zjistí kdokoli, kdo si dá několik sekund práce a znění zákona č. 68/1990 Sb. vyhledá. Každý, kdo používá chatboty, ví, že umí velmi rychle generovat text na přání. Tento snímek byl pravděpodobně pořízen na mobilu, čemuž nasvědčuje formát i grafická úprava. (Jindřichu Rajchlovi jsme zaslali dotaz ohledně toho, jak snímek vznikl, před publikací článku jsme nedostali odpověď - pozn. red.)

Je například možné, že někdo zadal do vyhledávače otázku typu „Proč je nelegální, aby poslanci vyvěsili cizí vlajku bez svolení předsedy poslanecké sněmovny.“ A umělá inteligence Google vytvoří – například v rámci AI souhrnu nebo nového AI režimu – na míru psaný text, který odpovídá přesně na to, co člověk hledá. Ne vždy to ale odpovídá realitě.

Zdaleka nejde o ojedinělý případ. Už v dubnu 2023 si před soudem v New Yorku uřízl celosvětovou ostudu právník Steven Schwartz. Při vyhledávání precedentů – tedy minulých rozsudků na podobné téma – si totiž povídal s ChatGPT. „Nikdy předtím jsem službu ChatGPT jako zdroj pro právní rešerši nepoužil, a nevěděl jsem tedy o tom, že by výsledky nemusely být pravdivé,“ uvedl Schwartz.

Když si soudce všiml, že Schwartzem citované spisové značky nikam nevedou, právník nejenže si svou chybu neuvědomil, ale dokonce šel znovu do aplikace ChatGPT a s pomocí chatbota „vyrobil“ k těmto neexistujícím spisům i text. A korunu tomu dal tím, že do své argumentace vložil přímo screenshoty z ChatGPT. Včetně ikony pro posun na konec stránky.

Když soudce upozornil na to, že jde o smyšlené texty, právník jako „důkaz“ přiložil svou konverzaci s chatbotem: – „Je to skutečný případ?“ – „Ano, je to skutečný případ,“ odpovídá chatbot. – „Jaký je tvůj zdroj.“  – „Omlouvám se za nedorozumění. Při bližší kontrole vidím, že tento příklad neexistuje.“ – „A ty ostatní případy jsou také falešné?“ – „Ne, ostatní případy jsou skutečné a lze je dohledat v oficiálních databázích.“

Je vlastně až neuvěřitelné, že právník viděl na vlastní oči, že mu ChatGPT v jednom případě zcela očividně generoval neexistující text… a přesto mu vzápětí věřil, že v ostatních případech si nevymýšlí. A že jej to nenapadlo skutečně ověřit v oficiálních databázích.

„Velmi lituji, že jsem použil generativní umělou inteligenci jakožto nástroj pro rešerši,“ omluvil se nakonec Schwarz. „Už to nikdy neudělám, ne bez absolutního ověření pravosti.“

Zpráva o tomto průšvihu obletěla svět. A v ideálním světě to mohl být poslední takový případ. Varovné ponaučení pro všechny právníky, že chatbot si může vymýšlet. Od té doby už si všichni dávají pozor a než něco někam pošlou, pořádně si vše ověří, že?

Ve skutečnosti je to nadále překvapivě rozšířený nešvar. Právníci na celém světě – z neznalosti, ve snaze ušetřit čas, možná doufajíce v nepozornost protistrany – používají nejrůznější chatboty při tvorbě materiálů. Web AI Hallucination Cases zatím eviduje přes 540 takových případů. Nejčastěji jde právě o "fabrikované odkazy": chatbot nebo jiný AI nástroj si vymyslí případy nebo pargrafy, které ve skutečnosti neexistují.

V Británii dokonce před nezodpovědným zapojením umělé inteligence varoval i Vrchní soud v Londýně: „Tyto nástroje mohou vyprodukovat zdánlivě smysluplné a věrohodné odpovědi, ale tyto smysluplné a věrohodné odpovědi mohou být zcela nesprávné,“ varuje britská vrchní soudkyně Victoria Sharpová. „Odpovědi mohou obsahovat sebevědomá tvrzení, která jsou jednoduše nepravdivá. Mohou citovat zdroje, které neexistují. Mohou předstírat, že citují pasáže ze skutečného zdroje, které se v tomto zdroji neobjevují.“

Jak je vidět z grafu výše, počet zneužití (nebo přinejlepším špatného využíti) AI v kontextu práva nejenže neklesá, ale naopak dlouhodobě stoupá. Nejvýraznější nárůst pozorujeme od začátku roku 2025. To může být způsobeno jak výraznější adopcí nových nástrojů, tak také pečlivějším přezkoumáváním. Přeci jen se problematice halucinací dostalo v posledním roce hodně mediální pozornosti, a tak i soudci častěji zkoumají, zda náhodou nejsou odkazy použité v argumentaci zcela smyšlené.

To byl mimochodem případ jediného českého případu v této mezinárodní databázi právnických AI halucinací. Stal se v říjnu 2025 v  Brně. Nejvyšší správní soud – konkrétně tříčlenný senát pod vedením soudkyně Lenky Krupičkové – zde upozornil na kuriózní nesrovnalost. Žalobce prostřednictvím svého právního zástupce (právníka Milana Štemberga) vystavěl „vlastní, velmi obsáhlou, obecnou a z významné části zcela mimoběžnou argumentaci“.

Při tom cituje z celé řady rozhodnutí kasačního soudu. Když ale soud tyto citace ověřil, došel „k jednoznačnému závěru, že ani jedna z nich se v odkazovaných rozhodnutích nenachází“ a některá citovaná rozhodnutí „dokonce vůbec neexistují“.

V jinak strohém rozsudku si tak na konci můžeme přečíst skoro až vtipně napsané napomenutí: „Ať již daná vyjádření psal kdokoliv či cokoliv, soud tyto ve svém souhrnu nepovažoval pro danou věc za jakkoli přínosné, a náklady na jejich vznik proto nemohl posoudit jako důvodně vynaložené.“ (Právníka, který tyto dokumenty k soudu podal, jsme požádali o vyjádření, ale odmítl s odůvodněním, že mu klient neudělil souhlas věc jakkoliv komentovat - pozn. red.)

Proč si vlastně umělá inteligence vymýšlí neexistující předpisy a cituje staré paragrafy? Zjednodušeně řečeno: protože nás chce potěšit. Všechny současné nástroje pro generování textu jsou postaveny na principu velkých jazykových modelů (LLM). A ty mají – už z podstaty díky tomu, jak jsou vytrénované – sklon sebevědomě halucinovat.

Další zdroj problémů vychází z toho, že jsou tyto modely následně „dotrénované“ na základě lidské zpětné vazby. Lidé ručně vybírají, jaké odpovědi jim přijdou užitečnější. Umělá inteligence se díky tomu naučila generovat takové texty, které vypadají na první pohled užitečně. Jinými slovy: chce nás potěšit. A to je problém.

Možná znáte klasický vtip o právnících: Na konferenci expertů z různých oborů je položena otázka „Kolik je 2+2?“ Matematik oznámí, že řešení je v oboru přirozených čísel. Fyzik odhadne, že je to v řádu jednotek. A právník se rozhlédne na všechny strany a spiklenecky zašeptá: „Kolik potřebujete, aby to bylo?“

Chatbot sice obvykle nešeptá, ale přizpůsobit odpověď potřebám uživatele je jeho přirozeností. Což je pro lidi obvykle matoucí, takové chování od stroje nečekají. Mohou mít dojem, že dostali „objektivní“ souhrn. Ve skutečnosti ale generativní AI sestavuje odpověď automaticky tak, aby co nejlépe vypadala a byla co nejlépe přijata. Neustálé přitakávání chatbotů a chválení uživatele za „výbornou a zajímavou otázku“ je někdy až legrační. Méně nápadné ale je, že chatbot může odpovědět na stejnou otázku úplně jinak podle toho, jak ji položíme.

Jde vlastně o potvrzující zkreslení (confirmation bias), které se ale neodehrává v naší hlavě. Chatbot jako kdyby nám zkoušel nahlédnout do hlavy a potvrdit nám to, co si myslíme.

Pro úplnost dodejme, že to zdaleka nedělá vždy. Například bez ohledu na to, jak jsem formuloval dotaz ohledně vatových tyčinek, nepodařilo se mi dostat z něj odpověď, která by mi schválila, abych si tyčinku strčil do ucha.

Problém často nastává tam, kde má chatbot nějakou indikaci ohledně toho, co chceme slyšet. Například pokud umělé inteligenci jasně vysvětlíte svou pozici, je velká šance, že chatbot – natrénován k tomu, aby uživatele potěšil užitečným textem na míru – vygeneruje text, který vychází překvapivě v náš prospěch.

A tak různí lidé dostanou na stejnou otázku diametrálně odlišné odpovědi. Zákazník se od ChatGPT dozví, že samozřejmě má právo na vrácení knihy i poté, co ji přečetl, včetně podrobného vysvětlení. Prodejce zase od chatbota dostane e-mail, jak takovou žádost odmítnout: opět včetně detailního zdůvodnění.

Zdálo by se, že tenhle neduh zmizí, jakmile dáme chatbotovi přístup k internetu, případně k nějaké odborné databází dokumentů. To jistě pomůže a procento chyby se sníží. Ale ty chyby, které tam zůstanou, budou o to důvěryhodnější a ještě hůře odhalitelné.

Zkontrolovat, zda existují citované dokumenty, je sice časově náročné, ale vcelku primitivní. Ale zjistit, zda v těch dokumentech opravdu je napsáno to, co jim chatbot v elegantním souhrnu přisuzuje, to už vyžaduje pořádnou časovou investici. Není divu, že se řada lidí spokojí jen s tím, že zdroj skutečně existuje, a nebude pátrat po tom, zda to je skutečně ten nejlepší možný dostupný zdroj.

Existuje způsob, jak AI využívat zodpovědně? Podle právníků je důležité správně nastavit očekávání: „Rád cituji jednoho kolegu advokáta, který mi s úplným nadšením v očích řekl: Je úžasné, že práci, která mi dříve trvala bez AI pět hodin, teď zvládnu jen za čtyři,“ popisuje advokát Ondřej Preuss, zakladatel služby DostupnyAdvokat.cz. „To je myslím podstata věci. Nemůžeme očekávat, že za nás dnes AI bezchybně napíše žalobu či udělá dokonalou rešerši. Může s tím ale výrazně pomoci. Je to nástroj, se kterým se musí umět pracovat.“

To především znamená znát omezení tohoto nástroje. Chatbot sám vám totiž o svých omezeních obvykle neřekne, nebo je dokonce zkusí chytře skrýt, či obejít. Proto je potřeba se mít na pozoru, kdykoli od něj dostanete odpověď přesně takovou, jakou jste chtěli. Je totiž velká šance, že více než realitou se v tu chvili řídil přáním, které z vašeho dotazu a celého kontextu odhadl.

Pro běžné uživatele to znamená, že chatbot jim ochotně sehraje roli právníka. Ale nebude – narozdíl od seriózního advokáta – ručit za výsledek svého snažení.

Advokáty – podobně jako celou řadu dalších profesí – tak čeká budoucnost, ve které musejí opatrně zjišťovat, ve kterých oblastech jim AI může pomoci. Když to ale přeženou a svěří toho chatbotovi příliš, může to skončit falešnými citáty neexistujících, nebo již neplatných zákonů.

Halucinace jsou nepříjemné pro kohokoli. Pro advokáta je to ale dvojnásobná ostuda. Ztrácí tím to nejdůležitější, co po něm lidé požadují: důvěryhodnost a schopnost zodpovídat za výsledek své práce.