Článek
Nástroje pro automatické generování textu jsou k dispozici už minimálně čtyři roky. S nástupem populární konverzační služby ChatGPT v listopadu 2022 ale možnosti i dostupnost generátorů textu rapidně narostly. Je však možné tyto uměle vytvořené texty spolehlivě rozpoznat?
Testované detektory generovaných textů
V našem testíku jsme hodnotili detekci českých a anglických textů, 60 procent z experimentálních textů bylo zcela nebo zčásti generováno pomocí jednoho ze šesti nejčastěji používaných AI generátorů textu.
| Detektor | Čeština | Angličtina |
|---|---|---|
| Copyleaks AI Detector | 70 | 76 |
| Hive Moderation | 42 | 85 |
| GPTZero | 43 | 69 |
| AI Writing Check | 43 | 69 |
| Undetectable AI | 43 | 68 |
| OpenAI Text Classifier | 56 | 46 |
| Writer | 0 | 57 |
Tabulka ukazuje skóre zvlášť pro české a anglické texty. Vyšší skóre (na škále od 0 do 100) znamená vyšší úspěšnost správné detekce a menší riziko falešné detekce.
Pomocí generátorů založených na velkých jazykových modelech mohou lidé snadno generovat důvěryhodně znějící text v angličtině, češtině a mnoha dalších jazycích. Nabízí se celá řada využití, od generování e-mailů a marketingových kampaní přes dlouhé konverzace až třeba po vylepšování vlastních textů.
A samozřejmě se okamžitě vyskytly i pokusy umělou inteligenci zneužít: studenti pomocí nových nástrojů tvoří bakalářské práce a podvodníci je využívají ke generování důvěryhodně znějících podvodných e-mailů.
Téměř okamžitě se objevily i nástroje, které mají za úkol rozpoznat text vytvořený velkým jazykovým modelem od textu napsaného člověkem. Jak ale náš test ukázal, jejich spolehlivost je přinejmenším sporná.
Zkopírovat, vložit, ověřit?
Teoreticky by mělo být rozpoznání generovaného textu jednoduché. Stačilo by vzít nějakou delší část podezřelého textu, nejlépe aspoň stovku slov, vložit ji do detektoru AI a za chvíli bychom měli vidět výsledek.
A navenek to tak skutečně funguje. Třeba vítěz našeho zběžného testu, Copyleaks AI Content Detector, nabízí velké textové pole a tlačítko Check (Zkontrolovat). Po několika sekundách se dozvíme verdikt: „Byl nalezen obsah generovaný umělou inteligencí.“
Detektor generovaného obsahu od Copyleaks.com.
Problém této detekce je, že je značně nespolehlivá. Z dvaceti různorodých textů, které jsme do něj nahráli, správně určil pouze 75 procent. A to šlo o nejlepší výsledek. Ostatní detektory na tom byly ještě o něco hůře.
U českých textů si nejlépe vedl právě Copyleaks AI Detector, u anglických jej překonal komerční nástroj Hive Moderation. Zvláštní zmínku si zaslouží GPTZero, který uvádí procento jistoty a případně i zdůrazní, která část se detektoru jeví jako podezřelá.
V angličtině fungoval průměrně, v českém jazyce ale GPTZero nerozpoznal ani jeden z generovaných textů.
Ukázky z našeho testu:
Pro lepší posouzení by samozřejmě bylo potřeba provést mnohem zevrubnější experiment. Ale i z našeho malého vzorku dvaceti textů je patrné, že detektory nejsou dokonalé. A kdo si dá záležet, dokáže během několika minut i ten nejlepší z detektorů přechytračit.
Kromě toho se samozřejmě občas stává, že detektor naopak označí člověkem napsaný text za podezřelý.
Člověkem napsaný text byl nástrojem OpenAI označen za „pravděpodobně vygenerovaný umělou inteligencí“.
Tyto „falešné nálezy“ byly paradoxně nejčastější u detektoru přímo z dílny OpenAI, který u plné poloviny textů napsaných lidmi hlásil podezření na obsah generovaný umělou inteligencí.
Je to další připomínka toho, že na generátory není radno spoléhat. Nejenže zdaleka neodhalíte všechny vygenerované texty, ale ještě se vám může stát, že někoho z pokusu podvádět osočíte neprávem.
Proč odhalení nefunguje?
Texty generované umělou inteligencí se často vyznačují určitými společnými rysy, které lze zdánlivě poznat na první pohled. Odpovědi bývají obecné, ploché, neobsahují vyhraněné názory a spíše se všechno točí kolem vyvažování.
Typickými větami bývá „Je třeba míti na paměti, že…“ nebo „Nakonec záleží na konkrétním případu, jakou cestu zvolíte.“ Zkrátka takové vyhýbavé kecy.
Je třeba si zvyknout na svět, ve kterém nebude možné odhalit všechny vygenerované texty.
Jenže tyto znaky obvykle nesou jen texty, které vznikly narychlo, na základě rychlých a stručných instrukcí, bez velkého kontextu. Když zadáte generátorům přesnější instrukce, bude i výsledek rozmanitější. Pomocí postupného zesložiťování – které může probíhat i automatizovaně – se tak text stává čím dál hůře rozpoznatelný, a to jak pro člověka, tak pro detektory.
Jak fungují generátory textu?
Velké jazykové modely jsou vlastně takovými velmi pokročilými improvizátory. Na miliardách textů se model naučil, která slova a věty se často vyskytují spolu. Vsákne do sebe jednoduché, složité i vysloveně obskurní pravidelnosti a vytvoří si určité „porozumění“ tomu, které slovo by mohlo následovat a s jakou pravděpodobností.
Když pak do velkého jazykového modelu dáte text, model na základě naučených pravděpodobností bude předvídat další slovo. A další a další a další. Postupně sestaví text, který je často překvapivě smysluplný.
Takto například ChatGPT – využívající velký jazykový model GPT-4 – doplňuje texty našich otázek. V naší simulaci se odpověď objevuje po slovech, ve skutečnosti se objevuje po částech slov, tzv. tokenech.
Odhalování generovaných textů v podstatě simuluje činnost generátorů. Dobře to ilustruje poněkud zastaralý nástroj GLTR, který velmi podrobně ukazuje, jakým způsobem detekce probíhá.
Po najetí na jednotlivá slova vidíte, jak by daný text dokončil jazykový model GPT-2. Pokud je použité slovo mezi favority jazykového modelu, bude obarveno zeleně.
Detektor tedy posuzuje, zda jsou věty dokončované takovým způsobem, jakým by je dokončil jazykový model. Taková detekce je tedy nejúspěšnější u textů, které vznikly na základě krátkých instrukcí. Čím podrobnější byly instrukce, tím menší je šance, že bude text odhalen jako vygenerovaný, protože instrukce tvoří kontext, který nemůže detektor ve svých výpočtech zohlednit.
Kromě toho se liší výsledky i na základě použitých generátorů. Zatímco texty z Bing Chatu nebo PaLM 2 byly odhaleny velmi často, texty vygenerované GPT-4 se detekci vyhnuly mnohem častěji.
Nejdůležitější však je, že pomocí každého z námi testovaných nástrojů bylo možné při troše snahy vygenerovat text, který prošel každým z testovaných detektorů. Jinými slovy, když někomu záleží na tom, aby běžně používané detektory obešel, tak je zkrátka obejde.
Jistě, lze očekávat, že se bude detekce zlepšovat. Stejně tak je ale zjevné, že zlepšovat se budou i modely, které text generují. Už dnes navíc některé nástroje pro generování textu rovnou nabízejí funkci „přepisuj text tak dlouho, dokud jej detektory neodhalí“.
Ztrácí se tím mimo jiné i vypovídající hodnota, kterou dosud lidmi vytvořený text měl. Za každým napsaným textem byl určitý čas, který tomuto textu někdo věnoval. Zkušený čtenář dokázal už podle několika vět poměrně dobře odhadnout, zda pisatel argumentuje věcně a přehledně, a tedy zda má cenu takový text číst.
Nyní se tato vazba narušila: není problém vygenerovat libovolně dlouhý, důvěryhodně znějící blábol prakticky na libovolné téma, bez větších časových investic.
Hloupější zadání mne nenapadlo, ale GPT-4 si i s takovým textem bez zaškobrtnutí poradí. Výsledek je při bližším prozkoumání naivní a nesmyslný, ale velmi dobře to maskuje.
Závěr je tedy poněkud pesimistický. Je třeba si zvyknout na svět, ve kterém nebude možné odhalit všechny vygenerované texty. Počítačem sestavených vět bude přibývat na webu, v e-mailech, v prezentacích, smlouvách, knihách i bakalářkách. Firmy a instituce si nyní musí rozmyslet, jaká pravidla pro využívání AI nástrojů zavedou. A čtenáři si budou muset ještě o něco pečlivěji vybírat, čemu budou věřit.
Už to totiž není teoretický problém, ale každodenní realita. A detektory nám, jak vidno, moc nepomůžou.
Umělá inteligence na vzestupu
Strojové učení není žádnou novinkou. Teprve v posledních letech se ale ke slovu dostaly tzv. velké jazykové modely. Nejznámější ukázkou je populární ChatGPT, jehož fungování podrobně popisujeme v tomto článku:
Důležitým faktorem aktuální popularity systému umělé inteligence je velké množství textů dostupných na internetu. A také rychlý hardware, který umožnil vytrénování řádově výkonnějších modelů. Takových, ve kterých se objevuje „emergentní chování“, jež se v některých ohledech vyrovná lidské inteligenci:
To samozřejmě vyvolává debatu o tom, zda nová vlna automatizace nahradí lidskou práci. V tomto článku shrnujeme současné poznatky a predikce ohledně toho, jak AI změní pracovní trh a kterých profesí se dotkne nejvíce:
