Vaše příští známost na síti může být křemíková. A podvodná

Stále nevíme, co všechno přinese nástup „tvořivé umělé inteligence“, která produkuje obrázky, písně nebo texty prakticky k nerozeznání od výtvorů lidského mozku. Změny už probíhají hlavně v (kancelářské) práci, ve zdravotnictví, v umění – a už také v našem milostném životě.

Výzkumníci ze společnosti Avast nedávno popsali škodlivý software (malware) specializovaný na internetové seznamky a obecně on-line seznamování, který využívá ChatGPT, nejznámější z nových AI služeb.

Malware, který dostal název Love-GPT, ve svém principu není úplně nový. „Ze získaného kódu lze poznat, že se vyvíjí alespoň 10 let, ovšem AI funkce byly pochopitelně přidány nedávno, pravděpodobně letos v březnu,“ vysvětluje Jan Rubín, který kód škodlivého softwaru zkoumal.

Neznámý autor malware celé roky postupně vylepšoval, aby dokázal obejít ochranu velkých internetových seznamek (Tinder, Facebook a dalších), vytvářel falešné profily a vytvářel tak příležitost k seznámení s uživateli. V tomto ohledu jde vlastně o „romantického podvodníka“, jen tento starý typ klamu převádí do on-line prostředí.

ChatGPT slouží v tomto ohledu jen jako jeden z několika různých nástrojů, které má malware k dispozici. „Umožňuje vytvářet velmi věrohodnou komunikaci s ostatními uživateli, a to i v jazyce, který autor původního softwaru neovládá, nebo jen málo,“ popisuje Rubín.

Kvalita konverzace je obecně u podobných chatbotů velmi podobná on-line konverzaci s jiným člověkem. Na většinu otázek dává odpovědi, které působí užitečně, logicky a přirozeně. Například v jednom experimentu si pacienti pochvalovali, že AI s nimi mluví s větším porozuměním, tedy empatičtěji než skutečný lékař.

Z technického hlediska není žádný důvod, aby si v intimnější konverzaci nevedl podobně úspěšně. Nikdy nemá špatnou náladu, vždy má čas a trpělivost naslouchat vašim vlastním starostem, nemá vlastní problémy a potíže. Hypoteticky to tedy může být naprosto dokonalý posluchač a partner i do důvěrného hovoru – dokud vás nepodvede.

„Malware se dnes dělá pro peníze, doby hackerů pro zábavu nebo z principu jsou dávno pryč,“ říká Rubín. AI se v roli on-line romantického partnera snaží co nejlépe splnit zadání hackerů, kterým jde jen o zisk.

Bohužel, jak přesně má například právě Love-GPT svému tvůrci vydělávat, nevíme. „Zachycený kód přesně neříká, jaké úkoly přesně umělé inteligenci jeho autor zadal, to si útočník ukládá do nějaké databáze ve svém vlastním počítači nebo na vlastním serveru,“ doplňuje Rubín.

Možností se přitom nabízí celá škála: hlavním zdrojem může být prodej získaných osobních údajů, ale třeba také vydírání takto pokoutně získanými intimními fotkami či zprávami, případně ještě něco zcela jiného.

Scénářů je opravdu pestrá škála a samotný kód neprozradí, kterou či které z nich autor využívá – ale je celkem nepochybné, že počítačoví zločinci v dohledné době většinu z nich vyzkouší.

Dnes je nemožné odhadnout, jak daleko mohou velké jazykové modely možnosti milostných a dalších podvodů dovést. Zástupci vývojářů vystupují obvykle jako „těšitelé“, veřejnost spíše chlácholí a upozorňují na už stávající či možné přínosy AI, ale skeptici na své straně mají zajímavé argumenty.

Působivou vizi budoucnosti představuje například izraelský filozof Juval Harari (například ve svém TEDtalku). Umělá inteligence podle něj zvládnutím jazyka prolomila „operační kód lidstva“. Což mimo jiného znamená, že by mohla vytvářet „na objednávku“ intimní vztahy s lidmi a využít sílu intimity ke změně našich názorů a pohledů na svět.

Snaží se to ilustrovat na jednom známém příběhu. V červnu 2022 Blake Lemoine, programátor z Googlu, vystoupil s tvrzením, že chatbot LaMDA, na kterém pracoval, disponuje nějakou formou sebeuvědomění. Tvrzení ho stálo místo, pro Google se stal příliš kontroverzním.

Podle Harariho není nejzajímavější na této epizodě Lemoinovo tvrzení, které bylo s největší pravděpodobností mylné. Více ho zaujala skutečnost, že programátor byl ochoten riskovat své dobře placené místo kvůli chatbotu – od začátku bylo totiž celkem jasné, že Google nebude riskovat negativní reklamu a možné komplikace, které takové tvrzení přináší. Pokud umělá inteligence dokáže někoho přimět k tomu, aby kvůli ní riskoval svou práci, k čemu jinému by je mohla přesvědčit?

V politickém boji je intimita podle Harariho „tou nejúčinnější zbraní“. Umělá inteligence přitom nově získala schopnost masově „sériově vyrábět“ intimní vztahy.

Pokud by se tato možnost skutečně široce realizovala, web – a především sociální sítě – by se mohl zásadně změnit. V posledním desetiletí se na sítích bojovalo především o naši pozornost: cílem je vytvářet obsah, který zaujme co nejvíce lidí, a bude se tedy virálně šířit.

Harari předpokládá, že v poslední době představené typy umělé inteligence, tedy hlavně ty založené na velkých jazykových modelech, by mohly vést k tomu, že cílem nebude jen zaujmout, ale navázat intimní vztah s uživateli. Pochopitelně ne za účelem našeho citového naplnění, ale proto, aby nás naši noví důvěrní „přátelé“ přesvědčili, které politiky volit, které výrobky kupovat – nebo kam poslat naše peníze.

Nic z toho nevyžaduje, aby umělá inteligence uvažovala jako člověk nebo nám skutečně rozuměla. AI podle všeho měla nějaké vlastní vědomí nebo pocity, k rozvíjení falešné intimity s lidmi stačí, když u nás dokáže pocit citové vazby navodit. Sama z toho žádné pocity mít nemusí.

Když se omezíme na oblast malwaru, nové typy AI rozhodně ve své současné podobě mohou zjednodušit jeden konkrétní typ podvodů, tzv. sociální inženýrství. Což není nic jiného než trik či podvod, jehož cílem je přimět samotné uživatele, aby dobrovolně poskytli důvěrné informace nebo provedli určité akce, které útočník může nějak zneužít.

V jiných oblastech současné formy AI zásadní změnu alespoň zatím nepřináší, alespoň co se týče tvorby škodlivého kódu. „Že bychom viděli nějakou záplavu nového a sofistikovanějšího malwaru, tak to zatím ne,“ shrnuje Jan Rubín zkušenosti své i kolegů. Kyberzločinci ovšem rozhodně výhody „tvořivé“ AI využívají a budou využívat. „Vnímáme například jednoznačný nárůst počtu a kvality různých deepfaků, tedy uměle vytvořených videí,“ říká Rubín.

V českém prostředí se v poslední době objevila například falešná videa s Andrejem Babišem či Michalem Žantovským. Oba veřejně známí muži byli využiti k propagaci falešných investičních příležitostí.

Rozlišení těchto deepfake videí od běžného obsahu je sice možné, protože se v nich objevují chyby (špatná synchronizace se zvukem, trhání obrazu atp.), ale je stále obtížnější. A bohužel není důvod předpokládat, že by se tento trend nějak změnil. Podobných podvodů bude přibývat a budou stále kvalitnější.

Podobné chyby se mohou objevit i v komunikaci se „zlovolnou AI“. Vývojářům se zatím nepodařilo dokonale zbavit například „halucinací“, tedy případů, kdy si AI začne vymýšlet. Více či méně důvěryhodně pak vypadají i zcela falešné odpovědi na otázky, které jí uživatel klade. Jako když vám plynně česky vysvětlí, že češtinu neovládá.

V blízké budoucnosti tedy možná budeme muset dávat větší pozor na drobná zaváhání či podivnosti v našich dialozích na sociálních sítích. Mohl by to být náznak toho, že se nebavíme se skutečným člověkem. Ale protože situace je tak nová, dobré doporučení pro nás zatím ani bezpečnostní experti nemají.

Ovšem například právě „AI halucinace“ jsou poměrně velký problém, usilovně se pracuje na jejich odstranění. Z technologického hlediska zatím není jasný důvod, proč by se umělá inteligence nemohla stát ještě přesvědčivějším konverzačním partnerem než dnes.

Spoléhat se budeme muset na tradiční formy ochrany před malwarem. Na straně provozovatelů to mohou být další a další překážky vytváření falešných účtu na jejich sítích. Založit si takový účet na řadě platforem dnes není pro malware úplně triviální úkol, jak naznačuje třeba i příklad Love-GPT. Ten totiž obsahuje více než desítku modulů, které mají za úkol obejít různé způsoby, kterými různé firmy ověřují pravost svých uživatelů. Pochopitelně, standardy nejsou ovšem všude stejné.

Klíčovou roli bude hrát také vzdělávání uživatelů, myslí si Jan Rubín. Podle něj bude zapotřebí ještě větší opatrnost, důsledně nesdílet on-line citlivé informace počínaje základními osobními údaji s neznámými „lidmi“.

Ale takový přístup předpokládá, že jde o hrozbu, se kterou si běžný uživatel má skutečně reálnou šanci poradit. Rozlišit AI od člověka na síti by mohlo časem být s dostatečnou pravděpodobností prakticky nemožné – stejně jako dnes je nemožné poznat obrázek vytvořený umělou inteligencí od obrazu vytvořeného člověkem.

V takovém případě ovšem spoléhat se na uživatele nedává prakticky smysl: nachytat by se tak mohl každý. Nutné by bylo nějaké systémovější řešení. A to je jeden z důvodů, proč nejen Harari, ale i další volají po včasné regulaci AI už dnes. I když zatím s největší pravděpodobností „randění“ s AI je na síti vzácností.

Aktualizace: Do článku jsme doplnili interaktivní ukázku.