Článek
Analýzu si také můžete poslechnout v audioverzi.
Co píšeme v analýze
- Deepfake videa, tedy zfalšované záznamy vytvářené pomocí specifického typu umělé inteligence zvaného hluboké učení, jsou stále dokonalejší.
- Nástroje umělé inteligence patrně podkopou justiční systém a změní způsob vedení soudních řízení. Nahrávky už nebudou věrohodnými důkazy.
- Kdokoliv bude u fotek a videí moci zpochybnit pravost, což zkomplikuje vyšetřování i práci justice. A naopak, falešné nahrávky budou vydávány za pravé.
V současné době lidé přikládají obrázkům a videím velkou váhu. Audiozáznamy a videozáznamy jsou zpravidla brány jako důkaz, že se událost stala tak, jak se tvrdí. Nástup takzvaných deepfake videí by to mohl změnit.
Podle odborníků hrozí, že nové technologie podkopou justiční systém a změní způsob vedení soudních řízení. Někteří varují, že rostoucí dostupnost falešných fotografií, videozáznamů a zvukových záznamů změní způsob, jakým se v soudní síni nahlíží na důkazy.
Zatímco nástroje pro úpravu fotografií, jako je Photoshop, existují již nějakou dobu, stále větší dostupnost nástrojů umělé inteligence (AI) umožňuje komukoli s počítačem uměle vytvářet nejen přesvědčivé obrázky, ale také zvukové nahrávky a videonahrávky, včetně již poměrně věrohodného napodobení hlasů lidí a podobných technik.
Co jsou deepfake videa?
- Jde o videa vytvářená pomocí specifického typu umělé inteligence zvaného hluboké učení. Technologie umožňuje extrakci komplexních vlastností z neupravených dat.
- Prostřednictvím těchto procesů jsou data zpracovávána tak, aby napodobovala vzory, a to jak ve vzhledu, tak v chování.
- S tím, jak se technologie hlubokého učení stávají dostupnějšími a „uživatelsky přívětivějšími“, jsou vytvářená videa stále přesvědčivější a v rukou méně zodpovědných jedinců nebezpečnější.
Navíc díky rapidním pokrokům v oblasti umělé inteligence je tvorba snímků a videí věcí, které neexistují, nebo událostí, které se nestaly, snadnější než kdy dříve. To podněcuje vznik digitálních podvrhů, které se používají k šíření propagandy a dezinformací, vydávání se za celebrity a politiky, manipulaci s volbami a podvodům.
Jedním z prvních řízení, kde se vyskytla možnost, že by důkazní materiál byl falešný, je níže popsaný soudní proces, v němž rodina muže, jenž zemřel, když jeho automobil Tesla havaroval při použití samořídící funkce, žaluje majitele společnosti Elona Muska:
Soud Elona Muska. Šlo o podvržené video?
- V roce 2016 vystoupil Elon Musk na pódiu technologické konference u Los Angeles a odvážně prohlásil, že automobily značky Tesla, kterou vlastní, jsou schopné řídit samostatně. „Model S a Model X mohou v tuto chvíli jezdit autonomně a bezpečněji než člověk. Právě teď,“ řekl tehdy Musk.
- Video z toho je na YouTube k dispozici již téměř sedm let. Nedávno se však znovu dostalo do centra pozornosti, a to kvůli žalobě, kterou podala rodina muže, jenž zemřel, když jeho Tesla při použití samořídící funkce havarovala.
- Právníci rodiny se kromě jiného odvolávají právě na toto Muskovo tvrzení z roku 2016 o samořídícím softwaru společnosti Tesla. Právníci automobilky se proti tomu však ohradili.
- „Musk je stejně jako mnoho jiných veřejně známých osobností předmětem mnoha deepfake videí a zvukových záznamů, které údajně ukazují, že říká a dělá věci, které ve skutečnosti nikdy neřekl ani neudělal,“ napsali v soudním podání a soudu prezentovali několik falešných videí, na nichž je miliardář Musk vidět.
Žaloba na společnost Tesla není prvním případem – a pravděpodobně nebude ani posledním –, kdy se ve snaze vyvrátit důkazy právníci uchýlili k argumentaci, že důkazy jsou deepfake.
Dva z obžalovaných, kteří jsou souzeni za výtržnosti při útoku na americký Kapitol, se snažili podle webu Futurism tvrdit, že video, které je zachycuje v Kapitolu, vytvořila nebo zmanipulovala umělá inteligence. Nakonec však byli oba muži shledáni vinnými.
„Falešné může být takřka cokoliv“
Možnosti umělé inteligence ale vyvolávají obavy z jednoho dalšího jevu: s rozšířením této technologie bude snazší tvrdit, že falešné může být takřka cokoliv. „Když jsme vstoupili do věku deepfake, může kdokoli popřít realitu,“ řekl pro web NPR Hany Farid, odborník na digitální forenzní analýzu a profesor na Kalifornské univerzitě v Berkeley.
To potvrdil i expert na tuto problematiku Matyáš Boháček, se kterým Seznam Zprávy hovořily a který se výzkumem umělé inteligence na Berkeley zabývá.
„Čeká nás doba, v níž se zpochybnění fotek a videí sloužících jako důkazní materiál stane do značné míry běžné. Ve světě, kde nejsme schopni rozlišovat, co je autentická fotografie nebo nahrávka a co naopak vygenerovala nebo upravila AI, kdokoliv může zpochybnit cokoliv. Role nebo význam audiovizuálního důkazního materiálu je tak zviklaná, ne-li zcela zpochybněna,“ uvedl Boháček pro Seznam Zprávy.
Existují i další případy, v nichž umělá inteligence hrála u soudu poněkud zásadní roli. Situace, k níž došlo v New Yorku, je navíc mírně úsměvná:
Newyorští právníci a (ne)přítel ChatGPT
- Dvojice newyorských právníků Steven Schwartz a Peter LoDuca údajně použila službu ChatGPT k vytvoření písemného podání u newyorského federálního soudu.
- Aplikace ChatGPT jim ale vypsala zcela neexistující soudní případy a falešná soudní rozhodnutí. Toho si ale právníci nevšimli a dokument soudu skutečně předložili.
- Jak Schwartz řekl soudci, dokonce program požádal, aby ověřil, zda jsou případy skutečné. Ten odpověděl, že ano.
- Oběma nyní podle CNBC hrozí tresty, které mohou vést až k zákazu činnosti. Schwartz uvedl, že nevěděl o možnosti, že by informace z aplikace ChatGPT nemusely být pravdivé. Toho, že se spoléhal na ChatGPT, dle svých slov „velmi lituje“.
- Prohlášení, které Schwartz s kolegou použili, bylo určeno pro žalobu muže, který tvrdil, že ho při letu se společností Delta Air Lines zranil servírovací vozík.
Americkým právníkům se tedy využití AI k vlastní práci nevyvedlo. Do budoucna se ale i tato část justičních procesů může skrze vylepšené technologie zcela proměnit.
„Věřím, že tyto služby mohou eventuálně zvýšit efektivitu soudů, že budou právníkům pomáhat se v těch kvantech materiálů a textů orientovat. V ten moment ale musíme uvažovat o tom, za jakých podmínek k tomu bude docházet a kdo bude za texty zodpovědný,“ řekl Boháček.
Skryté vodoznaky jako zbraň proti podvodům
Deepfake videa představují skutečnou hrozbu pro společnost a správu věcí veřejných na různých úrovních a v různém stupni od osobních až po veřejné dezinformace.
Podle Boháčka se zatím z technologického hlediska nejedná o příliš velký problém, možnosti detekce tu jsou. Do budoucna ale podle něj technologie budou jenom silnější a silnější. „My zatím máme poměrně robustní možnosti detekce. Ta se ale bude do budoucna jenom snižovat,“ řekl.
Kromě toho je ale důležité problematiku řešit i pohledem, co pro boj s deepfake obrázky mohou udělat samy společnosti, které se na jejich vzniku přímo podílí. „Chceme, aby do falešných obrázků společnosti jako Midjourney nebo OpenAI vkládaly vodoznaky,“ upřesnil Boháček.
Problém jménem otevřený zdrojový kód
„Šlo by ale o vodoznaky, které nelze lidským okem vidět, byly by vyloženě zakódovány do obrázku. Kdokoliv, kdo by chtěl říct najisto, zda se jedná o výtvor AI, by byl schopen se podívat a vlastně to dost snadno poznat,“ vysvětlil.
Několik prominentních firem jako OpenAI nebo Adobe na tento návrh přistoupilo. Zatímco Adobe tyto vodoznaky již do svého generátoru integrovalo, Open AI slíbilo, že vodoznaky přidá „do nejbližších verzí“
Nic ale samozřejmě není tak jednoduché. Problematická může být situace se společností Stability AI, jejíž produkt je takzvaně open source – software s otevřeným zdrojovým kódem, což znamená, že si kód může stáhnout kdokoliv.
„Protože se zdrojový kód vlastně dostává ke komukoliv, mohou lidé kus kódu, který vodoznak tvoří, prostě a jednoduše odebrat. V ten moment bude tato bariéra mít značnou díru nebo defekt,“ myslí si Boháček.
Technologicky s deepfake bojovat lze
V soudní síni zpravidla nestačí jen záznam předložit – je třeba zjistit, odkud záznam pochází, jak byl pořízen, kdo se na něm podílel a celou řadu dalších věcí. Například anonymní nahrávka zaslaná státnímu zastupitelství bez informací o tom, jak byla pořízena, téměř jistě nikdy vnitřek soudní síně neuvidí.
Je sice snadné vytvořit falešnou nahrávku, která by zněla reálně, ale je velmi obtížné vytvořit falešnou nahrávku, která by obstála při počítačové analýze. V datech je spousta detailů, ke kterým se pouhým poslechem či pozorováním nedostaneme, ale počítač se správným softwarem zachytit padělky, alespoň prozatím, podle Boháčka dokáže.
Lavina obrázků vytvořených AI
Obrázků, které zmátly řadu lidí po celém světě, se v posledních šesti měsících objevila celá řada.
- Na twitteru se rozšířila falešná zpráva o výbuchu v Pentagonu, kterou doprovázel obrázek vytvořený umělou inteligencí. Událost byla tak silná, že na ni úředníci museli reagovat. Falešný obrázek ukazoval černý oblak kouře poblíž budovy, o níž uživatel tvrdil, že je to Pentagon.
- Několik týdnů předtím, než v New Yorku začal soud s americkým exprezidentem Donaldem Trumpem, se na internetu objevily falešné snímky, na nichž byl bývalý prezident zachycen, jak se pere se skupinou policistů.
- Hackeři před dvěma týdny odvysílali falešný nouzový televizní apel počítačem vygenerovaného ruského prezidenta Vladimira Putina. V nepravém videu vyhlásil válečný stav poté, co dle jeho tvrzení ukrajinské jednotky překročily ruské území. Na obrazovce realisticky se tvářící Putin prohlásil, že bude zahájena plná mobilizace. Putinův mluvčí Dmitrij Peskov však v prohlášení zdůraznil, že k projevu „rozhodně nedošlo“.
- Letos také mnoho lidí uvěřilo virální fotografii papeže Františka v bílé péřové bundě, kterou vygenerovaly nástroje umělé inteligence. Podle odborníků budou tyto typy snímků v budoucnu stále častější a hůře odhalitelné.
Přestože se zatím argumentace tím, že důkazní materiál je deepfake, objevila pouze u jednoho prominentního soudního líčení, lze předpokládat, že se takových případů v blízké budoucnosti stane více.
„V laboratoři na Berkeley to řešíme tak, že zkoumáme forenzní detaily těch obrázků. Stále je možné spolehlivě detekovat, zda se jedná o deepfake. Díky tomu, že systémy nejsou dokonalé a vykazují různé chyby, to dnes ještě jde odhalovat s rozumnou přesností,“ řekl Boháček. Generátory obrázků, jako je například Midjourney, vytvářejí například šest prstů místo pěti.
Jinými slovy, to, že audionahrávka nebo video, které někdo poslouchá přes internet, zní skutečně, neznamená, že je lze pro účely soudního řízení stanovit jako použitelný důkazní materiál. Boháček ale zdůraznil, že právě u zvukových nahrávek a jejich falšování je technologický pokrok nejrychlejší.
„Problematické je, že není třeba falšovat celou audionahrávku, ale stačí vzít reálný projev a upravit ho, stačí pár slov. Tam je podle mě největší riziko. Protože tyhle zásahy mohou být velmi dobře skryty a může být velmi těžké je hledat. Vyžaduje to mravenčí práci,“ hodnotil Boháček.
Jaké je řešení? V legislativě
Technologicky se tedy s deepfake audiovizuálními díly bojovat dá. Umělá inteligence dosud justici z tohoto hlediska zásadní potíže nenapáchala. Pak je zde ale i otázka legislativní. Podle Boháčka by totiž do oblasti umělé inteligence státy měly zasahovat více a zavedení například výše zmíněných vodoznaků podmínit zákonem.
Poslanci Evropského parlamentu minulý týden schválili návrh pravidel pro fungování umělé inteligence, která by se mohla stát první regulací tohoto odvětví na světě. Finální podobu nově vznikajícího právního rámce momentálně Evropský parlament dojednává s členskými zeměmi EU. Seznam Zprávy o tom informovaly zde.
„Myslím, že Evropská unie udělala důležitý krok a je oproti USA výrazně napřed. Nicméně je potřeba říct, že to bude trvat třeba rok až dva, než to jednotlivé členské státy EU implementují do vlastních právních řádů. Za tu dobu se technologie ale mohou úplně proměnit, jak vidíme na rychlosti vývoje posledního půl roku,“ řekl Boháček.
„Technologie tady již jsou, ale zatím ještě nejsou masově používány ke ‚špatným věcem‘. Teď je čas, kdy je třeba jednat a legislativu tvořit,“ věří Boháček.
Umělá inteligence na vzestupu
Strojové učení není žádnou novinkou. Teprve v posledních letech se ale ke slovu dostaly tzv. velké jazykové modely. Nejznámější ukázkou je populární ChatGPT, jehož fungování podrobně popisujeme v tomto článku:
Důležitým faktorem aktuální popularity systému umělé inteligence je velké množství textů dostupných na internetu. A také rychlý hardware, který umožnil vytrénování řádově výkonnějších modelů. Takových, ve kterých se objevuje „emergentní chování“, jež se v některých ohledech vyrovná lidské inteligenci:
To samozřejmě vyvolává debatu o tom, zda nová vlna automatizace nahradí lidskou práci. V tomto článku shrnujeme současné poznatky a predikce ohledně toho, jak AI změní pracovní trh a kterých profesí se dotkne nejvíce:
