Učit umělou inteligenci je čím dál dražší, brzy možná ani nebude čím

Článek si také můžete poslechnout v audioverzi.

V létě 2017 přišel Google s novou architekturou neuronové sítě – Transformerem. „Kromě vyšší kvality překladu vyžaduje Transformer k trénování méně výpočtů a je mnohem vhodnější pro moderní hardware pro strojové učení, což urychluje trénování až o řád,“ chlubil se tehdy technologický gigant. Náklady na vycvičení modelu činily 930 dolarů.

Jen pro kontext, v tomto roce podepisuje tehdejší prezident Zeman milost vrahovi Jiřímu Kajínkovi, volby do Poslanecké sněmovny vyhrává ANO a podle úvah z roku 2014 se měl začít stavět první úsek metra D.

O šest let a několik modelů později přichází Google s další verzí své umělé inteligence. Vývoj nové vlajkové lodě společnosti však vyšel podstatně dráž. Podle výzkumu Stanfordovy univerzity a firmy Epoch AI stálo jen učení Gemini Ultra více než 191 milionů dolarů (4,36 miliard korun).

Jde tak o dosud nejvyšší částku, kterou za učení velkého jazykového modelu (LLM) kdo zaplatil. Druhé GPT-4 společnosti OpenAI bylo dvaapůlkrát levnější. Cenu výzkumníci počítali z pronájmu cloudových počítačů, doby trvání tréninku modelu, míry využití hardwaru a hodnoty tréninkového hardwaru. Náklady modelů, které jsou vyvíjené v současné době, by pak podle expertů mohly jít až do řádů miliard dolarů.

Rostoucí cena vývoje však není jediná výzva, proti které vývojáři stojí. Podle expertů totiž hrozí, že by mohly dojít knihy, články a další texty, na kterých se modely učí. Úspěchy, kterých v poslední době chatboty dosáhly, stojí zejména na tom, že byl dostatek tohoto pomyslného paliva.

Podle studie z roku 2022 by kvalitní jazykové zdroje mohly dojít před rokem 2026, naopak nekvalitní zdroje podle výzkumu budou až do roku 2030 až 2050 pro textové materiály a 2030 až 2060 pro obrazové. Studie Epoch však odhaduje nedostatek kvalitních jazykových dat už po letošním roce.

Nabízí se řešení – trénink jazykových nástrojů na takzvaných syntetických datech vytvořených jazykovými modely. To by podle výzkumníků ze Stanfordu bylo nejen řešením potenciálního vyčerpání dat, ale mohlo by to také generovat data v oblastech, kde je přirozeně se vyskytujících dat málo.

Jiné studie však ukazují, že i tato varianta má své mouchy. Jedním z problémů takového přístupu je, že v určitém okamžiku LLM vycvičené na syntetických datech „ztratí schopnost zapamatovat si skutečné rozložení základních dat a začnou produkovat úzký rozsah výstupů“.

Česky řečeno – čím více generací vycvičených na syntetických datech, tím více se budou opakovat výsledné produkty.

Kromě zmíněných překážek čeká umělou inteligenci i etická otázka. „Dobrá regulace a nastavení etických pravidel pro AI bude opravdu kritické,“ vysvětluje odborník na AI z AutoERP David Strejc. „Potřebujeme jasné zákony, které zajistí, že AI systémy budou transparentní, spolehlivé, nediskriminační a nepoškodí lidi. Měly by podporovat férovost, zodpovědnost a slušnost.“

Podle Strejce však nemohou tato pravidla moc svazovat, aby nebránila inovacím a pozitivnímu vývoji AI technologií. „Najít tu správnou rovnováhu nebude snadné. Myslím, že kromě tvrdých zákonů bude stejně důležité posilovat etické principy přímo uvnitř technologických firem,“ říká Strejc.

„Vývojáři, datoví analytici a další odborníci musí už od začátku promýšlet etické aspekty a možné společenské dopady své práce. A firmy by na to měly dbát a poskytovat k tomu potřebné zdroje a vzdělání,“ dodal.