Otec ChatGPT se vrátil jako mesiáš. Oslabí to bezpečnost umělé inteligence?

Analýzu si také můžete poslechnout v audioverzi.

Na začátku listopadu měl Sam Altman – šéf a zakladatel firmy OpenAI –⁠ možná svůj nejlepší týden. Ve své první velké veřejné prezentaci se pochlubil ohromnými úspěchy firmy OpenAI. Společnosti, kterou ještě před dvěma roky znalo jen pár odborníků, ale teď je z ní jeden z hlavních technologických hráčů, kterého nelze ignorovat.

Jenže možná právě velký důraz na růst firmy a na nové funkce vedly k tomu, co následovalo. OpenAI totiž nemá být „klasická technologická firma ze Silicon Valley“. Společnost byla založena coby neziskovka s cílem vyvinout bezpečnou „obecnou umělou inteligenci“ (AGI, Artificial General Intelligence).

A i když v roce 2019 firma přešla do „smíšené“ formy, aby mohla generovat zisky a financovat tak svůj drahý výzkum, stále měla být priorita za všech okolností kladena na dosažení tohoto vznešeného cíle.

O tuto misi má především pečovat představenstvo neziskovky OpenAI, kterému podléhá i ta „korporátní“ sekce. A představenstvo si v pátek 17. listopadu zavolalo šéfa OpenAI Sama Altmana na virtuální kobereček, aby mu sdělilo, že v něj již nemá důvěru. Altman byl nečekaně a s okamžitou platností odstraněn z pozice šéfa a propuštěn z OpenAI.

„Odchod pana Altmana následuje po prověrce, kterou provedla správní rada, která dospěla k závěru, že pan Altman nebyl ve své komunikaci se správní radou důsledně upřímný,“ zněla oficiální zpráva na blogu společnosti. Novou dočasnou šéfkou firmy se stala Mira Murati, do té doby technologická šéfka. Ve funkci vydržela přesně nula pracovních dní.

Do hry se vložil Satya Nadella, šéf Microsoftu. Připomeňme, že Microsoft do OpenAI slíbil investovat přes deset miliard dolarů a získal přibližně 49% podíl v „ziskové části“ OpenAI. Ale neziskovka je nadřazená této ziskové odnoži, což mělo za následek celkem absurdní situaci: Microsoftu hrozilo, že přijde o své „zlaté vejce“, díky kterému má softwarový gigant místo v první řadě závodu o zapojení generativní umělé inteligence. A protože Microsoft neměl žádné zástupce v představenstvu firmy, musel zkusit alternativní cesty.

Napřed Microsoft (a další významní investoři) zatlačili na představenstvo a pokusili se vyjednat návrat Altmana do čela společnosti. Jednání prý vypadala nadějně. Na stranu Altmana se postavila i nově jmenovaná šéfka Murati.

Mezitím představenstvo pokračovalo ve svém dalším hledání a v pondělí ráno překvapivě oznámilo, že Altmanovi místo nenabídnou. Místo toho našla dozorčí rada nového šéfa: Emmetta Sheara z herní platformy Twitch. Představenstvo trvalo na tom, že odchod Altmana je nutný pro zachování vývoje „celkově prospěšné“ umělé inteligence.

Microsoft nelenil a obratem nabídl práci vyhozenému šéfovi Samu Altmanovi i jeho spoluzakladateli (a bývalému předsedovi představenstva) Gregu Brockmanovi. Z prohlášení bylo zřejmé, že Microsoft potřebuje pokrýt všechny eventuality. Satya Nadella proto slíbil, že se těší na spolupráci s novým šéfem Shearem. „A zároveň jsme nesmírně rádi, že se můžeme podělit o zprávu, že Sam Altman a Greg Brockman se spolu s kolegy připojí ke společnosti Microsoft a povedou zde nový tým pro pokročilý výzkum umělé inteligence.“

Na první pohled by takový výsledek mohl vypadat jako jednoznačné vítězství Microsoftu. Ale ve skutečnosti by to bylo pořádné zdržení: Veškeré projekty rozjeté v rámci OpenAI (včetně nového, ještě neuvedeného modelu GPT-5) by se tím nejspíš aspoň dočasně dostaly na slepou kolej. A jakkoli Altman i Nadella museli navenek říkat, že jde o skvělé řešení, radost z něj určitě neměli.

Možná to ani nemělo být konečné řešení, ale jen vyjednávací strategie. Jakmile totiž Microsoft slíbil pracovníkům OpenAI, že je zaměstná v nově vzniklé AI divizi (a dokonce za stejný plat, který brali v OpenAI), vytvořil tím podmínky, které byly pro fungování „osekaného“ OpenAI prakticky neudržitelné.

Dobře to bylo vidět na „celofiremním setkání“, které nový šéf svolal: Podle informací The Wall Street Journal na něj dorazilo méně než 12 lidí z více než 750 zaměstnanců. Jinými slovy, společnosti OpenAI hrozil totální rozpad, možná v řádu dnů. A tím i ztráta důvěry, která by byla zřejmě jen těžko napravitelná.

Proto si téměř všichni oddechli, když představenstvo OpenAI pozdě v úterý oznámilo, že znovu přijalo Sama Altmana na jeho původní pozici CEO. Zároveň představenstvo –⁠ až na jednoho člena – odstoupilo, a do nové dozorčí rady zasedne například Bret Taylor se zkušenostmi z vedení Salesforce a Facebooku.

„Miluji OpenAI a vše, co jsem v posledních dnech podnikal, bylo ve snaze udržet náš tým a naši misi pohromadě,“ uvedl Altman. Šéf Microsoftu, který si asi také pořádně oddechl, k tomu dodal: „Věříme, že je to první důležitý krok ke stabilnější, lépe informované a efektivnější správě.“ Mezi řádky tedy můžeme číst, že sága ještě nekončí.

Události minulého týdne se určitě časem dočkají filmového ztvárnění. Šlo podle mého o jednu z nejdivočejších epizod v nedávné historii Silicon Valley. Navíc se vše odehrávalo přímo před očima internetové veřejnosti, protože většina účastníků v přímém přenosu tweetovala nebo blogovala své pocity. Během víkendu tak po síti létaly nejrůznější –⁠ často protichůdné –⁠ útržkovité informace.

Postupně vycházejí na povrch zákulisní informace o tom, že situace mezi Altmanem a představenstvem byla napjatá už v minulosti. Altman například usiloval o odchod jedné z členek představenstva, protože se mu nelíbilo, jak kriticky se vyjadřuje o firmě. A mezi některými členy představenstva už delší dobu panovala obava, že Altman upřednostňuje růst na úkor bezpečnosti.

Zaměstnanci firmy se ale prakticky bezvýhradně postavili za svého šéfa. Dopis, který postupně podepsalo přes 90 % zaměstnanců OpenAI, vyjádřil jednoznačnou podporu Altmanovi. Ostře se pustili do představenstva, které podle nich zcela bez vysvětlení a bez důkazů ohrozilo budoucnost firmy:„Proces, kterým jste ukončili pracovní poměr se Samem Altmanem a odvolali Grega Brockmana z představenstva, ohrozil veškerou práci (na vývoji bezpečné umělé inteligence, pozn. red.) a podkopal naše poslání. Vaše chování jasně ukázalo, že nejste kompetentní dohlížet na společnost OpenAl.“

Takovou podporu mohou Altmanovi jiní šéfové jen závidět. Pod dopisem byli na předních místech podepsaní i Mira Murati (kterou představenstvo jmenovalo dočasnou šéfkou), Brad Lightcap (operační ředitel), a dokonce i Ilya Sutskever, uznávaný výzkumník, jeden ze zakladatelů OpenAI… a ten, který z jistého pohledu celý proces vyhazovu spustil.

Časem jistě vyplynou na povrch podrobnější informace o tom, jak pokus o vyhazov začal. Zdá se ale být zřejmé, že šlo o rozdílné pohledy na jedno z nejdůležitějších a nejkontroverznějších témat současného AI výzkumu: postupovat rychle, nebo pomalu?

Zastánci pomalého a opatrného postupu –⁠ mezi kterými je právě Ilya Sutskever a několik dalších členů původního představenstva – připomínají, že při hledání obecné umělé inteligence (tzv. AGI) je nutné promýšlet důsledky každého kroku. Ve chvíli, kdy by se totiž podařilo vyvinout takový systém, který umí sám sebe výrazně zlepšovat, může dojít k akceleraci, která se brzo vymkne lidskému chápání.

Naproti tomu optimisté (někdy se jim říká akceleracionisté) se domnívají, že umělá inteligence je dobrá zpráva pro lidstvo a dává smysl, abychom se pokusili ji vyvinout co nejrychleji. Přestože Altman by se mezi akceleracionisty přímo sám nezařadil, v nedávném rozhovoru uvedl, že věří, že AI bude dobrá zpráva pro lidstvo: „Myslím, že to bude úžasné. Chci dohlédnout na to, aby to vzniklo. Chci, aby z toho mohli všichni lidé těžit.“

Altman o sobě prohlásil, že na spektru prorok zkázy –⁠ akceleracionista je někde uprostřed. Ale to se zřejmě nezdálo představenstvu. V jednu chvíli během vyjednávání dokonce padla věta, že „nechat OpenAI zaniknout by bylo v souladu s misí OpenAI“.

Připomeňme, že hlavní misí OpenAI od samého začátku je „vyvinout obecnou umělou inteligenci tak, aby z ní mohlo těžit celé lidstvo“. Část představenstva z vystupování Altmana údajně získala dojem, že s nimi nejedná upřímně a oni tak nemohou zajistit, aby se OpenAI od této mise neodchýlila. Zároveň ale představenstvo výslovně uvedlo, že se nejednalo o nějaký konkrétní bezpečnostní přešlap: „Můžeme s jistotou říci, že rozhodnutí správní rady nebylo přijato v reakci na pochybení nebo cokoli, co by souviselo s našimi finančními, obchodními, bezpečnostními nebo soukromí chránícími postupy. Jednalo se o selhání komunikace mezi Samem a představenstvem,“ napsal zaměstnancům Brad Lightcap, operační ředitel OpenAI.

Agentura Reuters přišla s informací, že za vyhazovem Altmana mohlo být znepokojení představenstva ohledně bezpečnosti jednoho z projektů, na kterém se v rámci OpenAI pracuje pod označením Q-Star (Q*). Není jasné, co se za ním přesně skrývá, což ale nebrání médiím o tomto projektu spekulovat jako o „průlomu“ v oblasti matematického rozvažování pomocí AI.

Podle mého je ale spor v jádru jednoduchý: OpenAI byla založena coby nezisková organizace. Jenže vývoj špičkového softwaru je drahý a trénování neuronových sítí ještě dražší. Pokud tedy OpenAI mělo mít šanci dostát své misi, muselo získat ohromné množství peněz. Proto se –⁠ už pod Altmanovým vedením –⁠ neziskovka přeměnila na onen hybrid, který umožnil generovat zisk, což přilákalo investory.

Poslední rok se ale OpenAI dařilo generovat zisky vlastně „až moc“. Za úspěch může především oblíbený kecálek ChatGPT, který má nyní 100 milionů aktivních uživatelů týdně. I díky tomu OpenAI –⁠ původně nezisková organizace –⁠ míří letos k tržbám vysoko přes miliardu dolarů, což je více než 45násobný meziroční nárůst. A během svého hodinového vystoupení Altman ukázal celou řadu dalších způsobů, jak své OpenAI zisky ještě zvýší: třeba možnost vlastních chatbotů pro jednotlivce i firmy.

OpenAI zkrátka už není „čistě“ neziskovou organizací a představenstvu se mohlo zdát, že optimalizace firmy směrem k vyšším ziskům půjde na úkor deklarované mise, kterou mají coby kontrolní orgán hlídat. Události minulého týdne tak svým způsobem byly zajímavým testem: Má vůbec tento kontrolní orgán nějakou moc?

Na první pohled to vypadá, že nikoli. Skeptici byli poraženi, zaměstnanci se postavili za svého šéfa a investoři si do budoucna nejspíš dají pořádný pozor, aby se podobná překvapivá situace neopakovala.

Jenže bez výsledku akce „opatrného křídla“ přece jen nezůstala. Pokud se skutečně v laboratořích OpenAI zrovna rodí velký projekt s potenciálem změnit svět, představenstvo udělalo vše pro to, aby k němu přitáhlo pozornost. Byť je tedy Altman zpět ve vedení (a má za sebou bezmála nábožnou podporu svých podřízených), kauza OpenAI připomněla světu, jak důležité věci se nyní ve výzkumu AI dějí.

A ať už patříte mezi optimisty, nebo skeptiky, mělo by vás překvapit (a trochu znepokojit), jak důležitou roli v tomto vývoji hraje jediný člověk.