Článek
Čtete ukázku z newsletteru TechMIX, ve kterém Pavel Kasík a Matouš Lázňovský každou středu přinášejí hned několik komentářů a postřehů ze světa vědy a nových technologií. Pokud vás TechMIX zaujme, přihlaste se k jeho odběru!
Nejsem fanouškem novinářského stylu, který se snaží každou událost napasovat na nějakou jinou událost, jen aby to bylo čtenářsky zajímavé. Někdy ale může být zkoumání historických paralel přínosné.
U příležitosti začátku soudu s firmou Meta chci jednu takovou prozkoumat. Žalobci totiž chtějí prokázat, že údajná závislost na technologiích – konkrétně sociální síti Instagram – není náhodná, ale do produktu záměrně zabudovaná. A mohou se při tom opřít o slavný, třicet let starý proces.
„Nevěřím, že je nikotin návykový.“ (William Campbell, šéf firmy Philip Morris)
„Nevěřím, že nikotin nebo naše produkty jsou návykové.“ (Joseph Taddeo, šéf U.S. Tobacco Company)
„I já věřím, že nikotin není návykový.“ (Donald Johnston, šéf American Tobacco Company)
To je několik vybraných výroků ředitelů velkých tabákových společností z jejich výpovědi před americkým Kongresem z dubna 1994. Cílem vyšetřování bylo zjistit, co tabákové firmy věděly nebo nevěděly o rizicích produktů, které prodávaly. A zda se to, co věděly, nerozcházelo s tím, co komunikovaly navenek. Všech sedm šéfů popřelo, že by věděli o návykovosti nikotinu. A když později vyšly najevo interní dokumenty dokazující opak, byli v úzkých.
„Nejsem si jistý, co na to říci. Nemyslím, že se to dá aplikovat na nás.“ To řekl Mark Zuckerberg, zakladatel Facebooku a šéf firmy Meta, která provozuje sítě Facebook, Instagram a WhatsApp, na otázku, zda si myslí, že lidé něco používají více, pokud je to návykové. Také Zuckerbergův výrok zazněl pod přísahou, během letošního soudu.
Je vidět, že Zuckerberg byl ve svém vyjádření o poznání opatrnější. „Myslím, že lze předpokládat, že pokud je pro lidi něco hodnotné, lidé to budou více používat, protože je to pro ně užitečné,“ dodal ještě.
Je ta služba pro lidi užitečná, a proto je návyková? Je pak obsesivní používání jen selhání jednotlivců, co se nedokážou ovládnout? Nebo je to záměr firmy s cílem zvýšit své zisky bez ohledu na to, co to lidem provede? Podpořený pečlivým výzkumem a bezprecedentním množstvím dat získaných od miliard lidí?
V tom je jádro současného – v některých ohledech přelomového – soudního sporu, který tento týden začíná v americkém Oaklandu a potrvá asi šest týdnů. Čtyři americké státy (Kalifornie, Colorado, Kentucky a New Jersey) obviňují firmu Meta, že vědomě navrhla sítě Facebook a Instagram jako návykové pro děti, úmyslně nechala děti na platformě, i když je to proti jejich vlastním pravidlům, že tajila problémy spojené s užíváním mladistvých a že vědomě používala data dětí bez povolení rodičů.
Herní automaty v kapse
Začátkem roku 2018 jsem se coby novinář účastnil konference firmy Meta (tehdy ještě pod názvem Facebook). Ráno jsem zaspal a na hotelovou snídani pak dorazil ve špičce. Sedl jsem si tedy ke stolu, kde spolu živě diskutovalo několik dalších účastníků konference. Tedy, oni se účastnili jiné konference než já, ale to jsem v tu chvíli ještě nevěděl.
Zatímco jsem upíjel kávu, poslouchal jsem – napřed na půl ucha, pak jako u vytržení – o čem se baví ostatní lidé u stolu, zjevně vývojáři z různých týmů. „A jak měříte, že tam ten člověk stráví víc času? Podle čeho predikuješ retenci?“ Zpozorněl jsem. „Největší sklony k závislosti jsou večer, takže je tam prostě musíme dostat těsně předtím, než usnou.“ Zakuckal jsem se. „Sledujeme časy reakcí, a když je to přestává bavit, hodíme jim udičku, abychom obnovili pozornost.“
Všechno, co říkali, se perfektně shodovalo s mým laickým dojmem ohledně toho, jak sociální sítě člověka přitáhnou a pak si jej drží ve smyčce nekonečného listování a lajkování. Šokovalo mě ale, jak otevřeně se o tom bavili. Teprve když se jeden z vývojářů zvedl, viděl jsem, že jeho štítek nevypadá jako ten můj.
Celá skupina byla z jiné konference. Tuším, že to byla International Casino Exhibition, největší veletrh výherních automatů a dalších hazardních her. Dodnes si pamatuji, že jsem si tenkrát oddechl. Ale o paralelách mezi výherními automaty a sociálními sítěmi jsem tehdy neslyšel naposledy.
Mechanismus sociálních sítí se totiž v některých ohledech podobá tomu, co objevili již dříve provozovatelé hazardních her. Oboje pracuje s očekáváním odměny, což psychologové už téměř sto let zkoumají coby jeden z mechanismů posilujících naučenou zpětnou vazbu. Vědci také popsali, že v laboratorní studii například počet lajků vyvolává v mozku podobnou reakci jako pozornost a uznání ostatních. Herní automaty i chytré mobilní telefony také podobně lákají uživatele na krátkou interakci a pak jej přesvědčí k delší.
Jinými slovy, to, že sociální sítě mohou u řady lidí způsobit projevy podobné závislosti (v angličtině se často používá slovo „hook“, což by se dalo přeložit jako „udička“, přeneseně „silný návyk“), není nijak překvapivé ani kontroverzní (i když ne všichni vědci by s tím souhlasili).
V aktuálním soudním sporu s firmou Meta – a nebude to zřejmě spor poslední – jde především o to, zda vedení firmy a vývojáři jejich služby záměrně navrhli tak, aby byly návykové. A že firma ignorovala vlastní data o tom, že to u dětí a mládeže mohlo vést k nebezpečnému chování (poruchy příjmu potravy, sebevražedné sklony, deprese apod.).
„Tyto firmy zcela úmyslně a cílevědomě programují závislost,“ tvrdil právník Mark Lanier během letošního soudního sporu v únoru, který žaloba vyhrála. „Děti (…) pak takovou aplikaci nemohou odložit, i kdyby se snažily jakkoli. To už není používání aplikace, ale vězení,“ zdůraznil Lanier. „Je to jako malý hazardní automat, který se vejde do kapsy.“
Podobnost mezi sociálními sítěmi a hracími automaty popisuje i kulturní antropoložka Natasha Dow Schüllová, která se dlouhodobě věnuje studiu výherních videoautomatů. Podle ní vycházejí z překvapivě podobných rozhodnutí.
„Když je nějaký vztah jen mezi vámi a strojem, odpadají sociální vodítka, která jinak pomáhají lidem přestat,“ vypočítává Schüllová pro NPR. „Není tu žádný přirozený konec. Dají vám tak akorát, aby udržely vaši pozornost.“ A tak uživatelé nikdy nemají pocit uspokojivého přirozeného konce aktivity. Naráží tak zejména na „nekonečný feed“, což je jedna z funkcí, kterou žaloba výslovně kritizuje.
Firma Meta se v oficiální odpovědi na žalobu ohrazuje proti tomu, že by jednala nezodpovědně. Zdůrazňuje naopak, že bezpečnost je pro ni priorita: „Víme, že rodiče mají obavy o bezpečnost svých dospívajících dětí na internetu. V Meta proto průběžně zavádíme změny, které mají teenagerům zajistit bezpečné a chráněné prostředí a rodičům přinést větší klid. Technologie se rychle vyvíjejí, a proto budeme muset ochranu teenagerů neustále přizpůsobovat a posilovat a zároveň naslouchat obavám rodičů a reagovat na ně. Tahle práce není nikdy hotová a my budeme dál neúnavně pracovat na tom, aby rodiče měli jistotu, že se jejich děti mohou na našich platformách pohybovat bezpečně, se správnými prvky zabezpečení a dohledu.“
Krabice dokumentů od pana Vajgla
Vraťme se k sedmi šéfům tabákových firem, kteří pod přísahou odmítli, že by cigarety a nikotin způsobovaly závislost. V 90. letech bylo jasné, že nikotin je – lékařsky ověřená – návyková látka. Americké ministerstvo proto zvažovalo, že je bude stíhat pro křivou přísahu. Nakonec od toho ale upustilo, protože ředitelé použili formulaci „nevěřím, že“. Věřit v něco, co zjevně není pravda, je možná hloupé, ale není to právně postižitelné.
Jen pár měsíců po vystoupení tabákových bossů před Kongresem ale profesorovi na Kalifornské univerzitě v San Franciscu dorazila anonymní zásilka. Podepsána byla jen pseudonymem „Mr. Butts“. Protože to vzhledem k obsahu byla zřejmě narážka na komiksovou postavičku obviňovanou z propagace kouření dětí, dovolil jsem si to přeložit jako „pan Vajgl“.
V krabici byly čtyři tisíce stran interních dokumentů z právní kanceláře, která reprezentovala jednu z velkých tabákových firem. Z nich bylo zjevné, že tabákový průmysl dobře věděl o návykovosti nikotinu přinejmenším od 60. let. A po celou tu dobu firmy dále vyráběly a propagovaly cigarety a navenek tvrdily, že řeči o závislosti jsou nepodložené a jdou proti osobní svobodě.
Trvalo to ještě několik let, ale krabice pana Vajgla pomohla zlomit tabákovému průmyslu vaz. Tažení státních zástupců více než 40 amerických států se už najednou neopíralo o jednotlivé případy lidí, kterým cigarety uškodily („Údajně uškodily,“ ozvali by se právníci tabákových firem a poukázali na další zlozvyky, které daný člověk měl). Místo toho mohly vycházet z toho, co firmy věděly a jaké byly celkové dopady jejich produktů.
Najednou nešlo o konkrétní případy, ale o to, jak firmy postupovaly vzhledem k tomu, co věděly. Zmínky o tom, že si firmy „musejí pěstovat mladé kuřáky“ jakožto nejdůležitější zdroj budoucích zákazníků, zkrátka nebyly obhajitelné. Všech sedm ředitelů svědčících před Kongresem postupně odstoupilo nebo bylo odvoláno.
A v listopadu roku 1998 přistoupily velké tabákové firmy na velké mimosoudní vyrovnání: Zavázaly se upustit od některých marketingových praktik (především cílení na mladé) a k úhradě nákladů spojených se zdravotními dopady kouření, postupně v hodnotě tehdejších 200 miliard dolarů, rozložených do následujících 25 let (v dnešních dolarech by to bylo přes 420 miliard, tedy skoro devět bilionů korun).
Ještě větší škody ale tabákové firmy utrpěly z pohledu veřejného mínění. Už od poloviny 60. let klesal prodej cigaret, ale konec 90. let znamenal další urychlení tohoto procesu. Tabákové firmy se staly synonymem pokrytectví a zla, což je označení, které se nedá jen tak zatípnout.
Měření, záměr a zisk
S aktuální kauzou okolo firmy Meta se nabízí hned několik paralel. Především lze čekat, že žaloba bude pracovat s tím, co kdo kdy v rámci firmy věděl. Důležité mohou být interní dokumenty, které vynesla z tehdejšího Facebooku whistleblowerka Frances Haugenová. Novinářům poskytla například důkazy o tom, jak Facebook zvažoval různé pochybné strategie pro zvýšení aktivity mladých uživatelů.
„Rozhodnutí, která dělá vedení Facebooku, jsou obrovským problémem – pro děti, pro bezpečnost veřejnosti, pro demokracii – proto jsem se ozvala,“ uvedla tehdy ve svědectví před Senátem. „Jejich stroj na optimalizaci zisku generuje sebepoškozování a sebenenávist – zejména u zranitelných skupin, jako jsou dospívající dívky. Tyto problémy opakovaně potvrdil interní výzkum společnosti Facebook.“
To je další paralela s tabákovou aférou. Tabákové firmy mluvily o tom, že musejí získávat mladé kuřáky, jinak jim budou klesat zisky. Mark Zuckerberg zase musí čelit vlastním interním dokumentům, ve kterých se píše o tom, že „pokud chceme zabodovat u teenagerů, musíme je přivést ještě předtím, než je jim 13 let“. To je samozřejmě v rozporu s tím, co Facebook říká navenek (profil si mohou děti oficiálně založit až od 13 let).
Historické podobnosti jsou zjevné: „Velké technologické firmy nyní čelí svému okamžiku pravdy, podobně jako kdysi velké tabákové firmy,“ uvedl v roce 2021 americký senátor Richard Blumenthal, když zahajoval tehdejší vyšetřování sociálních sítí.
Na druhou stranu závislost na sociálních sítích není lékařsky uznaná diagnóza, na což se (zatím neúspěšně) právníci firmy Meta odvolávají. A tak zatímco v 90. letech mohli žalobci poukázat na kauzální příčinu a následek, zde pracují spíše s nepřímými – subjektivně méně pevnými – metrikami. Dát dítěti cigaretu a dát dítěti do ruky telefon zkrátka objektivně není to samé. A předstírat, že ano, jen kalí vody.
Podle mého jde v případě informačních technologií o hlubší, a tedy hůře vysvětlitelný problém. Přesto se o to vysvětlení pokusím.
Měření, záměr a optimalizace
Velké technologické firmy mají přístup k ohromnému množství dat, na jehož základě mohou optimalizovat své strategie. Přístup k těmto naměřeným datům je zcela asymetrický. Vy jako jednotlivec sice můžete na své straně měřit třeba to, jak často na instagram chodíte nebo kolik komentářů na facebooku napíšete, ale firma Meta toho o vás ví o tři řády více.
Ví, v kolik se ráno probouzíte. Ví, jak dlouho jste koukali na nějakou fotografii, než jste se rozhodli ji lajkovat. Na milisekundu přesně změří, jak dlouho jste se zamysleli nad reklamou, než jste ji poslali pryč. A to vše neví jen o vás, ale o všech vašich známých. A v podstatě o třetině lidstva. Na základě toho už se dá vybudovat pravděpodobností model toho, jak se zachováte, na co kliknete, jaký příspěvek vás rozhořčí a co vám zhorší nebo zlepší náladu.
Vy se můžete zkoušet kontrolovat. Firma Meta zaměstnává tisíce expertů, kteří pracují na tom, aby se vaším předsevzetím přece jen probojovali. I u dospělých je to často nerovný boj, nicméně od toho jsme dospělí, abychom se rozhodli, které bitvy vést a které ne, abychom zvážili přínosy a dopady. Ale u dětí je ta asymetrie zjevná.
Na začátku přitom nemusel být žádný zlý úmysl. Mark Zuckerberg založil internetovou stránku TheFacebook, aby se mohl lépe seznámit se spolužáky na univerzitním kampusu. Popularita brzy přerostla americké univerzity a sociální sít byla úspěšná. Rostla organicky, vývojářům pod rukama. Nebylo potřeba lidi přesvědčovat, aby šli na facebook, dělali to z vlastní vůle. Ale organický růst nemůže trvat donekonečna.
Facebook (později Meta) je obětí závislosti svého druhu: Je závislý na růstu. Neumí bez něj fungovat. Dokud vám ročně přibývají uživatelé, nemáte problém ukázat investorům, že jste technologický zázrak. Ale ve chvíli, kdy se růst zpomalí nebo zastaví, začnete se z technologického zázraku proměňovat v poskytovatele služeb.
Ten může být užitečný, ale jeho hodnota na akciovém trhu nemůže být stonásobek ročních příjmů. Proto Zuckerberg přichází s nápady jako metaverzum nebo šmírovací brýle s umělou inteligencí. Potřebuje ukázat, že potenciál růstu je neomezený.
A když je vše podřízeno neomezenému růstu, tak se optimalizuje na růst. Všude. Nemilosrdně. „Jedenáctiletí uživatelé se na instagram vracejí čtyřikrát častěji než starší uživatelé,“ padlo v interních dokumentech firmy Meta.
Kdyby firma optimalizovala na blaho uživatelů, tak by se zajímala, jestli je to v zájmu psychického zdraví dětí. Kdyby optimalizovala na dodržování vlastních pravidel, tak by to zarazila (protože tak mladé děti nesmějí mít účet). Místo toho to byl pro zaměstnance firmy signál, že „něco dělají dobře“ a „tady je potřeba přidat“.
Obžaloba pravděpodobně poukáže právě na toto: Firma postupovala bez ohledu na zájem dítěte. A věděla o tom. Nemusel za tím být přímo záměr škodit. Ale důsledky takové optimalizace jsou podle mého předvídatelně jasné: Kdykoli je možné upřednostnit zisk, dojde k upřednostnění zisku.
Bude Zuckerbergova superinteligence na vaší straně?
Součástí žaloby v právě probíhajícím procesu je i poměrně neobvyklý požadavek: Aby firma Meta smazala veškeré AI modely, které trénovala na datech uživatelů. To by možná firmu bolelo víc než stamiliardová pokuta. Právě do vývoje superinteligence totiž Zuckerberg v poslední době vkládá ohromné finanční prostředky. Jen letos plánuje nalít do investic (zejména do AI infrastruktury) přes 130 miliard dolarů, což je o trochu více než rozpočet České republiky.
Loni v létě Zuckerberg představil svou vizi „osobní superinteligence“. Letos v srpnu na to navázal esejí s jásavým názvem „Budoucnost je pro všechny“, kde dále rozebírá myšlenku super AI asistenta, postaveného pro každého jednotlivce na míru: „Věříme, že tuto moc vložíme do rukou lidem, aby ji nasměrovali k tomu, čeho si ve svém životě cení.“
Mluví o superinteligenci jako o osobním digitálním asistentovi, který ve dne v noci dělá vše pro vaše dobro, zdraví a rozvoj vašich vztahů nebo koníčků. Svým způsobem je ta představa až absurdně sluníčková, i když zásadně nevybočuje z techno-optimistického mainstreamu Silicon Valley. Problémů je zde celá řada. Ale v souvislosti s aktuálním soudním procesem se do popředí dere otázka: Jak víme, že bude tato Zuckerbergova superinteligence jednat v náš prospěch?
Sociální sítě jsou řízeny algoritmem, který není superinteligentní, ale je také postaven na principu strojového učení. Optimalizuje na základě zadaných dat, metrik a cílů. V následujících šesti týdnech téměř jistě uslyšíme nová svědectví o tom, jak to probíhalo a jaké interní informace si firma Meta nechávala pro sebe. Uvidíme zkrátka, komu sloužil algoritmus. A co udělala firma Meta, když měla v ruce nástroj, který nás zná v některých ohledech lépe, než se známe my sami.
Pak budeme moci zvážit, zda chceme od stejné firmy – nebo od kterékoli jiné, když na to přijde – koupit asistenta, který by měl přístup k celému našemu životu. Dostat se do situace, kdy bez takové asistence najednou nebudeme umět žít, by pak mohla být otázka několika let, ne-li měsíců. Což je přesně to, co každá firma chce: Aby pro vás byl její produkt nepostradatelný. O takové závislosti by si cigaretové firmy mohly nechat jedině zdát.
V plné verzi newsletteru TechMIX toho najdete ještě mnohem víc. Přihlaste se k odběru a budete ho dostávat každou středu přímo do své e-mailové schránky.


















