AI ve školách až zázračně pomáhá. Dopad na výsledky žáků je tragický

„Používají žáci umělou inteligenci při řešení domácích úkolů?“

Tak by mohla znít otázka naposledy v září roku 2023. Od té doby prošly datovými centry miliardy domácích úkolů dětí z celého světa. O tom, že je AI součástí tvorby referátů, řešení domácích úkolů nebo třeba sestavování učitelských osnov a prezentací, není třeba pochybovat. Chatboti se za posledních pár let zlepšili a s naprostou většinou látky pro základní a střední školy si poradí velmi dobře.

Místo toho si teď můžeme klást důležitější otázku: Jaké dopady má užívání AI na žáky?

Už k tomu máme výzkumy z celého světa. Neurčité spekulace o možných dopadech pěkně vybarvila třeba letošní studie publikovaná v SSRN. Výzkumníci sledovali výsledky 26 tisíc čínských studentů v devíti předmětech po dobu 30 měsíců, tedy prakticky od začátku nástupu generativní AI. Dodejme, že nešlo o studii randomizovanou – ta by byla určitě lepší, ale v praxi neproveditelná.

Namísto toho vědci zajistili, že skupiny „nikdy nepoužívá AI“ a „používá AI“ byly srovnatelné co do výsledků před nástupem AI, aby se předešlo výběrovému zkreslení. Každý žák je tak srovnán se svou vlastní predikovanou trajektorií. Což umožnilo ukázat, jak se změnily výsledky žáků, kteří začali AI používat.

Nejprve se podíváme na to, co nikoho nepřekvapí: Umělá inteligence žákům umožnila řešit úkoly rychleji. Zlom byl téměř okamžitý. Z původních 65 minut se žáci díky chatbotům rychle dostali na 45 minut. To se může zdát jako malé zrychlení, ale jde o ohromný a statisticky významný efekt.

Nestačí ale věci zrychlit. Chceme, aby se studenti zlepšovali. A i to umělá inteligence – rychle, jakoby mávnutím kouzelného proutku – zjevně dokáže zajistit. Hodnocení domácích úkolů se u žáků využívajících chatboty výrazně a nepřehlédnutelně zlepšilo.

Zjednodušeně řečeno: Průměrný žák používající AI je v řešení domácích úkolů lepší než přes 95 % spolužáků, kteří AI nepoužívají. Na časové ose přitom vidíme, že jde o stejného žáka, který ještě před dvěma roky patřil k průměru. Ve statistickém jazyce jde „o zlepšení o dvě sigmy“ (konkrétně 1,9 SD), tedy téměř o dvojnásobek směrodatné odchylky.

V pedagogice má pojem „dvě sigmy“ téměř magický význam. V roce 1984 publikoval Benjamin Bloom, americký psycholog z MIT, článek s názvem The 2 Sigma Problem. Ve svém (malém, ale randomizovaném) výzkumu ukázal ohromný význam individuálního lektora pro úspěch studentů (v jeho případě studentů doktorského studia).

Pokud měl student k dispozici lektora, který se mu mohl dlouhodobě a individuálně věnovat, výsledky tohoto studenta vyskočily strmě vzhůru. Původně průměrný student byl najednou v horních dvou percentilech nejlepších studentů.

To by šlo zdánlivě označit za ohromný úspěch, ale Bloom to nazval problémem, z jeho pohledu možná ústředním problémem pedagogiky jako takové. Dát každému studentovi individuálního lektora, který nemá na starosti nikoho jiného, je totiž naprosto nerealistické řešení, které se ve vzdělávacím systému nedá škálovat. Individuální výuka je luxus a Bloom vyzval, aby se této laťce snažili učitelé různými způsoby přiblížit i ve skupinové výuce.

Pro úplnost je potřeba dodat, že pozdější pokusy o replikaci ukázaly, že individuální výuka nemá vždy tak vysoký účinek, jako naměřil Bloom. Ale o tom, že jde o skvělý způsob, jak se studentům věnovat, není pochyb. Bloom to přičítal zejména třem aspektům: každá chyba je okamžitě označena a žák se může poučit ihned, lektor se věnuje studentovi individuálně a společný čas je strávený s vysokou mírou pozornosti.

Čtyřicet let od Bloomova článku o „nedosažitelném etalonu individuální výuky“ tu najednou máme chatboty, kteří jsou na první pohled dokonalou odpovědí na tento problém. Jsou relativně levní, takže si školy mohou dovolit jejich nasazení na úrovni jednotlivých žáků. Jsou trpěliví, nevadí jim stejnou látku vysvětlit tisíckrát, pokaždé trochu jinak, pokaždé na míru studentce či studentovi, ani brvou nehnou. Jak doufal v roce 2023 Sal Khan, zakladatel slavné výukové platformy Khan Academy, výukoví chatboti by mohli vyřešit problém, se kterým si pedagogika nevěděla rady.

Poslední dobou už jsou to mašinky poměrně chytré, takže až na občasné halucinace je na jejich odpovědi v kontextu základní a střední školy poměrně spoleh. Ukazují to i výše zmiňovaná hodnocení. Je tedy problém vyřešen?

Záleží na tom, co měříme. Pokud nám záleží na domácích úkolech, chatboti skutečně pomáhají až zázračně. Pokud nám ale záleží na studentech, pak se musíme zaměřit na dlouhodobé výsledky. A proto je v letošní studii výsledků čínských studentů ještě graf C.

Umělá inteligence žákům skutečně přinesla posun o vysněné dvě sigmy (a zřejmě i o víc), ale tam, kde na tom vůbec nezáleží. Když přišlo na prokázání nabytých znalostí, došlo u žáků používajících AI naopak k výraznému propadu o asi jeden a půl standardní odchylky.

Pro představu, v českém systému známkování by to znamenalo, že se z dvojkaře stal čtyřkař. Průměrný žák se najednou propadl mezi 8 % nejhorších. A u těch, kteří používali AI pro domácí úkoly nejvíce, se zhoršení projevilo nejvýrazněji.

Paradoxně se výborně zpracované domácí úkoly (s dopomocí chatbota) staly znakem toho, že se žákům nebude dařit u testů nebo u přijímacích zkoušek, kde chatbota k dispozici nemají.

Výsledky z Číny nejsou ojedinělé. Po celém světě probíhají experimenty s podobnými výsledky: Umělá inteligence ve výuce prakticky všude zvyšuje rychlost, pohodlí a často vede i ke kvalitnějším výsledkům. Jenže když pak přijde na měření toho, co si studenti skutečně zapamatovali, výsledek bývá tragický.

V Turecku zkusili dát žákům ChatGPT při řešení matematických slovních úloh a jejich úspěšnost rázem stoupla o 48 %. Ale když pak měli řešit úlohy sami, najednou se situace obrátila a žáci zvyklí na pomoc od chatbota se oproti spolužákům v testech propadli o skoro pětinu.

V Německu otestovali dopady zapojení AI a dospěli k podobným výsledkům: Studenti, u kterých bylo detekováno použití AI v seminárních pracích (což není zcela spolehlivá metoda), měli horší výsledky u závěrečných zkoušek. Podrobnější analýza pak ukázala, že největší zhoršení se paradoxně týkalo studentů s největším potenciálem. Ti totiž měli nejvíce co ztratit: Chatbot jakoby jim zabránil učit se lépe. Nebo jinak, umožnil jim nenaučit se to, co by se jinak naučili.

Opět se vracím ke své oblíbené metafoře: Pokud bych přišel do posilovny, dal robotovi činky a nechal ho za mě odcvičit všechny série, výsledek by byl precizní, rychlý a pro mě rozhodně pohodlnější. Ale všichni chápeme, že to jde proti samotnému smyslu cvičení.

U svalů je tento mechanismus na první pohled jasný. Ale i u mozku trénování funguje, a pro pedagogy to není žádným tajemstvím. Mozek informace nejlépe vstřebá, když je to spojené s určitým úsilím, nebo dokonce nepohodlím. Tento koncept má různé varianty a názvy, které mimochodem často přímo odkazují na metaforu fyzické námahy: žádoucí obtíže, užitečné úsilí, relevantní kognitivní zátěž.

Neznamená to, že učení musí doprovázet bolest nebo úmorné memorování. Ukazuje se ale, že nejlépe si náš mozek osvojuje nové koncepty, když je vystaven „ideální míře nepohodlí“. Tedy když učitel studentovi dávkuje nové koncepty tak, aby mohl stavět na tom, co už zná, a zároveň narážel na slepá místa, se kterými si neví rady.

Právě tato kognitivní námaha je odměněna tím, že si mozek nové poznatky pevněji zařadí do již existujících schémat v hlavě. Kognitivní psycholog Daniel Willingham to shrnul poučkou: „Zapamatovaná vědomost je stopou po přemýšlení.“

Když totiž chatbot všechny věci perfektně vysvětlí na první pokus, není žádný důvod se namáhat. Žák odpověď opíše (v horším případě zkopíruje) a má hotovo. Klik, klik, klik.

Přístup ke specializovaným chatbotům nemá historickou obdobu, co se týče jejich rychlosti a dostupnosti. Ale nejmocnější a nejbohatší lidé si mohli vždy dovolit sluhy, kteří za jejich děti udělají veškeré úkoly. A už v antice věděli, že takovým způsobem nevychovají samostatné jedince, ale jedince bezmocné.

Když chtěl makedonský král Filip II. pro svého syna to nejlepší vzdělání, nenajal mu osobního písaře, který za něj všechno napíše. Pozval si možná nejnáročnějšího učitele své doby, věhlasného Aristotela, který se náctiletému Alexandrovi věnoval každý den. Nevíme přesně, jak výuka probíhala, ale vsadil bych se, že Aristoteles za Alexandra domácí úkoly nepsal…

Možná Aristoteles aplikoval metodu, kterou určitě znal od svého učitele Platóna, dnes se jí říká sokratická. Učitel žáka postupně vede k pochopení problému, od jednodušších konceptů ke složitějším. Když žák tápe, učitel mu nedá správnou odpověď na stříbrném podnose, ale vymyslí otázku, která problém nasvítí z jiné strany. Když pak žák dojde k pochopení, je zaslouženě vydobyté. Takové si mozek rád zapamatuje.

O něco podobného se ostatně snaží i některé AI nástroje. Jenže zatím je ještě co dohánět. Když dnes chatbota přepnu do „výukového módu“, nedá mi hned správnou odpověď. Místo toho mě zkouší – dle sokratické metody – navést k cíli.

Místo odpovědi dal nápad, jak se k odpovědi přiblížit. Hned ale prozradil „trik“ a znemožnil tak žákovi na ten trik přijít. Aspoň ale nedal hned i výsledek. Bohužel to však chatbotovi moc dlouho nevydrží. Stačí jednoslovný pokyn „spočítej“ a jakákoli produktivní zátěž je ta tam.

Krásná slovní úloha, která by mohla studentovi otevřít cestu k hlubšímu pochopení principu známých a neznámých proměnných, se místo toho promění v primitivní kopírování.

Existují nástroje, které to umí lépe. A určitě se objeví další. Jenže žádný nástroj neudrží studenta u obrazovky, když se učit nechce. Role učitele je trochu jiná pro každého jednoho žáka. Někoho musí zaujmout, někoho usměrnit, někoho možná i trochu brzdit, jiného motivovat. Pro některé studenty je jednou z motivací právě to, že chtějí ukázat učiteli, co dokážou – a tím to ukážou i sami sobě.

Jenže i učitelů se týká nástup generativní umělé inteligence. Myšlenka je to ostatně lákavá: Pedagogika je v praxi plná sáhodlouhých dokumentů, příprav a hodnocení. To všechno by přece šlo přesměrovat na AI. Kantor pak bude mít více času na to, na čem skutečně záleží, tedy na kontakt s žáky.

Bohužel v praxi se to často zvrtne v to, že chatbot připraví prezentaci a pedagog se promění v přednášejícího – navíc v takového, který proklikává slidy, které sám nečetl. Možná jsou to objektivně kvalitnější materiály, než kdyby je ručně lepil sám. Ale studenti dříve či později vycítí, že něco chybí.

Tuto past výzkumníci ověřili v Turecku (na výzkumu se podílela Angela Duckworthová, která dlouhodobě zkoumá roli vytrvalosti). V randomizovaném experimentu část učitelů připravovala hodiny „postaru“, zatímco druhá část použila k přípravě speciálního chatbota, obohaceného o oficiální materiály, osnovy a plány hodin. Na první pohled byli takto vybavení učitelé na hodinu po všech stránkách lépe připraveni. Ale žákům takovýchto hodin měřitelně klesla pozornost a zhoršily se i výsledky.

Autoři to vysvětlují tím, že hodiny připravené s AI postrádaly učitelův osobitý styl. Zdánlivě nudná příprava ve skutečnosti učiteli umožnila lekci přizpůsobit sobě i žákům. Trochu jako kdyby učitel prezentoval slajdy, které připravil někdo jiný.

Pokud učitel nechá chatbota, aby za něj udělal přípravu lekce, mimoděk svým žákům říká, že mu na nich – a na člověku obecně – nezáleží. A to je nejspíš ta nejhorší lekce, jakou si lze v současné době představit.

Není to ale nový objev. Věděl to už Jan Amos Komenský, který školní třídu nazýval „dílnou lidskosti“. Děti se ve škole neučí jen látku, ale učí se také to, jak být lidmi. Podobně jako kovář se učí kovat tím, že ková, tak to, co člověk tvoří, tvoří člověka (fabricando fabricamur).

Dokonce i Komenského nejslavnější heslo – škola hrou – nemluví o nečinné zábavě. Odkazuje na divadelní hry, které děti hrály v rámci výuky, a tím se do ní zapojují a jsou její součástí.

Dobrý učitel nebo učitelka zkrátka neustále přemýšlí, jak výuku zarámovat, aby to byla hra. Nesmí to ale být hračka.