Proč nám AI lže?

Abychom pochopili proč, nejprve musíme porozumět tomu, jak.

Umělá inteligence, vrchol moderní společnosti. Lidská snaha přimět stroje myslet existuje již staletí. V roce 1770 představil maďarský vynálezce Wolfgang von Kempelen robota hrajícího šachy, se kterým objížděl všechny kraje evropy a porážel jedny z nejbystřejších šachistů té doby, včetně Napoleona Bonaparte. Stroj byl ukryt ve skříňce, nad níž seděla dřevěná figurína, a po desetiletí konzistentně vítězil. Nakonec se ukázalo, že uvnitř byl ukrytý zkušený šachový mistr, který mechanismus ovládal ze skryté přihrádky.

O stovky let později se toto úsilí stalo realitou. Stroje se skutečně naučily hrát šachy. Ne tím, že by hře porozuměly, ale díky rozpoznávání vzorů napříč desítkami milionů pozic. Moderní šachový engine nějak nemyslí v takovém slova smyslu. Vyhodnocuje miliony pozic za sekundu a čistou hrubou silou vybírá ten nejlepší tah. Nikdo ho neobviňuje ze lži, když pohne figurkou. Dělá přesně to, k čemu byl určen.

Proč si tedy LLM - velký jazykový model - někdy vymýšlí?

Umělá inteligence na sebe může brát mnoho podob a u tohoto srovnání to stojí za to se nachvíli pozastavit, protože ukazuje, jak odlišné mohou být dva systémy, z nichž bychom oba pojmenovali jako „AI“. Šachový engine má jeden úkol, pevně daný prostor povolených tahů a jasnou podmínku vítězství. Jazykový model nemá nic z toho, protože dnes je používán skoro na všechno. Programování? Překládání? Pokročilá matematika? Samozřejmě. Jeho úkolem je generovat text, který zní jako rozumná odpověď na cokoli, na co se zeptáte. Právě to ho činí užitečným v tolika oblastech, a to je také důvod, proč něco, co se velmi podobá lhaní, vždycky muselo být jeho nevyhnutelnou součástí.

Jak to funguje

Možná jste slyšeli, že systémy umělé inteligence jsou nespolehlivé, protože nikdo neví, jak fungují, a že „nevidíme“, co se děje uvnitř programu. To je netrefně formulované a tak trochu nepravdivé, pojďme si to rozebrat:

Představte si pole jedné miliardy páček a spínačů uspořádaných v řadách, které se táhnou, kam až oko dohlédne. Před vámi je obrazovka s číslem. Vaším cílem je dostat toto číslo přesně na hodnotu 500.

Nevíte, co dělá jaká páčka. Každá z nich něco přičítá nebo odečítá od celkového součtu a páčky v pozdějších řadách násobí číslo těch předchozích. Při takovém počtu nepřipadá jejich jednotlivé zkoumání v úvahu. Co však můžete udělat, je říct počítači, ať začne provádět úpravy, a Vy začnete sledovat obrazovku.

Ukazuje 1 687. Příliš mnoho. Počítač provede úpravu: -997. Příliš málo. Tak znovu. 1 587. Příliš mnoho. A tak to jde dál, tisíce iterací, z nichž každá se řídí tím, zda se poslední výsledek přiblížil k 500, nebo se od něj vzdálil. Po milionech pokusů konečně naposledy požádáte počítač, aby šel o něco výš, a na obrazovce se Vám objeví 500.

Víte teď, které páky počítač přehodil, v jakém pořadí, kdy a jaký k tomu měl důvod? Ne, nevíte, a počítač tomu nerozumí o nic víc než Vy. Získali jste systém, jehož vnitřní logiku sice nemůžete dohledat, ale který spolehlivě dodává požadovaný výsledek.

Tyto páky jsou to, co výzkumníci v oblasti strojového učení nazývají váhy nebo parametry. Moderní velký jazykový model jich má stovky miliard. Trénink modelu znamená spuštění stejného iterativního procesu, s tím rozdílem, že se nesnaží přiblížit k číslu, ale k něčemu, co je mnohem těžší specifikovat: ke schopnosti předpovědět, jaké slovo bude následovat.

Nakrmte model každou knihou, článkem a webovou stránkou, kterou najdete. Nechte ho předpovědět další slovo. Zkontrolujte, jak moc se zmýlil. Podle toho upravte váhy. Toto zopakujte bilionkrát a program najednou získá schopnost předvídat jazyk.

Z tohoto procesu vzejde systém, který tak důkladně vstřebal statistické vzorce lidského jazyka, že na základě jakéhokoli úryvku textu na něj dokáže navázat. Ne proto, že by chápal jeho smysl. Ale proto, že viděl dostatek vět na to, aby věděl, co se tam hodí.

Lidský jazyk se přes veškerou svou rozmanitost řídí překvapivě malým počtem vzorců. Způsob, jakým strukturujeme otázku, budujeme argument nebo ukončujem věty, se opakuje napříč miliony textů. Model trénovaný na jejich dostatečném množství, se stane velmi dobrým v jejich reprodukci. Často tak dobrým, že to zní, jako by věděl, o čem mluví.

Někdy to ví. A někdy ne. V jádru je to pořád jen počítač, nic víc. Nemá vědomí v žádném slova smyslu, ne že bychom vůbec byli schopni definovat, co to vlastně vědomí je. Pro naše účely by svědomí klidně mít mohl. Pokud něco kváká jako kachna a chová se to jako kachna, tak to pravděpodobně kachna je. Ale je to tak doopravdy? Nikdo neví. Teď asi přemýšlíte nad tím, co mají kachny společného s tím, že vám umělá inteligence nestydatě lže. Dovolte mi to vysvětlit:

Odkud se lhaní bere

Když model nemá dostatek dat k tomu, aby odpověděl sebejistě, nepřizná to. Nemá mechanismus pro vyjádření nejistoty, jako to máte Vy. Má ale schopnost předpovídat uvěřitelně znějící pokračování a tuto schopnost využívá bez ohledu na to, zda k tomu má nějaký reálný podklad.

Odborný termín pro tuto anomálii se nazívá halucinace. Model generuje text, který je souvislý, dobře strukturovaný ale za to chybný. Nelže v žádném úmyslném slova smyslu. Vytváří to, co statistické jazykové vzorce naznačují, že by mělo následovat, a tyto vzorce nevedou vždy k pravdě. Čili, dělá to, k čemu jsme ho stvořili - předvídá jazyk, neověřuje jeho pravdivost.

Pro dřívější modely to byl větší problém, než je tomu dnes. Trénovací metody se staly podstatně propracovanějšími a procesy, které formují chování modelu, nyní zahrnují explicitní opravu klamavých informací. Modely se také lépe zkalibrovaly v tom, kdy říct „nejsem si jistý“, místo aby vyplňovaly mezeru něčím, co zní uvěřitelně. Problém s halucinacemi coby hlavní výtka vůči AI patří převážně do let 2022 a 2023.

To, co jej nahradilo, je úplně jiný problém.

Problém s internetem

Většina AI asistentů nyní před zodpovězením faktických otázek prohledává web. Myšlenka za tím je velmi racionální: namísto spoléhání se na trénovací data, která mohou být roky zastaralá, si model stáhne aktuální informace.

Problém je v tom, že internet není pečlivě obstarávaným zdrojem správných informací. Je to všechno, co kdy lidé napsali, včetně toho, co je špatně, co je zastaralé, publikované ve zlém úmyslu a co je jednoduše vymyšlené. Stránka, která sebevědomě uvádí falešné datum nebo vykonstruovanou statistiku, vypadá pro model naprosto stejně jako ta, která tak nečiní. Model čte text. Nedokáže posoudit důvěryhodnost zdroje instinktivně, jak byste to udělali Vy, a neověřuje automaticky tvrzení křížově s jinými zdroji.

K ověření každého tvrzení, které model získá, byste museli pro každé z nich spustit další vyhledávání. A k ověření těchto by bylo potřeba vyhledávat ještě více. Načtení dvaceti stránek pro zodpovězení jedné otázky by se mohlo rozvětvit do stovek vyhledávání. Při současných nákladech na infrastrukturu to není v takovém měřítku ekonomicky reálné. Ani společnosti utrácející miliardy za výpočetní výkon nemohou ověřovat naprosto vše pro každý jednotlivý dotaz.

Takže když vám dnes AI poskytne nesprávnou informaci, většinou si ji nevymyslela jen tak. Někde ji našla. Zdroj se mýlil, nebo jej model špatně přečetl, anebo byla informace v určitém okamžiku přesná a od té doby se zkrátka změnila. Vina se přesunula z modelu na ekosystém, ze kterého čerpá, a na skutečnost, že i my sami, lidé, máme tendence lhát.

Řešení a jeho cena

Existuje nastavení, které toto do značné míry řeší. Vytvořte soukromou udržovanou databázi na specifické téma. Připojte svůj AI model pouze k této databázi. Zcela mu odřízněte přístup k internetu. Přinuťte model čerpat pouze z toho, co je v databázi, a neustále ji udržujte aktuální.

Takto postavený systém, řekněme pro péči o rostliny, standardizované právní definice nebo údržbu vybavení, vám jen zřídka dá špatnou odpověď. Jediný zdroj, ze kterého může čerpat, je kontrolovaný a spravovaný. Míra halucinací klesne téměř na nulu.

Cenou za to je však rozsah. Tento systém odpovídá pouze na otázky o rostlinách. Ne o vaší nájemní smlouvě. Ne o zprávách. Právě tento úzký rozsah je to, co vůbec umožňuje takovou spolehlivost. Spolehlivé všeobecné znalosti jsou, alespoň prozatím, naprosto odlišnou kapitolou.

Co můžete udělat Vy

Model neví to, co nevíte Vy. Věnujte velkou pozornost tomu, co říká předchozí věta.

Když položíte obecnou otázku, model vygeneruje statisticky nejpravděpodobnější odpověď napříč vším, co k danému tématu viděl. Pokud se zeptáte na práva nájemníků ve Spojených státech, dostanete obecnou odpověď – tu, která se vztahuje na nejširší okruh lidí, kteří by tuto otázku mohli položit. Nedostanete automaticky odpověď pro váš stát, váš typ nájemní smlouvy, vaši přesnou situaci a dodatek, kterým si nejste jisti. Model neví, že to potřebujete. Nežádali jste o to.

Promptování (tvorba zadání) je praxe, jak tuto propast překlenout. Řekněte modelu, kde se nacházíte. Řekněte mu, co už víte a co chcete zjistit. Řekněte mu, jaký druh odpovědi potřebujete a čemu se chcete vyhnout. Čím přesněji otázku definujete, tím méně prostoru zbývá pro to, aby zprůměrovaná odpověď minula to, co skutečně hledáte. Je to stejný rozdíl jako přijít do ordinace lékaře a říct „Cítím se špatně“, oproti tomu, když mu řeknete, kde to bolí, kdy to začalo a co to zhoršuje.

Někdo by mohl namítnout, že na promptování záleží méně než dřív a že je to už jen archaický způsob snahy donutit model k lepším odpovědím, jelikož moderní modely jsou už dost dobré ve čtení záměru na to, aby přesná formulace nebyla nutná. U běžných otázek na tom něco je. Pro cokoli, kde záleží na přesnosti a znalostech napříč dlouhými pracovními procesy, se tato propast ale ještě neuzavřela. V době psaní tohoto článku jsou lidská zkušenost a úsudek stále nezbytné.

---

V CAIROS je práce s umělou inteligencí něčím, co děláme každý den. Dali jsme dohromady dva zdroje: sadu instrukcí, které můžete aplikovat přímo na svého AI asistenta, abyste snížili míru halucinací a zabránili mu hádat, když by měl říct, že neví; a praktického průvodce psaním promptů, které přinášejí přesné odpovědi namísto těch zprůměrovaných. Obojí si můžete stáhnout zde.