Az úthálózatot és a vízvezetéket biztos nem, mert azokért a rómaiaknak tartozunk köszönettel. Viszont ezúton nyilvánítom ki hálámat a ChatGPT felé egy fogalom közérthetővé tételéért. Ez a fogalom a modellek hallucinációja. Az emberi hallucinációt mint a külső inger nélküli érzékelést definiálhatjuk röviden. Ennek analógiájára modellhallucinációról akkor beszélhetünk például, amikor egy modell elsősorban nem adatra, hanem a modell feltevéseire építve ad téves eredményt. Az utóbbi definíció nem pontos. Viszont általában még a legpontosabb definíciónál is többet segít egy fogalom megértésében, ha a fogalomról szóló néhány példával találkozunk. A ChatGPT pedig – a fejlesztői szándék ellenére – számtalan példát kínál a nagy nyelvi modellek (LLM-ek) hallucinációira.
Egy sokat idézett esetben például a ChatGPT hamisan állította, hogy egy ausztrál politikus egy „kabátlopási ügyben” az egyik tettes, jóllehet az illető valójában az ügynek a hatóságok felé való bejelentője volt. De hogyan is fordulhatott elő a ChatGPT ilyen tévedése? Vélhetően hiányosak voltak azok az esettel kapcsolatos adatok, amelyeken betanították a ChatGPT-t. A ChatGPT pedig ilyenkor a legvalószínűbb összefüggést állítja fel. Mivel minden „kabátlopási ügynek” kell, hogy legyen elkövetője, ezért jó tipp a ChatGPT részéről, hogy az esettel összefüggésbe hozható személyt, – akinek azonban a pontos szerepéről nincs információja –, elkövetőként nevezi meg. Tehát ebben az esetben a hamis állításért elsősorban a modell okolható.
A modellhallucináció természetesen már a ChatGPT előtti korban is létezett, csak éppen körülményes volt érzékeltetni a modellek eredményét használni kívánó döntéshozók, valamint a modellezést tanuló diákok számára, hogy mit is jelent ez a ma már naponta elhangzó fogalom.
Korábban, a ChatGPT népszerűvé válása előtt, két modell ugyanarra a kérdésre adott válaszának eltérésén keresztül próbáltam megvilágítani a fogalom jelentését. A kérdés egy szándékosan nem közgazdasági problémáról szólt, hogy ne terelődhessen el a figyelem a modellválasztás módszertani-filozófiai aspektusáról. A modelleknek feltett kérdés a következő volt: ha ismerjük, hogy az öt évvel ezelőtti érettségi találkozónkra a volt osztálytársaink közül kik jöttek el és kik maradtak távol, valamint azt is tudjuk, hogy a meghívók kiküldésekor ki mennyire messze tartózkodott az egykori gimnáziumunktól öt éve és idén, akkor milyen valószínűséggel jönnek el az idei találkozóra az egyes meghívottak?
A kérdés megválaszolására használhatjuk a lineáris valószínűségi modellt. Ez a modell arra az egyszerű feltevésre épül, hogy a találkozón való megjelenés valószínűségét minden egyes addicionális kilométernyi távolság azonos mértékben csökkenti (lásd az ábra zöld vonalát). De használhatjuk a logit (vagy probit) modellt is, amely szerint az első kilométernyi távolsághoz képest a további kilométerek először egyre nagyobb mértékben csökkentik a találkozón való megjelenés valószínűségét, majd egy ponton túl a további kilométerek egyre kisebb mértékben mérséklik azt (lásd az ábra piros görbéjét).
A lineáris valószínűségi és a logit modell által becsült valószínűsége az érettségi találkozón való megjelenésnek a gimnáziumtól vett távolság függvényében
A lineáris valószínűségi modellnek van egy olyan nehezen emészthető tulajdonsága, hogy képes nullánál kisebb valószínűséget rendelni a nagy távolságokhoz (lásd az ábrán a zöld vonal szaggatott részét). Emiatt „butának” tűnhet, hiszen látszólag még azt sem tudja, hogy egy valószínűség nem lehet negatív. A logit modell ezzel szemben „pedánsan” mindig nulla és egy közötti valószínűségeket ad válaszul. Pusztán ezen ismeretek alapján sokan a logit modell használata mellett döntenének. Nos ők azok, akik kiteszik magukat a hallucinált modell-válaszok veszélyének.
Képzeljük el ugyanis, hogy 1969. július 20-át írunk és egyik volt osztálytársunk, például Neil Armstrong éppen a Holdon tartózkodik 384 400 km-re a volt gimnáziumunktól, amikor az idei meghívót kiküldjük neki. Öt évvel ezelőtt viszont még a közös alma materünktől legmesszebbre vetődő társunk is csak maximum 20 037 km-re volt a találkozó tervezett helyszínétől, amely távolság fele az Egyenlítő hosszának. A logit modell alkalmazásával az általunk becsült valószínűsége annak, hogy Neil eljön a találkozóra, közel nulla, de pozitív. A lineáris modell mechanikus alkalmazásával viszont negatív valószínűséget becsülünk ugyanerre a kimenetelre.
Az eredmények helyes interpretálásához fel kell ismerni, hogy a logit modell válasza csak látszólag épül az öt évvel ezelőtt gyűjtött adatokra, mert elsősorban a modell mögött meghúzódó feltételezések határozzák meg azt. A lineáris modell válasza pedig helyesen úgy értelmezendő, hogy a modell elérte az alkalmazhatóságának a határát: nem tud értelmezhető valószínűséget rendelni egy olyan kimenetelhez, amely jelentősen kívül esik a korábbi megfigyelések körén. Ezt pedig jelzi a „nem tudomként” olvasandó negatív valószínűséggel. Tehát a lineáris modell őszintén bevallja, hogy nincs válasza a kérdésre, míg a logit modell készségesen hallucinál nekünk egyet.
Általánosságban nehéz eldönteni azt, hogy melyik válasz hallucináció eredménye és melyik nem. De azt viszonylag könnyű megvizsgálni, hogy mely modellek olyanok, hogy kényszeresen mindig adnak valamilyen, jellemzően első hallásra helyesnek tűnő választ, és mely modellekbe van beépítve a válaszadás megtagadásának lehetősége. Nem kérdés, hogy melyik kategóriába esik a manapság egyik legnépszerűbb, sokrétű felhasználhatóságot célzó nagy nyelvi modell, a ChatGPT.
A ChatGPT hallucinációs tulajdonsága bár gyakran irritáló, egyben hasznos is, mivel éppúgy ráébreszt minket a szakpolitikák alakításához használt modellek és más modelljeink folyamatos felülbírálásának szükségességére, mint a számítási kapacitás, vagy az elemzésekben felhasználható adatok mennyiségének és minőségének az utóbbi évtizedekben tapasztalt ugrásszerű megnövekedése.
Egy klasszikus példája a modellrevíziónak a kopernikuszi fordulat, aminek során a csillagászok a heliocentrikus modellre tértek át a geocentrikus modellről, miután a bolygómozgások új megfigyelései megkérdőjelezték a korábbi modellt és alátámasztották az újat. A számítási kapacitás bővülésének egyik izgalmas hozadéka, hogy több, korábban szenzációsnak gondolt sakklépésről derült ki, hogy valójában csak meglepő volt. Valójában olyan nem teljesen végig gondolt ötletre épült, amely jellemzően egy-egy neves, nagy autoritású sakkozóhoz köthető (Ághassi 2025).
Végül a modellhallucinációval szemben érzett általános averziónk felerősödése és a modellalkalmazhatósági korlátok alaposabb megértése egy közérthető érvet ad annak alátámasztására, hogy míg egy közelmúltban javasolt módszer alkalmas a társadalmi egyenlőtlenség párkapcsolati adatok felhasználásával történő dokumentálására, addig egy, az asszortatív házasságok irodalmában elterjedt, de hallucinációra hajlamos módszer nem alkalmas (Naszódi 2025).
Köszönjük ChatGPT, hogy botladozásaiddal kritikus gondolkodásra ösztönzöd a modellezőket és a modellek felhasználóit!
Naszódi Anna
Naszódi Anna a Magyar Nemzeti Bank vezető kutatója, valamint az International Demographic Inequality Lab (IDIL) alapító igazgatója. Doktori fokozatát a Közép-európai Egyetemen, MSc diplomáját pedig a Budapesti Corvinus Egyetemen szerezte. Kutatói tapasztalatait több nemzetközi intézményben gyarapította, így a Torontói Egyetemen, a Svéd Jegybanknál, az Európai Bizottság Joint Research Centre intézetében és a Turkui Egyetemen. Tudományos eredményeit rangos szakfolyóiratok közölték, többek között a Journal of Demographic Economics, az International Journal of Central Banking és a Journal of International Money and Finance. 2025 szeptemberében jelenik meg könyve a Springernél „New Methods for Measuring Inequality by Analyzing Assortative Mating” címmel.
Hivatkozások:
Ághassi Attila 2025. június 22. – 07:13 A számítógépek korábban szenzációsnak gondolt sakklépésekről rántják le a leplet Észkombájn, Telex.
Naszódi Anna 2025. New Methods for Measuring Inequality by Analyzing Assortative Mating. In: The Springer Series on Demographic Methods and Population Analysis. Springer Cham. ISBN: 978-3-031-98276-7. https://link.springer.com/book/9783031982767
Borítókép: Google Geminivel készítve
“Mit köszönhetünk a ChatGPT-nek?” bejegyzéshez egy hozzászólás
Hozzászólások letiltva.