Amit a tudományos folyóiratokból soha nem fogunk megtudni

A valami mindig érdekesebb, mint a semmi. Így van ez a tudományban is. Vajon ki kapná fel a fejét arra a hírre, hogy „régészek nem találtak arra utaló jelet, hogy az őserdő mélyén városuk lett volna a majáknak”? Nem sokan. Arra már sokkal többen, hogy „maja város romjaira bukkantak a régészek az őserdő mélyén”. Pedig mindkét eseménynek lehet tudományos jelentősége.

Egy kutatás eredményének érdekessége egyúttal a kutató kvalitásaira is utalhat. Ha találtak várost az őserdőben, akkor nagy valószínűséggel jó régészek voltak. Ha viszont nem, akkor lehet, hogy csak tévesen feltételezték a város létezését, vagy egész egyszerűen ügyetlenek voltak. Emiatt maguk a kutatók is inkább akkor érdekeltek az eredmény ismertetésében, ha valaminek a létezésére tapasztalati bizonyítékot találtak.

Az a jelenség, amikor a tudományos folyóiratok és maguk a tudósok is hajlamosak a negatív eredményeket elhallgatni, az úgynevezett publikációs torzítás („publication bias”) egyik tipikus esete. A torzításnak közvetlenül nem is a széles közvélemény látja kárát, hanem a tudomány, amely nem megfelelő képet fog alkotni a valóságról. Ami viszont végsősoron visszaüt az átlagember életére is, mert a pénzéből olyan kutatásokat fognak finanszírozni, amelyek sokkal ígéretesebbnek tűnnek, mint amilyenek valójában. Még rosszabb esetben a döntéshozók rossz döntéseket fognak hozni hamis világképre alapozva.

Korábban már írtunk a statisztikai szignifikancia veszélyes túlmisztifikálásáról, ami a fent leírt probléma egyik legjellemzőbb megjelenési formája. Antonakis (2017) a tudomány öt fő betegsége között említi „significosis”-t, vagyis a szignifikáns eredményekre való túlzott törekvést. Ha a becsült hatás a nullához a hibahatárnál közelebb van, nem tartjuk érdekesnek. Márpedig az érdekesség, az „impakt faktor” a tudományos szaklap és a kutató közös érdeke. Mindenki olyan folyóiratban szeretne publikálni, amelynek nagy hatása van a tudományra. Ezek a folyóiratok pedig olyan tanulmányokat keresnek, amelyeknek potenciálisan nagy hatásuk lehet. Így a statisztikailag inszignifikáns eredmények vagy el sem jutnak a folyóirathoz, és az íróasztalfiókban maradnak, vagy ha be is nyújtják őket, a folyóirat elutasítja. Ezért, ha a publikált eredményekből szeretnénk képet nyerni valamiről, túlzó, felnagyított lesz az a kép. Hasonlóan ahhoz, mint ha a világ erkölcsi állapotáról bulvárlapok címoldaláról alkotnánk képet: mivel a véres gyilkosságoknak nagyobb a hírértéke, és nagyobb valószínűséggel kerülnek címlapra, mint egy új állatmenhely megnyitása, óhatatlanul az a benyomásunk alakul ki, hogy ez a világ megérett a pusztulásra. Pedig talán még menthető lenne.

Hogy a problémát érzékeltessem, szeretnék bemutatni egy egyszerű szimulációt. Tegyük fel, hogy egy véletlen változót figyelünk meg, és következtetni szeretnénk annak várható értékére, ami jól közelíthető (becsülhető) a megfigyelések átlagával. Azonban a megfigyelések szóródnak a várható érték körül[1], így a becslés jelentős hibát is fog tartalmazni – minél kevesebb megfigyelésünk van, annál többet. Azonban a hiba is becsülhető[2], vagyis képet tudunk alkotni arról, mennyire lehetünk biztosak benne, hogy a megfigyelések átlaga közel van az igazi várható értékhez.

Tegyük fel, hogy 100 000 kutató egymástól függetlenül figyeli meg a véletlen változót, mindegyikük háromszor. Mindegyikük ad egy becslést annak várható értékére, mégpedig a saját három megfigyelésük átlagát, egyúttal kiszámítják a becslés hibáját is. A statisztikában bevett hüvelykujj-szabálynak megfelelően azt feltételeztem, hogy csak azok a becslések maradnak meg, amelyeknél a becsült hatás abszolút értéke nagyobb, mint a becslési hiba kétszerese. A többi becslés áldozatul esik a publikációs torzításnak, mert statisztikailag nem szignifikáns, és az íróasztal fiókjában landol. Végül a „publikált” eredmények átlagát viszonyítom a keresett mennyiséghez, az „igazi” várható értékhez.

Az alábbi ábra egy ilyen szimuláció eredményét mutatja a véletlen változó várható értékének függvényében:

Forrás: saját szerkesztés

A vízszintes tengelyen szerepel a megbecslendő „igazi” várható érték, a függőlegesen pedig a publikációs torzítás. Az 1-es várható értéknél megfigyelhető körülbelül 0,42-es torzítás tehát azt jelenti, hogy a 100 000 kutató egymástól független becsléseiből azok, amelyeket végül publikálni is fognak, átlagosan 1,42-t adnak a keresett 1 helyett. A torzítás tehát felerősíti a keresett mennyiséget. Ez a jelenség 0-nál gyakorlatilag nem létezik, 0,5-nél a legnagyobb (ott átlagosan 1-et fognak publikálni), nagy értékeknél pedig ismét elhanyagolhatóvá válik. Ennek a mintázatnak az az oka, hogy a 100 000 független becslés eredményeinek eloszlásából, amely eredetileg egy szép, az igazi várható érték körül szimmetrikus haranggörbét ír le, más és más helyről esnek ki azok az eredmények, amelyek áldozatul esnek a significosis-nak, ezért másként módosítják az eloszlás átlagát. Ezt mutatja be a következő ábra, amelyik a publikált becslési eredmények eloszlását mutatja be 0, 0,5 és 3 várható értékek mellett:

Forrás: saját szerkesztés

Amikor nulla a várható érték (folytonos kék vonal), az egyes kutatók ugyanolyan valószínűséggel becslik fölül azt, mint alul. A publikációs torzítás pedig többnyire azokat az eredményeket szűri ki, amelyek közel esnek nullához mindkét irányból, emiatt az eredeti eloszlás közepéből „harap ki” egy nagyobb darabot. Ezzel azonban az eloszlás továbbra is szimmetrikus marad 0 körül, így az átlagot nem fogja érinteni a csonkítás. Nagy, példánkban 3-as várható érték esetén (szürke, pontozott vonal) a kutatók becslései jellemzően nagy, pozitív értéket vesznek fel, így kevés eredmény fog fennakadni a publikálhatósági kritériumon, és az eloszlás nagyjából szimmetrikus marad 3 körül, vagyis a torzítás elhanyagolható mértékű lesz.

Ellenben amikor a várható érték közel esik a szóráshoz (ami esetünkben egységnyi), a torzítás jelentős. Ennek okát jól érzékelteti a narancssárga, szaggatott vonallal jelzett eloszlás, amely a 0,5-ös várható értékhez tartozik. Mivel a statisztikailag inszignifikánsnak számító megfigyelések 0 körül tömörülnek, a publikációs torzítás az eredeti (publikálás előtti) eloszlás bal oldalából fog sok eredményt kiszűrni. A csonkolt eloszlás viszont már nem 0,5, hanem 1 körül koncentrálódik, és az átlaga is hasonlóan tolódik el. Végeredményként a publikált becslésekből az igazi érték dupláját kapjuk.

Az eloszlások fentebb bemutatott deformálódása segíthet abban, hogy rekonstruáljuk az eredeti eredmények átlagát, ami sokkal pontosabb képet ad a keresett mennyiségről. Az úgynevezett metaelemzések, amelyek mások által publikált eredményeket gyűjtenek össze egy adott kérdésben, már gyakran kezelik a publikációs torzítást, mégpedig pont az eloszlásokból gyaníthatóan hiányzó szegmensek azonosítása alapján. Azonban a metaanalízis sok tudományágban, így például az ökonometriában még nem eléggé elterjedt, vagy egy konkrét kérdésre adott empirikus válaszok számossága még túl alacsony ilyen elemzések rigorózus elvégzésére, ezért továbbra is észben kell tartanunk, amikor valami izgalmas, új kutatásról olvasunk, hogy a valóság szürkébb lehet annál, mint aminek a tudomány láttatja.

Vonnák Balázs

Felhasznált irodalom:

John Antonakis (2017): “On doing better science: From thrill of discovery to policy implications”, The Leadership Quarterly, Volume 28, Issue 1, 2017, Pages 5-21,

[1] Normális eloszlást feltételeztem egységnyi szórással.

[2] A variancia becslésére a statisztikában használatos torzítatlan becslőfüggvényt használtam.

Főoldali kép forrása: pixabay.com