A randomizált kontrollált vizsgálatok (Randomized Controlled Trial, RCT) a sztenderd közgazdasági eszköztár részét képezik évtizedek óta. A módszertan és az általa megismert összefüggések jelentőségét jól mutatja, hogy a 2019-es közgazdasági Nobel-díjat Abhijit Banerjee, Esther Duflo (mindketten az MIT professzorai) és Michael Kremer (Harvard) a globális szegénység enyhítésére kísérleti úton válaszokat kereső kutatásaikért kapták.
Az RCT-kről már korábban is esett szó ezen a blogon, így a módszertan ismertetésétől most eltekintek. Dióhéjban, ha véletlenszerűen két részre osztunk egy mintát (például családokat egy kisebb régión belül), és az egyik csoportba kerülők megkapják a „kezelést” (pl. élelmiszerjuttatásokat), míg a másik csoportba kerülők nem, akkor a kísérlet végeztével a két csoport átlagát (pl. iskolai hiányzásokat) összehasonlítva számszerűsíteni tudjuk a kezelés átlagos hatását (pl. havi 20 dolláros élelmiszerjuttatás x%-kal csökkenti az iskolai hiányzásokat). Nem szükséges bonyolult modelleket építeni, instrumentumokat keresni, tulajdonképpen elég az átlagot és a varianciát kiszámolni.
Első ránézésre az RCT-k szinte csodás módszertani hátteret biztosítanak a legkülönfélébb gazdasági (és egyéb) kérdések megválaszolására, nem csoda tehát, hogy számos szerző „gold standard”-ként hivatkozik az így elvégzett vizsgálatokra. Például érdemes-e, és ha igen, hogyan érdemes féreghajtót adni kenyai iskolásoknak az iskolába járás erősítésére? Miguel és Kremer (2004) szerint igen, és iskolai szinten, nem egyéni szinten hatásosabb a program. Továbbá a mikrohitelek tényleg képesek hosszú távon dinamizálni az elmaradott régiókat, és emberek millióit tőkéhez juttatni, amiből gazdasági növekedés, női egyenjogúság, és hasonló kívánatos eredmények származnak? Banerjee, Duflo, Glennerster és Kinnan (2015) arra jutnak, hogy erre nem képes a mikrohitel. Jelen blogbejegyzés írásakor már több mint ezer hasonló RCT eredményeit olvashatjuk az Abdul Latif Jameel Poverty Action Lab (J-PAL) oldalán, mely szervezetet Duflo és Banerjee Sendil Mullainathannal együtt a hasonló kutatások összefogására alapította 2003-ban.
Fontos azonban látni az RCT-k korlátait is, amelyekből Angus Deatonnak, a 2015-ös közgazdasági Nobel-díj díjazottjának közelmúltban megjelent NBER working paper-je (Deaton, 2020) alapján válogattam, a teljesség igénye nélkül.
Deaton egyik fontos pontja, hogy bár az RCT-k rendkívül egyszerű statisztikai apparátussal működnek (egy szokványos t-teszt az átlagok egyezőségére), a feltételek, melyek szükségesek a teszt érvényességéhez, nem feltétlenül teljesülnek, így a teszt eredménye sem lesz megbízható. Ha az eredményváltozó eloszlása extrém módon ferde (ami pénzben kifejezett mutatóknál, így a jövedelemnél is gyakran előfordul, például ha egy kísérleti alany jövedelme kiugróan megnő), akkor a sztenderd statisztikai eszköztárral végrehajtott elemzés nem lesz érvényes. Deaton felhívja a figyelmet egy másik, közelmúltban megjelent tanulmányra is, melyben Alwyn Young az Amerikai Közgazdasági Társaság (American Economic Association, AEA) folyóirataiban megjelent tanulmányokat elemezve arra jutott, hogy a kiugró (outlier) megfigyelések a magyarázóváltozók körében számos RCT szignifikáns eredményéért felelnek – azaz bár az RCT-nek a valóságban nincs hatása a kezelt csoportra, a sztenderd statisztikai tesztek mégis szignifikáns hatást jeleznek (Young, 2019). Fontos, hogy ezek a módszertani problémák nem csak az RCT-k kiértékelésénél jelenhetnek meg, ugyanakkor sokan az RCT-k feltétlen támogatói, a „randomisták” között pont a módszertani egyszerűséget emelik ki, ami ezt a kutatási eszközt a többi fölé helyezi – mint látjuk, helytelenül.
Deatonnak a kísérletes tanulmányok felhasználási módjával is komoly problémái vannak, egészen pontosan a mintán kívüli általánosíthatósággal (external validity) kapcsolatban. Leggyakrabban pontosan azért végeznek el egy kísérletes tanulmányt, mert az eredményeit remélhetőleg később felhasználják szakpolitikák megalkotásakor. Ugyanakkor egyetlen tanulmány eredményeit sem szabad kritika nélkül, mechanikusan alkalmazni egy másik szituációban, hiszen a tanulmány nem képes (nem is feladata) válaszolni arra a kérdésre, hogy más földrajzi helyszínen, más kulturális háttérrel rendelkező csoportoknál, más időben, más intézményi háttérrel vajon a tanulmányban kimutatott hatások (ugyanúgy) megjelennek-e. Fontos tehát, hogy bár az RCT-k képesek informálni a szakpolitikák kidolgozóit, semmi esetre sem helyettesítik az alapos elemzést és annak mérlegelését, hogy vajon az adott szituációban érdemes-e implementálni (és ha igen, akkor hogyan) egy szakpolitikai változtatást.
Érdemes feltenni a kérdést, hogy vajon az RCT-kben vizsgált mikroszintű beavatkozásokat egy egész országban alkalmazva ugyanolyan pozitív eredményeket várhatunk-e. A közgazdászokat és a politikai döntéshozókat a szakpolitikai döntéseknek a gazdaság egészére gyakorolt hatások (is) érdeklik. A korábban említett mikrohitelezési példánál maradva, több kérdés is felmerül. Egyrészt, milyen hatással járhat egy ilyen program a már meglévő pénzügyi közvetítőrendszerre: a bankok profitabilitása romlik-e, és emiatt be kell-e zárniuk fiókokat ezzel csökkentve a foglalkoztatottságot? Másrészt, a megnőtt munkaerő-kereslet felhajtja a béreket, és ez az aggregált kereslet növekedésén keresztül idővel lecsapódhat az árszínvonal emelkedésében is. Ez potenciálisan rosszabbul érintheti az alacsonyabb jövedelemmel rendelkezőket, mint a magas jövedelmű csoportokat. Ebben az esetben is megéri támogatni a mikrohitelezést?
A globális szegénység elleni harc komoly eredményeket tudott felmutatni, ahogy Deaton rámutat India és Kína példájára. Ugyanakkor fontos látni, hogy az említett két ország elmúlt évtizedekben mutatott fejlődése nem a kísérletek alapján javasolt szakpolitikáknak köszönhetők, és utóbbira nincs is gyakorlati példa (az implementáció hiánya miatt). A randomisták, és azon belül is különösen a Duflo és Banerjee nevével fémjelzett J-PAL közössége gyakran hangoztatják, hogy az RCT-kből szerzett, mikroszintű tudás alapján kell megtervezni a makroszintű programokat. Itt jön be a közgazdasági modellek szerepe, melyek képesek lehetnek a mikroszintű adatokból makroszintű következtetéseket levonni. Véleményem szerint a két megközelítés (ateoretikus RCT-k és mikroalapozású makromodellek) egymást kiegészítve és inspirálva jelenthetnek megoldást a globális szegénység felszámolására.
Végezetül Deaton hosszan ír egy rendkívül fontos, és a gyakorlatban sokszor elhanyagolt témáról az RCT-kkel kapcsolatban, nevezetesen az etikai megfontolásokról. Valóban azért folytatnak közgazdasági kísérleteket jellemzően jómódú és „nyugati” közgazdászok rossz anyagi helyzetben lévő afrikai vagy indiai emberekkel, hogy segítsenek rajtuk és a hozzájuk hasonló helyzetben lévőkön, vagy sok esetben a szakmai előmenetel és a publikációs lehetőség hajtja ezeket a szakembereket? A kísérletek alanyaitól az esetek jelentős részében nem kérnek hozzájárulást a részvételhez, ami további etikai kétségeket is felvet – például egy, az Egyesült Államokban működő etikai bizottságnak, ami engedélyezi az RCT-t, vajon milyen felhatalmazása van erre? Ezen az sem változtat, hogy jellemzően a helyi hatóságok és/vagy egyetemi etikai bizottságok engedélyére is szükség van a kísérlethez.[1]
Összességében véleményem szerint az RCT-k rendkívül hasznos eszközt jelentenek fontos közgazdasági és társadalomtudományi kérdések megválaszolásához, azonban ahogy Angus Deaton megfogalmazta, ezek sem járnak egy ajándék „get out of jail free” kártyával, nem úgy, mint a Monopoly társasjáték. Érdemes tehát helyén kezelni ezt a módszert, minden előnyével és hátrányával együtt.
Gánics Gergely
Hivatkozások
Banerjee, A., E. Duflo, R. Glennerster, & C. Kinnan (2015), The Miracle of Microfinance? Evidence from a Randomized Evaluation, American Economic Journal: Applied Economics, 7 (1), pp. 22-53, https://www.jstor.org/stable/43189512
Deaton, A. (2020), Randomization in the Tropics Revisited: a Theme and Eleven Variations, NBER Working Paper No. 27600, https://www.nber.org/papers/w27600
Miguel, E. and Kremer, M. (2004), Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities. Econometrica, 72 (1), pp. 159-217, https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1468-0262.2004.00481.x
Young, A. (2019), Channeling Fisher: Randomization Tests and the Statistical Insignificance of Seemingly Significant Experimental Results, The Quarterly Journal of Economics, Volume 134 (2), pp. 557–598, https://doi.org/10.1093/qje/qjy029
[1] Bursztyn és szerzőtársai 2020-as tanulmányukban (Persistent Political Engagement: Social Interactions and the Dynamics of Protest Movements) Hongkongban a rendszeres július elsejei felvonulásra buzdítottak véletlenszerűen kiválasztott egyetemi hallgatókat 2017-ben és 2018-ban. Bár ezek a felvonulások békések voltak, a Kínai Kommunista Párt egyre növekvő befolyással bír a városállam életére, és így komoly aggályokat vetett fel bennem, hogy vajon etikus volt-e kitenni a hallgatókat egy ilyen kockázatnak. A tanulmány elején olvasható az engedélyező etikai bizottságok listája – ők nem osztották az aggodalmaimat.
Főoldali kép forrása: pixabay.com
