„Mi lett volna, ha…?” – a kérdés, ami a történészek számára tabu, a szakpolitikák értékelésének viszont a kulcsa. Ehhez az alternatív történelemhez képest tudjuk ugyanis megmérni a szakpolitika hatását. A poszt első részében megmutattam, hogy egy kontrollált kísérletben a randomizált kontroll csoport imitálja ezt az alternatív valóságot.
Egy szakpolitikát azonban jellemzően nem kontrollált kísérletként vezetnek be. Ilyenkor nem áll rendelkezésre a randomizált kontroll csoport. Pedig a szakszerű vizsgálathoz továbbra is kulcskérdés megválaszolnunk, hogy mi lett volna, ha nem történik meg a vizsgált beavatkozás, mert ehhez képest tudunk csak mérni. Az erre a kihívásra kifejlesztett megoldási stratégiákat mutatom be a poszt második részében az első részben is használt „mérsékli-e a recessziót egy bértámogatási program?” példáján keresztül.
Ha az élet nem szolgáltatott kontroll csoportot, készíts magadnak!
Ezen a csodálatosan lényegre törő felismerésen alapulnak a matching és a synthetic control method módszerei. Hogyan készítsünk kontrollt? Keressünk olyan „nem kezelteket,” amelyek a legjobban hasonlítanak a kezeltekhez! A bértámogatást bevezető gazdaságokhoz például hasonlóan fejlett, hasonló iparági szerkezetű, munkapiaci intézményekkel bíró nem kezelteket érdemes keresni. Fontos, hogy a beavatkozás előtti hasonlóságok alapján készítsük el ezt a kontrollt, hiszen azt az alternatív valóságot szeretnénk vele reprezentálni, ami akkor lett volna, ha nem történik meg a beavatkozás.[1]
- Matching. A kezelt csoportunkban lévő megfigyelésekhez egyenként párosítunk nem kezelt megfigyeléseket hasonlóság alapján. Vesszük tehát a bértámogatást bevezető gazdaságokat és keresünk hozzájuk hasonló, de a bértámogatást be nem vezető gazdaságokat. Így készíthetjük el a kontrollcsoportunkat.[2]
- Synthetic control method. Ha arra vagyunk kíváncsiak, hogy konkrétan a román bértámogatási programnak mi volt a hatása a román növekedésre, akkor egyetlen kezeltünk van. Ezzel a módszerrel ehhez az egyetlen kezelthez készíthetünk egyetlen szintetikus kontrollt. A „szintetikus” Románia a bértámogatást be nem vezető országok súlyozott átlagaként készítjük úgy, hogy a beavatkozás előtti jellemzőiben a lehető leghasonlóbb legyen a valódi Romániához. Úgy is tekinthetünk erre a módszerre, mint a matching makroökonómiai megfelelőjére.[3]
A kontroll kialakítása után a hatás a különbségek-különbsége módszerével határozható meg, mint a kontrollált kísérlet esetén is. Magyarul: összehasonlítjuk, hogy a vizsgált változó mennyit változott a kezelt és a kontroll csoportban, és a két változás különbségét tulajdoníthatjuk a kezelés hatásának.
Ez nagyszerű! De mit lehet tenni, ha nem mérhető tulajdonságok szerint lenne fontos hasonló megfigyeléseket találni? Például hogyan mérjük meg a fekete jövedelmeket? Egészen másképp működhet egy bértámogatási program ott, ahol a fizetések egy része borítékban érkezik. Ezeknek a kontrollgyártó eljárásoknak ezt a korlátját fontos szem előtt tartani a gyakorlatban. Szerencsére vannak további lehetőségeink is.
Van úgy, hogy egy határ egyik oldala csaknem pont olyan, mint a másik
Erre a felismerésre alapoz az event study és a regression discontinuity design is. Egy beavatkozás jellemzően egy éles határ időben és sokszor más dimenziókban is. Jól elképzelhető példa Berlin kettévágása a 60-as években.
Egy bértámogatási programnak is van például egy konkrét kezdete, vagy lehet, hogy mondjuk csak egy bizonyos cégméret felett vehető igénybe. Ha ez a határ egy egységes csoportot vág ketté, mint a berlini polgárok, akkor ez tekinthető egy természetes kísérletnek. Azaz a kezelésből éppen kimaradók kellően hasonlóak a kezelésbe éppen bekerültekhez, hogy azt mondhassuk, ez olyan, mint egy randomizált laboratóriumi kísérlet.
- Event Study. Kellően jó felbontású (például napi vagy még gyakoribb) adatok esetén elég közel tudunk kerülni egy beavatkozás pillanatához, hogy a beavatkozás környéki megfigyelések változását a beavatkozás dominálja. Arra alapozunk, hogy beavatkozás nélkül minden pontosan úgy történt volna, mint azt közvetlenül megelőz időszakban. Egy bértámogatás GDP-re gyakorolt hatását ilyen módszerrel nem célszerű megmérni, mert a GDP adatok legfeljebb negyedéves gyakoriságúak. De például egy kamatdöntés árfolyamra gyakorolt hatása már lehet így is.[4]
- Regression Discontinuity Design. Ha a bértámogatás például csak egy bizonyos cégméret, mondjuk 10 fő felett vehető igénybe, akkor a pont lemaradó 8-9 fős cégek még kellően hasonlóak a már éppen bekerülő 10-11 fős cégekhez, hogy azok kontrolljaiként használhassuk őket. Ilyen szakadási pontok elég sok szakpolitikai beavatkozásra jellemzőek, ezért ez egy igen elterjedt stratégia ezek értékelésére.[5]
A matchinghez és a synthetic control method-hoz képest ezeket az eljárásokat nem korlátozzák a nem megfigyelt különbségek, hiszen a kezelt és a kontroll hasonlóságát azok közelségére alapozzuk. Ez növeli a meggyőző erejüket, viszont csak akkor alkalmazhatóak, ha a beavatkozás létrehoz ilyen éles határokat.
Így találhatunk rá a szakszerű válaszokra
Mindegyik bemutatott stratégia azt a két csoportot keresi, amelyek között az egyetlen domináns különbség, hogy az egyik csoporton végrehajtották a vizsgált szakpolitikát, míg a másikon nem. Két ilyen csoport összehasonlítása adja meg ugyanis a szakszerű választ minden olyan kérdésre, ami úgy hangzik, hogy „mi a hatása ennek vagy annak az intézkedésnek?” Ezért, ha valaki olvasóként efféle kérdésekre szakszerű választ keres, helyesen teszi, ha az ebben a szellemben megírt tanulmányokra alapoz.
Rácz Olivér
Vezető közgazdasági elemző, MNB
Rácz Olivér 2009-ben végzett a Budapesti Corvinus Egyetemen. Még abban az évben elkezdett dolgozni a Magyar Nemzeti Bankban, a Közgazdasági főosztályon munkaerőpiaci elemzőként. 2014-ben kezdte el PhD tanulmányait a Közép-európai Egyetemen, 2015-től három évig a PADS/PADE alapítvány ösztöndíjasa volt. 2019-ben egy trimesztert a Cambridge-i egyetemen töltött vendég phd hallgatóként. Kutatási területe a termelési-hálózatok (production networks).
A poszt első rész itt olvasható.
Hivatkozások:
Abadie, A., Diamond, A., & Hainmueller, J. (2010). Synthetic control methods for comparative case studies: Estimating the effect of California’s tobacco control program. Journal of the American statistical Association, 105(490), 493-505.
Angrist, J. D., & Pischke, J. S. (2008). Mostly harmless econometrics: An empiricist’s companion. Princeton university press.
Ball, R., & Brown, P. (1968). An empirical evaluation of accounting income numbers. Journal of accounting research, 159-178.
Card, D., & Krueger, A. B. (1994). Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania. The American Economic Review, 84(4), 772-793.
[1] Ha ugyanis a kezelés utáni hasonlóság alapján választunk kontrollt, akkor a különbségek-különbsége kiszámolásakor ezt a kiválasztási hatást nem fogjuk tudni elválasztani a beavatkozás hatásától. Ezt pedig nem szeretnénk.
[2] Többféle ilyen párkereső eljárás létezik, a legelterjedtebb az úgynevezett propensity score matching.
[3] Abadie és szerző társai 2010-es cikkükben azt vizsgálták, hogy a kaliforniai dohányzást korlátozó intézkedések hogyan hatottak a dohánytermékek fogyasztására. Ez az egyik legjellemzőbb példa a synthetic control method gyakorlati alkalmazására.
[4] Ennyire jó felbontású adat a pénzügyi piacokon jellemző, ezért ez a stratégia inkább a pénzügyekben elterjedt. Lásd például Ball és Brown (1968) úttörő tanulmányát.
[5] Lásd például Card és Krueger (1994) tanulmányát.
Főoldali kép forrása: pixabay.com
“Hogyan értékeljünk gazdaságpolitikát szakszerűen? (2. rész)” bejegyzéshez egy hozzászólás
Hozzászólások letiltva.