A legtöbb fejlesztési program műszerfala azt mutatja, mennyit költöttünk, és mit értünk el. Azt azonban nem, hogy marad-e valami a programból, amikor a támogatás megszűnik.
Ezért előfordulhat, hogy két, valójában teljesen eltérő program éveken át ugyanúgy néz ki a kimutatásokban. A különbség csak akkor válik nyilvánvalóvá, amikor már nincs lehetőség irányt váltani.
A felzárkózási és fejlesztési programokat ma szinte kizárólag ráfordítási és kimeneti mutatókkal értékeljük: mennyi forrást használtak fel, hány embert képeztek, hány munkahelyet, szabadalmat és projektet hoztak létre. Ezek fontos mutatók, pontosan mérhetők, és szakszerűen gyűjtik őket.
Van azonban egy olyan mennyiség, amely hiányzik a műszerfalról: a helyi tudás-visszaforgás képessége. Vagyis az, hogy a program által létrehozott tudás képes-e önállóan új értéket termelni, miután a külső támogatás megszűnt.
Ez nem adatgyűjtési hiba, ugyanis a jelenlegi mutatók természetéből következik. Két program minden hagyományos mérőszám szerint teljesen azonos képet mutathat, miközben az egyikben a tudás a külső szállítónál koncentrálódik, a másikban pedig a helyi közösségben válik önfenntartóvá.
A különbség akkor válik láthatóvá, amikor a támogatás véget ér és a korábban felhalmozott erőforrások elfogynak, ugyanis ettől kezdve már nem az látszik, mit épített a program, hanem az, hogy képes-e nélküle is tovább épülni.
Fantom mérés: a mutató pontosan mér valamit, miközben az a mennyiség, amin a döntés múlik, nincs benne.
A felzárkózás-kutatás ugyanezt a hézagot a másik oldalról közelíti meg: a felzárkózás nem import kérdése azt kérdezi, mi marad az importált szereplő távozása után, ez az oldal pedig azt, hogy a mérés miért nem mutatja meg időben.
Két program tíz éven át azonos támogatást kapott, és minden bevett mutatón azonos értéket produkált. Az egyik a támogatás megszűnése után egy évtizeddel is működik, a másik három éven belül leállt. Válassz, mielőtt továbbolvasol.
Az adat nem hiányos, és a kérdés sem beugratás: ezek azok a mutatók, amelyeken a támogatási döntés, a félidős értékelés és a záró jelentés ténylegesen nyugszik. A következő szakaszban megpróbálhatod mégis szétválasztani őket.
Súlyozd az öt bevett mutatót úgy, ahogy jónak látod. Az összetett index mindkét programra kiszámolódik a 10. évben, a harmadik szám pedig a kettő távolságát mutatja.
Semmilyen súlyozás nem választja szét őket, mert a két program mind az öt mutatón azonos értéket hordoz. Az összetett index nem tud visszanyerni olyan információt, amely egyik összetevőjében sincs benne, és ez attól függetlenül áll fenn, hogy mennyire kifinomult a súlyozási séma.
A támogatás tíz éven át fut, és a 10. évben megszűnik. Figyeld meg, mit csinálnak a bevett mutatók a 11. és 12. évben: mindkét programnál tovább emelkednek, mert a már finanszírozott projektek befejeződnek, a korábban benyújtott szabadalmakat pedig megadják. Ez a késleltetés az oka annak, hogy a kudarcot rendszerint két évvel később veszik észre.
Semmi nem volt elrejtve. A megmaradás-mutatók az első évtől rögzítve voltak, és bárki számára elérhetők, aki kérte őket. Az értékelésnek nem képezték részét, ezért nem nézett rájuk senki.
A minta nem sajátja a fejlesztéspolitikának. Megjelenik mindegyik keretben, amely a képességet írja le, és mindegyikben más nevet visel, ami részben magyarázza, miért ismerik fel ritkán egyetlen problémaként.
Absorptive capacity. Cohen és Levinthal megfigyelhetetlen szervezeti képességként határozzák meg a fogalmat, az empirikus munka viszont K+F-intenzitással, doktori létszámmal és szabadalomszámmal méri. A konstrukció kumulatív és viszonyjellegű, a mérőszám pedig ráfordítás.
Dynamic capabilities. Itt tautológia-kifogásként bukkan elő: a jól teljesítő cégnek van dinamikus képessége, és onnan tudjuk, hogy van neki, hogy jól teljesít. Független mérés hiányában a képességet az eredményből következtetik vissza.
Smart specialisation. A keret magja az entrepreneurial discovery process, amely definíció szerint viszonyjellegű, az értékelés viszont allokált forráson, elindított projekten és létrehozott munkahelyen fut. Az a mechanizmus, amelyen a keret nyugszik, éppen az, amit nem mérnek.
Economic complexity. Ez a keret részben kicsúszik alóla, mert a képességet abból következteti, ami ténylegesen létrejön, nem abból, amit beletettek. Cserébe csak azt látja, ami megjelenik a kereskedelmi adatban, tehát az intézményi és viszonyréteg a látóterén kívül marad.
A méréselmélet évtizedek óta ismeri ennek az általános változatát konstruktumérvényesség néven, Marilyn Strathern Goodhart-törvény-megfogalmazása pedig az ösztönzési következményét írja le. A védhető állítás ezért szűkebb: ez a jól megalapozott módszertani kritika nem jut át a fejlesztéspolitika gyakorlatába, tehát olyasmi marad láthatatlan a döntés helyén, amit egy másik szakirodalom régóta ért.
A kritika régi, a helyettesítő mérték az, ami új lehet. A megmaradás-mutató arra kérdez rá, mi folytatódik a támogatás nélkül, nem arra, mi keletkezett vele. A fenti modell négyet használ közülük, és mind a négy visszamenőleg is alkalmazható lezárt programokra.
Mind a négyben közös egy tulajdonság, amely elválasztja őket a bevett készlettől: azt mérik, ami túléli a kivonulást, tehát nem elégíthetők ki ráfordítással. A Goodhart-hatásnak ugyanúgy ki vannak téve, mint bármely mutató, és ezt a korlátot érdemes kimondani ahelyett, hogy elfednénk.
Mérhető-e a megmaradás a program futása közben úgy, hogy a mérés maga ne váljon céllá?
Ez konstruált modell, nem empirikus adat. A két programot úgy definiáltuk, hogy a támogatási időszakban mind az öt bevett mutatón azonos legyen, ezért nem választja szét őket semmilyen súlyozás. A 03. szakaszban bemutatott lehetetlenség ebből a konstrukcióból következik, tehát a modell tulajdonsága, nem a világról szóló megállapítás.
A mögötte álló empirikus állítás gyengébb, és külön mondjuk ki: a helyi visszaforgásban lényegesen eltérő programok gyakran hasonló értéket produkálnak a bevett mutatókon, és ez a hasonlóság az, ami a korai felismerést meghiúsítja. Ennek az állításnak a tesztelése kivonulás utáni követéssel rendelkező, lezárt programokat igényel, ami ennek a darabnak a kutatási folytatása, nem a része.