Je činnost mojí neziskovky opravdu prospěšná?

Spousta nevládních neziskových organizací čelí této nepříjemné otázce. V tomto článku se podíváme na metody, kterými lze efektivně a objektivně měřit dopady svých aktivit.

April 25, 2017

Spousta nevládních neziskových organizací (NNO) čelí této nepříjemné otázce – po tom, co je veškeré získávání financí, plánování, přímá práce s cílovou skupinou a účetnictví hotové – je činnost mojí neziskovky opravdu prospěšná? A vskutku, článek nedávno publikovaný denníkem „Guardian" zdůraznil, že „pokud chce sektor [neziskových organizací] řádně zlepšovat situaci místní populace, potřebuje zlepšit metodiku získávání důkazů o dopadu svých programů". Mimo to, také dárci požadují víc a víc důkazů o tom, jaký prospěch nezisková organizace doopravdy má. A tyto požadavky nejsou jen od těch největších mecenášů, ale také od lidí, kteří přispívají podstatně menšími částkami.

Tento článek je určen pro ty z Vás, kteří pracují v oblasti rozvoje, konkrétně pro ty, kteří nestudovali podrobnosti ekonomiky a statistiky, ale chtějí jednoduše a spolehlivě zjistit prospěšnost svojí práce. Samozřejmě, že jsou na toto téma napsané celé knihy, nicméně, tento článek uvádí pro začátek pár jednoduchých principů. 

Většina neziskových organizací uspívá v měření výsledků své práce sledováním těch, komu je podpora určena, což je krok správným směrem. Ale abychom mohli změřit tento výsledek přesně, potřebujeme více, než pouze sledovat příjemce pomoci. Klíčem k měření opravdových výsledků je tzv. „kontrafaktuál", neboli to, co by se příjemcům stalo, kdyby program neexistoval po dobu, kdy jím byli podporováni. Přesné měření výsledků je v podstatě celé o nacházení dobrých kontrafaktuálů.

Zamysleme se nad dvěma běžnými metodami, které neziskové organizace používají k odhadování prospěšnosti programů. 

1. Před a po

Jedna z metod odhadu prospěšnosti programu je srovnávání údajů o příjemcích před začátkem a po skončení programu. Ve studii Před a po se předpokládá, že pokud by program neexistoval, příjemci by zůstali ve stejné situaci jako před jeho začátkem. Tato situace před začátkem je v tomto případě předpokládaným kontrafaktuálem. 

Problém je v tom, že situace lidí se časem mění, a to z různých důvodů. Analýza Před a po nedokáže rozlišit změny, které by se staly tak jako tak, bez ohledu na přítomnost programu, od těch, které jsou programem zapříčiněné. Vezměme si například, že se celková ekonomická situace se bude zlepšovat v průběhu určité neziskové intervence. Pak spousta výsledků přičítaných tomuto programu bude pouze výsledkem obecného ekonomického zlepšení. Něco takového se stalo nedávno při vyhodnocování prospěšnosti hotovostních transferů v Tanzanii. Lidé, kteří dostali hotovost výrazně zvýšili konzumaci potravin (hurá!). Ukázalo se však, že jiní, kteří nedostali hotovostní transfer, zvýšili spotřebu jídla úplně stejně. V tomto případě, Před a po studie nadhodnotila prospěšnost práce organizace.


Tanzanie: srovnání spotřeby domácností, které dostali hotovostní podporu, před programem a po programu. Toto srovnání bylo zavádějící, protože domácnosti bez hotovostních transferů také zvýšily svoji spotřebu.




Naopak, věci se mohly obecně zhoršit. V takovém případě byste analýzou Před a po podcenili prospěšnost programu. V Nikaragui se konal podobný program hotovostní podpory během hospodářského útlumu. Spotřeba účastníků vzrostla, zatímco spotřeba ostatních lidí klesla. Pozorované mírné zlepšení úrovně konzumace účastníků by tedy značně podcenilo jako celkovou prospěšnost programu.

Co více, lidé se někdy zapojují do programů NNO tehdy, když se jim otevřou určité možnosti – například nová příležitost investovat do slibného podniku ovlivní rozhodnutí člověka požádat o mikroúvěr. Člověk v takovéto ekonomicky pozitivní situaci bude alespoň o něco finančně úspěšnější bez ohledu na to, jestli mu NNO podá pomocnou ruku nebo ne. Nedávný výzkum ukázal, že přibližně tři čtvrtiny zjevného dopadu mikrofinancí jsou optickou iluzí analýz Před a po. Stručně řečeno,studie Před a po nevytvářejí platný kontrafaktuál, a proto si nemůžeme být jistí, zdali to, co měří, je opravdová prospěšnost programu. 

2. Příjemci a nepříjemci

Neziskové organizace také někdy měří prospěšnost programů srovnáváním příjemců programu s těmi, kteří se z programu nebenefitují. V tomto případě podmínky nepříjemců představují kontrafaktuál pro příjemce. Ani údaje od nepříjemců však nevytvářejí platný kontrafaktuál. Nepříjemci mohou postrádat některé ze skrytých vlastností, které přiměly příjemce stát se součástí programu (tzv. samovýběr). A protože tyto skryté vlastnosti (například motivace) mohou být souvztažné se samovýběrem, analýza Příjemců a nepříjemců může přecenit prospěšnost programu. Jiné vlastnosti mohou mít negativní vztah k samovýběru - například, když někdo žádá NNO o podporu v době krize. Tehdy je účinek programu podceněný. V každém případě, toto srovnávání odhaduje prospěsnost programu, s velkou pravděpodobností, chybně. Určování účinků programu Vaší organizace porovnáváním příjemců s nepříjemci pravděpodobně tedy povede k zavádějícím výsledkům.

Jak je naznačeno, obě výše zmíněné metody poskytují výsledky, které jsou kombinací skutečných výsledků programu a vnějšího vlivu, který s programem nemá co dělat. Toto můžeme vidět na následujícím obrázku, kde přičteme a odečteme kontrafaktuál od pozorovaných výsledků, které jsou získané výše zmíněnými metodami. 




Jak ale naleznete platné kontrafaktuály? To je přesně ten trik, který stojí za všemi dobrými studiemi prospěšnosti.

 Obecným principem pro generování platných kontrafaktuálů pro práci Vašich organizací je pokusit se vytovořit skupinu nepříjemců, která statisticky replikuje vlastnosti příjemců (jak pozorovatelné, tak nepozorovatelné). Několik dobrých způsobů, jak to udělat, je prostřednictvím

  • vložení experimentu náhodného rozdělení do relativně normálního rozsahu Vaší práce, 
  • použití limitu způsobilosti, který používáte k výběru příjemců a vytvoření kontrafaktuálu kolem této mezní hodnoty, a
  • kombinace metod Před a po a Příjemci a nepříjemci – tento způsob evaluace se nazývá Rozdíly v rozdílech. 

Zde uvádíme několik příkladů výše zmíněných metod.

Náhodné rozdělení

Předpokládejme, že vaše organizace poskytuje školné pro tanzanijské děti z rodin s nízkými příjmy. Máte k dispozici určité množství prostředků, nicméně s těmito omezenými zdroji, bez ohledu na to, jak moc byste si to přáli, nemůžete pomoci každému dítěti v Tanzanii. Rozhodování v této situaci je v každém případě náročné. Jedním ze způsobů, jak rozhodnout komu pomoct, je prostřednictvím tria „ohodnocení situace + výběr priorit + loterie".

Nejdříve zhodnoťte základní podmínky každého z místních dětí, pro které by program mohl být. Můžete se dívat například na měřítka chudoby domácnosti, rizikovosti prostředí, zdravotního stavu, a podobně. S použitím těchto měřítek seřaďte děti podle toho, jak je pravděpodobné, že jejich rozhodnutí chodit do školy bude záviset na získání dotace na školné. Potom rozdělte děti na tři skupiny: 

  • ty, jejichž rozhodnutí o školní docházce bude téměř jistě ovlivněno dotací, 
  • ty, jejichž rozhodnutí může být ovlivněné stipendiem, a
  • ty, které pravděpodobně nebudou mít nárok na dotaci (buď proto, že budou velmi pravděpodobně do školy chodit, i když dotaci nedostanou, nebo protože školu pravděpodobně navštěvovat nebudou, i když stipendium dostanou). 

Metoda Náhodného rozdělení Vám nejen pomůže změřit prospěšnost programu, ale také ji zvýšit.

Předpokládejme například, že Vaše organizace má dostatek zdrojů pro všechny děti z první výše zmíněné skupiny a že zbylé zdroje stačí jen pro některé děti z druhé skupiny. Pokud se rozhodneme nedotovat děti ze třetí skupiny, je můžeme poskytnout dotaci každému dítěti z první skupiny a zároveň oznámit, že každé dítě z druhé skupiny bude mít stejnou šanci na stipendium – bude vybrané pomocí loterie. Předpokládejme, že 40% dětí z druhé skupiny je vybráno pomocí loterie. Chcete-li změřit prospěšnost Vašeho programu, musíte změřit ukazatele (např. školní docházku, snížení dětské práce, znalosti atd.) těch 40% vybraných dětí ze skupiny 2) a stejného počtu náhodně vybraných dětí ze skupiny 2), které nebyly v loterii vybrány.

Opravdový dopad programu je rozdíl mezi výsledky stipendistů a nestipendistů ze skupiny 2), nejlépe měřený několikrát v různých bodech v čase. Pokud vydělíte tento rozdíl směrodatnou chybou průměru, dostanete hodnotu statistické konstanty t. Pokud je t větší než 1,96, program funguje s 95% jistotou. Tato 95% jistota, že výsledný rozdíl není pouze dílem náhody, je obecně pro statistiky přesvědčivá. 

Jiný druh experimentu Náhodného výběru

Další typ experimentu je ten, v němž některé domácnosti vybrané z množství těch, které splňují kritéria programu, náhodně obdrží informace o stipendijním programu pro děti ve formě pozvánky. Řekněme, že míra odpovědí (poměr počtu rodin, které přihlásí dítě do programu a celkového počtu rodin ve skupině) mezi pozvanými domácnostmi je m a mezi těmi nepozvanými je n (dozví se o programu i bez pozvánky). Pokud jste program dobře propagovali, m by mělo být mnohem větší než n – tak to být musí, aby tenhle výpočet vyšel správně. 

Po určité době změříte prospěšnost Vašeho programu pro všechny členy obou skupin – zvlášť pro skupinu náhodně pozvaných a skupinu nepozvaných. Pokud nazveme průměrný výsledek všech pozvaných M a průměrnou prospěšnost mezi všemi nepozvanými N, pak odhad dopadu programu je (M - N) / (m - n). Opět, pokud tento podíl vydělíte směrodatnou chybou průměru, zjistíte, jestli rozdíl mezi skupinami (určující, jestli program funguje) který pozorujete, není jen náhodou.

Regresní diskontinuita: použití mezní hodnoty způsobilosti

Předpokládejme, že nechcete provádět experiement, a že program přidělujete na základě určitého indikátoru způsobilosti. Například, spravujete

  • zemědělský projekt, který poskytuje osivo každému zemědělci, který má méně než 0,5 čtverečního kilometru pozemků, ale nikoli zemědělci, který má více než tuto půdu, nebo
  • vzdělávací projekt, který poskytuje školní uniformu všem studentům s minimem 80% na závěrečné zkoušce z předcházejícího školního roku, a nebo
  • projekt snižování chudoby, který poskytuje balíček podpory domácnostem, které mají méně než pět z deseti věcí, které jsou směrodatné k životní úrovni těchto domácností.

V tomto případě můžete použít tzv. Regresní diskontinuitu. V prvním příkladu, kde poskytujete osivo zemědělcům s plochou menší než 0,5 km2. Samozřejmě, pokud srovnáme zemědělce s velmi malými pozemky, řekněme 0,1 km2 se zemědělci se spoustou pozemků (např. 50 km2), setkáme se se stejným problémem jako u výše uvedené metody srovnávání Příjemců a nepříjemců. Tyto dvě skupiny jsou natolik odlišné ještě před programem, že žádný rozdíl v zemědělských výnosech po ukončení programu nemůže být pravdivě připsán programu.

Zaměřme se na farmáře s 0,4 km2 (který obdrží osivo) a zemědělce s 0,6 km2 (který osivo nedostane). Tito farmáři jsou docela podobní před začátkem programu. V obou skupinách jsou malí farmáři, jen nekteří z nich spadají pod hranici způsobilosti a někteří nad ni. Hodnocení programu srovnáním těch zemědělců, kteří jsou těsně nad hranicí a těch, kteří jsou těsně pod hranicí Vám poskytne mnohem lepší odhad dopadu než obecné srovnání Příjemců a nepříjemců.

Nicméně, že můžeme srovnat tyto dvě skupiny zemědělců blízko hranice způsobilosti neznamená, že jsou tyto skupiny totožné před rozdáním osiva. Zemědělec s 0,6 km2 pozemku může být trochu více podnikavý než farmář s 0,4 km2 (možná je jeho/její podnikavost důvodem, proč má o 0,2 km2 víc). Takže nejlepším způsobem, jak ohodnotit tento program, je udělat jednoduchou regresní analýzu, která Vám umožní matematicky kontrolovat pro rozlohu pozemku každého zemědělce (a i pro jiné proměnné). V případě Regresní diskontinuity je potřeba analyzovat pouze úzký pruh kolem hranice způsobilosti.

Aby však byla metoda Regresní diskontinuity směrodatná, potřebujeme dostatečný počet příjemců a nepříjemců v blízkosti hranice. Mějte také na paměti, že tato metoda pouze ukazuje efektivnost programu pro ty, kteří jsou blízko této hranici. Tudíž, Regrestní diskontinuita například neudává, jak dobře funguje program pro farmáře s mikro-pozemky o velikosti 0,1 km2. Nicméně, farmáři v blízkosti hranice mohou být velmi důležití: pokud uvažujete o rozšíření programu i pro farmáře, kteří mají méně než 0,6 km2, pak pochopení toho, jak dobře funguje program poblíž této hranice, je nejlepší informace, kterou můžete mít.

Rozdíly v rozdílech: kombinace metod "Před a po" a "Příjemci a nepříjemci"

Přestože samy o sobě mají metody Před a po a Příjemci a nepříjemci podstatné nedostatky, jejich kombinace přináší podstatně spolehlivější výsledky. Předpokládejme například, že vedete program, který poskytuje kuřata (na chov, jídlo a prodej) nejchudším domácnostem v určité komunitě. Chcete vědět, zda nejchudší domácnosti mají vyšší příjmy po přijetí těchto kuřat. Samozřejmě, tyto domácnosti nemůžeme porovnávat pouze před a po obdržení kuřat (tím bychom předpokládali, že jejich příjmy by zůstaly stejné, kdyby kuřata nedostaly). A také jistě nemůžeme jednoduše porovnávat příjemce s ostatními členy komunity, kteří nedostali kuřata, protože ti, kteří kuřata dostali, mohou být stále mezi těmi nejchudšími, i když kuřata značně zlepší jejich příjmy.

Metoda Rozdílů v rozdílech zlepšuje výsledky metod Před a po a Příjemci a nepříjemci tím, že kombinuje tyto metody. V této studii se díváte na data o příjemcích před programem a po programu, a na ta samá měřítka o nepříjemcích získaná v těch samých časových obdobích před programem a po programu. Řekněme, že příjmy příjemců programu vzrostou ze 100 pesos na 200 pesos měsíčně a že příjmy nepříjemců také narostou, ze 300 na 350 pesos (ale to jen kvůli příznivým dešťům). Pozorujeme tedy zvýšení příjmů pro příjemce (+100 pesos), ale i pro nepříjemce (+50 pesos). V tomto případě předpokládáme, že změna pro nepříjemce je to, co by se změnilo pro příjemce, kdyby program neexistoval, kontrafaktuál.

Skutečný účinek programu by byl 100 (pozorovaný výsledek) minus 50 (kontrafaktuál), tj. +50 pesos měsíčně. Tato metoda se nazývá Rozdíly v rozdílech, protože měříme rozdíl mezi dvěma rozdíly (rozdíl mezi před a po pro příjemce a rozdíl mezi před a po pro nepříjemce). 

Metoda Rozdíly v rozdílech poskytuje přesné měřítko dopadu pouze tehdy, máte-li dobrý důvod se domnívat, že příjmy příjemců a nepříjemců by v nepřítomnosti programu rostly stejným tempem. Nejlepší způsob jak zjistit, zda je toto pravděpodobné, je podívat se na to, jak rychle roste měsíční útrata pro obě skupiny před zavedením programu.

Co si z článku odnést

Tento článek je pouze ochutnávkou výše uvedených metod. Cílem je ukázat, že nepotřebujete doktorské studium, abyste mohli kvalitně vyhodnotit programy vaší organizace pomocí těchto jednoduchých metod. Pokud se chcete dozvědět více, zde je pro vás několik zdrojů (v anglickém jazyce).

Světová banka publikovala netechnickou knihu o hodnocení dopadu, která je bezplatně přístupná na internetu. Světová banka také publikovala užitečnou knihu, která předpokládá, že čtenář má základní znalosti o regresní analýze: „The Handbook on Impact Evaluation", kterou napsali Sahidur Hkandker, Gayatri Koolwal a Hussain Samad.

Glennerster a Takavarasha dále napsali knihu nazvanou „Running Randomized Evaluations", která je skvělým zdrojem pro provádění randomizovaných experimentů. Organizace „Impact Evaluation Hub" nebo „Inter-American Development Bank" poskytují více informací ohledně metod, kontrolních seznamů a šablon pro každou fázi hodnocení prospěšnosti.



Napsali David Evans a Bruce Wydick. Z anglického originálu přeložila Barbora Hanzalová (Colorado College).

V případě zájmu o odbornou pomoc s měřením dopadů nebo o osobní konzultaci s některým z našich evaluátorů nás kontaktujte.



blog comments powered by Disqus