pienen pojan käsivartta mitataan
International Rescue Committeen henkilökunta mittasi 7-vuotiaan Ngikadelio Ngikenyn käsivartta Pohjois-Keniassa maaliskuussa 2017. Mittaus liittyi aliravitsemusta torjuvaan hankkeeseen.
Kuva:
Russell Watkins
DFID
Uutistausta

Voiko kehitysyhteistyön tuloksellisuutta testata kuin uutta lääkettä?

Kehitysyhteistyöhankkeiden tuloksellisuuden mittaamisessa yleistyneet RCT-tutkimukset eli satunnaistetut, kontrolloidut tutkimukset ovat kiistakapula, joka jakaa tutkijat kahteen leiriin.
Ruut Tolonen
30.8.2018

Heinäkuussa The Guardian julkaisi 15 huippuekonomistin – mukana kolme talousnobelistia – kehitysyhteistyötä koskevan yhteiskirjoituksen. Allekirjoittajiin kuuluvan professori Barbara Harris-Whiten mukaan avoin kirje kumpusi turhautuneisuudesta, jota RCT-tutkimusten yleistyminen kehitysyhteistyön tulosten mittaamisessa taloustieteilijöissä synnyttää.

Kehitysyhteistyön tuloksellisuutta selvitetään säännöllisillä evaluaatioilla. Tutkimusmenetelmät ovat pääsääntöisesti laadullisia, mutta viime vuosikymmeninä jalansijaa on saanut myös RCT-tutkimus eli satunnaistettu, kontrolloitu vertailututkimus.

Esimerkiksi Maailmanpankki on tehnyt satunnaistettuja vertailukokeita ja pitää niitä toimivana tapana saada uskottavaa näyttöä hankkeiden onnistumisesta.

Trendille on syynsä. Guardianiin kirjoittaneiden taloustieteilijöiden mukaan kehitysyhteistyön rahoittajat ja kehitysyhteistyöbudjettien suuruudesta päättävät poliitikot haluavat entistä vankempia todisteita siitä, että tuloksia syntyy. MIT:n professori Esther Duflo on jopa ehdottanut, että Ranskan tulisi ottaa satunnaistetut vertailukokeet kehitysyhteistyöbudjettinsa perustaksi.

”Avun tehokkuuden” vaatimus on johtanut siihen, että satunnaistettuja vertailukokeita on kirjoittajien mukaan käytetty selvittämään keskenään hyvin erilaisia kehityshankkeita vedenpuhdistustablettien käytöstä mikroluottoihin sekä talousluentojen hyödyllisyydestä opettajien suorituspalkkioiden vaikutuksiin. 

Lääketeollisuudesta tuttu menetelmä

Metodina satunnaistettu, kontrolloitu tutkimus on valtaosalle ihmisistä tuttu lääketeollisuudesta, missä sitä käytetään uusien lääkkeiden testaamiseen.

Tutkittavan asian tehoa selvitetään kokoamalla kaksi keskenään samankaltaista, satunnaisesti koostettua ryhmää, joista toiseen kohdistetaan muutos ja toiseen ei.

Tämän jälkeen ryhmiä verrataan keskenään. Tuloksena saadaan mustaa valkoisella siitä, miten muutos vaikuttaa – jos vaikuttaa.

Kehitysyhteistyöpiireissä satunnaistetut vertailukokeet jakavat akateemisen maailman kahteen leiriin. Osa tutkijoista puolustaa metodia kiivaasti ja katsoo, että sen avulla saadaan kiistatonta faktaa siitä, mikä kehitysyhteistyössä toimii. Satunnaistettuja vertailukokeita on tehnyt tunnetuksi etenkin MIT:n yliopiston J-PAL-tutkimuslaitos.  

Toinen puoli tutkijoista kyseenalaistaa koko menetelmän ja sen soveltuvuuden kehitysyhteistyökentälle. Suosituin vasta-argumentti liittyy tulosten yleistämisen ongelmaan: Koska ihmiset ovat biologialtaan samanlaisia, lääketesteistä tehdyt päätelmät voidaan ulottaa koskemaan kaikkia ihmisiä. Vastaavaa yleistystä ei kuitenkaan voi tehdä ihmisten käyttäytymisen suhteen, sillä siihen vaikuttavat esimerkiksi kulttuuriset tekijät.

Yksiselitteisempää tietoa kuin haastatteluilla

Kritiikistä huolimatta satunnaistetuilla vertailukokeilla on paikkansa myös kehitysyhteistyön mittaamisessa. Parhaimmillaan ne tuottavat arvokasta tietoa, jonka ansiosta maailman köyhien asemaa voidaan kohentaa.

Satunnaistettujen kokeiden puolesta puhuvat ainakin seuraavat seikat, pohtii tutkija Terence Wood Devpolicy-blogissa.

  1. Jotta satunnaistettu vertailukoe voidaan toteuttaa, sen pohjaksi tarvitaan laadukasta dataa. Jos ei muuta, sellaisten tekeminen pakottaa hankkeiden suunnittelijat miettimään perusteellisesti, mitä tietoja on syytä kerätä, jotta tulokset voidaan mitata.
  2. Satunnaistettujen vertailukokeiden tulokset ovat yksiselitteisiä. Toisin kuin esimerkiksi haastatteluilla kerätyt tulokset, ne eivät jätä tulkinnanvaraa. Woodin mukaan tästä on etua etenkin silloin, kun suosittuja hankkeita ei haluta lopettaa kuin vain siinä tapauksessa, että hankkeen lopettamisen puolesta on erittäin vahvaa näyttöä, tai toisaalta tapauksissa, joissa hankkeet lopetaan vain siksi, ettei niiden onnistumista pystytä todistamaan.
  3. Satunnaistettu vertailukoe antaa selkeän vastauksen tilanteissa, joissa on epäselvää, onko hankkeen tulos yksin annetun avun ansiota vai edesauttoiko sitä jokin muu seikka, kuten jo ennen hanketta alkanut kehityssuunta.

Onko oikein auttaa vain osaa?  

Satunnaistettujen kokeiden kannattajat sanovat itsekin, ettei tutkimusmenetelmä sovi kaikkien kehitysyhteistyöhankkeiden evaluointiin. Esimerkiksi suuria infrahankkeita, kapasiteetin vahvistumista tai kansallisen politiikan muuttumista ei voida arvioida satunnaistetuilla vertailukokeilla.

Tämän ohella tutkimusmetodissa on muutama yleisempi haaste.

  1. Kehitysyhteistyön näkökulmasta vahvin argumentti satunnaistettuja vertailukokeita vastaan on niiden eettisyys. Jos käytössä on summa, jolla voidaan auttaa kaikkia tarvitsevia, onko oikein jakaa samassa tilanteessa olevat ihmiset kahteen ryhmään, joista vain toista autetaan? Toisaalta kysymys on lähinnä teoreettinen, sillä yleensä tukea ei riitä jokaisen auttamiseen ja etukäteen tiedetään harvoin, mikä todella toimii, Terence Wood arvioi. Maailmanpankin entinen pääekonomisti Martin Ravallion on toista mieltä: "Randomistat (satunnaistettujen kokeiden kannattajat) varmasti liioittelevat tietämättömyyttämme siitä, mikä toimii taistelussa köyhyyttä vastaan. Tiedämme esimerkiksi, että matolääkkeet toimivat lähes aina."
  2. Satunnaistettujen vertailukokeiden tulokset ovat yleensä kontekstisidonnaisia. Intiassa menestynyt hanke ei välttämättä onnistu Papua Uudessa-Guineassa. Lisäksi satunnaistettujen kokeiden kautta ei päästä kiinni siihen, mitkä tekijät vaikuttivat onnistumiseen tai epäonnistumiseen. Tästä johtuen tuloksista on vaikeaa tai mahdotonta tehdä yleisempiä johtopäätöksiä.
  3. Satunnaistetut kokeet saattavat johtaa ajattelutapaan, jossa kapeaan näkökulmamme vuoksi oletamme tietävämme tutkittavia paremmin, mitkä heidän suurimmat ongelmansa ovat, pohtii Princetonin yliopiston vierailijaprofessori Jeffrey Hammer. Satunnaistetun kokeen tulokseksi voidaan saada vaikkapa tieto, etteivät tutkittavat ihmiset säästä riittävästi. Mutta jos tutkitaan vain säästämistä, tutkijoilta saattaa jäädä huomaamatta, että ihmiset haluavatkin käyttää rahaa lastensa koulutukseen tai monipuolisempaan ruokaan. Jos tuloksen perusteella kehotamme tutkittavia säästämään aiempaa enemmän, teemme heille karhunpalveluksen.

Palataan vielä 15 taloustieteilijän kirjoitukseen. Heidän mielestään se, että keskitymme enenevässä määrin vaatimaan näyttöjä mikrotasolla tehtävien hankkeiden tehokkuudesta, harhauttaa näkemästä isoa kuvaa.

Vaikka yksittäiset hankkeet tuottaisivat hyviä tuloksia, ne eivät yleensä pure todella merkittävien ongelmien kuten köyhyyden, epätasa-arvon ja ilmastonmuutoksen juurisyihin.

Näiden selättäminen vaatii kokonaisten yhteiskuntajärjestelmien ja maailman talousjärjestelmän muuttamista  – ei lisää satunnaistettuja vertailukokeita.