Tuomarista maailmanparantajaksi: Arvioinnin muuttuva rooli kompleksisessa maailmassa

Kihn, Lili-Anne, Oulas i a, Lasse, Ruohonen, Janne, Rönkkö, Jaakko, U pilainen, Ma i & Wacke , Jani ( oim.), Ta kas us, a ioin i ja al on a mu oksessa. Tampe e: Tampe e Uni e si y P ess, 211–236. h p://u n. i/URN:ISBN:978-952-359-032-8 12 Tuoma is a maailmanpa an ajaksi: A ioinnin muu u a ooli kompleksisessa maailmassa Pe i Uusikylä, Ki si Hyy inen ja Ma i Räkköläinen A ioinnin ooli ja me ki ys o a kiin eäs i sidoksissa poli iikan ja hallinnon oimin a- apoihin sekä a ioin eja ilaa ien ins i uu ioiden iedon a peisiin ja käy ö a koi uk- siin. Tässä a ikkelissa a kas ellaan a ioinnin muu unu a oolia ma kalla posi i- is ises a a ioin ipe in ees ä osallis a aan, almen a aan ja uloksia hyödyn ä ään oimin akul uu iin. Kompleksinen oimin aympä is ö ja a ioinnin koh eena ole ien poli iikkojen monimu kais uminen ja yh eenkie ou uminen o a iime uosina ase a- nee a ioinnille ai an uudenlaisia haas ei a. A ikkelissa hahmo e aan mi en a ioin- i oimin aa ulisi kehi ää, jo a sen kau a oi aisiin löy ää a kaisuja yh eiskunnan pi ullisiin ongelmiin. Samalla myös a ioi sijoiden osaaminen ja kyky hahmo aa no- peas i muu u ia ja keskinäis iippu aisia ilmiöi ä jou u a koe ukselle. A ikkelin lo- pussa esi e ään, e ä a ioi sijoiden ulee ohkeas i osallis ua globaaliin keskus eluun, haas aa mekanis isia ulkin oja, a jo a uusia näkökulmia ja ii ekehyksiä sekä oimia asian un e ina äli äjinä ja uo opuhelun synny äjinä kansalais en, pää öksen eki- jöiden ja muiden globaalia muu os a suun aa ien oimijoiden kesken. A ainsana : a ioin i, oppiminen, sys eeminen näkökulma, kompleksisuus 212 Pe i Uusikylä, Ki si Hyy inen ja Ma i Räkköläinen Johdan o A ioinnilla on keskeinen me ki ys o ganisaa ion oppimisen ukemisessa. Pe in ei- sessä hy än hallinnon a ioinnissa on ymmä e y, e ä kokonais al ainen ymmä - ys o ganisaa ion oppimisen ukemisessa me ki see yksisilmukkaisen oppimisen ( oi- min a) ja kaksisilmukkaisen ( aken ee ) oppimisen lisäksi myös kolma a silmukkaa eli me aoppimisen kykyä ja iedos amis a. Ilmiöiden keskinäis iippu uus ja moninai- suus haas a a apaamme hahmo aa ja ku as i muu u aa maailmaa ja e i yises i si ä, minkälaise jä jes elmä , aken ee ja a a ehdä yh eis yö ä oimi a kompleksisessa maailmassa. Resilienssin me ki ys ko os uu ällaisessa ilan eessa. Ko onapandemia on osoi anu konk ee ises i sen, e ä o ganisaa ioissa esilienssi ei ole ain si ä, e ä e ukä een a audu aan ule aan aan ennen kaikkea se on jä jes elmän kykyä oimia mukau u as i ja ke e äs i yllä ä issä ilan eissa. A ioin i kehi yy ajassa ja on yh- eydessä muuhun yh eiskunnan kehi ykseen sekä oppimis- ja ie okäsi yksissä apah- u iin muu oksiin. A ioinni e oa a oisis aan siinä, mikä on niiden a koi us, mik- si ne ehdään ja mikä on niiden a oi e. A ioinnin mää i elmissä ko os e aan, e ei a ioin i oi olla spon aania pää elyä kokemus en pohjal a, aan sillä on aina ol a a jokin a koi us. Usein mää i elyissä paino e aan, e ä a ioin i on aina myös jollakin a oin hyödyllis ä, käy ännöllis ä, ee is ä sekä a koi uksenmukais a a ioin i iedon käy äjälle, jolloin a ioin ia ehdään jonkin oiminnan edis ämiseksi. Pa i uosikymmen ä si en ehokkuuden ja uo a uuden aa imus sekä nii ä u- ke a uusi julkishallinnon joh amis apa nos i a aloudellise aiku ukse keskeisik- si a ioinnin k i ee eiksi myös julkisella sek o illa. A ioin i oimin a oli kehi yny pi käl i osana ili el ollisuus apo oin ia ja siihen lii y ää mi aamis a. Si ä oli ale u pi ää oimijoiden ja oimenpi eiden olemassaolon oikeu amisen eli legi imoinnin ä- lineenä. Keskeisenä a oi eena oli akuu aa, e ä julkisia a oja käy e ään a koi- uksenmukaises i ja e ä kansalaise saa a as ine a maksamilleen e oeu oille. Jul- kis en a ojen käy ön seu aaminen on e i äin ä keää, mu a anhaan maailmaan so i e u a ioin ikäy ännö ei ä ii ä yhä monimu kais u assa maailmassa. Kapea ili el ollisuusa ioin i ai ulospaino einen a ioin i onkin iime uosina ko au- unu sys eemisellä a ioin inäkökulmalla. Sen a koi uksena on uoda a ioin iin uudenlaisia ulkin akehikoi a ja a ioin ik i ee ei ä, joiden kau a olisi mahdollis a yli ää mekanis inen ja usein odellisuu a liiaksi yksinke ais a a lineaa inen kau- saaliaja elu. Viimeis ään COVID-19-pandemia laajoine yh eiskunnallisine aiku uk- sineen on ha ahdu anu meidä kompleksisen maailman sys eemiseen a kas eluun. Täs ä seu aakin kysymys: mil ä osin ämä näkyy a ioin ipa adigman muu oksena? Ta kas elemme a ikkelissamme a ioinnin mu oskoh ia ja si ä, mi en nämä mu os aihee o a haas anee a ioinnin mene elmien ja lähes ymis apojen kehi - ämis ä. Ensimmäisessä mu os aiheessa (1980- ja 1990-lukujen aih eessa) pe in ei- Tuoma is a maailmanpa an ajaksi 213 nen posi i is inen a ioin ipa adigma alkoi saada haas ajia ah as i osallis a uu a ko os a il a kons uk i is eil a. Ajan myö ä liikaa yh eisen ulkinnan ja osallisuuden syö e eihin uponnu kons uk i ismi sai kui enkin luo u aa ilaa hyödynne ä yy - ä, uloksellisuu a ja aiku a uu a ko os a alle suun aukselle. Tämän ulossuun- au uneen a ioin ipa adigman akana oli a ah as i kansain älise o ganisaa io ku en OECD, Maailmanpankki sekä YK:n alaise jä jes ö . Voimakkaas i osallisuu- een pohjau u aa kehi ä ää a ioin ia, joka äh ää muu okseen, oidaan puoles aan pi ää sii ymänä seu aa aan mu okseen. Ru e iin ko os amaan oppimis a a ioin- neis a ja a ioin ien aikana. Kolmannessa mu os aiheessa sys eemisyys ja ilmiöläh öisyys nos i a pol opis- eeseen monik i ee ia ioinnin, joka in eg oi iin e ilaisiin sys eemisiin lähes ymis- apoihin. Uusimmassa, käsillä ole assa mu os aiheessa myös sys eemis ä lähes y- mis apaa ale aan haas aa liian s aa isena, luonnon ie eis ä omaksu una mallina, ja ilalle a jo aan uudenlais a kompleksisuusa ioinnin käsi eis öä ja ii ekehys ä. A - ioi sijoille kasa aan myös painei a aken aa uudenlaisia kompleksisen jä jes elmän a ioin iin so el u ia malleja ja a ioin iase elmia. Hei ä aadi aan osallis umaan plane aa isiin missioihin ( . Pa onin Blue Ma ble E alua ion) sekä oimimaan glo- baaleissa kehi äjä e kos oissa k ii isinä ääninä. Saa aa olla, e ä olemme sii ynee ai sii ymässä a ioin iaja elussa adap ii i- seen aja eluun, jossa a ioinnin me ki ys näy äy yy nimenomaan osana o ganisaa- ioiden kykyä ah is aa ennakoi as i esilienssiä, jo a niiden oimin a kompleksisissa ja epälineaa isissa kon eks eissa mahdollis uisi. Tili el ollisuuden a ioinnis a oppimisen ja muu oksen ukemiseen A ioinnin pe in eisenä unk iona on pide y ili el ollisuuden a mis amis a eli u- los as uun o eu umisen a ioin ia ja seu an aa. Tällaisen a ioinnin ensisijaisena a- oi eena on ollu näy ää asioiden ila ja osoi aa, mi en ennal a ase e u a oi ee on saa u e u. A ioinnin a koi uksena oi olla myös iedon lisääminen ja ie ope us- an ah is aminen, jolloin a ioinnilla py i ään lisäämään ymmä ys ä a ioi a as a ilmiös ä, sen aus alla aiku a is a ekijöis ä ja sii ä, mi en nämä ekijä , suunni ellu oimenpi ee ja ohjelma lii y ä yh een (esim. Chelimsky 1997; Chelimsky & Shadish 1997; S e n 2005). A ioin i oidaan nähdä myös kiin eänä osana oiminnan kehi ä- mis ä. Tällöin a ioinnin a koi uksena on ukea ins i uu io a ja o ganisaa ioi a ai edis ää ohjelmien ja p ojek ien oimeenpanoa sekä ah is aa a ioinnin koh eiden osallisuu a oman elämänsä pa an amiseen. (Esim. Husen 1999; Pa on 1994, 2002; S e n 2005.) 214 Pe i Uusikylä, Ki si Hyy inen ja Ma i Räkköläinen A ioin i adi ioiden a ioin iase elmissa ilmenee a ioinnin a oi e sekä se, mil- laisin mene elmin a ioin i ie oa hanki aan, millainen on a ioijan eh ä ä ja a ioi- jan ja a ioinnin koh een älinen suhde ja mi en a ioinnin uloksia käy e ään. Va- linna a ioin iase elmissa ilmen ä ä muun muassa si ä, mi en ah as i a ioinnin kohde on osallisena a ioinnissa ja onko a ioin i läh ökohdil aan kon olloi aa ai luo amukseen pohjau u aa. A ioinnin a koi uksen lisäksi juu i a ioin isuh een luonne e o aa e i a ioin i adi io oisis aan (Räkköläinen 2011; Räkköläinen & Räi- sänen 2013). A ioin ipa adigma käsi ää ne k i ee i , joiden pe us eella a ioinnin kysymyk- siä mää i e ään ja ali aan ja mi en nii ä lähes y ään a ioin i eo ee ises i ja me- odologises i. Pa adigma on aikansa ja yh eisönsä uo ama, ja si ä oidaan a kas- ella esime kiksi a ioinnin sukupol ina (esim. Guba 1990; Guba & Lincoln 1989). A ioin inäkemys ku aa muun muassa a ioijien ja a ioin iyh eisöjen käsi ys ä a - ioin i iedon luon ees a, käsi ys ä sii ä, mi ä on mahdollis a ie ää, mi en ie oa uo e- aan ja mi en si ä oidaan käy ää. A ioin inäkemykse kehi y ä , kun syn yy k i- iikkiä aikaisempaa a ioin iaja elua koh aan. Tällöin a ioinnin pe us eissa alkaa syn yä jänni ei ä, jo ka lii y ä e i yises i a ioin i a peen mää i elyyn, a ioinnin a koi ukseen sekä a ioijan ja a ioinnin koh een ooleihin ja niiden keskinäisiin suh eisiin. (Räkköläinen 2011.) Mi aamiseen, ulos a oi eisiin ja ennal a mää i el yihin s anda deihin nojaa- ien ja objek ii isuu a paino a ien a ioin ien jälkeen yhdy iin ko os amaan, e ä a ioin i ie o syn yy a ioijan ja a ioi a an älisessä uo o aiku uksessa, jossa se kons uoidaan aina uudelleen. A ioijakin on silloin oimi a subjek i eikä ulkopuoli- nen, iippuma on a kkailija. A ioijan eh ä änä on oimia oppimisp osessin i i ä- jänä ja keskus elun joh ajana, jolloin a oi eena on e i osapuol en konsensus ja uuden oppiminen. Tämän lähes ymis a an aus alla on ah a kons uk i is inen pa adig- ma, jonka edus aja k i isoi a edellisiä sukupol ia a ioi a an koh een yksipuolis a- mises a ja passi oinnis a. Kons uk i is isessa näkemyksessä paino e iin, e ei odel- lisuus ole objek ii inen eikä yh enäinen, aan siihen aiku a a mone inhimillise , sosiaalise ja kul uu ise seika . (Ks. esim. Guba & Lincoln 1989; Räkköläinen 2011.) Myös käsi ys a ioijan oolis a sekä a ioijan ja a ioinnin koh een älises ä suh- ees a alkoi muu ua, jolloin yhdy iin paino amaan a ioinnin koh een ak ii is a oolia a ioin ien o eu amisessa ja oimaan umis a omassa asiassaan. Osallis umis- a edis ä issä ja oimaannu a issa a ioinneissa keskeiseksi aiku a aksi ekijäksi on näh y luo amus a ioijan ja a ioinnin koh een älillä, koska a ioin iin osal- lis u ien suhde ei pe us u ulkopuoliseen kon olliin, aan yh eis oiminnallisuu een, uo o aiku ukseen ja asa e aisuu een. A ioijan eh ä änä on silloin oimia op- pimisp osessin i i äjänä. Samaan aikaan yhdy iin paino amaan myös kon eks- uaalisen analyysin ja au en isen a ioinnin me ki ys ä e i yises i yössä oppimisessa ja oppi issa o ganisaa ioissa. (Ks. Fe e man 2001; House 1993; 1997; Rossi, F eeman Tuoma is a maailmanpa an ajaksi 215 & Lipsey 1999; Pa on 1994; 1997; 2016; Poikela 2004; Poikela & Räkköläinen 2006: Räkköläinen 2011.) Myös pe in eise käsi ykse a ioin i iedon yleis e ä yydes ä ja a ioin i iedon käy ös ä o a muu unee . Tulos en yleis e ä yyden ja ”objek ii isen” o uuden sijaan uusimmissa kon eks isidonnaisuu a ja osallis umis a paino a issa a ioinneissa ko- os u a e i yises i a ioinnin me ki ys a ioinnin koh eelle ja a ioi a alle asialle sekä a ioin ien hyödyllisyys ja a ioin ien seu aamukse (ks. Pa on 1997 u iliza ion ocused e alua ion ja Fe e mann 2001 empowe men e alua ion). Osallis a assa ja ke- hi ä ässä a ioinnissa ko os u a e i yises i a ioinnin seu aamukse , kun kiinnos- us kohdis uu siihen, mikä me ki ys a ioinnilla on a ioi a alle asialle, esime kiksi oppimiselle. Osi ain k i iikkinä sellais a käsi ys ä as aan, e ä ie o syn yy ain yk- silöllisen ja yh eisöllisen kons uoinnin uloksena, a ioinnissa ah is ui ealis inen lähes ymis apa. Realis isessa a ioinnissa näh iin, e ä objek ii inen ja iedos e a is- sa ole a maailma on olemassa, jolloin on mahdollis a sel i ää myös asioiden odel- linen ila ja jopa kausaalisuh ei a. A ioinnin a koi uksena on ällöin muu okseen aiku a ien mekanismien ymmä äminen. (Esim. An ila 2005; Saa i 2002; ks. myös Kushne 2005.) Tä ä lähes ymis apaa on puoles aan k i isoi u me ki yksen a kas e- lun puu ees a, a ioi a an koh een esineellis ämises ä, alli se ien olojen liiallises a akiinnu amises a ja sii ä, e ei ä a ioinnin ulokse sii y käy ännön a kaisuiksi (ks. esim. Raja aa a 2007; Vedung 1997). Niin sano u eo iape us aise a ioinni ( heo y-based e alua ion, ks. esim. S ame 2004ab) syn yi ä k i iikkinä liian mene elmäpaino eisia a ioin eja koh aan. Teo- ian ko os aminen lii yy myös a oi eeseen ah is aa a ioin ien yleis e ä yy ä ja a ioinneis a oppimis a. Aja uksena on, e ä a ioinneis a on mahdollis a oppia, kun ah is e aan yleis e ä yy ä uo amalla eo ee isia jäsennyksiä a ioi a as a koh ees a, ku en kehi ämisohjelmas a ai uudis ukses a. Samalla oidaan as a a ke- hi ämishankkeisiin usein lii y ään suu een iedon a peeseen. Näin oidaan myös kehi ää eo ee ises i pe us el u akenne, ii ekehys ai p osessi a ioinnin o eu a- miseksi. Liikkumalla eo ian ja empi ian älillä ja muodos amalla hypo eeseja oi- daan yli ää a ioin ien ke aluon eisuus ja ah is aa ulos en kes ä yy ä. Luo issa kehi ämishankkeissa a ioin i oi olla u ki aa oimin aa ja se oidaan nähdä on- gelman a kaisup osessina, joka ukee käy ännön kehi ämis yö ä uo amalla ie oa sii ä, mi en hankkee oimi a , miksi ja missä olosuh eissa (ks. myös An ila 2005). Paino e aessa osallisuu a a ioinnissa a oi eena on ukea ihmisiä ja o ganisaa- ioi a käy ämään a ioin ia hyödyllisenä, käy än öihin aiku a ana yö älineenä. Osallisuuden ja a ioin i iedon käy ön älinen yh eys on kui enkin moni ahoinen ja kysymys hyödyllisyydes ä jänni einen. Kei ä o a ”osallis uja ” ai ”osallise ”? O a ko he a ioinnin ilaajia ja maksajia ai hei ä, joiden oimin aa a ioidaan ai jo ka o a a ioi a ien pal eluiden kohde yhmää ja ”loppukäy äjiä”? Paino e aessa a ioinnin hyödyllisyy ä ja käy ökelpoisuu a oidaan esime kiksi ko os aa, e ä a ioin i on 216 Pe i Uusikylä, Ki si Hyy inen ja Ma i Räkköläinen o eu e a a läheisessä yh eis yössä a ioinnin uloksia käy ä ien, ku en a ioinnin ilaajan ai ahoi ajan kanssa, jo a a ioinnin uloksia ylipää änsä oidaan ja ha- lu aan käy ää (esim. Pa on 1997 u iliza ion- ocused e alua ion). Toisaal a osallis u- mis a oidaan a kas ella a ioijan ja e i in essi yhmien/asianosais en (s akeholde s) älisenä suh eena, jolloin a ioijan ulee olla ie oinen e i ahois a ja sisälly ää a - ioin isuunni elmaan oimenpi ei ä, joilla a mis e aan keskeis en yh eis yö ahojen osallis uminen a ioinnin o eu uksessa. Si en a ioin eihin ulisi osallis ua niiden henkilöiden, joiden oimin aan a ioin i kohdis uu ja joihin uudis us en aiku ukse ulo u a (esim. Rossi, F eeman & Lipsey 1999). Sy äs i osallis a a ja yh eis oiminnal- linen a ioin i oi lisä ä yksilöiden ja yh eisöjen oimaan umis a, apau a, luo uu a ja aiku usmahdollisuuksia. Tällöin a ioin ia ei o eu e a ain hyödyllisen a ioin i- iedon saamiseksi, aan a oi eena on au aa a ioin iin osallis u ia o eu amaan a ioin ia i senäises i, käy ämään a ioinnin uloksia oman asiansa ajamiseen ja muu oksen o eu amiseen, ja näin edis ää yksilöiden ja yh eisöjen aiku usmahdolli- suuksia omaa elämää koske assa asiassa. Voimaannu a aan a ioin iin lii yy olen- naises i ule aisuuden a kas elu ja a oi eiden ase aminen kehi ämis yö ä a en muu os en aikaansaamiseksi (esim. Fe e man 2001; Saunde s 2006). Osallisuuden, a ioin ikoh een ak ii isuuden ja oimaan umisen ah is umi- nen a ioin i adi ioissa me ki see, e ä a ioin iase elmissa ja -jä jes elmissä sii y- ään kon ollis a luo amukseen. Voidaan puhua jopa luo amukseen pe us u as a a ioin i kul uu is a. Osallis umisen sy yyden, luo amuksen ja oppimisen älillä on yh eys. Osallisuus a ioin ip osessin kaikissa aiheissa a ioin i a peen mää i ä- mises ä ja a ioin ikysymys en muo oilus a aina a ioin i ulos en ulkin aan ja käy - öön as i ah is aa luo amus a a ioin isuh eessa, mikä puoles aan edis ää oppimis- a ja a ioin i ulos en käy öä muu os oimana. Luo amus, osallisuus ja osallis a a laadun a mennus aiku a a myön eises i ulos en hyödyn ämiseen ja oppimiseen. A ioin i iedon osu uus, alidi ee i, on me ki yksellisempää oppimiselle kuin kai- ken ka a a läpinäky yys ja yleis e ä yys. Myös liiallinen s anda disoin i ja ulos en kon olli heiken ä ä oppimisen uloksia. (Räkköläinen 2011; Räisänen & Räkköläi- nen 2014; Räkköläinen & Räisänen 2013; ks. myös Ga dne 2006.) Osallisuu a ja oimaan umis a pide ään kehi ä än a ioinnin keskeisinä a oi - eina ja jopa laa u aa imuksina ja äl ämä öminä eh oina. Kehi ä än a ioinnin k i ee inä on, e ei a ioin ia ehdä ain hyödyllisen a ioin i iedon saamiseksi, aan a ioin ip osessin a koi uksena on e i yises i ukea osallis ujia oman oimin ansa kehi ämisessä ja lisä ä heidän aiku usmahdollisuuksiaan omassa asiassaan. Voi- maannu a a a ioin i paino aa sy än ja laajan osallis umisen lisäksi käy ännön elämään aiku amis a ja konk ee is en muu os en aikaansaamis a. Kehi ä ässä a ioin i adi iossa olennais a on, e ä a ioin i on muu os oima ja oppimis a a- pah uu jo a ioin ip osessin aikana. Jopa ili el ollisuus oi olla iisas a (”in elligen accoun abili y”), mikäli se ah is aa luo amus a, edis ää osallis en iden i ee iä ja Tuoma is a maailmanpa an ajaksi 217 au aa ase amaan pi kän äh äimen a oi ei a ja ka somaan ule aisuu een. Tämä muu aa pe in eis ä ili el ollisuuden a ioin isuhde a niin, e ä myös osallise kan- a a as uu a a ioinnis a ja jaka a sen iski a ioi sijoiden kanssa. Voimaannu a- issa, oppimis a edis ä issä a ioinneissa käy e ään iedon uo amiseksi usein i se- a ioin ia ja e lek io a. (C ooks 2002; O’Neil 2002; Räkköläinen 2011; Räkköläinen & Räisänen 2013; Poikela & Räkköläinen 2006; ks. myös Pa on 1997; 2002.) Luo amus ilmenee e i yises i a ioinnin koh een ja a ioijan suh een luon eessa. Luo amus a edis ä ässä a ioinnissa a ioijan ooli muu uu ohjaa aksi eikä äy- dellinen kon olli eikä objek ii isuus (a ioijan ulkopuolisuus) ole mahdollis a, aan myös a ioija on osallisena a ioin ip osessissa. A ioinnin hyödyllisyys ja käy ökel- poisuus edelly ä ä , e ä a ioin i o eu e aan läheisessä yh eis yössä a ioin i iedon uo ajien, a ioinnin koh een ja iedon käy äjien kanssa ja a ioin i kehi ää samal- la a ioi a aa oimin aa. A ioijan eh ä änä on a mis aa sekä a ioinnin koh een osallisuus a ioin ikysymys en ase amisessa e ä a ioin i ulos en oikeudenmukai- nen käy ö. Palau e on olennainen osa kehi ä ää ja luo amus a edis ä ää a ioin ia, ja ihmisillä ulee olla mahdollisuus i se a kis aa ja a ioida iedon luo e a uus. A - ioinnin koh eena ole a o a oman oimin ansa ak ii isia e lek oijia, he o a osalli- sina a ioin ip osessissa ja heillä on siinä as uu a ja aiku us al aa (ks. esim. O’Neil 2002). Luo amus a edis ä ässä a ioin ikul uu issa paino e aan o ganisaa ioiden ja yh eisöjen omaa laadukas a hallinnoin ia eikä niinkään kon ollia ulkoapäin. Tällöin a ioin i a e nousee ja a ioin ikysymykse ase e aan oiminnan sisäl ä. Osallis a- a a ioin i pe us uu yhdessä neu o el uun a ope us aan. (Ks. esim. Räkköläinen 2011.) Osallis a is a ja oimaannu a is a a ioinneis a on sii y y uudelleen paino a- maan a ioin ien ulos en hyödyn ämis ä ja a ioinnin uloksis a oppimis a muu os- oiman läh eenä. Näkemykse sii ä, e ä uu a ie oa an a a a ioin ip osessi on hyö- dyllinen äline pää öksen ekijöiden yössä ja so elle aessa kehi ämis yön uloksia uusissa kehi ämiskoh eissa, o a oimis unee o ganisaa ioiden ah is aessa iedolla joh amis a (knowledge managemen ) ja oppimis a uloksis a (esim. Mayne 2008; 2011; Vähämäki 2017; Vähämäki, Schmid & Molande 2011; Vähämäki & Ve ge 2019). Tiedon uo amisen apana on en is ä useammin i se e lek io ja ak ii inen dokumen- oin i eli a ioinnin kohde i se uo aa a ioin i ie oa ak ii ises i ja sys emaa ises i ja on ah as i osallisena a ioin ip osessissa. Tällöin a ioinnin käy ökelpoisuus (u ili y) a koi aa, e ä a ioin i pal elee käy äjän iedon a pei a ja a ioin i ulokse o a luo e a ia, jo a niiden pohjal a on mahdollis a ehdä muu oksia. A ioinnin o eu amiskelpoisuus ii aa a ioinnin käy ännön o eu amisen jä ke yy een ja ealis isuu een ( . myös Pa on 2002; 2016; Rossi ym. 2005). A ioin ia osana iedolla joh amis a ja uloksis a oppimis a on yhdy y paino - amaa esime kiksi kehi yspoli iikkaan ja kehi ysyh eis yöhön kohdis u issa kehi- yse aluoinneissa (OECD 2016; 2019; USAID 2017; Minis y o Fo eign A ai s o 218 Pe i Uusikylä, Ki si Hyy inen ja Ma i Räkköläinen Finland 2019). Sen lisäksi, e ä a ioin ia pide ään äl ämä ömänä läpinäky yyden ja hy än hallinnoin a mis amiseksi, sillä nähdään ole an ä keä me ki ys demo- k aa is en p osessien edis ämisessä. Usein a ioinnin koh eena on a un, ahoi us- kana ien, hankkeiden, ohjelmien ja aloi eiden ehokkuus ja aiku a uus. Paino us on ollu ili el ollisuudessa sekä poli iikka a oi eiden, s a egisen suunni elun ja pää öksen eon a mis amisessa. Myös näkemys ulospe us aisuudes a ja selkeiden a ioin ik i ee ien a pees a ah is ui aiku a an kehi ysyh eis yön ja sen a ioin- nin pe us ana. Kehi yse aluoinni o eu e aan usein kui enkin hy in kompleksisissa ilan eissa, läpileikkaa ien eemojen ja (polii is en) aa imus en is ipaineessa ja on- gelma o a hy inkin iheliäisiä (wicked p oblems), eikä muu os a ole yksisei eis ä o- den aa. Viime aikoina onkin yhdy y en is ä painokkaammin edelly ämään jälleen a ioinnin hyödyllisyy ä, kehi ä yy ä ja oppimisen mahdollis amis a. Tällöin e a- luoinnin läh ökoh ana on kon eks uaalisuus eli a eläh öisyys ja ulos en so el ami- nen paikallisiin olosuh eisiin. Käy än öyh eisö (communi ies o p ac ice) o a nimi - äin me ki ä iä iedon jalos amisessa, iedon muun amisessa ymmä ykseksi (esim. Bes e 2016; 2008). Myös oppimisen ja ulosohjauksen (ns. esul s-based managemen ) yh ey ä on yhdy y paino amaan kehi ysyh eis yön oimeenpanossa aiku a ien ulos en äl ämä ömänä eh ona (esim. OECD 2014; 2016; 2019). On osoi au unu , e ä e aluoin ien yh eydessä oppimises a puhu aan kui enkin hy in yleises i eikä useinkaan e o ella si ä, kenen oppimises a on kysymys (yksilön, yh eisön ai o ganisaa ion ai kokonais en sys eemien). Usein paino uu myös e a- luoin ien ulos en hyödyn äminen eikä niinkään oppiminen a ioin ip osessissa. Op- piminen mää i ellään helpos i kapeas i ulos en le i ämisenä ja hy ien käy än öjen jakamisena. Lisäksi uloksis a oppiminen on ha oin mielle y ekemällä oppimisena omassa yössä. (Ks. esim. Vähämäki 2017; Vähämäki & Ve ge 2019.) Tämän uoksi monimu kais u issa ympä is öissä muu os a uke aa sys eemis ä ymmä ys ä on ol- lu e aluoinneissa aikea a oi aa. Ulkominis e iö o eu i laaja-alaisen e aluoinnin ie ojoh amises a, uloksis a oppimises a ja oppien hyödyn ämises ä Suomen kehi ys- poli iikassa ja yh eis yössä (Minis y o Fo eign A ai s o Finland 2019). E aluoinnin mukaan a i aan sekä dokumen oi ua e ä hiljais a ie oa uloksis a (mi ä?) ja ulos- en saa u amiseen aiku a is a ekijöis ä (miksi? ja mi en?). Tulos ie o ei si en ole ain indikaa o ei a ja da aa saa u uksis a, aan se käsi ää myös ymmä yksen sii ä, mis ä ulokse muodos u a , mi en ne syn y ä , kei ä on mukana ja mi en niis ä opi- aan. Oppiminen o ganisaa iossa puoles aan edelly ää mo i aa io a, kannus imia, osaamis a sekä mahdollisuuksia ja ins i u ionaalis a kysyn ää uloksis a oppimiselle. E aluoin i oli eo iape us einen, ja se ah is i ymmä ys ä ulosohjaukseen aiku a- is a akenne- ja p osessi ekijöis ä ja au oi selkiy ämään siihen lii y ää käsi eis öä. Kompleksis en sys eemien haas a uus on ohjannu sys eemisen joh amisen mal- leja koh i kes ä ää kehi ys ä. Niissä yksi keskeinen elemen i on oppiminen, mu a muu oksen joh amis a ei nähdä k onologisena p osessina, aan si ou aminen, mo i- Tuoma is a maailmanpa an ajaksi 219 oin i, akuu aminen sekä läpinäky yyden ah is aminen ja ili el ollisuus aa ei- sin as aaminen ois u a siinä usein sykleinä ja e i aihee oi a olla samanaikaisia (esim. D eie , Naba o & Nelson 2019; ks. myös OECD 2019). Seu aa aksi a kas elemme lähemmin a ioinnin mu os a, jossa sii y ään koh i sys eemis ä ymmä ys ä a ioi a is a ilmiöis ä. Muu oksen ukemises a sen sys eemisen ymmä ykseen Jo ensimmäis en a ioin isukupol ien aikana e o el iin käsi eellises i summa ii i- nen, kokoa a a ioin i ja o ma ii inen, kehi ä ä a ioin i. Summa ii inen a ioin i a koi aa aiku us en ja ulos en a ioin ia ja o ma ii inen puoles aan p osessia - ioin ia. Summa ii ise a ioinni o a läh ökoh aises i useimmi en ulkopuolisen a ioi jan ekemiä, kun aas o ma ii ise a ioinni i se- ja p osessia ioin eja. (Ks. esim. Sc i en 1967; C onbach 1982.) Voidaan aja ella, e ä kehi ä ä a ioin i – sellai- sena kuin se alun pe in nousi esiin (Pa on 1994; 1997; 2011) – muo ou ui e äänlaisek- si kolmanneksi a ioin i yypiksi summa ii isen ja o ma ii isen a ioinnin innalle. Si emmin kehi ä ä a ioin i on edelleen kehi yny a ioin iaja eluksi, joka py - kii e i yises i as aamaan a ioinnin haas eisiin monimu kais u assa yh eiskunnas- sa, jo a luonneh i a yh eiskunnan monimu kaise uo o aiku ussuh ee sekä ja ku- a ja nopea muu okse (ks. Todd & Wolpin 2010; Weije ma s & Wesemann 2013). Kehi ä än a ioinnin pääasiallisena a oi eena on yh ääl ä uoda kokonais al ais a ymmä ys ä monimu kaisen maailman ilmiöis ä ja siihen lii y ien e i ekijöiden ja oimijoiden älisis ä monimu kaisis a ja dynaamisis a uo o aiku ussuh eis a. Toisaal a se py kii uo amaan eaaliaikaises i ie oa ja ymmä ys ä yh eiskunnan muu os- ja sopeu umiskykyä ah is amaan. Se nojaa mene elmällises i sekä enna- koin iin, e lek oin iin, sopeu amiseen e ä moninäkökulmaiseen a ioin iin. Nämä lähes ymis a a py ki ä a mis amaan, e ä a ioin i on läh ökoh aises i moninäkö- kulmais a, o aa huomioon usea e ilaise aih oeh oise ule aisuude ja aiku ukse sekä on keskeinen osa s a egis a pää öksen ekoa ja o ganisaa ion oppimis a (Pa on 2011; Hyy inen 2017). A ioin i oimin a on kehi yny edellisessä lu ussa ku a ulla a alla osana ili- el ollisuus apo oin ia ja siihen lii y ää mi aamis a. Siksi sii ä kehi yi uosien saa ossa oimijoiden ja oimenpi eiden olemassaolon oikeu amisen äline. A ioin- neilla py i iin pi kään ennen kaikkea akuu amaan, e ä julkisia a oja käy e ään a koi uksenmukaises i ja kansalaise saa a as ine a maksamilleen e oeu oille. Usein ä ä ku aa a mi a i o a nojannee pe in eisiin uo a uu a ja ehokkuu a ku aa iin mi a eihin. Tili el ollisuus oli pi kään julkisen hallinnon pääasiallinen a ioinnin lähes ymis apa. 226 Pe i Uusikylä, Ki si Hyy inen ja Ma i Räkköläinen Ky key yneisyys ja keskinäis iippu- uus Suu in osa jä jes elmis ä on sisäkkäin muis- sa jä jes elmissä ja mone jä jes elmä o a pienempien jä jes elmien osia. Ta a , joilla jä jes elmän oimija muodos a a yh eyden ja lii y ä oisiinsa, o a k ii isiä jä jes el- män sel iy ymisen kannal a, koska näis ä yh eyksis ä muodos u a oimin amalli ja kaa a sekä akaisinky kennä . A ioinnissa oimijoiden älise suh ee ja suhde aken een o a joskus ä keämpiä kuin oimija i se. Kaikki jä jes elmä o a olemassa omassa ympä is össään, ja ne o a myös osa ä ä ympä is öä. A ioinnin kannal a oi olla aikeaa e o aa, mikä on ympä is ön aiku us oimin aan ja oiminnan aiku us ympä is öön koska ne muokkaa a oisiaan samanaikaises i. Epälineaa isuus ja palau emekas- nismi Epälineaa isuus a koi aa, e ä jä jes el- män käy äy yminen ei äl ämä ä iipu alku ilojen a ois a. Epälineaa isuus oi aiheu aa epäsuh aa syiden ja seu aus en älillä – s. ähäpä öise syy ai oimenpi ee oi a saada aikaan me ki ä iä aiku uksia ja päin as oin. Palau e aiku aa jä jes el- män käy äy ymiseen. Posi ii inen palau e pa an aa jä jes elmän kykyä (s imuloin i), kun aas nega ii isen palau een aiku ukse o a päin as aise ( asapaino aminen). Posi ii inen ei lii y ”hy ään” eikä nega ii i- nen ”huonoon” aan ne o a sys eemisiä aiku uksia. Tämä haas aa aiku a uusa ioin ien kausaalimalli , muu oksen eo ia ja loogise ii ekehykse . Näissä ns. logic-malleissa py i ään a p io i - iedon pohjal a ku aamaan aiku uske juja. Kompleksisessa a ioin- nissa näiden ulisi löy yä aineis on ja sen ulkinnan kau a. Dissipa ii ise a- ken ee ja kaaoksen euna Joskus jä jes elmässä oi apah ua me ki ä ä muu os uu een aiheeseen, jo a halli se a e ilaise a ak o i . Dissipa ii ise aken ee ii aa a aihesii oon, symme - ian ikkou umiseen ja useiden aih oeh ojen a au umiseen. Kompleksinen jä jes elmä ajau uu ois u as i koh i kaaoksen eunaa ai kauemmaksi asapaino ilas a. A ioinneissa a ak o eiden ja dissipa ii is- en aken eiden unnis aminen aa ii jä jes- elmän he kkää ymmä ys ä ja ää immäisen hieno a aisia mene elmiä, joiden kau a sys eemidynaamise sii ymä oidaan ha- ai a. Useimmi en näiden pe us aksi ei ole löyde ä issä pe in eisessä mielessä ah aa empii is ä e idenssipe us aa. Taulukossa 12.1 on ku a u e äiden kompleksisuus eo ee is en käsi eiden sisäl öä ja niiden suhde a a ioin iin. Kompleksisessa a ioinnissa (ks. By ne 2005; 2013; Pa on 2011; Uusikylä 2019) a ioi sija ei oi ukeu ua pe in eisen, eduk ionis isen ohjelma-a ioinnin kausaalimalleihin ai kokeellisiin ase elmiin. By ne (2013) o eaa, e ä u kijoiden ai a ioijien ulisi keski yä pidemmän ajan muu osanalyyseihin ja paikan aa näiden kau a muu oksen dynamiikka ja sen aus alla ole a käy äy ymis- ai oimin akaa a . Donella Meadows (2008, 170) ilmaisee asian ielä yylikkäämmin: Be o e you dis u b he sys em in any way, wa ch how i beha es. I i ’s a piece o music o a luc ua ion in a commodi y p ice, s udy i s bea . I i ’s a social sys em, wa ch i wo k. Lea n i s his o y. By ne ja Callaghan (2014) o ea a , e ä kompleksis en jä jes elmien a ioinnissa kau- saalis en aiku uske jujen sijaan ulisi a kas ella sys eemin muu os a ohjaa ia sään- öjä ja p osesseja. Taulukon 12.1. mukaises i kompleksisen a ioinnin ulisi py kiä Tuoma is a maailmanpa an ajaksi 227 o amaan sys eemisen muu oksen dynamiikka hal uun kokonais al aisen, pi käjän- eisen ja sys eemin mu oskoh iin keski y än a kas elun kau a. Kompleksis en sys eemien, p osessien ai aken eiden a ioin i ei hylkää aiemmin so elle uja a ioinnin k i ee ei ä, ku en laa u, ehokkuus, uo a uus ai aiku a- uus, aan uo lisä ulkin aa niiden mää i elyyn. Esime kiksi al ion i as o A oi o eu aa oman pal elu uo an onsa hy in laadukkaas i, ehokkaas i ai kus annus- ehokkaas i, mu a jos se uo aa pal elunsa i allisena pal eluekosys eemin muus a oiminnas a, se oi omal a osal aan jopa aikeu aa ai heiken ää pal elun kokonais- aiku a uu a. Tämä on yypillinen osaop imoin iongelma. Kompleksisessa a ioin- nissa ko os uu holis inen näkökulma, jonka mukaan kokonaisuus on enemmän kuin osiensa summa. Näin myös a ioinnin ulisi kye ä a kas elemaan laajempia ilmiöko- konaisuuksia ja ymmä ää niiden sys eemis ä dynamiikkaa, e kos o aiku uksia ja nopeas i muu u ia oimin a ilan ei a. E i yises i nopeas i muu u a oimin a ilan- ee ko os a a adap ii isuu a, jo a a kas ellaan seu aa aksi. Syn eesi ja koh i adap ii is a a ioin ia Olemme edellä hahmo ellee a ioin iaja elun (pa adigman) muu oksia kolmen e i aiheen kau a: 1) sii ymä ili el ollisuudes a oppimiseen, osallisuu een ja kehi - ämiseen, 2) sii ymä osallisuuden ja yh eisen kehi ämisen näkökulmas a ulos en hyödyn ämiseen ja 3) sii ymä sys eemiseen ja kompleksiseen a ioin inäkökulmaan. Nämä kaude ei ä luonnollises i esiinny sel ä ajaisina aan ja ku as i myös päällek- käisinä ja liuku ina. Tili el ollisuuden muodo liuku a iukas a a oi esidonnaisuu- des a kehi ä än a ioinnin muu oso ien aa ioon, osallisuus jalos uu yh eisen me - ki yksen muodos amises a yh eiskehi ämiseen ja kokeilukul uu iin, sys eemisyys ja kompleksisuus mene ä limi äin ja niin edelleen. Täs ä huolima a on mielekäs ä a kas ella näi ä e illisinä näkökulmina a ioinnin kehi ämiseen. Taulukossa 12.2 olemme e i ellee kunkin mu oksen syi ä, a kaisuja ja uuden näkökulman sii y- mis ä osaksi a ioin ikäy än öjä. Taulukossa on esi e y a ioin inäkökulmien keskeise sii ymä 1980-lu un lo- pul a uo een 2020. Sii ymien saumakoh ia olisi myös mahdollis a mää i ellä uusien mallien, ii ekehys en ai näkökulmien lansee auksen kau a. Tällaisia olisi a esime - kiksi kons uk i is inen a ioin inäkökulma, ealis inen a ioin i, käy äjäläh öinen a ioin i, luo amukseen pe us u a a ioin i, sys eeminen a ioin i ja kompleksis- en jä jes elmien a ioin i. Näihin kaikkiin oidaan kiinni ää aulukossa esi e y- jä a ain eoksia ai -julkaisuja. Tässä a ikkelissa emme kui enkaan halunnee läh eä näin yksi yiskoh aiseen a kas eluun, aan olemme nähnee näkökulmien muu ok- sen pikemminkin endinomaisena kuin aihei aisena kehi ymisenä. Näemme 228 Pe i Uusikylä, Ki si Hyy inen ja Ma i Räkköläinen a ioin i adi ioiden muu oksen me ki se än e i paino us en ja lähes ymis apojen uudelleen muo ou umis a, adap aa io a a ioin i a peen muu uessa. Si en edelli- sen mu os aiheen adi io ei ä ka oa, aan pikemminkin ne sulau u a oisiinsa ja saa a uusia sisäl öjä a ioin iympä is öjen muu uessa. Esime kiksi kysymykse a ioin isuh een luon ees a ai a ioin i a peen ja a koi uksen mää i ämises ä o a läsnä a ioin iaja elun muun uessa mu okses a oiseen, mu a ne ilmais aan sii - ymissä e i a oin. Sii ymä ke o a myös a ioin iyh eisöjen i seohjau u uudes a sekä ky ys ä a ioida omaa oimin aansa ja muun ua. A ioinnin on löyde ä ä paik- kansa osana ke e iä o ganisaa ioi a, jo a se oisi edis ää o ganisaa ioiden ja koko yh eiskunnan ky ykkyy ä muun au ua ule aisuu a kohden. Haluamme ällä syn- eesillä luoda pohjaa adap ii iselle a ioin iaja elulle ja sii ä käy ä älle keskus elulle. Taulukossa 12.2 on esi e y pe us eluja muu oksen a peellisuudes a sekä kunkin uuden näkökulman a joamia as auksia ai a kaisukeinoja ha ai uihin ongelmiin. Näkökulmien älille muodos uu mielenkiin oisia jänni ei ä, jo ka näky ä myös seu- aa issa sii ymissä. Näin jänni eiden kau a syn yy e äänlainen polku iippu uus, jonka ymmä äminen on ä keää uuden näkökulman käsi eellisessä hal uuno ossa. Lisäksi on muis e a a, e ä jokainen aihe sii yy näkökulmana myös seu aa aan ja si ä seu aa aan. Esime kkinä oidaan nos aa osallisuuden ja aiku a uuden ä- linen jänni e. Kons uk i is inen a ioin imalli läh i k i isoimaan ah aan kausaa- liseli ämiseen pe us u ia posi i is isia a ioin iase elmia ja ilas ollis en aineis on uo amaa ulkopuolis a analy iikkaa. Osallisuu a ja oimaannu amis a ko os unu aja elu puoles aan synny i ah aa ymmä ys ä oiminnan laadullisis a p osesseis a ja kehi ämisen pe us eis a, mu a ei pys yny a joamaan selkeää näy öä oiminnan uloksis a ja aiku uksis a. Tämän ilan een ko jaamiseksi ah is ui a ioinnin hyö- dyn ämis ä ko os a a näkökulma ja ealis inen a ioin imalli. Tä ä aus aa as aan on a sin odennäköis ä, e ä sys eeminen ja kompleksinen a ioin iaja elu synny ää jälleen uuden as a oiman, joka oi olla luon eel aan yksinke ainen a ioin i. Adap- ii isen a ioinnin unk iona oi silloin olla selkiy äminen, osi aminen ja pilkko- minen ymmä yksen lisäämiseksi. Toisaal a esilienssin ah is amiseksi adap ii inen a ioin i kohdis uu kehi ämisp osessien lisäksi a kaisuihin ja niiden a ioin iin. Tuoma is a maailmanpa an ajaksi 229 Taulukko 12.2. Sii ymä a ioin iaja elussa. A ioin i Miksi? Mi en? (mene elmä ja lähes ymis a a ) Tiedon a e ja hyödyn äminen Mikä muu ui? Keskeise läh ee I Mu os: Tili el ollisuudes a osallisuu een ja oppi- miseen (1980-lu un lopus a 2000-lu un alkuun) Posi i is inen (laajempi aja us objek ii ises a mi aa- mises a aus alla) a ioin ipa adigma mu ui samaan ai- kaan keski e yjen suunni elujä jes- elmien kaa umisen kanssa. A ioinnis a halu iin ehdä innos- a a, osallis a a sekä oppimis a ja oimin aa kehi ä ä äline. – Osallisuuden lisääminen – Yh einen ulkin a a ioinnin koh ees a – A ioi sijan ooli oli asili oida muu os a – Py kimys oimaan- nu amiseen – Jae u ymmä ys ja yh eise me ki ykse – Ja ku an oppimisen päämää ä – Toiminnan kehi - äminen – Asianajo ja aiku - aminen – Muu oksen aikaan- saaminen + Ulkoisen a ioinnin ohelle syn yi ah a i - sea ioinnin kul uu i + A ioin i ja kehi - äminen saa e iin yh een – Ongelmana ulos- en hyödynne ä yys ( ela i ismi) – A ioin ien näy öpe us a jäi epämää äiseksi – A ioin isuhde kon ollis a enemmän luo amukseen pohjau u aksi Guba & Lincoln 1989); Fe e man 2001; House 1993; 1997; Rossi, Lipsey & F eeman 2004; Pa on 1997; Pa on, McKegg & Wehipeihanan 2016; Räkköläinen 2011 Pa on, 1994. II Mu os: Osallis a as a ja oimaannu a as a a ioinnis a uloksia hyödyn ä ään a ioin iin (2000-lu- un alus a 2010-lu- un puoli äliin) A ioinnin hyödyn- ne ä yys nousi keskiöön. A ioin ien yleis yessä ja ins- i u ionalisoi uessa pe äänkuulu e iin niiden hyö yä ja lisäa oa. E enkin OECD, Eu oopan komissio ja Maail- manpankki ajoi a ah aa ulospe us- aisuu a ja selkei ä a ioin ik i ee ei ä. – Pe us e iin a ioin iyksiköi ä ja julkais iin a ioin ima- nuaaleja – Käynnis yi keskus- elu a ioin iosaami- ses a, s anda deis a ja a ioinnin laadus a – Logic-malli ja muu oksen eo ia – Muu os ja oppiminen - A ioin i ky ke iin ulosohjaukseen ja budje oin iin – A ioin i ky ke iin laajempaan keskus- eluun pää öksen eon ie ope us as a – Hyö y ja käy e ä- yys ko os u a + A ioin ien e ail a uus pa ani (yh eise k i ee i ) + A ioin i-osaami- nen lisään yi – Mekanis isuus ja i ualismi kas oi a Pa on 1994 EVALSED 2008; OECD 2002 Pawson & Tilley 1997; Pawson 2006) III Mu os: Osallisuudes a sys eemisyy een ja kompleksisuu een (2010-lu un puoli ä- lis ä e eenpäin) Taus alla oli kas a a ymmä ys sii ä, e ä a ioinnin ulee ymmä ää koh eensa laajemmassa kon eks issa ( . ealis inen a ioin i) ja osana mui a sys eemejä. Py kimys i au ua kapeas a ohjelma-, sek o i- ja ins i uu iope us ei- ses a a kas elus a. – Sys eemisen dynamiikan, uo o- aiku us aken eiden sekä polku- ja kes- kinäis iippu uuksien a ioin i – I au uminen lineaa isis a syy–seu- aus-suh eis a – Palau emekanismi ja akaisinky kennä . – Moni ahoisen a ioin inäkökulman ko os aminen – Dynaaminen ymmä ys a ioinnin koh ees a – Kehi ämisen suun- aaminen oikeisiin ipukoh iin. – Adap ii isuus + Holis inen käsi ys a ioinnin koh ees a (ilmiöläh öisyys) + Sys eemi yökalujen hyödyn äminen mallinnuksessa ja a ioinnissa – Tulos en yleis e ä- yyden ja kommuni- koinnin ongelma – Sys eemisen ymmä yksen saa u - amisen aikeus Cab e a ym, 2008; Dyehouse ym. 2009; Mayne, 2012; Funnel & Roge s 2011; Pa on, 2011; Williams & Hummelb unne 2011; Hyy inen 2017 Py kimys ja kaa sys eemisen a ioinnin kehi ys- yö ä ja so el aa opi ua yh eiskunnan pi ullisiin ongelmiin ja kompleksisiin ilmiö- kokonaisuuksiin. Paino aa oimak- kaas i eme genssin ja keskinäis iippu uuk- sien me ki ys ä. – Kompleksisen sys eeminen pe usominaisuuksien ymmä äminen – Eme goi u ien p osessien unnis a- minen ja a ioin i – Sensemaking ja ilanneku an aikaan- saaminen – Yh eis en ulkin akehikoiden hahmo aminen – Dialogisuus ja yh einen ilan een mää i ely – Vuo o aiku us- a- ken eiden analysoin i – Analyysis ä syn eeseihin + A ioin ien suun- aaminen pi ullisiin ongelmiin ja komplek- sisiin ilmiöihin + Uudenlaisen käsi eis ön lansee- aaminen – Vaikeaselkoisuus ja kommunikaa io-on- gelma – Vaikeus a jo a ah aa näy öä Pawson 2013; By ne 2013; Pa on 2011; Uusikylä 2019; Ramalingam 2013; F ej & Ramalingam 2011; Fo ss, K. & Schwa z, R. 2011 A ioin i on iime kädessä aina sidoksissa a ioinnin koh eeseen. Esime kiksi oh- jelma-a ioinnissa ohjelman akenne-, logiikka ja ”ideologia” ase a a oimakkai a eunaeh oja a ioinnille. Adap ii ise ohjaus- ja ohjelmoin ipe iaa ee py ki ä hyö- 230 Pe i Uusikylä, Ki si Hyy inen ja Ma i Räkköläinen dyn ämään kompleksisuus eo iaa ja sys eemiaja elua. Ne py ki ä ymmä ämään, mi en e i elemen ien älise yh eyde aiku a a oisiinsa ja mi en ne uo a a muu- os a (Bain ym. 2016, 23). Toisin kuin pe in eisessä, lineaa isessa ohjelma-aja elussa, adap ii inen ohjelmoin i a koi aa ohjelmien suunni elua ja o eu amis a ekemällä oppimisen kau a, ja ku as i u kimalla, kokeilemalla ja es aamalla ja mukau amal- la e ilaisia lähes ymis apoja koko ohjelmap osessin ajan, jolloin paikallise kumppa- ni ja sidos yhmä oi a unnis aa ongelma ja yöskennellä yhdessä a kaisujen ke- hi ämiseksi (De byshi e & Dono an 2016, 29). Adap ii inen ohjelmoin i ja a ioin i ko os a a ja ku aa oppimis a, kokeilukul uu ia ja eme genssiä. Näin sekä ohjelma- yö ä e ä a ioin ia ehdään ken ällä, joka on usein monimu kainen, a aama on ja nopeas i muu u a (Ramalingam 2013; F ej & Ramalingam 2011). Adap ii inen a ioin i on suh eellisen uusi käsi e. Eoyang ja Oakden (2016) o a ko os anee , e ä a ioi sijoiden ulee he käs i unnis aa monimu kais en ohjelmien malli ja ymmä ää niiden dynamiikka ja in e en iologiikka sidos yhmille me ki- yksellisillä a oilla. Tällaisessa yöo eessa syne gia a ioinnin ja ohjelma yön älillä syn yy kompleksisuus eo ian ja adap ii isen ohjelmaymmä yksen älisen uo opu- helun kau a. Wallenius, Uusikylä ja T an Minh (2019) so elsi a adap ii isen ohjel- ma yön aja us a samoin kuin sen ueksi kehi e yä sys eemis ä a ioin imallia Suo- men ja Vie namin älisen inno aa iokumppanuusohjelman (IPP) loppua ioinnissa. Tä ä yö ä a en he jou ui a laa imaan ”kaksoisa ioin iase elman” eli suunni ele- maan ja o eu amaan sekä pe in eisen ulkominis e iön a ioin ik i ee ei ä as aa an a ioinnin e ä sen innalla o eu e a an sys eemisen a ioinnin. A ioinnin yh enä uloksena oli, e ä IPP-ohjelman myön eise aiku ukse pe us ui a suu el a osin oh- jelman adap ii iseen o eu amiseen, mikä oli pe us el ua uu a luo assa hankkeessa, jossa py i iin luomaan uudenlais a s a -up-kul uu ia Vie namiin. Samalla myös suu i osa ohjelman uloksis a oli ei-aio uja posi ii isia aiku uksia. A ioin ien suunni elussa keskeis ä on a ioinnin koh een ja sen e i yispii ei- den ymmä äminen. Yksinke aiseen ai ain ähän monimu kaiseen koh eeseen so el u a e ilaise a ioin iase elma ja -mene elmä kuin kompleksiseen ai kaoo - iseen. Raisio ym. (2018) so elsi a Si alle ehdyssä ”Kesy, so kuinen ai pi ullinen” - apo issaan niin sano ua kompleksisuuskuu io a analysoidessaan Sipilän halli uk- sen halli usohjelma kä kihankkei a. Tu kija ha ai si a , e ä iippuma a sii ä, o a ko hankkee kesyjä ai pi ullisia, nii ä almis ellaan, o eu e aan, seu a aan ja a ioi- daan samalla a alla. Tuoma is a maailmanpa an ajaksi 231 A ioin i maailmaa pelas amassa – mi ä seu aa aksi? Viimeaikaise globaali k iisi ja uha (esim. Syy ian so a, e o ismi), maailman- alou a ho ju anee pandemia (COVID-19) ja maapallon ila sekä siihen lii y ä YK:n kes ä än kehi yksen a oi ee (ns. SDG- a oi ee ) o a aiku anee myös a ioin nis a käy ä ään keskus eluun. Osal aan sys eemi- ja kompleksisuusnäkö- kulmien ko os uminen o a seu aus a juu i äs ä. A ioi sijoiden odo e aan kyke- ne än pa emmin sel i ämään kompleksis en sys eemien aiku uksia ja esi ä än a ioi a sii ä, millais en poli iikka- ai sään ely oimien kau a näi ä oi aisiin halli a. Michael Q. Pa onin uusin eos ”Blue Ma ble E alua ion” (Pa on 2020) haas aa kui enkin ielä oimakkaammin a ioin ia ja a ioin iyh eisöjä suun au umaan ih- miskunnan koh alon ja ule aisuuden kannal a suu iin kysymyksiin. Pa onin mu- kaan a ioija a i se a uudenlaisia näkökulmia ja pa empaa osaamis a oidakseen osallis ua globaalien ongelmien a kaisemiseen. Hänen mukaansa ”sinisen planee an e aluaa o eiden” ulisi a ioida, seu a a, pa an aa ja ukea globaaleja muu ospy ki- myksiä ja lopul a kye ä a ioimaan näiden globaalien muu osponnis elujen aiku - a uu a, ehokkuu a, me ki yksellisyy ä ja kes ä yy ä. Teh ä ään sisäl yy paljon enemmän kuin ulosindikaa o eiden ja kes ä än kehi yksen a oi eiden seu aami- nen. Pa onin (2020) mukaan ämä a koi aa koko a ioin iaja elun, sen yökalujen, mene elmien ja p osessien uomis a globaalille asolle – ja uusien lähes ymis apojen kehi ämis ä maailmanlaajuis en jä jes elmien a ioinnin a peisiin. Vaikka hahmo aisi hieman aa ima omampiakin a oi ei a ule aisuuden a ioi sijoille on sel ää, e ä nykyisellä a ioin iaja elulla käy össä ole illa mene- elmillä ja aineis oilla ei kye ä a ioimaan kompleksisen, ah as i keskinäis iippu- aisen ja ää immäisen nopeas i muu u an maailman aikei a ongelmia. Ta i aan jänni eiden kau a kehi y ää uu a a ioin iaja elua. A ioi sijoiden ulee ohkeas i osallis ua globaaliin keskus eluun, haas aa mekanis isia ulkin oja ja eduk ionis isia a ioin imalleja, a jo a uusia näkökulmia ja ii ekehyksiä sekä oimia asian un e ina äli äjinä ja uo opuhelun synny äjinä kansalais en, pää öksen ekijöiden ja muiden globaalia muu os a suun aa ien oimijoiden kesken. 232 Pe i Uusikylä, Ki si Hyy inen ja Ma i Räkköläinen Läh ee An ila, P. 2005. Ilmaisu, eos, ekeminen ja u ki a oimin a. Hamina: Aka iimi oy. Bale, C. S. E., Va ga, L. & Foxon, T. J. 2015. Ene gy and complexi y: New ways o wa d. Applied Ene gy 138, 150–159. Bes e , A. 2016. Resul s Based Managemen in he Uni ed Na ions De elopmen Sys em. A epo p epa ed o Uni ed Na ions Depa men o Economic and Social A ai s o he 2016 Quad ennial Comp ehensi e Policy Re iew. h ps://www.un.o g/ By ne, D. 2005. Complexi y, Con igu a ions and Cases. Theo y, Cul u e and Socie y 22(5), 95–11. By ne, D. 2013. E alua ing complex social in e en ions in a complex wo ld. E alua ion 19(3), 217–228. By ne, D. & Callaghan, G. 2014. Complexi y Theo y and Social Sciences. The S a e o he A . Rou ledge, New Yo k. Cab e a, D., Colosi, L. & Lobdell, C. 2008. ”Sys ems hinking”. E alua ion and P og am Planning 31(2), 299–310. Cen ola, D. 2018. How Beha io Sp eads. The Science o Complex Con agions. P ince on Uni e si y P ess, P ince on. Chelimsky, E. 1997. The Coming T ans o ma ion in E alua ion. Teoksessa Chelimsky, E. & Shadish, W. ( oim.) E alua ion o 21s cen u y. A handbook. Thousand Oaks: Sage, 1–26. Chelimsky, E. & Shadish, W. R. 1997. E alua ion o he 21s cen u y: A handbook. Thousand Oaks: Sage. Chen, H. T. 2005. Theo y d i en e alua ion. Teoksessa Ma hison, S. ( oim.) Encyclopedia o e alua ion. Thousand Oaks: Sage, 415–419. C ooks, T. J. 2002. Educa ional Assessmen in New Zealand Schools. P o iles o Educa ional Assessmen Sys ems Wo ld-Wide. Assessmen in Educa ion 9(2), 237–253. De byshi e, H. & Dono an, E. 2016. Adap i e p og amming in p ac ice: sha ed lessons om he DFID- unded LASER and SAVI. h ps://beamexchange.o g/ esou ces/798/p og ammes Djellal, F. & Gallouj, F. 2010. The Inno a ion gap and he pe o mance gap in he se ice economies: a p oblem o public policy. Teoksessa Gallouj, F. & Djellal, F. ( oim.) The Handbook o Inno a ion in Se ices. A Mul i-disciplina y Pe spec i e. Chel enham, UK: Edwa d Elga , 653–673. Djellal, F. & Gallouj, F. 2013a. The P oduc i i y in se ices: measu emen and s a egic pe spec i es. The Se ice Indus ies Jou nal 33(3–4), 282–299. Djellal, F. & Gallouj, F. 2013b. How public-p i a e inno a ion ne wo ks in se ices (Se PPINs) di e om o he inno a ion ne wo ks: wha lesson o heo y? Teoksessa Gallouj, F., Rubalcaba, L. & Wind um, P. ( oim.) Public-p i a e inno a ion ne wo ks in se ices. Chel enham, UK: Edwa d Elga . Dosi, G., F eeman C., Nelson R., Sil e be g, G. & Soe e, L. 1988. Technical change and economic heo y. London: Pin e Publishe s. Dui , A. & Galaz, V. 2008. Go e nance and Complexi y: Eme ging Issues o Go e nance Theo y. Go e nance 21(3), 311–335. Dui , A., Galaz, V., Ecke be g, K. & Ebbesson, J. 2010. Go e nance, Complexi y, and Resilience. Global En i onmen al Change 20(3), 363–8. Dyehouse, M., Benne , D., Ha bo , J., Child ess, A. & Da k, M. 2009. A compa ison o linea and sys ems hinking app oaches o p og am e alua ion illus a ed using Indiana In e disciplina y GK-12. E alua ion and P og am Planning 32, 187–196. Tuoma is a maailmanpa an ajaksi 233 Eoyang, G. & Oakden, J. 2016. Adap i e E alua ion: A syne gy be ween complexi y heo y and e alua ion p ac ice. Eme gence: Complexi y and O ganiza ion 18(3–4). doi: 10.eme g/10.17357.e5389 5715a734817d bea 25ab335e5. EVALSED 2008. The E alua ion o Socio-economic De elopmen . The Guide. B ussels: Eu opean Commission. Fe e man, D. 2001. Founda ions o empowe men e alua ion. London: Sage. F ej, W. & Ramalingam, B. 2011. Fo eign policy and complex adap i e sys ems: Explo ing new pa adigms o analysis and ac ion, SFI Wo king Pape , San e Fe: SFI. h p://www.san a e. edu/media/wo kingpape s/11-06-022.pd Fo ss, K. & Schwa z, R. 2011. In oduc ion. Teoksessa Fo ss, K., Ma a, M. & Schwa z, R. ( oim.) E alua ing he Complex. A ibu ion, Con ibu ion, and Beyond Volume 18. London: T ansac ion Publishe s. Gad ey, J. 2010. The en i onmen al c isis and he economics o se ices: he need o e olu ion. Teoksessa Gallouj, F. & Djellal, F. ( oim.) The Handbook o Inno a ion in Se ices. A Mul i- disciplina y Pe spec i e. Chel enham, UK: Edwa d Elga , 653–673. Ga dne , J. 2006. Assessmen o Lea ning: A Compelling Concep ualiza ion. Teoksessa Ga dne , J. ( oim.) Assessmen and Lea ning. London: Sage, 197–204. Geels, F. W. 2002.Technological ansi ions as e olu iona y econ igu a ion p ocesses: a mul i- le el pe spec i e and a case-s udy. Resea ch Policy 31, 1257–1274. Geels, F. W. 2004. F om sec o al sys ems o inno a ion o socio- echnical sys ems. Insigh s abou dynamics and change om sociology and ins i u ional heo y. Resea ch Policy 33, 897–920. Guba, G. E. ( oim.) 1990. The Pa adigm Dialog. London: Sage. Guba, G. E. & Lincoln, Y.S. 1989. Fou h Gene a ion E alua ion. Newbu y Pa k, CA: Sage. Ha ison, D., Klein, J.-L. & B owne, P. L. 2010. Social inno a ion, social en e p ise and se ices. Teoksessa Gallouj, F. & Djellal, F. ( oim) The Handbook o Inno a ion and Se ices. Chel enham and No hamp on: Edwa d Elga , 197–281. Ha g ea es, M. B. & Podems, D. 2012. Ad ancing Sys ems Thinking in E alua ion: A Re iew o Fou Publica ions. Ame ican Jou nal o E alua ion 33, 462–470. Husen, T. 1999. Resea ch Pa adigms in Educa ion. Teoksessa Kee es, J.P. & Lakomski, G. ( oim.) Issues in Educa ional Reseach. Ams e dam: Pe gamon, 31–39. Hyy inen, K. 2017. Suppo ing se ice inno a ion ia e alua ion: a u u e o ien ed, sys emic and mul i-ac o app oach. Doc o al disse a ion 14/2017, Aal o Uni e si y publica ion se ies. VTT Science 146. h p://www. . i/in /pd /science/2017/S146.pd Hyy inen, K., Saa i, E. & Elg, M. 2019. Human-Cen e ed Co-E alua ion Me hod as a Means o Sus ainable Se ice Inno a ions. Teoksessa Toi onen, M. & Saa i, E. ( oim.) Human- Cen e ed Digi aliza ion and Se ices 2019. h ps://doi.o g/10.1007/978-981-13-7725-9 Hyy iälä, H. 2020. Tehokkuuden aalimises a oppimiseen ja sopeu umiseen. Blogi 6.8.2020 Vaasan yliopis on Kompleksisuus u kimuksen yhmän si uilla. h ps://blogs.uni aasa. i/ kompleksisuus/2020/08/06/ ehokkuuden- aalimises a-oppimiseen-ja-sopeu umiseen/ Ison, R. & S aw, E. 2020. The Hidden Powe o Sys ems Thinking: Go e nance in a Clima e Eme gency. New Yo k: Rou ledge. Klijn, E.-H. 2008. Complexi y Theo y and Public Adminis a ion: Wha ’s New? Public Managemen Re iew 10(3), 299–317. Kline, S. J. & Rosenbe g, N. 1986. An O e iew o Inno a ion. Teoksessa Landau, R. & Rosenbe g, N. ( oim.) The Posi i e Sum S a egy – Ha nessing Technology o Economic G ow h. Washing on D.C.: Na ional Academy P ess. Kushne , S. 2005. The Limi s o Cons uc i ism in E alua ion. Teoksessa S e n, E. ( oim.) E alua ion Resea ch Me hods. Volume I. Sage Benchma ks in Social Resea ch Me hods. London: Sage, 284–289. 234 Pe i Uusikylä, Ki si Hyy inen ja Ma i Räkköläinen Lund all, B.-Å. 1992. Na ional Sys ems o Inno a ion: Towa ds a Theo y o Inno a ion and In e ac i e Lea ning. London and New Yo k: Pin e Publishe s. Läh eenmäki-Smi h, K. & Vi anen, P. 2020. Socie al Phenomena, Mission-o ien ed Public Policy and he New E alua ion Cul u e. Teoksessa Leh imäki, H., Uusikylä, P. & Smedlund, A. ( oim.) Socie y as an In e ac ion Space. A Sys emic App oach. T ansla ional Sys ems Sciences. Singapo e: Sp inge , 69–88. Mayne, J. 2008. Resul s managemen : Can esul s e idence gain a oo hold in he public sec o ? Teoksessa Reipe , O., Leeuw, F. & Ling, T. ( oim.) The E idence Book. New Yo k: T ansac ion Publishe s. Mayne, J. 2011. Add essing cause and e ec in simple and complex se ings h ough con ibu ion analysis. Teoksessa Schwa z, R., Fo ss, K. & Ma a, M. ( oim.) E alua ing he Complex. New Yo k: T ansac ion Publishe s. Mayne, J. 2012. Con ibu ion analysis: Coming o age? E alua ion 18, 270–280. Meadows, D. H. 2008. Thinking in Sys ems: A P ime . Whi e Ri e Junc ion, Ve mon : Chelsea G een Publishing. Minis y o Fo eign A ai s o Finland. 2019. ”How do we Lea n, Manage and make decisions in Finland´s De elopmen Policy and Coope a ion?” E alua ion on Finland’s De elopmen Policy and Coope a ion. Minis y o Fo eign A ai s o Finland 2019/3. Helsinki: Minis y o Fo eign A ai s o Finland. Nelson, S. & Win e , R. 1982. An e olu iona y heo y o economic change. Camb idge (Mass.): Belknap P ess/Ha a d Uni e si y P ess. Nieminen, M. & Hyy inen, K. 2015. Fu u e-o ien ed impac assessmen : Suppo ing s a egic decision-making in complex socio- echnical en i onmen . E alua ion 21(4), 448–461. Nieminen, M. Hyy inen, K., Salminen, V. & Ruu u, S. 2020. Sys emic E alua ion App oach o mee he Challenges o Complexi y. Teoksessa Leh imäki, H., Uusikylä P. & Smedlund A. ( oim.) Socie y as an In e ac ion Space, T ansla ional Sys ems Sciences 22. Singapo e: Sp inge . h ps://doi.o g/10.1007/978-981-15-0069-5_5 OECD 2014. Measu ing and managing esul s in de elopmen coope a ion. A e iew o challenges and p ac ices among DAC membe s and obse e s, OECD Publishing Pa is. h ps://www. oecd.o g/dac/pee - e iews/Measu ing-and-managing- esul s.pd (12.4.2021) OECD 2016. P o ide s´ use o esul s in o ma ion o accoun abili y, communica ion, di ec ion and lea ning. Su ey esul s, OECD publishing Pa is. h ps://www.oecd.o g/dac/pee - e iews/P o ide s’_use_o _ esul s_in o ma ion_ o _accoun abili y_communica ion_ di ec ion_and_lea ning.pd (12.4.2021) O’Neil, O. 2002. A Ques ion o T us . The BBC Rei h Lec u es 2002. Camb idge: Camb idge Uni e si y P ess. Pa on, M. Q. 1994. De elopmen al E alua ion. E alua ion P ac ice 15(3), 311–319. Pa on, M. Q. 1997. U iliza ion- ocused E alua ion. Newbu y Pa k, CA: Sage. Pa on, M. Q. 2002. Quali a i e Resea ch and E alua ion Me hods. 3. painos. London: Sage. Pa on, M. Q. 2011. De elopmen al e alua ion: Applying complexi y concep s o enhance inno a ion and use. New Yo k, NY: Guil o d. Pa on, M. Q. 2020. The Blue Ma ble E alua ion. P emises and P inciples. New Yo k, NY: Guil o d. Pa on, M. Q., McKegg, K. & Wehipeihanan, N. ( oim.) 2016. De elopmen al E alua ion Exampla s. P inciples in p ac ice. London: The Guil o d P ess. Pawson, R. 2006. E idence-based Policy. A Realis ic Pe spec i e. London: Sage. Pawson, R. 2013. The Science o E alua ion. A Realis Mani es o. Los Angeles: Sage. Pawson, R. & Tilley, N. 1997. Realis ic e alua ion. Thousand Oaks: Sage. Tuoma is a maailmanpa an ajaksi 235 Poikela, E. 2004. De eloping c i e ia o Knowing and Lea ning a Wo k: Towa ds Con ex -Based Assessmen . Jou nal o Wo kplace Lea ning 16(5), 267–274. Poikela, E. & Räkköläinen, M. 2006. ”In elligen Accoun abili y” ‒ kon eks ipe us eisen a ioinnin läh ökoh ia. Amma ikas a uksen aikakauski ja 8(2), 6–18. Raisio, H., Jalonen, H. & Uusikylä, P. 2018. Kesy, so kuinen ai pi ullinen ongelma. Tiedon käy ö yh eiskunnallisessa pää öksen eossa. Si an sel i yksiä 139. Ma askuu 2018. Helsinki: Si a. Raja aa a, M. 2007. Vaiku a uusyh eiskun a. Sosiaalis en olojen a os elus a aiku us en oden- amiseen. Sosiaali- ja e eysalan u kimuksia 84. Helsinki: Kela. Rossi, P., F eeman, H. & Lipsey, M. 1999. E alua ion: A sys ema ic app oach (6 h ed.). Thousand Oaks, CA: Sage Publica ions. Rubalcaba, L., Michel, S., Sundbo, J., B own, S.W. & Reynoso, J. 2012. Shaping, O ganizing and Re hinking Se ice inno a ion: A mul idimensional F amewo k. Jou nal o Se ice Managemen 23(5), 696–715. Räisänen, A. & Räkköläinen, M. 2014. De elopmen al Assessmen o Lea ning Ou comes. Teoksessa Kalliola, S. ( oim.) E alua ion as a Tool o Resea ch, Lea ning and Making Things Be e . Newcas le upon Tyne: Camb idge Schola s Publishing. Räkköläinen, M. 2011. Mi ä näy ö näy ä ä ? Luo e a uus ja luo amus amma illis en pe us- u kin ojen näy öpe us eisessa a ioin ip osessissa. Ac a Uni e si a is Tampe ensis 1636. Väi öski ja. Tampe e: Tampe e Uni e si y P ess. Räkköläinen, M. & Räisänen, A. 2013. Assessmen o Lea ning Ou comes in Finnish oca ional educa ion and aining. Assessmen in Educa ion: P inciples, Policy & P ac ice 21(1), 109– 124. DOI: 10.1080/0969594X.2013.838938. Saa i, S. 2002. Ope ajankoulu uksen a ioin i- ja kehi ämisdisku ssi koulu uspolii isessa kon eks issa. Ac a Uni e si a is Tampe ensis 893. Tampe e: Tampe e Uni e si y P ess. Saunde s, M. 2006. Do we Hea he Voices? The ”P esence” o E alua ion Theo y and P ac ice in Social De elopmen . E alua ion. The In e na ion Jou nal o Theo y, Resea ch and P ac ice 12(2), 251–264. S ame, N. 2004a. Theo y-based E alua ion and Types o Complexi y. E alua ion. The In e na ional Jou nal o Theo y, Resea ch and P ac ice 10 (1), 58–76. S ame, N. 2004b. Go e nance, Democ acy and E alua ion. E alua ion. The In e na ional Jou nal o Theo y, Resea ch and p ac ice 12(1), 7–16. S e n, E. ( oim.) 2005. E alua ion Resea ch Me hods. Volume I–IV. Sage Benchma ks in Social Resea ch Me hods. London: Sage. S oh, D. P. 2015. Sys ems Thinking o Social Science. Ve mon : Chelsea G een Publishing. Todd, P. E. & Wolpin, K.I. 2010. S uc u al Es ima ion and Policy E alua ion in De eloping Coun ies. Annual Re iew o Economics 2, 21–50. USAID. 2017. E idence base o collabo a ion, lea ning and adap ing – Summa y o li e a u e e iew. h ps://usaidlea ninglab.o g Uusikylä, P. 2019. Endea ou o Find E idence. The ole e alua ion in he complex sys ems o go e nance. Academic disse a ion. Helsinki: Uni e si y o Helsinki. Vedung, E. 1997. Public Policy and P og am E alua ion. New B uns ik, NJ: T ansac ion Publishe s. Vähämäki, J. 2017. Ma ixing aid: he ise and alla o ” esul s ini ia i es” in Swedish de elopmen aid. Doc o al disse ion. S ocholm Business School, S ocholm Uni e si y. Vähämäki, J. & Ve ge , C. 2019. Lea ning om esul s-based managemen e alua ions and e iews. OECD De elopmen Co-ope a ion wo king pape 53. Ma ch 2019. DOI: 10.1787/3 da0081- en Vähämäki, J., Schmid , M. & Molande , J. 2011. Resul s-based managemen in de elopmen coope a ion. S ocholm: Riksbankens Jubileums ond.