Testing realist program theory – quantitative and qualitative impact evaluation

Andrew Hawkins, ARTD Consultants, Australia
Brisbane, 25 Oktober 2017

Prinsip dari pendekatan realist evaluation kembali ditekankan pada sesi ini dengan kaitannya pada kelebihan yang dapat ditawarkan sebagai solusi kepada pembuat kebijakan. Pertama, pendekatan ini mengidentifikasi untuk siapa dan pada situasi seperti apa mekanisme tertentu dapat mempegaruhi outcome. Pendekatan ini menghindari satu solusi untuk semua, tetapi mengidentifikasi konteks tertentu dimana beberapa mekanisme tertentu bekerja dan dapat berpengaruh langsung ataupun tidak langsung terhadap outcome yang diharapkan. Kedua, pendekatan ini dapat mengidentifikasi faktor-faktor yang penting untuk implementasi intervensi di masa depan. Ketiga, pada kasus di mana intervensi dinilai gagal, pendekatan ini dapat membantu mengidentifikasi penyebab kegagalan intervensi tersebut. Keempat, memastikan adanya pendekatan ilmiah untuk kebijakan berbasis bukti. Pendekatan realist evaluation mengidentifikasi middle-range theories yang batasnya diartikan sebagai tidak sama spesifiknya dengan spesifik konteks dan tidak dapat tertransfer, tetapi tidak seabstrak sesuatu yang tidak informatif dan tidak dapat dites atau dibuktikan. Kelima, pendekatan ini dapat memberikan laporan tentang mekanisme intervensi yang menjadi penyebab perubahan terkait outcome dan bukan output. Sehingga fokus stakeholders dapat mengarah pada pencapaian outcome ini yang kemudian diaplikasikan ke dalam kegiatan perencanaan dan implementasi.

Dalam membandingkan impact evaluation dengan realist impact evaluation dapat diibaratkan bahwa realist impact evaluation adalah mikroskop sedangkan traditional impact evaluation itu teleskop. Hal ini menunjukkan realist impact evaluation menggambarkan situasi yang lebih detil dengan kemampuan menunjukkan setiap komponennya, proses kerjanya dan interaksi antar komponen. Lebih lanjut, realist evaluation dibandingkan dengan RCT, yang merupakan gold standard di metode penelitian, menunjukan betapa RCT lebih kuat dalam menunjukan dasar ilmiah namun kerap kehilangan makna ketika implementasi terutama dalam skala kebijakan yang berdampak luas. Hal ini disebabkan generalisasi dari hasil RCT dengan menciptakan situasi ideal demi melihat dampak intervensi terhadap outcome dinilai tidak cukup mampu mengidentifikasi konteks nyata di lapangan.

Pertanyaan besar kemudian muncul bagaimana membuat realist evaluation menjadi pendekatan ilmiah, dimana peran kreativitas dan kemampuan analisis evaluator memiliki peran besar dalam mengidentifikasi konteks, mekanisme dan outcome pada pendekatan ini. Beberapa langkah disebutkan oleh pembicara, sebagai berikut:

1. Pengembangan teori-teori merupakan pokok dalam pelaksanaan realist evaluation.
2. Interview dan temuan berupa perbedaan antar program memberikan stimulus untuk merumuskan teori.
3. Perlu pemahaman untuk melakukan tes terhadap ide kita/evaluator. Terdapat tiga poin yang perlu diperhatikan yaitu, critical realism melalui debat, realist evaluation dengan melakukan tes Mechanisms, Contexts, and Outcomes (MCOs), dan berhati-hati untuk tidak overfitting data yang ada yang berdampak pada terlalu menyederhanakan kausal dari masalah apabila terlalu mengandalkan kreativitas pemikiran dan perbedaan antar program.

Reportase topik terkait:

• Keynote speech oleh Nick Tilley
• Keynote speech oleh Ray Pawson
• Introduction to Realist Evaluation
• Introduction to Realist Review / Synthesis
• The realist approach to policy implementation: How to capture the multi-level interactions that explain adoption, implementation and outcome?
• Testing realist program theory – quantitative impact evaluation
• Supporting policy dialogue for health planning and financing: A realist intervention theory of the Universal Health Coverage Partnership

Reportase oleh: Dhini Rahayu Ningrum & Tiara Marthias

 {jcomments on}