Modul 2.C.4. Evaluasi dampak
Tujuan Pembelajaran
• Memahami prinsip strategi evaluasi dampak
• Memahami prinsip menjaga kualitas dalam strategi evaluasi dampak
Isi Modul
Dalam beberapa tahun ini terlihat semakin marak tuntutan untuk evaluasi intervensi dalam sistim kesehatan. Seiring dengan perkembangan di bidang evaluasi program sosial, pendekatan critical realist dalam evaluasi sistim kesehatan semakin diminati. Pendekatan tersebut mengkaji "intervensi apa yang bekerja bagi siapa dalam kondisi apa."
Terdapat berbagai definisi dampak dalam literatur evalusi, namun dalam perkembangan terkini dampak diartikan sebagai mekanisme kausasi – perubahan dalam keluaran yang disebabkan oleh suatu intervensi. Fokus pada mekanisme kausasi ini menuntut pengukuran yang objektif atas perubahan yang terjadi akibat suatu intervensi/program. Titik awal untuk mengukur dampak tersebut adalah prinsip counterfactual, yaitu mempertimbangkan apa yang akan terjadi bila tidak dilakukan intervensi - sehingga dapat menjustifikasi bahwa perubahan yang diamati disebabkan oleh intervensi. Berbagai perkembangan metodologi yang muncul belakangan ini berfokus pada prinsip counterfactual ini, dan bagaimana bisa menekan berbagai jenis bias seleksi.
Evaluasi dampak juga mementinngkan validitas eksternal – seberapa jauh temuan evaluasi dapat digeneralisasi ke setting lain. Validitas eksternal menuntut pemahaman atas mekansime kausasi, mencermati alur kausasi dan menguji validitas asumsi rute antara intervensi dan dampak, untuk melihat apakah asumsi tersebut akan tetap berlaku dalam konteks lain. Validitas eksternal juga menuntut peneliti untuk mencermati implementasi intervensi dan bagaiamana implementasi dapat mempengaruhi dampak suatu intervensi.
Dua jenis rancangan penelitian digunakan dalam evaluasi dampak:
- Disain eksperimental: dalam disain ini dilakukan randomisasi atas kelompok interevsi dan kontrol, dengan implikasi bahwa variabel pengganggu yang tidak teramati juga akan terdistribusi secara random, sehingga meminimalkan bias.
- Disain quasi-experimental: ini dapat berupa eksperimen alami yang memanfaatkan suatu kebijakan atau perubahan lain yang menghasilkan kelopmpok kontrol yang sesuai. Peneliti kemudian membandingkan antara kelompok intervensi dan kelompok kontrol; membandingkan sebelum dan sesuah intervensi; atau memanfaatkan implementasi kebijakan yang bertahap sehingga terdapat variasi dalam durasi paparan intervensi.
Karakteristik intervensi sistim kesehatan mempengaruhi pendekatan evaluasi yang dipilih. Intervensi sistim kesehatan seringkali bekerja melalui alur kausasi yang kompleks dan dipengaruhi oleh karakteristik konteks implementasi dan kebijakan. Dalam evaluasi intervensi sistim kesehatan peneliti perlu:
- Mengembangkan pemahaman teoritis yang baik atas mekanisme perubahan
- Mengantisipasi risiko kegagalan implementasi dengan melakukan evaluasi proses
- Mencermati pengaruh pada perilaku individu, dan merancang studi yang mempertimbangkan aspek ini
- Mengadopsi berbagai ukuran keluaran, termasuk konsekuensi yang tidak diharapkan
- Menyadari bahwa protokol seringkali tidak bisa diikuti secara kaku, dan kemungkinan intervensi harus diadaptasi sesuai konteks lokal
De Savigny & Adam (2009) menggarisbawahi perlunya adaptasi rancangan penelitian konvensional apabila akan diterapkan untuk mengevaluasi intervensi sistim kesehatan, menekankan pentingnya mengukur beberapa keluaran (baik yang diharapkan maupun yang tidak diharapkan) dan analisis komprehensif faktor-faktor kontekstual yang mungkin dapat menjelaskan keberhasilan atau kegagalan suatu intervensi.
Karakteristik lain dari rancangan evaluasi untuk intervensi sistim kesehatan adalah sulitnya aplikasi prinsip counterfactual melalui penggunaan kelompok kontrol, misal dalam kasus dimana kebijakan jaminan pembiayaan kesehatan yang diterapkan secara nasional, sehingga tidak ada kelompok yang dapat dijadikan kontrol.
Karena dua tantangan diatas – kompleksitas dan kesulitan aplikasi prinsip counterfactual – beberapa pakar merekomendasikan bahwa semua evaluasi intervensi sistim kesehatan harus berdasar teori program yang kuat, untuk meningkatkan kualitas evaluasi tersebut (White, 2000). Pendekatan evaluasi berbasis teori ini merupakan jenis rancangan evaluasi dampak yang ketiga. Pendekatan ini berbasis pada teori program yang eksplisit dan menjabarkan hubungan antara input, output dan dampak serta menguji hubungan kausasi dengan memadukan metode kuantitatif dan kualitatif.
Kegiatan Pembelajaran
Marchal B, Dedzo M, Kegels G (2010). A realist evaluationof the management of a well-performing regionalhospital in Ghana.BMC Health Services Research 10:24.