Pre-Kongres International Conference on Realist Evaluation and Review

Tentang Realist Evaluation

Tentang Realist Evaluation

Andrew Hawkins (Director, ARTD Consulting)

Istilah “realistic evaluation” pertama kali diperkenalkan oleh Ray Pawson dan Nick Tilley pada tahun 1997, melalui buku berjudul “Realistic Evaluation” sebagai jawaban terhadap keterbatasan pendekatan ilmiah yang bersifat eksperimental. Realistic evaluation adalah pendekatan berbasis teori dan menggunakan paham realisme dalam melihat keberhasilan atau kegagalan program.

Seperti yang kita ketahui, metodologi seperti randomized control trial (RCT) tetap dianggap sebagai gold standard penelitian yang dapat memberikan penilaian objektif terhadap efektivitas suatu intervensi, seperti obat baru atau vaksinasi serta lainnya. Namun, intervensi yang bersifat sosial atau program yang bertujuan untuk mengubah tingkat pengetahuan atau perilaku tidaklah dapat dievaluasi dengan pendekatan eksperimental seperti RCT karena tidak semua aspek di populasi yang dibandingkan dapat dikontrol, seperti halnya penelitian RCT. Intervensi kesehatan, misalnya seperti promosi kesehatan untuk meningkatkan utilisasi layanan kesehatan, justru bekerja dengan mekanisme-mekanisme tertentu dan mungkin hanya efektif di populasi dengan karakteristik tertentu serta dipengaruhi oleh berbagai konteks yang ada di populasi itu sendiri. Interaksi dari semua aspek ini justru yang akan mempengaruhi efektivitas program promosi kesehatan tersebut. Sehingga, tidaklah sesuai apabila evaluasi program sosial seperti ini dilakukan dengan menggunakan pendekatan RCT.

Pawson dan Tilley (1997) mengenalkan konfigurasi C-M-O, yaitu context – mechanism – setting berdasarkan prinsip filosofis realisme yang menganggap bahwa realitas yang sebenarnya ada di luar apa yang bisa diobservasi oleh manusia dan ada beberapa pola kejadian yang berulang untuk konteks dan setting tertentu. Andre Hawkins juga menyebutkan bahwa konfigurasi ini bisa disusun sebagai M-C-O. Sama seperti pendekatan positivisme lainnya, realist evaluation ini memegang prinsip objektivitas tetapi dengan lebih mendalami mekanisme yang dihasilkan oleh suatu intervensi atau program dalam konteks tertentu. Hal ini tentunya berbeda dengan RCT, dimana seluruh karakteristik populasi dikontrol dan dikondisikan sama dengan memperlakukan konteks sebagai ‘confounder’ penelitian.

Konfigurasi C-M-O:

Langkah-langkah yang disarankan untuk melakukan realistic evaluation ini adalah:

1. Mengidentifikasi program theory. Teori program menjelaskan bagaimana elemen-elemen suatu intervensi (baik itu dalam bentuk program, strategi ataupun kebijakan) akan berkontribusi dalam menghasilkan output yang diinginkan. Teori program biasanya dituliskan dalam bentuk input-process-output/outcome, seperti berikut ini:

2. Data yang didapatkan dari kegiatan evaluasi harus disusun dan dikategorikan sesuai dengan program theory dan tetap memegang prinsip konfigurasi C-M-O di atas. Jadi data akan berhubungan dengan apa saja yang telah dilakukan melalui program yang sedang dievaluasi (aktivitas dari intervensi/program) dalam konteks apa, mekanisme yang dihasilkan (proses), luaran/outcome serta orang-orang yang terlibat. Data yang dibutuhkan berupa kualitatif dan kuantitatif. Data yang berkaitan dengan outcome dikelompokkan menjadi beberapa sub-kategori, sesuai dengan program theory yang sudah dijabarkan di awal.
3. Evaluator kemudian mengidentifikasi pola outcome kemudian menganalisis apa saja mekanisme yang muncul sehingga outcome-oucome tersebut dapat dihasilkan oleh intervensi yang sedang dievaluasi. Evaluator juga perlu melihat lebih jauh, dalam konteks apa saja mekanisme ini muncul atau tidak muncul. Sehingga, dalam konteks yang berbeda, bisa saja intervensi/program ini tidak menghasilkan output yang diinginkan karena mekanismenya tidak muncul. Konteks disini dapat berhubungan dengan sub-grup populasi dimana intervensi diterapkan, atau pemegang kepentingan/stakeholder yang berbeda-beda, proses dari implementasi intervensi itu sendiri, faktor-faktor organisasi, sosioekonomi, budaya serta kondisi politik.
4. Proses analisis dari realist evaluation ini kadang perlu dilakukan berulang kali dan bolak-balik, dan harus kembali ke konfigurasi C-M-O. Hasil analisis berupa pernyataan yang menjelaskan konteks-mekanisme-outcome, misalnya:
   “Dalam konteks ini, mekanisme X (sebutkan mekanisme-nya) muncul untuk populasi X (sebutkan sub-populasinya) sehingga menghasilkan luaran/outcome X”.
5. Langkah terakhir dari analisis adalah menghasilkan konfigurasi C-M-O yang paling dapat menjelaskan pola-pola luaran/outcome program yang didapatkan dari hasil observasi. Lalu konfigurasi C-M-O ini dibandingkan dengan program theory awal, apakah konteks, mekanisme dan output yang diinginkan memang muncul di implementasi di dunia nyata? Atau apakah untuk konteks tertentu, program ini tidak berhasil memunculkan mekanisme yang dibutuhkan sehingga diperlu perubahan di input atau proses dari implementasi? Sehingga, hasil realist evaluation ini dapat digunakan untuk perbaikan program ke depannya.

Mekanisme yang disebut di atas perlu dituliskan dalam bentuk middle-range theories, yaitu teori yang sifatnya tidak terlalu spesifik (sehingga tidak hanya akan berlaku untuk mekanisme yang terlalu sempit) tapi tidak terlalu luas juga (sehingga tidak akan menjadikan program/mekanisme itu seperti kebijakan one-size-fits-all yang terlalu umum untuk diterapkan di konteks yang berbeda-beda.

Realist evaluation ini memiliki nilai tambah untuk:

• Menguji coba teori perubahan (theory of change) atau dalam proses pengembangan suatu program (juga bisa dalam bentuk process evaluation)
• Mengukur keberhasilan suatu program yang memiliki target spesifik (misal populasi tertentu) atau menilai komponen dari suatu program yang diperkirakan (atau menurut program theory) bisa berhasil untuk populasi tertentu
• Untuk mengetahui bagaimana suatu program (atau pilot program) dapat direplikasikan ke tempat lain (dengan lebih memahami konteks dan mekanisme dari program itu sendiri).

Sebaliknya, realist evaluation tidak akan terlalu membantu apabila tujuan evaluasi untuk akuntabilitas program saja, misalnya untuk seberapa besar effect size dari sebuah intervensi atau berapa cost effectiveness dari program A? Pasalnya realist evaluation akan menjelaskan lebih jauh dari sekedar apakah program tersebut berhasil atau tidak dan memberikan bagaimana program itu bekerja, untuk siapa serta melalui mekanisme apa.

Contoh singkat bagaimana realist evaluation dapat digunakan untuk mengevaluasi program/kebijakan kesehatan di Indonesia:

• Kebijakan JKN untuk masyarakat berpenghasilan rendah:
  • Input: memberikan subsidi premi
  • Proses: Proteksi finansial akan melapangkan akses ke layanan kesehatan yang dibutuhkan saat populasi target sakit
  • Output:
    • Peningkatan utilisasi layanan kesehatan
    • Peningkatan status kesehatan
    • Turunnya pengeluaran out-of-pocket/catastrophic health expenditure
  • Mekanisme yang berpotensi ada dalam kebijakan ini:
    1. Program JKN akan meningkatkan kesadaran masyarakat akan pentingnya layanan kesehatan
    2. Peningkatan akuntabilitas layanan kesehatan (penyedia layanan kesehatan dibayar melalui JKN dan bertanggung jawab terhadap para penerima benefit)
    3. Peningkatan kualitas layanan kesehatan dengan adanya sistem insentif JKN
    4. Berkurangnya pembayaran informal dan peresepan obat yang tidak rasional karena adanya sistem akuntabilitas dalam JKN
    5. Pemberi layanan kesehatan lebih aktif dalam men-skrining pasien dan menaati sistem rujukan berjenjang
  • Konteks:
    
    1. Latar belakang karakteristik dari penerima benefit
    2. Tingkat pengetahuan kesehatan
    3. Akses fisik ke layanan kesehatan (ketersediaan SDM atau fasilitas kesehatan, dan lain-lain)
    4. Sistem insentif yang diterapkan (kapitasi, pay for service, atau global budget, dan lain-lain)

Namun, analisis dari realist evaluation ini juga mungkin akan menunjukkan hasil seperti berikut:

Di akhir sesi ini, digarisbawahi pula bahwa pendekatan realist evaluation dapat membantu konsep berpikir saat melakukan suatu evaluasi, yaitu dengan lebih mendetilkan bagaimana suatu program berhasil mencapai tujuannya dengan mekanisme apa saja dan dalam konteks yang seperti apa. Diharapkan konsep ini dapat membantu para pembuat kebijakan dan pelaksana program dalam menyusun intervensi yang disesuaikan dengan konteks spesifik, untuk populasi tertentu (dengan mempertimbangkan semua konteks yang ada di populasi itu) serta melalui mekanisme seperti apa yang diharapkan muncul saat pelaksaan program tersebut.

Untuk membaca lebih lanjut tentang realist evaluation ini, silakan klik link berikut:

1. Introduction to Realist Evaluation
2. Realist Evaluation chapter, Ray Pawson dan Nick Tilley (2004)
3. Protocol—the RAMESES II study: developing guidance and reporting standards for realist evaluation (Greenhalgh et al., 2015)
4. RAMESES II reporting standards for realist evaluations (Wong et al., 2016)

Contoh jurnal terkait kesehatan dan JKN yang menggunakan realist approach:

5. What makes health demand-side financing schemes work in low and middle-income countries? A realist review. (Gopalan et al., 2014)
6. Human resource management interventions to improve health workers' performance in low and middle income countries: a realist review. (Dielemen et al., 2009)

Salah satu lembaga sosial yang bergerak di bidang program pembangunan di Indonesia (SOLIDARITAS) baru-baru ini menggunakan pendekatan realist evaluation untuk melihat keberhasilan program di bidang pendidikan. Salah satu peneliti SOLIDARITAS menuangkan pengalamannya di blog berikut ini.