Category: evaluasi jkn 2018

Evaluasi JKN Menggunakan Pendekatan Realist Evaluation
Konfigurasi Context-Mechanism-Outcome (C-M-O) dalam Realist Evaluation

Yogyakarta, 28 Maret 2018

Pertemuan keempat webinar evaluasi JKN menggunakan pendekatan realist evaluation membahas topik konfigurasi context-mechanism-outcome atau lebih dikenal dengan konfigurasi C-M-O yang merupakan ciri khas evaluasi kebijakan atau program dengan pendekatan realist evaluation. Pada webinar kali ini, dr. Tiara Marthias, MPH sebagai narasumber menyampaikan kembali review tentang realist evaluation untuk mengingatkan kembali peserta terkait konsep-konsep dasar pendekatan ini dan memberikan kesempatan bagi peserta yang baru bergabung untuk memahami secara singkat materi yang sedang dibahas. Selain itu, dalam kesempatan ini juga diulas hierarchy of outcome sebagai pengantar untuk memasuki sub-topik konfigurasi C-M-O dalam realist evaluation.

Sebagaimana disampaikan, pendekatan realist evaluation mensyaratkan bahwa teori-teori yang mendasari program dituangkan dalam hipotesis yang jelas tentang bagaimana, untuk siapa, sampai sejauh mana, dan dalam konteks apa sebuah program mungkin bekerja (menyebabkan perubahan). Evaluasi program yang dilakukan ditujukan untuk menguji dan memperbaiki hipotesis tersebut. Data yang dikumpulkan dalam realist evaluation yang digunakan untuk mencapai tujuan tersebut yaitu dampak dan proses implementasi program, konteks yang mungkin berdampak pada outcome, serta mekanisme tertentu yang mungkin menciptakan perubahan. Pemahaman tentang bagaimana aspek-aspek tertentu dari konteks yang membentuk mekanisme yang kemudian mengarah pada hasil dapat dinyatakan sebagai konfigurasi context-mechanism-outcome (C-M-O) yang merupakan unit analitis di mana realist evaluation dibangun.

Untuk lebih memperjelas topik bahasan, narasumber menyampaikan hierarchy of outcome sebagai kerangka dalam mengidentifikasi konfigurasi C-M-O dalam realist evaluation. Hierarchy of outcome membantu peneliti mengidentifikasi beberapa program atau kebijakan yang akan dievaluasi hingga mencapai immediate outcome, intermediate outcome, hingga level ultimate outcome yang ingin dicapai dalam implementasi suatu kebijakan/ program. Narasumber menjelaskan bahwa pada setiap proses implementasi program/ kebijakan akan ada konteks dan mekanisme yang dikehendaki maupun tidak dikehendaki hingga akhirnya mencapai outcome baik ideal maupun yang tidak ideal. Hal ini disebabkan karena adanya konteks tertentu yang berperan sehingga menciptakan mekanisme yang membuat program berkerja maupun tidak bekerja. Pada kesempatan ini narasumber juga menyampaikan cara yang digunakan untuk membantu analis kebijakan dalam mengidentifikasi konfigurasi C-M-O dalam realist evaluation.

Narasumber juga melakukan simulasi bagaimana langkah mengidentifikasi konfigurasi C-M-O dalam kebijakan pembayaran kapitasi berbasis pemenuhan komitmen palayanan (Peraturan Bersama Sekretaris Jenderal Kementerian Kesehatan RI dan Direktur Utama BPJS Kesehatan No. 2 Tahun 2017). Logika program dalam kebijakan ini adalah dengan memberikan standar pencapaian indikator kapitasi berbasis pemenuhan komitmen pelayanan, maka seluruh FKTP di Indonesia dipicu untuk menyediakan layanan standar (sesuai dengan 144 diagnosis yang harus tuntas di FKTP) sehingga menurunkan angka rujukan non-spesialistik. Apabila FKTP tidak mampu mencapai target yang ditetapkan dalam kebijakan ini, maka jumlah dana kapitasi yang diterima dikurangi dari jumlah yang seharusnya diterima.

Dicontohkan bahwa dalam kondisi ideal dengan konteks FKTP memiliki dokter dengan kompetensi yang cukup, didukung oleh peralatan yang mendukung penegakan 144 diagnosis, serta besarnya nilai kapitasi hingga dirasa “sayang” apabila tidak diterimakan secara penuh akan mendorong terwujudnya mekanisme yaitu FKTP termotivasi oleh kebijakan kapitasi berbasis pemenuhan komitmen pelayanan untuk mencapai target indikator rujukan non-spesialistik agar mendapatkan kapitasi secara penuh. Konteks dan mekanisme yang berjalan ini akan mewujudkan outcome berupa terstandarnya layanan di FKTP karena FKTP mampu menegakkan diagnosis yang tidak perlu dirujuk ke fasilitas kesehatan lebih tinggi. Namun, pada kenyataannya yang terjadi di lapangan bisa jadi bukan C-M-O ideal, melainkan konfigurasi C-M-O lain yang bervariasi sebagaimana disimulasikan oleh narasumber misalnya outcome yang muncul bukan yang diharapkan (unintended outcome) karena konteks dan mekanisme yang terjadi bukan yang ideal sebagaimana diharapkan.

Beberapa diskusi yang muncul pada pertemuan ini antara lain terkait langkah mengidentifikasi C-M-O, desain penelitian yang cocok untuk pendekatan realist evaluation, langkah memilih outcome prioritas, serta usulan kolaborasi antarpeneliti dalam menyusun konfigurasi C-M-O yang lebih komprehensif. Terkait hal ini, narasumber menyampaikan bahwa untuk menyusun konfigurasi C-M-O, langkah pertama yang harus dilakukan yaitu mengidentifikasi outcome terlebih dahulu, kemudian mengidentifikasi input serta teori yang mendasari program baru kemudian komponen tersebut di-test teorinya menggunakan beberapa konfigurasi C-M-O yang muncul selama proses pengumpulan data. Disampaikan pula bahwa desain penelitian realist evaluation tidak terbatas pada kualitatif semata, melainkan dapat digunakan dalam setiap desain penelitian, baik kualitatif, kuantitatif, mau pun mix-method. Namun, sehubungan dengan banyaknya aspek yang harus dijawab, sulit rasanya realist evaluation dijalankan dengan hanya menggunakan desain kuantitatif. Peneliti juga diharapkan untuk menetapkan prioritas program atau kebijakan yang dirasa krusial untuk mencapai outcome. Di akhir sesi, tim mengapresiasi inisiatif dari peserta yang mengusulkan kolaborasi dalam menyusun konfigurasi C-M-O sehingga menghasilkan analisis yang komprehensif. Merespon hal ini, tim akan membentuk jejaring antarpeneliti dalam platform komunikasi daring misalnya WhatsApp goup.

Reportase oleh: Dedik Sulistiawan

 

Kerangka Acuan Kegiatan

Evaluasi Kebijakan JKN Tahun 2018 – 2019 Menggunakan Pendekatan Realist Evaluation

PKMK FKKMK UGM

 

Pertemuan ke-4B:
Sesi Refreshment: Penyusunan Kerangka Context-Mechanism-Outcome (C-M-O) dalam Realist Evaluation

  Latar Belakang

Realist evaluation yang diperkenalkan oleh Pawson dan Tilley (1997) merupakan bentuk evaluasi berbasis teori, berdasarkan pada filosofi sains realis yang membahas pertanyaan apa yang berhasil, untuk siapa, dalam keadaan apa, dan bagaimana dilakukan. Pendekatan ini merupakan cara evaluasi implementasi kebijakan yang dirancang untuk menangkap aspek-aspek yang terjadi di lapangan. Realist evaluation semakin banyak digunakan dalam penelitian kesehatan dan penelitian evaluasi lainnya. Asumsi yang dibangun dalam realist evaluation adalah bahwa program merupakan jelmaan dari teori. Artinya, setiap kali sebuah program dirancang dan diimplementasikan, akan selalu dipengaruhi oleh satu atau lebih teori tentang apa yang mungkin menyebabkan perubahan, meskipun teori tersebut tidak disebutkan secara eksplisit.

Pendekatan realist evaluation mensyaratkan bahwa teori-teori yang mendasari program dituangkan dalam hipotesis yang jelas tentang bagaimana, untuk siapa, sampai sejauh mana, dan dalam konteks apa sebuah program mungkin bekerja (menyebabkan perubahan). Evaluasi program yang dilakukan ditujukan untuk menguji dan memperbaiki hipotesis tersebut. Data yang dikumpulkan dalam realist evaluation yang digunakan untuk mencapai tujuan tersebut yaitu dampak dan proses implementasi program, konteks yang mungkin berdampak pada outcome, serta mekanisme tertentu yang mungkin menciptakan perubahan. Pemahaman tentang bagaimana aspek-aspek tertentu dari konteks yang membentuk mekanisme yang kemudian mengarah pada hasil dapat dinyatakan sebagai konfigurasi context-mechanism-outcome (C-M-O) yang merupakan unit analitis di mana realist evaluation dibangun.

Webinar realist evaluation pada pertemuan keempat ini membahas kembali bagaimana cara menyusun kerangka/ konfigurasi context-mechanism-outcome (C-M-O) yang merupakan ciri khas evaluasi program/ kebijakan dengan pendekatan realist evaluation. Harapannya, peserta webinar lebih memahami proses identifikasi context-mechanism-outcome (C-M-O) dalam penelitian evaluasi kebijakan JKN menggunakan pendekatan realist evaluation. Sesi ini juga akan membahas beberapa latihan yang dikerjakan oleh peserta webinar terkait konfigurasi C-M-O.

  Tujuan

Diskusi yang dikemas dalam bentuk webinar ini bertujuan untuk mengundang wakil dari:

1. Perguruan tinggi kesehatan, kedokteran, dan/atau ilmu sosial dan ilmu politik
2. Lembaga penelitian kesehatan dan kebijakan publik

untuk melakukan penyusunan protokol evaluasi kebijakan JKN menggunakan metode realist evaluation dengan terlebih dahulu memahami proses identifikasi context-mechanism-outcome (C-M-O) dalam penelitian evaluasi dengan pendekatan realist evaluation.

  Tempat dan Jadwal

Diskusi diselenggarakan melalui webinar pada 10 April 2018 di Laboratorium Leadership Gd. IKM lt.3 Pukul 14.00 – 15.30 WIB. Adapun rundown acara adalah sebagai berikut.

Waktu	Materi	Narasumber
14.00 – 14.10 Wib	Pembukaan	Moderator: Shita Listyadewi
14.10 – 14.30 Wib	Pengantar Pertemuan 4b	Prof. Laksono Trisnantoro
14.30 – 14.45 Wib	Penyusunan Kerangka Context-Mechanism-Outcome (C-M-O) dalam Realist Evaluation materi	Tiara Marthias
14.45 – 15.30 Wib	Diskusi pembahasan latihan perumusan hierarchy of outcome dan konfigurasi C-M-O	Moderator
15.30 Wib	Penutupan	Moderator

Apabila peserta berhalangan mengikuti webinar, seluruh materi kegiatan sebelumnya dapat dipelajari di http://bit.ly/MonevJKN2018 

Pendaftaran

Bagi peserta yang mewakili Perguruan Tinggi dan Lembaga Penelitian yang berminat untuk mengikuti webinar ini dapat mendaftar secara online melalui:

URL: Link Webinar: https://attendee.gotowebinar.com/register/8262090301273556226 
Webinar ID: 514-996-155

Atau menghubungi narahubung di bawah ini:
Maria Adelheid Lelyana
e-mail: [email protected] 
Telp.: (0274) 549425
HP: +6281329760006

Dedik Sulistiawan
e-mail: [email protected] 
HP: +6285736810190

 

Kerangka Acuan Kegiatan

Evaluasi Kebijakan JKN Tahun 2018 – 2019 Menggunakan Pendekatan Realist Evaluation

PKMK FKKMK UGM

 

Pertemuan ke-4:
Penyusunan Kerangka Context-Mechanism-Outcome (C-M-O) dalam Realist Evaluation

  Latar Belakang

Realist evaluation yang diperkenalkan oleh Pawson dan Tilley (1997) merupakan bentuk evaluasi berbasis teori, berdasarkan pada filosofi sains realis yang membahas pertanyaan apa yang berhasil, untuk siapa, dalam keadaan apa, dan bagaimana dilakukan. Pendekatan ini merupakan cara evaluasi implementasi kebijakan yang dirancang untuk menangkap aspek-aspek yang terjadi di lapangan. Realist evaluation semakin banyak digunakan dalam penelitian kesehatan dan penelitian evaluasi lainnya. Asumsi yang dibangun dalam realist evaluation adalah bahwa program merupakan jelmaan dari teori. Artinya, setiap kali sebuah program dirancang dan diimplementasikan, akan selalu dipengaruhi oleh satu atau lebih teori tentang apa yang mungkin menyebabkan perubahan, meskipun teori tersebut tidak disebutkan secara eksplisit.

Pendekatan realist evaluation mensyaratkan bahwa teori-teori yang mendasari program dituangkan dalam hipotesis yang jelas tentang bagaimana, untuk siapa, sampai sejauh mana, dan dalam konteks apa sebuah program mungkin bekerja (menyebabkan perubahan). Evaluasi program yang dilakukan ditujukan untuk menguji dan memperbaiki hipotesis tersebut. Data yang dikumpulkan dalam realist evaluation yang digunakan untuk mencapai tujuan tersebut yaitu dampak dan proses implementasi program, konteks yang mungkin berdampak pada outcome, serta mekanisme tertentu yang mungkin menciptakan perubahan.

emahaman tentang bagaimana aspek-aspek tertentu dari konteks yang membentuk mekanisme yang kemudian mengarah pada hasil dapat dinyatakan sebagai konfigurasi context-mechanism-outcome (C-M-O) yang merupakan unit analitis di mana realist evaluation dibangun.

Webinar realist evaluation pada pertemuan keempat ini membahas bagaimana cara menyusun kerangka/ konfigurasi context-mechanism-outcome (C-M-O) yang merupakan ciri khas evaluasi program/ kebijakan dengan pendekatan realist evaluation. Harapannya, peserta webinar lebih memahami proses identifikasi context-mechanism-outcome (C-M-O) dalam penelitian evaluasi kebijakan JKN menggunakan pendekatan realist evaluation.

  Tujuan

Diskusi yang dikemas dalam bentuk webinar ini bertujuan untuk mengundang wakil dari:

1. Perguruan tinggi kesehatan, kedokteran, dan/atau ilmu sosial dan ilmu politik
2. Lembaga penelitian kesehatan dan kebijakan publik

untuk melakukan penyusunan protokol evaluasi kebijakan JKN menggunakan metode realist evaluation dengan terlebih dahulu memahami proses identifikasi context-mechanism-outcome (C-M-O) dalam penelitian evaluasi dengan pendekatan realist evaluation.

  Tempat dan Jadwal

Diskusi diselenggarakan melalui webinar pada 28 Maret 2018 di Studio Mini, Gedung IKM Lantai 1 Pukul 14.00 – 15.30 WIB. Adapun rundown acara adalah sebagai berikut.

Waktu	Materi	Narasumber
14.00 – 14.10 Wib	Pembukaan	Moderator
14.10 – 14.30 Wib	Pengantar Pertemuan Keempat	Prof. Laksono Trisnantoro
14.30 – 14.45 Wib	Penyusunan Kerangka Context-Mechanism-Outcome (C-M-O) dalam Realist Evaluation materi	Tiara Marthias
14.45 – 15.30 Wib	Diskusi dan rencana tindak lanjut	Moderator
15.30 Wib	Penutupan	Moderator

Apabila peserta berhalangan mengikuti webinar, seluruh materi kegiatan sebelumnya dapat dipelajari di http://bit.ly/MonevJKN2018.

Pendaftaran

Bagi peserta yang mewakili Perguruan Tinggi dan Lembaga Penelitian yang berminat untuk mengikuti webinar ini dapat mendaftar secara online melalui:

URL: https://attendee.gotowebinar.com/register/3569761701714908930
Webinar ID: 529-863-339

Atau menghubungi narahubung di bawah ini:
Maria Adelheid Lelyana
e-mail: [email protected] 
Telp.: (0274) 549425
HP: +6281329760006

Dedik Sulistiawan
e-mail: [email protected] 
HP: +6285736810190

 

Penyusunan Kerangka Protokol Realist Evaluation Mengacu pada Standar RAMESES II dan Identifikasi Program Logic, Teori, dan Pertanyaan Penelitian

27 Februari 2018

Webinar evaluasi kegiatan JKN melalui realist evaluation merupakan rangkaian webinar yang bertujuan untuk medorong peneliti melakukan evaluasi jaminan kesehatan nasional (JKN). Output yang diharapkan dalam program ini adalah partisipan dapat menyajikan hasil penelitian yang dapat berkontribusi terhadap kebijakan JKN tersebut. Tema kegiatan kali ini adalah penyusunan kerangka protokol realist evaluation mengacu pada standar RAMESES II dan identifikasi program logic, teori, dan pertanyaan penelitian. Kegiatan ini kembali dipandu oleh Muh. Faozi Kurniawan, SE. Akt., MPH selaku moderator dan materi disampaikan oleh 2 orang narasumber yaitu Prof. Laksono Trisnantoro, M.Sc.,PhD dan dr. Tiara Marthias, MPH sebagai peneliti dan konsultan dari PKMK FKKMK UGM.

Prof. Laksono mengungkapkan bahwa Universitas Gadjah Mada dan Jaringan Kebijakan Kesehatan Indonesia telah melaksanakan program monitoring kebijakan JKN pada 2014-2017. Pada tahun kelima, UGM menginisiasi evaluasi kebijakan JKN tersebut bersama dengan lembaga penelitian lainnya secara independen tanpa pengaruh dari Kementerian Kesehatan maupun Badan Penyelenggaran Jaminan Sosial (BPJS) dengan metode realist evaluation. Namun dalam program ini, lembaga peneliti juga tidak menutup terhadap dana penelitian yang berasal dari kedua organisasi tersebut. Program realist evaluation JKN ini diharapkan dapat melibatkan lebih banyak perguruan tinggi di Indonesia. Harapannya dengan semakin banyak penelitian di bidang ini, maka dapat menjadi pertimbangan pemangku kepentingan termasuk Dewan Perwakilan Rakyat (DPR). Lebih jauh, harapan dari program ini adalah partisipan mampu menganalisis kebijakan-kebijakan JKN yang ada.

Narasumber kedua, yaitu dr. Tiara Marthias, MPH, paparan pertama, mengingatkan kembali tentang karakteristik dari realist evaluation yang menjawab lebih rinci terhadap keberhasilan program. Selanjutnya dipaparkan contoh realist evaluation pada artikel Nehla Djellouli, 2017 tentang Improving postpartum care delivery and uptake by implementing context- specific interventions in four countries in Africa : a realist evaluation of the Missed Opportunities in Maternal and Infant Health ( MOMI ) project. Artikel tersebut menggunakan tiga Pawson’s theory of health system change, Michie’s Behaviour Change Wheel dan social capital theory. Contoh selanjutnya adalah gambaran tentang program pemetaan, logika program dan teori terhadap sasaran ketiga dan keempat dari skema JKN tersebut. Selanjutnya diskusi dengan peserta webinar tentang bagaimana dapat menentukan teori dan logika program terhadap seluruh sasaran JKN tersebut.

Pemaparan kedua dari dr. Tiara Marthias, MPH tentang outline protocol realist evaluation mengingatkan bahwa bagian unik dari kerangka realist evaluation adalah bagian pendahuluan. Bagian tersebut terdiri dari dasar/pertimbangan melakukan evaluasi, teori program, pertanyaan evaluasi, tujuan dan fokus. Selanjutnya protokol realist evaluation telah diterjemahkan ke dalam Bahasa Indonesia dan dapat diakses pada website https://kebijakankesehatanindonesia.net/ . Penelitian tersebut harus dapat menjelaskan unsur dari kebijakan yang sedang dievaluasi dan teori yang interpretasi oleh peneliti sendiri. Realist Evaluation juga harus dapat berkontribusi terhadap penyempurnaan teori yang digunakan dalam menentukan unsur kebijakan. Terakhir, peserta dapat mengakses http://www.ramesesproject.org/  untuk mendapatkan informasi lebih lanjut mengenai realist evaluation.

Beberapa diskusi yang terangkum dari webinar ini antara lain cara menentukan teori dan logika program, perbedaan realist evaluation dengan pendekatan evaluasi lainnya, potensi topik-topik yang diusulkan oleh peserta untuk realist evaluation, serta sasaran program yang akan dievaluasi. Menanggapi hal ini, narasumber menyatakan bahwa untuk menentukan logika program, peneliti dapat menggunakan pola pikir sederhana yaitu dengan menggunakan pendekatan input-proses-output-outcome dalam realist evalution. Sementara itu, untuk menentukan teori program, misalnya untuk sasaran kedelapan JKN 2019 (BPJS Kesehatan dikelola secara terbuka, efisien dan akuntabel) dapat digunakan teori tentang governance. Narasumber juga menyampaikan bahwa logika program itu juga dapat berupa apa yang dipresepsikan oleh peneliti. Untuk mengukur pencapaian program, peneliti dapat mengkritisi unsur regulasi yang tertuang. Terdapat banyak dokumen yang dapat digunakan untuk membuat kerangka berpikir, namun hal tersebut dikembalikan lagi kepada peneliti. Hal ini disebabkan karena pada dasarnya karakteristik utama realist evalution melihat mekanisme apa yang diterapkan sehingga mencapai output tertentu.

Sementara itu, merespon perbedaan realist evaluation dengan pendekatan lainnya misal riset implementasi, narasumber menyampaikan bahwa riset implementasi lebih menitikberatkan pada kesesuaian pada implementasi dengan perencanaan kebijakan tersebut, namun tidak menekankan pada perbaikan teori. Sedangkan realist evaluation menekankan pada teori yang melatarbelakangi kebijakan dan tujuannya untuk memperbaiki teori tersebut. Terkait dengan potensi topik yang diusulkan peserta, narasumber menyatakan bahwa pada dasarnya realist evaluation dapat menjadi pola pikir untuk mengevaluasi seluruh program berdasarkan peta jalan JKN. Peneliti dapat menyesuaikan rencana sasaran evaluasi berdasarkan 8 sasaran peta jalan JKN, sehingga evaluasi lebih terstruktur. Oleh sebab itu, peneliti diharapkan untuk benar-benar memahami ruang lingkup dari kedelapan sasaran JKN tersebut.

(oleh Relmbus Biljers Fanda, MPH)

 

Awal 2018, PKMK FKKMK UGM mempersiapkan kegiatan Evaluasi Program JKN, setelah dilakukan proses monitoring terhadap implementasi JKN sejak 2014. Pendekatan Realist Evaluation dipilih sebagai model evaluasi yang diyakini mampu menghadirkan proses dan hasil evaluasi yang lebih menekankan kaitan antara teori program/intervensi dengan keberhasilan/ketidakberhasilan intervensi dalam topik/isu tertentu. Mengingat masih barunya pendekatan ini, pada Jumat, 23 Februari 2018, PKMK FKKMK UGM kembali melaksanakan diskusi melalui webinar refreshment yang bertujuan untuk memberikan pengayaan pengetahuan dan pemahaman peserta webinar berkaitan dengan topik webinar pada 8 Februari 2018. Topik yang diangkat dalam sesi ini adalah penyusunan proposal dengan pendekatan Realist Evaluation. Diskusi ini dipandu oleh Muh. Faozi Kurniawan, SE.Akt.,MPH selaku moderator dan materi akan disampaikan oleh 2 orang narasumber yaitu Prof. Laksono Trisnantoro, M.Sc.,PhD dan dr. Tiara Marthias, MPH sebagai peneliti dan konsultan dari PKMK FKKMK UGM.

Diskusi diawali dengan materi pengantar yang disampaikan oleh Prof. Laksono Trisnantoro, M.Sc.,PhD. Dalam sesi ini, Laksono menyampaikan program JKN masih memiliki kekurangan dan belum cukup siap dalam implementasinya. Kebijakan ini dapat diperbaiki pada level UU atau di bawah UU. Saat ini banyak dibahas dalam tataran peraturan presiden. Jika ingin melakukan perbaikan di tingkat UU, prosesnya akan lebih lama. PKMK FKKMK UGM saat ini mengajak para mitra universitas, peneliti, praktisi, bahkan akademisi untuk bersama-sama melakukan evaluasi secara spesifik dengan pendekatan Realist Evaluation terhadap program JKN. Akan sangat baik jika pendekatan ini mampu diterapkan di berbagai wilayah/daerah di Indonesia. Tidak hanya mengevaluasi sebuah program, para peneliti secara paralel akan dilatih menjadi Analis Kebijakan. Disampaikan dalam sesi tanya jawab pertama, Laksono menyatakan bahwa lebih baik dalam pelatihan analis kebijakan ini dilakukan dalam tim, sehingga dapat menekan biaya pelatihan yang mahal. Selain itu, analis kebijakan ini tidak hanya terbatas hanya untuk JKN, bahkan dapat digunakan untuk topik di luar kesehatan,sehingga peluang ini terbuka bagi siapapun.

Dilanjutkan dengan narasumber yang kedua, yaitu dr. Tiara Marthias, MPH. Tiara menyampaikan bahwa output diskusi ini adalah memahami konsep Realist Evaluation (RE). Pertanyaan lengkap dalam pendekatan RE adalah “Apa yang berhasil/efektif, untuk siapa dan dalam hal apa saja, sejauh mana keberhasilannya, dalam konteks apa serta bagaimana proses pencapaian keberhasilan tersebut?”. Dibandingkan dengan pendekatan evaluasi terdahulu, konsep RE berangkat dari evaluasi terhadap suatu program atau kebijakan kesehatan/sosial yang berbeda dengan misalnya menilai efektivitas obat. Dalam menilai efektivitas sebuah obat, perlu kontrol yang sangat ketat terhadap berbagai macam indikator. Namun, program kesehatan/sosial ini memiliki banyak interaksi dengan faktor lain. Ada interaksi yang muncul sebagai akibat dari implementasi program atau interaksi yang tidak terduga akan menjadi akibat dari implementasi program. Pertanyaan kebijakan dalam RE lebih spesifik, seperti apa kira-kira aspek yang penting diperhatikan untuk keberhasilan implementasi program di daerah ini? Apakah intervensi/program X akan berhasil di daerah ini? Apakah kita perlu membuat targeting yang lebih spesifik untuk program ini? Bagaimana caranya?.

RE bukan metode terpisah dari monev. Hal ini hanya pendekatan berpikir saja, karena dapat didalami dengan pendekatan kuantitatif, kualitatif, atau mix-method. Uniknya konsep RE adalah RE mengembalikan evaluasi program kepada teori yang mendasari program tersebut dijalankan. Selain itu, RE ini diharapkan dapat diadopsi ke kebijakan/program lain dengan dasar teori yang sama.

Dalam sesi diskusi, banyak peserta yang mengkonfirmasi apakah topik penelitian yang akan diambil dapat menggunakan pendekatan RE. Kedua narasumber menyatakan bahwa dalam menentukan hal ini RE atau tidak, kunci utamanya adalah memahami teori yang mendasari program tersebut seperti apa, kemudian dalam melakukan penelitian lebih baik mengukur output yang ada. Apalagi dalam sesi ini yang dibahas adalah khusus program JKN, disarankan dapat berangkat dari topik-topik dalam sasaran Peta Jalan JKN. Ditambahkan bahwa kata kunci RE adalah theory based. Masalah yang diuji bukan hanya program atau intervensinya, tetapi teori yang ada di balik program itu. RE secara detail mengukur apakah implementasi program ini berhasil sesuai teori atau tidak dan apakah terdapat input, proses, dan output yang jelas dan terukur spesifik, misalnya apakah input yang ada sesuai konteks program, apa saja proses yang muncul selama implementasi program, dan output yang ada ini memiliki dampak kepada siapa saja. ini sesuaikonteks atau tidak, proses muncul tidak output berdampak ke siapa saja.

Di akhir sesi, Prof. Laksono Trisnantoro, M.Sc., PhD memberikan arahan untuk menyusun rumusan masalah, serta dr. Tiara Marthias, MPH menyampaikan persiapan topik webinar selanjutnya terkait program logic dan identifikasi prgoram theory. Diskusi hari ini diharapkan menjadi awal pengenalan RE sekaligus persiapan evaluasi program JKN tahun 2018.

Sebagai informasi tambahan, diskusi melalui webinar ini akan terus berlangsung dan diagendakan hingga Desember 2018 dengan topik-topik yang berbeda namun saling terkait dan berkelanjutan. Diharapkan para partisipan/peserta webinar dapat mengikuti secara rutin sehingga mampu mendapatkan pendampingan ilmu dan pemahaman yang menyeluruh mengenai pendekatan Realist Evaluation ini.

oleh Aulia Novelira, SKM.,M.Kes

 

 

Kerangka Acuan Kegiatan

Evaluasi Kebijakan JKN Tahun 2018 – 2019
Menggunakan Metode Realist Evaluation
PKMK FKKMK UGM

Pertemuan ke-3:
Penyusunan Kerangka Protokol Realist Evaluation Mengacu
pada Standar RAMESES II

 

LATAR BELAKANG

Realist evaluation yang diperkenalkan oleh Pawson dan Tilley (1997) merupakan bentuk evaluasi berbasis teori, berdasarkan pada filosofi sains realis yang membahas pertanyaan apa yang berhasil, untuk siapa, dalam keadaan apa, dan bagaimana dilakukan. Metode ini merupakan cara evaluasi implementasi kebijakan yang dirancang untuk menangkap aspek-aspek yang terjadi di lapangan. Realist evaluation semakin banyak digunakan dalam penelitian kesehatan dan penelitian evaluasi lainnya. Dalam menyusun protokol penelitian menggunakan metode realist evaluation, struktur dan format penulisan yang sesuai dengan standar pelaporan merupakan aspek yang cukup penting untuk diperhatikan.

Pertemuan ini membahas kerangka penulisan protokol penelitian menggunakan metode realist evaluation sesuai dengan standar pelaporannya (RAMESES II) yang dikembangkan oleh Wong et al (2016). Harapannya, protokol penelitian sebagai output dalam kegiatan ini dapat disusun sesuai standar sehingga dapat memenuhi kaidah jurnal yang mengakomodir artikel hasil penelitian realist evaluation.

TUJUAN

Diskusi yang dikemas dalam bentuk webinar ini bertujuan untuk mengundang wakil dari:

1. Perguruan tinggi kesehatan, kedokteran, dan/atau ilmu sosial dan ilmu politik
2. Lembaga penelitian kesehatan dan kebijakan publik

untuk melakukan penyusunan protokol evaluasi kebijakan JKN menggunakan metode realist evaluation sesuai standar RAMESES II.

TEMPAT & JADWAL

Diskusi diselenggarakan mellaui webinar pada 27 Februari 2018 di Ruang Leadership, Gedung IKM Lantai 3 Pukul 14.00 – 15.30 WIB. Adapun rundown acara adalah sebagai berikut.

Waktu	Materi	Narasumber
14.00 – 14.10 Wib	Pembukaan	Moderator: Shita Listyadewi
14.10 – 14.30 Wib	Pengantar Penyusunan Kerangka Protokol Penelitian Evaluasi JKN 2018-2019	Prof. Laksono Trisnantoro
14.30 – 14.45 Wib	Standar Pelaporan Realist Evaluation Berdasarkan RAMESES II Guidelines.	Tiara Marthias
14.45 – 15.30 Wib	Diskusi dan rencana tindak lanjut	Moderator: Shita Listyadewi
15.30 Wib	Penutupan	Moderator: Shita Listyadewi

Apabila peserta berhalangan mengikuti webinar, seluruh materi kegiatan sebelumnya dapat dipelajari di http://bit.ly/MonevJKN2018. 

PENDAFTARAN

Bagi peserta yang mewakili Perguruan Tinggi dan Lembaga Penelitian yang berminat untuk mengikuti webinar ini dapat mendaftar secara online melalui: Registration URL: https://attendee.gotowebinar.com/register/7273351170553488641 
Webinar ID: 335-948-315 (Gratis).

Atau menghubungi narahubung di bawah ini:

Maria Adelheid Lelyana
e-mail: [email protected] 
Telp.: (0274) 549425
HP: +6281329760006

Dedik Sulistiawan
e-mail: [email protected] 
HP: +6285736810190

 

 

No.	Bagian	Deskripsi
1	Judul	Pada bagian judul, perlu diidentifikasi bahwa dokumen adalah realist evaluation.
2	Ringkasan atau abstrak	Artikel jurnal biasanya akan memerlukan abstrak, sementara laporan dan bentuk publikasi lainnya biasanya cenderung menggunakan sebuah ringkasan singkat. Baik abstrak maupun ringkasan harus mencakup rincian singkat tentang: kebijakan, program atau inisiatif yang sedang dievaluasi; setting program; tujuan evaluasi; pertanyaan evaluasi dan/ atau tujuan; strategi evaluasi; pengumpulan data, dokumentasi dan metode analisis; temuan kunci dan kesimpulan.   Terkadang, deskripsi singkat tentang responden dalam proses evaluasi serta teknik dan proses pengambilan sampel juga dapat disertakan apabila jurnal yang dituju membutuhkannya, dan sifat studinya sesuai dengan kriteria yang diharapkan jurnal tersebut. Rincian yang memadai harus diberikan untuk mengidentifikasi bahwa pendekatan realis telah digunakan dan teori program realis telah dikembangkan dan/ atau disempurnakan.
3	Pendahuluan
	Dasar/pertimbangan melakukan evaluasi	Jelaskan tujuan dilakukannya evaluasi dan implikasinya terhadap fokus serta desain yang digunakan.
	Teori program	Jelaskan teori awal program atau teori yang mendukung program, kebijakan atau inisiatif.
	Pertanyaan evaluasi, tujuan dan fokus	Sebutkan pertanyaan evaluasi dan tentukan tujuan evaluasi. Jelaskan apa dan bagaimana teori program digunakan untuk menentukan ruang lingkup dan fokus evaluasi.
	Persetujuan etik	Nyatakan apakah realist evaluation diperlukan dan mendapat persetujuan etik dari komite/ otoritas terkait, berikan rincian yang sesuai. Jika persetujuan etik dianggap tidak perlu, jelaskan mengapa tidak diperlukan.
4	Metode
	Dasar/pertimbangan menggunakan realist evaluation	Jelaskan mengapa pendekatan realist evaluation dipilih atau diadaptasi/ disesuaikan.
	Lingkungan sekitar evaluasi	Jelaskan kondisi/ suasana lingkungan tempat evaluasi berlangsung.
	Penjelasan kebijakan program, inisiatif atau produk yang dievaluasi	Berikan rincian yang relevan mengenai program, kebijakan atau inisiatif yang dievaluasi.
	Penjelasan dan justifikasi desain evaluasi	Deskripsi dan justifikasi rancangan evaluasi (yaitu laporan tentang apa yang direncanakan, dilakukan dan mengapa) harus disertakan, setidaknya dalam bentuk ringkasan atau sebagai lampiran dalam dokumen yang menyajikan temuan utama. Jika hal ini tidak dilakukan, maka harus ada justifikasinya serta referensi desain evaluasi harus dicantumkan. Mungkin juga dokumen atau protokol aslinya diterbitkan atau disediakan secara gratis (misalnya online di situs web) sehingga dapat diakses oleh pembaca.
	Metode pengumpulan data	Jelaskan dan berikan justifikasi metode pengumpulan data mana yang digunakan, mengapa dan bagaimana caranya responden/ informan dilibatkan dalam proses pengembangan, dukungan, penolakan atau penyempurnaan teori program. Berikan rincian langkah-langkah yang diambil untuk meningkatkan kredibilitas proses pengumpulan data dan dokumentasi.
	Proses rekrutmen dan strategi pengambilan sampel	Jelaskan bagaimana responden dalam evaluasi direkrut atau dilibatkan dan bagaimana sampel dapat memberikan kontribusi terhadap pengembangan, dukungan, penolakan atau penyempurnaan teori program.
	Analisis data	Jelaskan secara rinci bagaimana data dianalisis. Bagian ini harus mencakup informasi tentang konstruksi yang diidentifikasi, proses analisis, bagaimana teori program dikembangkan lebih lanjut, didukung, disanggah dan disempurnakan, dan (jika relevan) bagaimana analisis berubah apabila evaluasi tidak dikembangkan.

File selengkapnya 

download

 

No.	Bagian	Deskripsi	Terdapat dalam Dokumen			Hal.
			Ya	Tidak	Belum Jelas
1	Judul	Pada bagian judul, perlu diidentifikasi bahwa dokumen adalah realist evaluation.

 

 

 

 

 

 

Agenda ini merupakan salah satu langkah awal yang dilakukan oleh PKMK FK UGM dan Perguruan Tinggi mitra untuk melaksanakan mekanisme evaluasi pada kebijakan di era Jaminan Kesehatan Nasional. Agenda evaluasi JKN 2018 ini dilaksanakan di FK UGM pada tanggal 8 Februari 2018 dan disampaikan melalui webinar. Agenda ini dibuka langsung oleh Prof. Laksono Trisnantoro MSc PhD dan dilanjutkan pemaparan materi tentang Realistic Evaluation oleh dr. Tiara Marthias, MPH selaku peneliti dan konsultan dari PKMK FK UGM. Secara garis besar, sesi ini menyampaikan pentingnya pelaksanaan evaluasi pada kebijakan sistem JKN melalui pendekatan Realistic Evaluation. Program ini diikuti langsung oleh peneliti, mahasiswa, praktisi dan mitra perguruan tinggi PKMK UGM.

Pada sesi awal, Prof. Laksono Trisnantoro MSc PhD menyampaikan bahwa saat ini diperlukan adanya langkah konkret dalam perbaikan kebijakan di era JKN yang berjalan masih belum optimal. Langkah strategis yang dapat dilaksanakan adalah melakukan penelitian evaluatif terhadap program JKN dengan pendekatan realist evaluation. Saat ini merupakan langkah yang tepat dalam merumuskan penelitian yang dimaksudkan untuk menjadi masukkan pagi Pemerintah atau policy maker di tahun politik. Hal ini menjadi dasar tentang urgensi dalam menjawab momen yang krusial dengan penelitian evaluatif strategis dalam upaya perbaikan kualitas sistem JKN. Prof Laksono Trisnantoro memaparkan bahwa agenda ini merupakan program brainstorming pada lembaga partner atau Universitas mitra untuk membangun perumusan penelitian kebijakan melalui realist evaluaion. Di lain sisi, agenda ini menjadi momen untuk pemaparan pemanfaatan teori realist evaluation pada Perguruan Tinggi mitra untuk merumuskan penelitian evaluasi kebijakan JKN. Selain itu Prof Laksono Trisantoro MSc PhD menyampaikan bahwa program ini dapat disinkronkan dengan peningkatan kapasitas lembaga partner dalam program analis kebijakan yang dapat disupervisi oleh Lembaga Administrasi Negara.

Sesi kedua dilanjutkan dengan pemaparan teori Realist Evaluation oleh dr. Tiara Marthias, MPH. Realist evaluation merupakan pendekatan evaluatif yang praktis dalam menjawab kompleksitas sistem kebijakan khususnya dalam frame kebijakan kesehatan indonesia di era JKN. Secara sederhana, realist evaluation dapat menjawab evaluasi program dengan lebih mendalam. Hal tersebut dapat menjelaskan secara detail tentang apa program yang efektif, untuk siapa, dalam koteks apa hingga bagaimana program tersebut berjalan. Konsep realist evaluation dikembangkan melalui konfigurasi context, mechanism dan outcome (C-M-O). Context menjelaskan tentang aspek karakteristik populasi, jenis organisasi, SDM hingga kultur. Sedangkan pada mechanism, aspek ini lebih memaparkan tentang proses yang muncul akibat interaksi program yang spesifik. Pada outcome, aspek yang dikaji yakni mengenai perubahan yang terjadi akibat interaksi antara context dan mechanism. Sehingga, dengan konfigurasi C-M-O, realist evaluation dapat menjelaskan dengan mendalam tentang program apa yang belum optimal, kepada kelompok sosial apa, kondisi dan pola proses. Oleh karena itu, relist evaluation memiliki keunggulan dalam menangkap kesimpulan evaluatif pada suatu program dengan lebih rinci.

Beberapa diskusi yang muncul antara lain seputar skema pendanaan penelitian, topik yang diusung, keterlibatan mahasiswa pascasarjana dan perguruan tinggi lain, serta beberapa teori yang mendukung penelitian evaluasi JKN dengan pendekatan realist evaluation. Menanggapi hal ini, narasumber menyampaikan bahwa skema pendanaan penelitian ini sangat fleksibel menggunakan dana apapun, misalnya dana penelitian DIKTI, maupun skema filantropisme yang lain. Bagi perguruan tinggi yang telah memiliki skema pendanaan di tahun 2018, sangat diharapkan dapat melakukan penelitian evaluasi JKN ini di tahun 2018. Sementara itu, bagi perguruan tinggi yang belum siap, diperkenankan untuk memulai penelitian di tahun 2019. Protokol penelitian evaluasi JKN ini akan dikembangkan bersama-sama melalui kegiatan webinar, sementara itu teknis pelaksanaannya di daerah disesuaikan dengan konteks masing-masing. Keterlibatan mahasiswa pascasarjana juga sangat diharapkan untuk memperluas cakupan evaluasi, baik itu wilayah, konteks, maupun aspek yang lainnya. Adapun beberapa teori yang mendukung penelitian dengan pendekatan ini akan digali lebih dalam pada pertemuan-pertemuan berikutnya ketika penyusunan proposal sudah berjalan.

Selain itu, beberapa audiens juga menanyakan terkait goal dari penelitian evaluasi dengan pendekatan realist evaluation. Narasumber menyampaikan bahwa tidak menutup kemungkinan hasil dari penelitian evaluasi menggunakan metode realist evaluation adalah berupa middle-range theory. Hal ini disebabkan karena unit analisis dalam penelitian dengan pendekatan realist evaluation adalah teori yang mendasari program yang sedang dievaluasi. Tidak hanya itu, hasil penelitian ini juga dapat berupa pengembangan kebijakan baru berdasarkan rekomendasi penelitian yang telah dilakukan.

Di akhir sesi, narasumber bersama-sama dengan audiens menyepakati beberapa aspek. Hal tersebut diantaranya, PKMK UGM dan Perguruan Tinggi mitra menyepakati tentang perumusan penelitian mengenai evalusai kebijakan JKN melalui relist evaluation. Di sisi lain, agenda tersebut akan disinkronkan dan dioptimalkan melalui program peningkatan kapasitas SDM lembaga dan Perguruan Tinggi untuk dilatih menjadi Analis Kebijakan sesuai dengan modul dari lembaga Administrasi Negara dan KSI. Prof. Laksono Trisnantoro MSc PHD menyimpulkan bahwa ini merupakan momentum tepat dalam mengevaluasi kebijakan JKN di tiap daerah melalui realist evaluation yang dikembangkan langsung oleh perguruan tinggi di daerah. Area evaluasi kebijakan pada program JKN memiliki scope yang sangat luas untuk diteliti sebagai upaya perbaikan program kebijakan JKN yang lebih baik.

Reporter Nopryan Ekadinata

 

 

Bagi Perguruan Tinggi yang ingin berpartisipasi dalam penyusunan proposal dan melakukan penelitian di tahun 2018 dan 2019, silahkan untuk dapat mendaftar dengan klik di sini:

Pendaftaran Evaluasi JKN 2018