Pertemuan ke-5:Evaluasi Kebijakan JKN Tahun 2018 – 2019 Menggunakan Pendekatan Realist Evaluation

Kerangka Acuan Kegiatan

Evaluasi Kebijakan JKN Tahun 2018 – 2019
Menggunakan Pendekatan Realist Evaluation

PKMK FKKMK UGM

Pertemuan ke-5:

  1. Perumusan Metode Pengumpulan Data dan Analisis Untuk Theory Testing dalam Realist Evaluation.
  2. Sesi 1 Penulisan Proposal Evaluasi JKN dengan Pendekatan Realist Evaluation.

  Latar Belakang

Realist evaluation yang diperkenalkan oleh Pawson dan Tilley (1997) merupakan bentuk evaluasi berbasis teori, berdasarkan pada filosofi sains realis yang membahas pertanyaan apa yang berhasil, untuk siapa, dalam keadaan apa, dan bagaimana dilakukan. Pendekatan ini merupakan cara evaluasi implementasi kebijakan yang dirancang untuk menangkap aspek-aspek yang terjadi di lapangan. Realist evaluation semakin banyak digunakan dalam penelitian kesehatan dan penelitian evaluasi lainnya. Asumsi yang dibangun dalam realist evaluation adalah bahwa program merupakan jelmaan dari teori. Artinya, setiap kali sebuah program dirancang dan diimplementasikan, akan selalu dipengaruhi oleh satu atau lebih teori tentang apa yang mungkin menyebabkan perubahan, meskipun teori tersebut tidak disebutkan secara eksplisit.

Pendekatan realist evaluation mensyaratkan bahwa teori-teori yang mendasari program dituangkan dalam hipotesis yang jelas tentang bagaimana, untuk siapa, sampai sejauh mana, dan dalam konteks apa sebuah program mungkin bekerja (menyebabkan perubahan). Evaluasi program yang dilakukan ditujukan untuk menguji dan memperbaiki hipotesis tersebut. Data yang dikumpulkan dalam realist evaluation yang digunakan untuk mencapai tujuan tersebut antara lain dampak dan proses implementasi program, konteks yang mungkin berdampak pada outcome, serta mekanisme tertentu yang mungkin menciptakan perubahan. Mengingat data yang diperlukan memiliki jangkauan yang luas, maka metode yang digunakan untuk mengumpulkan data tersebut juga dapat bervariasi. Metode pengumpulan data yang dipilih diharapkan cukup adekuat sehingga mampu menangkap intended dan unintended outcome serta interaksi C-M-O yang menyebabkannya. Selain itu, bagaimana data mampu digunakan untuk mengembangkan, mendukung, menyangkal, maupun memperbaiki teori juga penting untuk dijelaskan dalam rencana analisis.

Webinar realist evaluation pada pertemuan kelima ini membahas bagaimana metode pengumpulan data dan analisis untuk theory testing dalam realist evaluation dirumuskan. Selain itu, juga akan diselenggarakan pula sesi 1 penulisan proposal evaluasi JKN dengan pendekatan realist evaluation sebagai langkah awal dalam menyusun proposal. Adapun proposal evaluasi JKN menggunakan pendekatan realist evaluation dibagi ke dalam 3 kelompok sebagai berikut:

  1. Kelompok Outcome Tata Kelola/ Governance
  2. Kelompok Outcome Keadilan Sosial
  3. Kelompok Outcome Mutu/ Kualitas

Harapannya, dengan mengikuti kegiatan ini peserta webinar memahami metode pengumpulan data dan analisis untuk theory testing dalam penelitian evaluasi kebijakan JKN menggunakan pendekatan realist evaluation. Selain itu, diharapkan pula peserta webinar turut berkontribusi dalam penulisan proposal evaluasi dengan cara memilih minimal salah satu kelompok outcome.

  Tujuan

Diskusi yang dikemas dalam bentuk webinar ini bertujuan untuk mengundang wakil dari:

  1. Perguruan tinggi kesehatan, kedokteran, dan/atau ilmu sosial dan ilmu politik
  2. Lembaga penelitian kesehatan dan kebijakan publik

untuk melakukan penyusunan proposal evaluasi kebijakan JKN menggunakan pendekatan realist evaluation.

  Tempat dan Jadwal

Diskusi diselenggarakan melalui webinar pada 24 April 2018 di Laboratorium Leadership, Gedung IKM Lantai 3 Pukul 10.00 – 11.30 WIB. Adapun rundown acara adalah sebagai berikut.

Waktu Materi Narasumber
10.00 – 10.10 Wib Pembukaan Moderator: Dedik sulistyawan
10.10 – 10.30 Wib

Perumusan Metode Pengumpulan Data dan Analisis Untuk Theory Testing dalam Realist Evaluation

materi

Tiara Marthias
10.30 – 10.45 Wib

Sesi 1 Penulisan Proposal Evaluasi JKN dengan Pendekatan Realist Evaluation

materi

Prof. Laksono Trisnantoro
10.45 – 11.30 Wib Diskusi Moderator: Dedik sulistyawan
11.30 Wib Penutupan Moderator: Dedik sulistyawan

reportase

Apabila peserta berhalangan mengikuti webinar, seluruh materi kegiatan sebelumnya dapat dipelajari di http://bit.ly/MonevJKN2018 

Atau menghubungi narahubung di bawah ini:

Maria Adelheid Lelyana
e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it.
Telp.: (0274) 549425
HP: +6281329760006

Dedik Sulistiawan
e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it.
HP: +6285736810190

Reportase Webinar Pertemuan Ke-4

Evaluasi JKN Menggunakan Pendekatan Realist Evaluation
Konfigurasi Context-Mechanism-Outcome (C-M-O) dalam Realist Evaluation

Yogyakarta, 28 Maret 2018

Pertemuan keempat webinar evaluasi JKN menggunakan pendekatan realist evaluation membahas topik konfigurasi context-mechanism-outcome atau lebih dikenal dengan konfigurasi C-M-O yang merupakan ciri khas evaluasi kebijakan atau program dengan pendekatan realist evaluation. Pada webinar kali ini, dr. Tiara Marthias, MPH sebagai narasumber menyampaikan kembali review tentang realist evaluation untuk mengingatkan kembali peserta terkait konsep-konsep dasar pendekatan ini dan memberikan kesempatan bagi peserta yang baru bergabung untuk memahami secara singkat materi yang sedang dibahas. Selain itu, dalam kesempatan ini juga diulas hierarchy of outcome sebagai pengantar untuk memasuki sub-topik konfigurasi C-M-O dalam realist evaluation.

Sebagaimana disampaikan, pendekatan realist evaluation mensyaratkan bahwa teori-teori yang mendasari program dituangkan dalam hipotesis yang jelas tentang bagaimana, untuk siapa, sampai sejauh mana, dan dalam konteks apa sebuah program mungkin bekerja (menyebabkan perubahan). Evaluasi program yang dilakukan ditujukan untuk menguji dan memperbaiki hipotesis tersebut. Data yang dikumpulkan dalam realist evaluation yang digunakan untuk mencapai tujuan tersebut yaitu dampak dan proses implementasi program, konteks yang mungkin berdampak pada outcome, serta mekanisme tertentu yang mungkin menciptakan perubahan. Pemahaman tentang bagaimana aspek-aspek tertentu dari konteks yang membentuk mekanisme yang kemudian mengarah pada hasil dapat dinyatakan sebagai konfigurasi context-mechanism-outcome (C-M-O) yang merupakan unit analitis di mana realist evaluation dibangun.

Untuk lebih memperjelas topik bahasan, narasumber menyampaikan hierarchy of outcome sebagai kerangka dalam mengidentifikasi konfigurasi C-M-O dalam realist evaluation. Hierarchy of outcome membantu peneliti mengidentifikasi beberapa program atau kebijakan yang akan dievaluasi hingga mencapai immediate outcome, intermediate outcome, hingga level ultimate outcome yang ingin dicapai dalam implementasi suatu kebijakan/ program. Narasumber menjelaskan bahwa pada setiap proses implementasi program/ kebijakan akan ada konteks dan mekanisme yang dikehendaki maupun tidak dikehendaki hingga akhirnya mencapai outcome baik ideal maupun yang tidak ideal. Hal ini disebabkan karena adanya konteks tertentu yang berperan sehingga menciptakan mekanisme yang membuat program berkerja maupun tidak bekerja. Pada kesempatan ini narasumber juga menyampaikan cara yang digunakan untuk membantu analis kebijakan dalam mengidentifikasi konfigurasi C-M-O dalam realist evaluation.

Narasumber juga melakukan simulasi bagaimana langkah mengidentifikasi konfigurasi C-M-O dalam kebijakan pembayaran kapitasi berbasis pemenuhan komitmen palayanan (Peraturan Bersama Sekretaris Jenderal Kementerian Kesehatan RI dan Direktur Utama BPJS Kesehatan No. 2 Tahun 2017). Logika program dalam kebijakan ini adalah dengan memberikan standar pencapaian indikator kapitasi berbasis pemenuhan komitmen pelayanan, maka seluruh FKTP di Indonesia dipicu untuk menyediakan layanan standar (sesuai dengan 144 diagnosis yang harus tuntas di FKTP) sehingga menurunkan angka rujukan non-spesialistik. Apabila FKTP tidak mampu mencapai target yang ditetapkan dalam kebijakan ini, maka jumlah dana kapitasi yang diterima dikurangi dari jumlah yang seharusnya diterima.

Dicontohkan bahwa dalam kondisi ideal dengan konteks FKTP memiliki dokter dengan kompetensi yang cukup, didukung oleh peralatan yang mendukung penegakan 144 diagnosis, serta besarnya nilai kapitasi hingga dirasa “sayang” apabila tidak diterimakan secara penuh akan mendorong terwujudnya mekanisme yaitu FKTP termotivasi oleh kebijakan kapitasi berbasis pemenuhan komitmen pelayanan untuk mencapai target indikator rujukan non-spesialistik agar mendapatkan kapitasi secara penuh. Konteks dan mekanisme yang berjalan ini akan mewujudkan outcome berupa terstandarnya layanan di FKTP karena FKTP mampu menegakkan diagnosis yang tidak perlu dirujuk ke fasilitas kesehatan lebih tinggi. Namun, pada kenyataannya yang terjadi di lapangan bisa jadi bukan C-M-O ideal, melainkan konfigurasi C-M-O lain yang bervariasi sebagaimana disimulasikan oleh narasumber misalnya outcome yang muncul bukan yang diharapkan (unintended outcome) karena konteks dan mekanisme yang terjadi bukan yang ideal sebagaimana diharapkan.

Beberapa diskusi yang muncul pada pertemuan ini antara lain terkait langkah mengidentifikasi C-M-O, desain penelitian yang cocok untuk pendekatan realist evaluation, langkah memilih outcome prioritas, serta usulan kolaborasi antarpeneliti dalam menyusun konfigurasi C-M-O yang lebih komprehensif. Terkait hal ini, narasumber menyampaikan bahwa untuk menyusun konfigurasi C-M-O, langkah pertama yang harus dilakukan yaitu mengidentifikasi outcome terlebih dahulu, kemudian mengidentifikasi input serta teori yang mendasari program baru kemudian komponen tersebut di-test teorinya menggunakan beberapa konfigurasi C-M-O yang muncul selama proses pengumpulan data. Disampaikan pula bahwa desain penelitian realist evaluation tidak terbatas pada kualitatif semata, melainkan dapat digunakan dalam setiap desain penelitian, baik kualitatif, kuantitatif, mau pun mix-method. Namun, sehubungan dengan banyaknya aspek yang harus dijawab, sulit rasanya realist evaluation dijalankan dengan hanya menggunakan desain kuantitatif. Peneliti juga diharapkan untuk menetapkan prioritas program atau kebijakan yang dirasa krusial untuk mencapai outcome. Di akhir sesi, tim mengapresiasi inisiatif dari peserta yang mengusulkan kolaborasi dalam menyusun konfigurasi C-M-O sehingga menghasilkan analisis yang komprehensif. Merespon hal ini, tim akan membentuk jejaring antarpeneliti dalam platform komunikasi daring misalnya WhatsApp goup.

Reportase oleh: Dedik Sulistiawan

 

Evaluasi Kebijakan JKN Tahun 2018 – 2019 Menggunakan Pendekatan Realist Evaluation - pertemuan 4b

Kerangka Acuan Kegiatan

Evaluasi Kebijakan JKN Tahun 2018 – 2019 Menggunakan Pendekatan Realist Evaluation

PKMK FKKMK UGM

 

Pertemuan ke-4B:
Sesi Refreshment: Penyusunan Kerangka Context-Mechanism-Outcome (C-M-O) dalam Realist Evaluation

  Latar Belakang

Realist evaluation yang diperkenalkan oleh Pawson dan Tilley (1997) merupakan bentuk evaluasi berbasis teori, berdasarkan pada filosofi sains realis yang membahas pertanyaan apa yang berhasil, untuk siapa, dalam keadaan apa, dan bagaimana dilakukan. Pendekatan ini merupakan cara evaluasi implementasi kebijakan yang dirancang untuk menangkap aspek-aspek yang terjadi di lapangan. Realist evaluation semakin banyak digunakan dalam penelitian kesehatan dan penelitian evaluasi lainnya. Asumsi yang dibangun dalam realist evaluation adalah bahwa program merupakan jelmaan dari teori. Artinya, setiap kali sebuah program dirancang dan diimplementasikan, akan selalu dipengaruhi oleh satu atau lebih teori tentang apa yang mungkin menyebabkan perubahan, meskipun teori tersebut tidak disebutkan secara eksplisit.

Pendekatan realist evaluation mensyaratkan bahwa teori-teori yang mendasari program dituangkan dalam hipotesis yang jelas tentang bagaimana, untuk siapa, sampai sejauh mana, dan dalam konteks apa sebuah program mungkin bekerja (menyebabkan perubahan). Evaluasi program yang dilakukan ditujukan untuk menguji dan memperbaiki hipotesis tersebut. Data yang dikumpulkan dalam realist evaluation yang digunakan untuk mencapai tujuan tersebut yaitu dampak dan proses implementasi program, konteks yang mungkin berdampak pada outcome, serta mekanisme tertentu yang mungkin menciptakan perubahan. Pemahaman tentang bagaimana aspek-aspek tertentu dari konteks yang membentuk mekanisme yang kemudian mengarah pada hasil dapat dinyatakan sebagai konfigurasi context-mechanism-outcome (C-M-O) yang merupakan unit analitis di mana realist evaluation dibangun.

Webinar realist evaluation pada pertemuan keempat ini membahas kembali bagaimana cara menyusun kerangka/ konfigurasi context-mechanism-outcome (C-M-O) yang merupakan ciri khas evaluasi program/ kebijakan dengan pendekatan realist evaluation. Harapannya, peserta webinar lebih memahami proses identifikasi context-mechanism-outcome (C-M-O) dalam penelitian evaluasi kebijakan JKN menggunakan pendekatan realist evaluation. Sesi ini juga akan membahas beberapa latihan yang dikerjakan oleh peserta webinar terkait konfigurasi C-M-O.

  Tujuan

Diskusi yang dikemas dalam bentuk webinar ini bertujuan untuk mengundang wakil dari:

  1. Perguruan tinggi kesehatan, kedokteran, dan/atau ilmu sosial dan ilmu politik
  2. Lembaga penelitian kesehatan dan kebijakan publik

untuk melakukan penyusunan protokol evaluasi kebijakan JKN menggunakan metode realist evaluation dengan terlebih dahulu memahami proses identifikasi context-mechanism-outcome (C-M-O) dalam penelitian evaluasi dengan pendekatan realist evaluation.

  Tempat dan Jadwal

Diskusi diselenggarakan melalui webinar pada 10 April 2018 di Laboratorium Leadership Gd. IKM lt.3 Pukul 14.00 – 15.30 WIB. Adapun rundown acara adalah sebagai berikut.

Waktu Materi Narasumber
14.00 – 14.10 Wib Pembukaan Moderator: Shita Listyadewi
14.10 – 14.30 Wib Pengantar Pertemuan 4b Prof. Laksono Trisnantoro
14.30 – 14.45 Wib

Penyusunan Kerangka Context-Mechanism-Outcome (C-M-O) dalam Realist Evaluation

materi

Tiara Marthias
14.45 – 15.30 Wib Diskusi pembahasan latihan perumusan hierarchy of outcome dan konfigurasi C-M-O Moderator
15.30 Wib Penutupan Moderator

Apabila peserta berhalangan mengikuti webinar, seluruh materi kegiatan sebelumnya dapat dipelajari di http://bit.ly/MonevJKN2018 

Pendaftaran

Bagi peserta yang mewakili Perguruan Tinggi dan Lembaga Penelitian yang berminat untuk mengikuti webinar ini dapat mendaftar secara online melalui:

URL: Link Webinar: https://attendee.gotowebinar.com/register/8262090301273556226 
Webinar ID: 514-996-155

Atau menghubungi narahubung di bawah ini:
Maria Adelheid Lelyana
e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it. 
Telp.: (0274) 549425
HP: +6281329760006

Dedik Sulistiawan
e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it. 
HP: +6285736810190

 

Pertemuan ke-4: Penyusunan Kerangka Context-Mechanism-Outcome (C-M-O) dalam Realist Evaluation

Kerangka Acuan Kegiatan

Evaluasi Kebijakan JKN Tahun 2018 – 2019 Menggunakan Pendekatan Realist Evaluation

PKMK FKKMK UGM

 

Pertemuan ke-4:
Penyusunan Kerangka Context-Mechanism-Outcome (C-M-O) dalam Realist Evaluation

  Latar Belakang

Realist evaluation yang diperkenalkan oleh Pawson dan Tilley (1997) merupakan bentuk evaluasi berbasis teori, berdasarkan pada filosofi sains realis yang membahas pertanyaan apa yang berhasil, untuk siapa, dalam keadaan apa, dan bagaimana dilakukan. Pendekatan ini merupakan cara evaluasi implementasi kebijakan yang dirancang untuk menangkap aspek-aspek yang terjadi di lapangan. Realist evaluation semakin banyak digunakan dalam penelitian kesehatan dan penelitian evaluasi lainnya. Asumsi yang dibangun dalam realist evaluation adalah bahwa program merupakan jelmaan dari teori. Artinya, setiap kali sebuah program dirancang dan diimplementasikan, akan selalu dipengaruhi oleh satu atau lebih teori tentang apa yang mungkin menyebabkan perubahan, meskipun teori tersebut tidak disebutkan secara eksplisit.

Pendekatan realist evaluation mensyaratkan bahwa teori-teori yang mendasari program dituangkan dalam hipotesis yang jelas tentang bagaimana, untuk siapa, sampai sejauh mana, dan dalam konteks apa sebuah program mungkin bekerja (menyebabkan perubahan). Evaluasi program yang dilakukan ditujukan untuk menguji dan memperbaiki hipotesis tersebut. Data yang dikumpulkan dalam realist evaluation yang digunakan untuk mencapai tujuan tersebut yaitu dampak dan proses implementasi program, konteks yang mungkin berdampak pada outcome, serta mekanisme tertentu yang mungkin menciptakan perubahan.

emahaman tentang bagaimana aspek-aspek tertentu dari konteks yang membentuk mekanisme yang kemudian mengarah pada hasil dapat dinyatakan sebagai konfigurasi context-mechanism-outcome (C-M-O) yang merupakan unit analitis di mana realist evaluation dibangun.

Webinar realist evaluation pada pertemuan keempat ini membahas bagaimana cara menyusun kerangka/ konfigurasi context-mechanism-outcome (C-M-O) yang merupakan ciri khas evaluasi program/ kebijakan dengan pendekatan realist evaluation. Harapannya, peserta webinar lebih memahami proses identifikasi context-mechanism-outcome (C-M-O) dalam penelitian evaluasi kebijakan JKN menggunakan pendekatan realist evaluation.

  Tujuan

Diskusi yang dikemas dalam bentuk webinar ini bertujuan untuk mengundang wakil dari:

  1. Perguruan tinggi kesehatan, kedokteran, dan/atau ilmu sosial dan ilmu politik
  2. Lembaga penelitian kesehatan dan kebijakan publik

untuk melakukan penyusunan protokol evaluasi kebijakan JKN menggunakan metode realist evaluation dengan terlebih dahulu memahami proses identifikasi context-mechanism-outcome (C-M-O) dalam penelitian evaluasi dengan pendekatan realist evaluation.

  Tempat dan Jadwal

Diskusi diselenggarakan melalui webinar pada 28 Maret 2018 di Studio Mini, Gedung IKM Lantai 1 Pukul 14.00 – 15.30 WIB. Adapun rundown acara adalah sebagai berikut.

Waktu Materi Narasumber
14.00 – 14.10 Wib Pembukaan Moderator
14.10 – 14.30 Wib Pengantar Pertemuan Keempat Prof. Laksono Trisnantoro
14.30 – 14.45 Wib

Penyusunan Kerangka Context-Mechanism-Outcome (C-M-O) dalam Realist Evaluation

materi

Tiara Marthias
14.45 – 15.30 Wib Diskusi dan rencana tindak lanjut Moderator
15.30 Wib Penutupan Moderator

Apabila peserta berhalangan mengikuti webinar, seluruh materi kegiatan sebelumnya dapat dipelajari di http://bit.ly/MonevJKN2018.

Pendaftaran

Bagi peserta yang mewakili Perguruan Tinggi dan Lembaga Penelitian yang berminat untuk mengikuti webinar ini dapat mendaftar secara online melalui:

URL: https://attendee.gotowebinar.com/register/3569761701714908930
Webinar ID: 529-863-339

Atau menghubungi narahubung di bawah ini:
Maria Adelheid Lelyana
e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it. 
Telp.: (0274) 549425
HP: +6281329760006

Dedik Sulistiawan
e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it. 
HP: +6285736810190

 

Reportase Webinar Realist Evaluation ke 3

Penyusunan Kerangka Protokol Realist Evaluation Mengacu pada Standar RAMESES II dan Identifikasi Program Logic, Teori, dan Pertanyaan Penelitian

27 Februari 2018

27febWebinar evaluasi kegiatan JKN melalui realist evaluation merupakan rangkaian webinar yang bertujuan untuk medorong peneliti melakukan evaluasi jaminan kesehatan nasional (JKN). Output yang diharapkan dalam program ini adalah partisipan dapat menyajikan hasil penelitian yang dapat berkontribusi terhadap kebijakan JKN tersebut. Tema kegiatan kali ini adalah penyusunan kerangka protokol realist evaluation mengacu pada standar RAMESES II dan identifikasi program logic, teori, dan pertanyaan penelitian. Kegiatan ini kembali dipandu oleh Muh. Faozi Kurniawan, SE. Akt., MPH selaku moderator dan materi disampaikan oleh 2 orang narasumber yaitu Prof. Laksono Trisnantoro, M.Sc.,PhD dan dr. Tiara Marthias, MPH sebagai peneliti dan konsultan dari PKMK FKKMK UGM.

Prof. Laksono mengungkapkan bahwa Universitas Gadjah Mada dan Jaringan Kebijakan Kesehatan Indonesia telah melaksanakan program monitoring kebijakan JKN pada 2014-2017. Pada tahun kelima, UGM menginisiasi evaluasi kebijakan JKN tersebut bersama dengan lembaga penelitian lainnya secara independen tanpa pengaruh dari Kementerian Kesehatan maupun Badan Penyelenggaran Jaminan Sosial (BPJS) dengan metode realist evaluation. Namun dalam program ini, lembaga peneliti juga tidak menutup terhadap dana penelitian yang berasal dari kedua organisasi tersebut. Program realist evaluation JKN ini diharapkan dapat melibatkan lebih banyak perguruan tinggi di Indonesia. Harapannya dengan semakin banyak penelitian di bidang ini, maka dapat menjadi pertimbangan pemangku kepentingan termasuk Dewan Perwakilan Rakyat (DPR). Lebih jauh, harapan dari program ini adalah partisipan mampu menganalisis kebijakan-kebijakan JKN yang ada.

Narasumber kedua, yaitu dr. Tiara Marthias, MPH, paparan pertama, mengingatkan kembali tentang karakteristik dari realist evaluation yang menjawab lebih rinci terhadap keberhasilan program. Selanjutnya dipaparkan contoh realist evaluation pada artikel Nehla Djellouli, 2017 tentang Improving postpartum care delivery and uptake by implementing context- specific interventions in four countries in Africa : a realist evaluation of the Missed Opportunities in Maternal and Infant Health ( MOMI ) project. Artikel tersebut menggunakan tiga Pawson’s theory of health system change, Michie’s Behaviour Change Wheel dan social capital theory. Contoh selanjutnya adalah gambaran tentang program pemetaan, logika program dan teori terhadap sasaran ketiga dan keempat dari skema JKN tersebut. Selanjutnya diskusi dengan peserta webinar tentang bagaimana dapat menentukan teori dan logika program terhadap seluruh sasaran JKN tersebut.

Pemaparan kedua dari dr. Tiara Marthias, MPH tentang outline protocol realist evaluation mengingatkan bahwa bagian unik dari kerangka realist evaluation adalah bagian pendahuluan. Bagian tersebut terdiri dari dasar/pertimbangan melakukan evaluasi, teori program, pertanyaan evaluasi, tujuan dan fokus. Selanjutnya protokol realist evaluation telah diterjemahkan ke dalam Bahasa Indonesia dan dapat diakses pada website https://kebijakankesehatanindonesia.net/ . Penelitian tersebut harus dapat menjelaskan unsur dari kebijakan yang sedang dievaluasi dan teori yang interpretasi oleh peneliti sendiri. Realist Evaluation juga harus dapat berkontribusi terhadap penyempurnaan teori yang digunakan dalam menentukan unsur kebijakan. Terakhir, peserta dapat mengakses http://www.ramesesproject.org/  untuk mendapatkan informasi lebih lanjut mengenai realist evaluation.

Beberapa diskusi yang terangkum dari webinar ini antara lain cara menentukan teori dan logika program, perbedaan realist evaluation dengan pendekatan evaluasi lainnya, potensi topik-topik yang diusulkan oleh peserta untuk realist evaluation, serta sasaran program yang akan dievaluasi. Menanggapi hal ini, narasumber menyatakan bahwa untuk menentukan logika program, peneliti dapat menggunakan pola pikir sederhana yaitu dengan menggunakan pendekatan input-proses-output-outcome dalam realist evalution. Sementara itu, untuk menentukan teori program, misalnya untuk sasaran kedelapan JKN 2019 (BPJS Kesehatan dikelola secara terbuka, efisien dan akuntabel) dapat digunakan teori tentang governance. Narasumber juga menyampaikan bahwa logika program itu juga dapat berupa apa yang dipresepsikan oleh peneliti. Untuk mengukur pencapaian program, peneliti dapat mengkritisi unsur regulasi yang tertuang. Terdapat banyak dokumen yang dapat digunakan untuk membuat kerangka berpikir, namun hal tersebut dikembalikan lagi kepada peneliti. Hal ini disebabkan karena pada dasarnya karakteristik utama realist evalution melihat mekanisme apa yang diterapkan sehingga mencapai output tertentu.

Sementara itu, merespon perbedaan realist evaluation dengan pendekatan lainnya misal riset implementasi, narasumber menyampaikan bahwa riset implementasi lebih menitikberatkan pada kesesuaian pada implementasi dengan perencanaan kebijakan tersebut, namun tidak menekankan pada perbaikan teori. Sedangkan realist evaluation menekankan pada teori yang melatarbelakangi kebijakan dan tujuannya untuk memperbaiki teori tersebut. Terkait dengan potensi topik yang diusulkan peserta, narasumber menyatakan bahwa pada dasarnya realist evaluation dapat menjadi pola pikir untuk mengevaluasi seluruh program berdasarkan peta jalan JKN. Peneliti dapat menyesuaikan rencana sasaran evaluasi berdasarkan 8 sasaran peta jalan JKN, sehingga evaluasi lebih terstruktur. Oleh sebab itu, peneliti diharapkan untuk benar-benar memahami ruang lingkup dari kedelapan sasaran JKN tersebut.

(oleh Relmbus Biljers Fanda, MPH)

 

Reportase Realist Evaluation : Penyusunan Proposal dan Rumusan Masalah

realist 23

Awal 2018, PKMK FKKMK UGM mempersiapkan kegiatan Evaluasi Program JKN, setelah dilakukan proses monitoring terhadap implementasi JKN sejak 2014. Pendekatan Realist Evaluation dipilih sebagai model evaluasi yang diyakini mampu menghadirkan proses dan hasil evaluasi yang lebih menekankan kaitan antara teori program/intervensi dengan keberhasilan/ketidakberhasilan intervensi dalam topik/isu tertentu. Mengingat masih barunya pendekatan ini, pada Jumat, 23 Februari 2018, PKMK FKKMK UGM kembali melaksanakan diskusi melalui webinar refreshment yang bertujuan untuk memberikan pengayaan pengetahuan dan pemahaman peserta webinar berkaitan dengan topik webinar pada 8 Februari 2018. Topik yang diangkat dalam sesi ini adalah penyusunan proposal dengan pendekatan Realist Evaluation. Diskusi ini dipandu oleh Muh. Faozi Kurniawan, SE.Akt.,MPH selaku moderator dan materi akan disampaikan oleh 2 orang narasumber yaitu Prof. Laksono Trisnantoro, M.Sc.,PhD dan dr. Tiara Marthias, MPH sebagai peneliti dan konsultan dari PKMK FKKMK UGM.

Diskusi diawali dengan materi pengantar yang disampaikan oleh Prof. Laksono Trisnantoro, M.Sc.,PhD. Dalam sesi ini, Laksono menyampaikan program JKN masih memiliki kekurangan dan belum cukup siap dalam implementasinya. Kebijakan ini dapat diperbaiki pada level UU atau di bawah UU. Saat ini banyak dibahas dalam tataran peraturan presiden. Jika ingin melakukan perbaikan di tingkat UU, prosesnya akan lebih lama. PKMK FKKMK UGM saat ini mengajak para mitra universitas, peneliti, praktisi, bahkan akademisi untuk bersama-sama melakukan evaluasi secara spesifik dengan pendekatan Realist Evaluation terhadap program JKN. Akan sangat baik jika pendekatan ini mampu diterapkan di berbagai wilayah/daerah di Indonesia. Tidak hanya mengevaluasi sebuah program, para peneliti secara paralel akan dilatih menjadi Analis Kebijakan. Disampaikan dalam sesi tanya jawab pertama, Laksono menyatakan bahwa lebih baik dalam pelatihan analis kebijakan ini dilakukan dalam tim, sehingga dapat menekan biaya pelatihan yang mahal. Selain itu, analis kebijakan ini tidak hanya terbatas hanya untuk JKN, bahkan dapat digunakan untuk topik di luar kesehatan,sehingga peluang ini terbuka bagi siapapun.

Dilanjutkan dengan narasumber yang kedua, yaitu dr. Tiara Marthias, MPH. Tiara menyampaikan bahwa output diskusi ini adalah memahami konsep Realist Evaluation (RE). Pertanyaan lengkap dalam pendekatan RE adalah “Apa yang berhasil/efektif, untuk siapa dan dalam hal apa saja, sejauh mana keberhasilannya, dalam konteks apa serta bagaimana proses pencapaian keberhasilan tersebut?”. Dibandingkan dengan pendekatan evaluasi terdahulu, konsep RE berangkat dari evaluasi terhadap suatu program atau kebijakan kesehatan/sosial yang berbeda dengan misalnya menilai efektivitas obat. Dalam menilai efektivitas sebuah obat, perlu kontrol yang sangat ketat terhadap berbagai macam indikator. Namun, program kesehatan/sosial ini memiliki banyak interaksi dengan faktor lain. Ada interaksi yang muncul sebagai akibat dari implementasi program atau interaksi yang tidak terduga akan menjadi akibat dari implementasi program. Pertanyaan kebijakan dalam RE lebih spesifik, seperti apa kira-kira aspek yang penting diperhatikan untuk keberhasilan implementasi program di daerah ini? Apakah intervensi/program X akan berhasil di daerah ini? Apakah kita perlu membuat targeting yang lebih spesifik untuk program ini? Bagaimana caranya?.

RE bukan metode terpisah dari monev. Hal ini hanya pendekatan berpikir saja, karena dapat didalami dengan pendekatan kuantitatif, kualitatif, atau mix-method. Uniknya konsep RE adalah RE mengembalikan evaluasi program kepada teori yang mendasari program tersebut dijalankan. Selain itu, RE ini diharapkan dapat diadopsi ke kebijakan/program lain dengan dasar teori yang sama.

Dalam sesi diskusi, banyak peserta yang mengkonfirmasi apakah topik penelitian yang akan diambil dapat menggunakan pendekatan RE. Kedua narasumber menyatakan bahwa dalam menentukan hal ini RE atau tidak, kunci utamanya adalah memahami teori yang mendasari program tersebut seperti apa, kemudian dalam melakukan penelitian lebih baik mengukur output yang ada. Apalagi dalam sesi ini yang dibahas adalah khusus program JKN, disarankan dapat berangkat dari topik-topik dalam sasaran Peta Jalan JKN. Ditambahkan bahwa kata kunci RE adalah theory based. Masalah yang diuji bukan hanya program atau intervensinya, tetapi teori yang ada di balik program itu. RE secara detail mengukur apakah implementasi program ini berhasil sesuai teori atau tidak dan apakah terdapat input, proses, dan output yang jelas dan terukur spesifik, misalnya apakah input yang ada sesuai konteks program, apa saja proses yang muncul selama implementasi program, dan output yang ada ini memiliki dampak kepada siapa saja. ini sesuaikonteks atau tidak, proses muncul tidak output berdampak ke siapa saja.

Di akhir sesi, Prof. Laksono Trisnantoro, M.Sc., PhD memberikan arahan untuk menyusun rumusan masalah, serta dr. Tiara Marthias, MPH menyampaikan persiapan topik webinar selanjutnya terkait program logic dan identifikasi prgoram theory. Diskusi hari ini diharapkan menjadi awal pengenalan RE sekaligus persiapan evaluasi program JKN tahun 2018.

Sebagai informasi tambahan, diskusi melalui webinar ini akan terus berlangsung dan diagendakan hingga Desember 2018 dengan topik-topik yang berbeda namun saling terkait dan berkelanjutan. Diharapkan para partisipan/peserta webinar dapat mengikuti secara rutin sehingga mampu mendapatkan pendampingan ilmu dan pemahaman yang menyeluruh mengenai pendekatan Realist Evaluation ini.

oleh Aulia Novelira, SKM.,M.Kes

 

 

Pertemuan ke-3: Penyusunan Kerangka Protokol Realist Evaluation Mengacu pada Standar RAMESES II

Kerangka Acuan Kegiatan

Evaluasi Kebijakan JKN Tahun 2018 – 2019
Menggunakan Metode Realist Evaluation
PKMK FKKMK UGM

Pertemuan ke-3:
Penyusunan Kerangka Protokol Realist Evaluation Mengacu
pada Standar RAMESES II

 

LATAR BELAKANG

Realist evaluation yang diperkenalkan oleh Pawson dan Tilley (1997) merupakan bentuk evaluasi berbasis teori, berdasarkan pada filosofi sains realis yang membahas pertanyaan apa yang berhasil, untuk siapa, dalam keadaan apa, dan bagaimana dilakukan. Metode ini merupakan cara evaluasi implementasi kebijakan yang dirancang untuk menangkap aspek-aspek yang terjadi di lapangan. Realist evaluation semakin banyak digunakan dalam penelitian kesehatan dan penelitian evaluasi lainnya. Dalam menyusun protokol penelitian menggunakan metode realist evaluation, struktur dan format penulisan yang sesuai dengan standar pelaporan merupakan aspek yang cukup penting untuk diperhatikan.

Pertemuan ini membahas kerangka penulisan protokol penelitian menggunakan metode realist evaluation sesuai dengan standar pelaporannya (RAMESES II) yang dikembangkan oleh Wong et al (2016). Harapannya, protokol penelitian sebagai output dalam kegiatan ini dapat disusun sesuai standar sehingga dapat memenuhi kaidah jurnal yang mengakomodir artikel hasil penelitian realist evaluation.

TUJUAN

Diskusi yang dikemas dalam bentuk webinar ini bertujuan untuk mengundang wakil dari:

  1. Perguruan tinggi kesehatan, kedokteran, dan/atau ilmu sosial dan ilmu politik
  2. Lembaga penelitian kesehatan dan kebijakan publik

untuk melakukan penyusunan protokol evaluasi kebijakan JKN menggunakan metode realist evaluation sesuai standar RAMESES II.

TEMPAT & JADWAL

Diskusi diselenggarakan mellaui webinar pada 27 Februari 2018 di Ruang Leadership, Gedung IKM Lantai 3 Pukul 14.00 – 15.30 WIB. Adapun rundown acara adalah sebagai berikut.

Waktu Materi Narasumber
14.00 – 14.10 Wib Pembukaan Moderator: Shita Listyadewi
14.10 – 14.30 Wib Pengantar Penyusunan Kerangka Protokol Penelitian Evaluasi JKN 2018-2019 Prof. Laksono Trisnantoro
14.30 – 14.45 Wib Standar Pelaporan Realist Evaluation Berdasarkan RAMESES II Guidelines. Tiara Marthias
14.45 – 15.30 Wib Diskusi dan rencana tindak lanjut Moderator: Shita Listyadewi
15.30 Wib Penutupan Moderator: Shita Listyadewi

Apabila peserta berhalangan mengikuti webinar, seluruh materi kegiatan sebelumnya dapat dipelajari di http://bit.ly/MonevJKN2018

PENDAFTARAN

Bagi peserta yang mewakili Perguruan Tinggi dan Lembaga Penelitian yang berminat untuk mengikuti webinar ini dapat mendaftar secara online melalui: Registration URL: https://attendee.gotowebinar.com/register/7273351170553488641 
Webinar ID: 335-948-315 (Gratis).

Atau menghubungi narahubung di bawah ini:

Maria Adelheid Lelyana
e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it. 
Telp.: (0274) 549425
HP: +6281329760006

Dedik Sulistiawan
e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it. 
HP: +6285736810190