Keynote speech

Keynote speech 1
Keynote speech 2

Keynote speech 1

Keynote speech: Realistic evaluation: origins and destinations

Nick Tilley (University College London)
Brisbane, 24 Oktober 2017

Pada sesi ini, Nick Tilley yang juga menulis buku Realistic Evaluation bersama Ray Pawson (1997) memaparkan awal mula kedua penulis ini terjun ke dunia realisme dan merumuskan pendekatan yang sekarang dikenal dengan realist evaluation. Nick Tilley dan Ray Pawson adalah dua orang sosiolog yang merasa isu-isu sosial tidak tepat dievaluasi dengan pendekatan konvensional seperti randomized controlled trial (RCT). Namun, saat era 90-an sebelum realist evaluation dikenal luas, ada tendensi diantara peneliti untuk menempatkan RCT sebagai gold standard dalam mengevaluasi semua intervensi, termasuk intervensi sosial yang melibatkan aspek manusia yang begitu kompleks.

Ide awal realist evaluation dipublikasikan pertama kali dalam konferensi kriminologi di San Francisco pada 1991, kemudian diikuti dengan berbagai pubilkasi yang semakin mematangkan konsep realist evaluation ini. Ray Pawson lebih berkonsentrasi pada pengembangan metodologinya, sedangkan Nick Tilley dari sisi praktis dan kebijakan. Cukup menarik untuk melihat implementasi awal realist evaluation ini bermula dari topik kriminologi, dimana tingkat kriminalitas di seluruh dunia semakin turun akibat sejumlah intervensi yang dilakukan oleh pihak kepolisian dan penegak hukum lainnya.

Salah satu ilustrasi yang dipaparkan adalah fungsi dari kamera pengawas (surveillance/CCTV camera) dalam menurunkan atau mencegah terjadinya pencurian. Pertanyaan evaluasinya adalah: apakah/mengapa dan bagaimana kamera pengawas efektif dalam mencegah terjadinya kejahatan?. Dengan pendekatan realist evaluation, ada beberapa teori di balik efektivitasnya:

Calon kriminal / kriminal langsung dapat ditangkap karena polisi/petugas keamanan langsung dapat melihat kejahatan yang sedang/akan terjadi
Calon kriminal / kriminal urung melakukan tindak kejahatan karena merasa diawasi dengan adanya CCTV tersebut

Dari 2 teori di atas saja, tampak bahwa CCTV bekerja berdasarkan setidaknya 2 mekanisme: (1) deteksi dan (2) pencegahan. Kedua teori ini perlu diuji lagi untuk menentukan pada lokasi tertentu dan jenis kriminal yang ada di lingkungan tersebut (misal, residivis mungkin tidak terlalu peduli apabila ada risiko tertangkap, sebaliknya remaja yang belum pernah berurusan dengan pihak berwajib akan berpikir dua kali sebelum melakukan tindakan vandalisme dan juga faktor lain yang ada di dalam konteks yang sedang dievaluasi. Setelah ditentukan teori mana yang digunakan, maka perbaikan intervensi bisa dilakukan. Misal, untuk pencegahan, lebih baik CCTV diletakkan di tempat yang lebih terlihat agar calon kriminal langsung menyadari adanya CCTV. Sebaliknya, untuk konteks dimana deteksi lebih berperan, mungkin CCTV perlu diletakkan lebih tersembunyi dan langsung dihubungkan dengan sistem alarm polisi, dan sebagainya.

Sesi ini juga menekankan penggunaan middle-range theory dalam realist evaluation, yaitu teori yang diposisikan antara kebijakan besar (atau ‘big policy ideas’) dan level implementasi di lapangan. Hal ini penting karena tujuan realist evaluation untuk menunjukkan bagaimana suatu kebijakan/program/intervensi bekerja secara efektif, dalam konteks apa dan untuk siapa saja.

Nick Tilley kemudian memaparkan bahwa pendekatan realist evaluation ini menjanjikan dalam membantu evaluasi kebijakan yang kompleks. Namun, pendekatan ini masih dalam tahap awal dan butuh pengembangan metodologi serta meningkatkan penggunaannya dalam mengembangkan atau memperbaiki kebijakan di bidang sosial. Tantangan lain yang disebutkan berhubungan dengan penilaian kualitas evaluasi yang berdasarkan realist evaluation serta bagaimana memastikan rumusan middle-range theory dapat membantu perbaikan kebijakan. Hal ini sangat berhubungan juga dengan transferabilitas hasil realist evaluation itu sendiri yang cenderung dapat diinterpretasikan untuk konteks yang terbatas dan populasi target yang terbatas pula.

Dari sesi keynote ini, realist evaluation tampak sangat menarik untuk digunakan lebih lanjut dalam mengevaluasi kebijakan, termasuk kebijakan kesehatan, yang memiliki kompleksitas tinggi karena pendekatan ini akan memberikan gambaran lebih detil dan kontekstual dalam menilai berhasil atau tidaknya suatu kebijakan serta memberikan masukan untuk perbaikan ke depan agar kebijakan tidak bersifat one-size fits all.

Keynote speech 2

Seven challenges for RE/RS: Seven tasks for the conference!

Raymond Pawson, University of Leeds, UK (in absentia)-Via video
Brisbane 25 Oktober 2017

Pada sesi ini, Ray Pawson berhalangan hadir untuk menyampaikan materinya. Namun Ray menampilkan video presentasinya yang sangat menarik dengan mengangkat 7 tantangan yang dihadapi dalam melakukan realist evaluation dan synthesis. Ketujuh isu ini menjadi bagian dari materi yang diharapkan dapat didiskusikan dan dijawab dalam seminar ini oleh para peserta seminar. Ketujuh isu tersebut meliputi:

Mengganti ‘program-program’ dengan ‘programme theory’ sebagai unit dari analisis. Pada studi dengan pendekatan tradisional, seringkali gambaran keseluruhan dari suatu masalah menjadi tidak teridentifikasi atau tidak tertangkap. Hal ini disebabkan fokus dari evaluasi adalah pada program-program atau intervensi yang ada dan bukan program theory. Salah satu masukan dari Ray Pawson yaitu mengubah tahap awal dari evaluasi. Ray Pawson menekankan kelebihan dari menganalisis permasalahan yang ada terlebih dahulu sebelum menganalisis program kesehatan atau intervensi. Tahap awal ini disebut sebagai realist diagnostic of the program.
Memperbanyak realist evaluation atau realist synthesis untuk bidang kebijakan dan bukan lagi program. Hal ini penting mengingat banyaknya penelitian evaluasi untuk menghasilkan evidenced-based policy namun jarang fokus terhadap ide-ide besar. Pendekatan realist untuk riset tentang ide-ide besar dan kebijakan dimulai dengan melihat aspek spesifik dari kebijakan, bagi dan fokuskan menjadi beberapa poin teori. Kemudian petakan menggunakan realist questions.
Perlunya eksplorasi pada program dan sejarah kebijakan. Salah satu yang sering hilang dalam evaluasi suatu program adalah sequence antar program. Ketika kita terlalu fokus mengevaluasi satu program saja, banyak konteks lain yang hilang karena kita tidak melihat perbedaan antar program yang pernah dilakukan. Pemahaman ini akan memperkaya informasi lebih dari sekedar jawaban atas “apa yang membuat berhasil mencapai tujuan atau berhasil dilaksanakan”. Pemahaman atau eksplorasi antar program dan kebijakan yang ada, ditemukanadanya “kelelahan” program, dimana tingkat jenuh dari implementasi program telah terjadi dan menjadi salah satu faktor ketidakberhasilan suatu program.
Presentasi atau visualisasi yang lebih baik dalam pemaparan realist theories. Seperti diagram teory of change atau program logic lainnya dalam studi evaluasi, panah-panah yang menjelaskan alur dari inputs, outputs hingga outcomes tidak terlalu dapat dipahami apa yang terjadi pada tahap panah/transisi ini. Sebaliknya, pendekatan realist dapat menjelaskan dengan lebih detil terkait apa-apa yang terjadi di ‘panah’ atau transisi ini dengan mencoba menggambarkan multiple dynamics system. Penjelasan ini mencakup konteks, mekanisme dan outcome yang berbeda-beda.
Perlunya pemahaman yang lebih bahwa “theory testing” berarti “theory adjudication”. Poin ini menekankan pentingnya kemampuan dan pemahaman seorang researcher untuk dapat melakukan theory testing, yang berarti mampu menentukan di antara penjelasan yang masuk akal. Salah satu sindiran yang disampaikan adalah, apabila seorang mahasiswa mengalami kesulitan dalam menentukan setidaknya tiga penjelasan yang masuk akal untuk suatu program dapat berhasil atau gagal, maka sebaiknya mahasiswa tersebut memilih subject atau profesi yang lainnya.
Meningkatkan pemahaman dan pengakuan bahwa realist explanation adalah trans-disciplinary. Penjelasan realist memerlukan pendekatan trans-disciplinary yang melibatkan banyak unsur keilmuan. Kompleksitas dari pendekatan ini dapat digambarkan dengan pohon realist, di mana banyak cabang yang mewakili beragam konteks, mekanisme dan outcomes.
Mengurangi formula atau aplikasi tertentu dan memperbanyak pendalaman berpikir dan lebih banyak duduk. Intellectual craftsmanship menjadi pokok kegiatan yang harus lebih banyak dilakukan daripada mencoba memformulasikan kepingan informasi yang belum terpetakan. Pendekatan realist menempatkan peneliti sebgai aset yang penting dalam pengembangan riset evaluasi yang secara personal terlibat dalam kegiatan ini. Salah satu saran yang diberikan adalah dengan memiliki suatu diary atau dokumentasi perjalanan pemikiran (thinking journey) yang merekam perkembangan logika berpikir si peneliti dalam proses pengembangan realist evaluation. Dokumen ini penting menjadi acuan, bukan hanya untuk peneliti sendiri melainkan juga untuk keperluan pengembangan studi. Saran lainnya yang diberikan adalah dengan menggunakan pendekatan system project daripada single project.

Demikian 7 isu penting yang diharapkan oleh Ray Pawson dapat didiskusikan dalam seminar kali ini. Video menarik beliau menjadi penyemangat tersendiri dalam acara pembukaan seminar ini. Selain itu ke-tujuh isu di atas menjadi isu yang relevan dalam mengemebangan pendekatan realist untuk evaluation study ke depannya.

Reportase topik terkait:

Reportase oleh: Tiara Marthias & Dhini Rahayu Ningrum

{jcomments on}

Twitter

Facebook

share with Whatsapp

share with Telegram

Send by email