MonevPartisipatif

MODUL KHUSUS FASILITATOR

DEPARTEMEN

PEKERJAAN

UMUMDirektorat Jenderal Cipta Karya

Pelatihan Dasar 3F20

PNPM Mandiri Perkotaan

Modul 1 Pengertian Monitoring dan Evaluasi 1

Kegiatan 1 Permainan Menebak Perubahan 2

Modul 2 Melakukan Monev Partisipatif BKM/LKM 28

Kegiatan 1 Permainan Mengamati Barang 29

Kegiatan 2 Diskusi Kelompok Berputar : Bagaimana Melakukan Monev? 30

1

Modul 1 Topik: Pengertian Monitoring dan Evaluasi (Monev)

1. Peserta memahami konsep monev partisipatif

2. Peserta memahami pentingnya monev partisipatif dalam PNPMMP

Kegiatan 1 : Permainan menebak perubahan

3 Jpl ( 225’)

Bahan Bacaan :

1. Monev Partisipatif dan Pemberdayaan Masyarakat

2. Mengapa Monev Partisipatif Penting Dalam PNPMMP

3. Pengertian Evaluasi

• Kertas Plano, Kuda-kuda untuk Flip-chart

• LCD

• Metaplan, Spidol, selotip kertas dan jepitan besar

• Papan Tulis dengan perlengkapannya

2

Permainan Menebak Perubahan

1) Sebagai pembukaan, sampaikan kepada peserta tujuan dari sesi ini, yaitu agar peserta: memahami pentingnya monev dalam PNPMMP.

2) Kemudian mintalah peserta untuk berdiri, dan membentuk dua barisan (atur agar jarak antara

kedua barisan tersebut agak berjauhan, kira-kira dua langkah). Kemudian sampaikan aturan permainan sebagai berikut:

• Mintalah peserta untuk memperhatikan pasangannya masing-masing, dari ujung rambut

hingga ujung kaki. • Jelaskan bahwa setelah pemandu menyampaikan aba-aba nanti, semua peserta harus balik

kanan (saling membelakangi) dan membuat satu macam perubahan pada pakaiannya di bagian depan (yang bisa dilihat oleh pasangannya).

• Pasangan mereka harus menebak, apa yang berubah. Pandu proses menebak tersebut. • Lakukan sekali lagi, minta peserta menambahkan dua macam perubahan. Jika mau,

lakukan sekali lagi, dan minta peserta menambahkan lima perubahan. Perhatikan, jika peserta mengeluh, hentikan permainan.

3) Persilakan peserta untuk duduk kembali. Kemudian ajaklah peserta mendiskusikan hal-hal

berikut ini:

• Sulitkah mengamati suatu perubahan? Kapan pengamatan tersebut sulit dan kapan

menjadi mudah? Mengapa? • Menurut anda, mungkinkah untuk melibatkan ‘obyek’ yang diamati dalam

mengamati/mengevaluasi suatu perubahan? Mengapa? • Mengapa pengamatan semacam ini menjadi penting?

4) Tuliskan point-point penting jawaban peserta, dan di akhir proses diskusi, simpulkan pendapat

peserta. Beri masukan berdasarkan bahan bacaan, dan tutup diskusi dengan memberikan masukan berikut ini (jika belum tersimpulkan dalam diskusi):

3

Proses pengamatan dan evaluasi dalam permainan ini menggambarkan sebuah kegiatan monev. Monev akan menjadi sulit, jika tidak diintegrasikan dengan perencanaan dari awal. Pada saat perencanaan dibuat, semestinya sudah dirumuskan ukuran-ukuran (kuantitatif maupun kualitatif) mengenai capaian yang diinginkan, sehingga pengamatan dapat difokuskan pada hal-hal yang akan dilihat saja.

Monev partisipatif adalah monev yang dalam pelaksanaannya mengikutsertakan pembelajaran demokrasi dan partisipasi bagi para pelakunya. Pelaku monev partisipatif adalah pihak orang luar maupun warga masyarakat yang menjadi sasaran program tersebut.

4

MONEV PARTISIPATIF DAN PEMBERDAYAAN MASYARAKAT Oleh Ria Djohani, Studio Driyamedia Bandung

Apakah kita terkadang memikirkan tentang APA saja yang telah saya lakukan dalam hidup saya? Apakah ke depan saya masih bisa melakukan hal yang belum tercapai? Apakah saya hanya melalui hidup saya begitu saja, tanpa rencana dan refleksi? Apakah proyek/program kita juga berjalan begitu saja tanpa kita pikirkan arah dan tujuannya?

Sistem perencanaan dan monev program dalam filosofi pemberdayaan, bukanlah hanya proses, forum, atau alat manajemen program, melainkan suatu proses, forum, atau alat pembelajaran (sharing, refleksi) dan demokrasi (pengambilan keputusan bersama).

Apa konsekuensi dari pendekatan partisipatif terhadap sistem perencanaan dan monev yang perlu dikembangkan? Tentunya aspek pemberdayaan masyarakat dalam penilaian perkembangan, kemajuan dan capaian program merupakan suatu aspek yang luas. Dimensinya bukan hanya ekonomi saja, melainkan juga aspek sosial, politik lokal, kepemimpinan dan keorganisasian, dan lingkungan.

Apa yang perlu dimonev setelah suatu program berjalan, sejak perencanaan sudah perlu dirumuskan bersama masyarakat. Dengan begitu, arah program akan dikembangkan sesuai dengan rencana, dan penilaian (monev) dilakukan utuk melihat apakah rencana itu berjalan atau tidak. Masyarakat menentukan: perkembangan program apa yang penting dipantau dan apa saja indikator capaian program yang akan dievaluasi pada suatu jangka waktu tertentu.

Sebagai latihan, pada awalnya, masyarakat dilatih diajak untuk menentukan indikator kemajuan KEBUN (misalnya) atau usahanya. Setelah kemampuan berkembang, barulah mereka diajak menilai hal-hal yang lebih strategis. Dengan demikian, monev dalam program partisipatif adalah suatu proses pemberdayaan. Tidak bisa sekaligus menjadi kemampuan masyarakat, tetapi secara bertahap peran Orang Luar dipindahkan ke Orang Dalam (pada awalnya monev lebih banyak dilakukan Orang Luar, semakin lama beralih kepada Orang Dalam).

Pada awal perkembangannya, evaluasi program merupakan metodologi yang dianggap sebagai kompetensi kalangan tertentu (akademisi) sehingga dilakukan oleh orang yang berada di luar program. Seiring dengan perkembangan evaluasi partisipatif (lihat buku Riset Partisipatoris, Riset Pembebasan; Fernandes dan Tandon), evaluasi menjadi suatu yang lebih mengutamakan ideologi (prinsip-nilai) ketimbang meributkan kesahihan datanya. Proses kesepakatan terhadap apa yang dicapai menjadi lebih penting ketimbang validitas data.

Dalam bekerja dengan masyarakat dampingan, rata-rata LSM selalu mengembangkan atau memperkuat organisasi masyarakat (kelompok tani/jaringan tani, koperasi, dsb.) sehingga kita perlu juga mengevaluasi penguatan organisasi dan kepemimpinannya. Tetapi, yang paling penting dilihat adalah: apakah penguatan organisasi rakyat (seperti BKM dan KSM),

5

menyumbangkan sesuatu pada pemberdayaan (perubahan pola kekuasaan yang lebih adil dan demokratis) ataukah justru mempekuat pola dominasi kelompok elitis?

Penguatan KSM bukanlah sekedar alat untuk menjalankan program dari luar, melainkan suatu kerangka gerakan perubahan sosial melalui kelompok atau organisasi yang memiliki kesadaran dan memperjuangkan demokratisasi/ pembaruan.

Inti dari pemilihan metode/teknik monev partisipatif adalah: apakah metode ini bisa membangun proses pembelajaran masyarakat di dalam suatu forum refleksi yang terbuka, dialogis, dan setara?

6

MENGAPA MONEV PARTISIPATIF ITU PENTING Dalam kehidupan sehari-hari, seringkali kita menyaksikan atau mendengar cerita tentang berbagai kegiatan atau program yang berhasil dilaksanakan, sesuai rencana dan hasilnya dapat dinikmati oleh orang banyak. Namun, tak juga jarang kita mendengar kegiatan atau program yang gagal, tujuan tidak tercapai dan tidak begitu baik hasilnya. Sayangnya, pengalaman keberhasilan dan kegagalan tesebut seringkali dianggap angin lalu saja. Kita jarang secara sungguh-sungguh mencermati kembali pengalaman keberhasilan dan kegagalan. Akibatnya adalah kita tidak memiliki pelajaran berarti dari berbagai peristiwa dan pengalaman tersebut dan seringkali kita mengalami kegagalan pada kegiatan yang sama secara berulang kali. Pertanyaannya adalah: Apakah kita memiliki cara untuk mengetahui bahwa kita tidak sedang melakukan hal-hal yang akan membawa kegagalan? Banyak cara dapat kita lakukan untuk menjawab pertanyaan tersebut. Tetapi keputusan kita untuk melakukan monev secara benar terhadap apa yang kita kerjakan, yaitu dengan berusaha untuk secara terus menerus atau berkala dan secara sungguh-sungguh melihat dan memikirkan kembali perkembangan dari kegiatan atau program yang kita kerjakan, sebetulnya kita menghindari kegagalan dan berjalan menuju keberhasilan. Dengan melakukan monev terhadap apa yang kita kerjakan maka secara sadar dapat kita kontrol kesesuaian penggunaan sumber daya, pilihan cara dan saling menjaga kinerja di antara pihak-pihak yang terlibat. Karenanya monev menjadi penting supaya tujuan kegiatan atau program dapat dicapai dan dapat dipertanggungjawabkan kepada semua pihak lain yang berkepentingan atas apa yang kita lakukan.

Monev Partisipatif Dalam PNPMMP

Seperti halnya kegiatan tahapan siklus PNPMMP seperti pemetaan swadaya, refleksi kemiskinan, dan penyusunan PJM Pronangkis (perencanaan); monev partisipatif adalah suatu forum pengambilan keputusan bersama mengenai apa yang ingin dan akan dilakukan oleh masyarakat dalam berkegiatan dan mengembangkan program. Monev dilakukan untuk menilai tahap-tahap pencapaian kegiatan/program seperti yang digambarkan dalam siklus.

Hasil-hasil pengamatan/monitoring sebelumnya, dibandingkan dengan hasil-hasil pengamatan berikutnya, sehingga kita bisa melihat apakah terjadi perubahan secara berkesinambungan. Dengan begitu, pada monev partisipatif kita selalu membandingkan hasil-hasil dari waktu ke waktu, sehingga terjadi aksi – refleksi – aksi. Indikator monev dengan metodologi-pendekatan partisipatif sebaiknya memperhatikan aspek hasil fisik dan non-fisik.

7

Apa saja yang diperlukan supaya monev berhasil (syarat monev)?

Karena monev dibuat antara lain untuk melihat perkembangan serta capaian suatu program, maka program tersebut perlu dirumuskan dalam perencanaan yang jelas.

Sebelum monev dilakukan, terlebih dahulu harus ada kesepakatan antar semua pihak yang akan terlibat: untuk keperluan apa monev dibuat dan manfaat apa yang ingin diperoleh dari monev.

Sebagai ikatan dalam melaksanakan monev bersama-sama perlu ada kesepakatan mengenai nilai dasar atau prinsip yang ingin kita wujudkan dalam pekerjaan kita.

Untuk melakukan monev perlu ada rencana yang jelas sehingga ia akan melekat dan menjadi bagian dari kehidupan kita sehari-hari.

Tiga Pilar Monev

Ketika kita membuat rencana kerja, adalah saat yang tepat untuk sekaligus menyusun rencana monev. Dengan demikian kita memastikan bahwa monev betul-betul menyatu dengan pekerjaan kita, dan bukan sesuatu yang terpisah atau bahkan terlupakan sama sekali. Kita harus memastikan bahwa kita sudah memiliki “pilar” yang dibutuhkan untuk membangun rencana monev yaitu rencana kerja yang jelas, kesepakatan bersama tujuan monev dan kesepakatan cita/nilai/prinsip melakukan monev. 1. Rencana kerja yang jelas disarankan memuat hal-hal berikut:

Perubahan yang ingin dicapai Apa yang perlu dihasilkan untuk mencapai tujuan Apa yang perlu dilakukan Siapa penanggung jawabnya Siapa saja yang terlibat Kapan dan dimana akan dilaksanakan Apa saja yang diperlukan

2. Kesepakatan tujuan monev dapat lebih mudah dicapai jika kita bisa memikirkan

apa saja manfaat yang kita harapkan dalam melakukan monev. Pada umumnya, tujuan monev mengandung 2 hal pokok, yaitu : a. Belajar dari pengalaman

• Secara terus menerus mencari “pelajaran baru” dari apa yang telah kita kerjakan selama ini. Pelajaran yang baru itu bisa menjadi masukan yang sangat berharga untuk perbaikan kinerja kita ke depan.

• Meningkatkan kinerja ke arah yang efektif: tujuan yang ditentukan. • Meningkatkan kinerja ke arah yang efisien: tepat waktu, tidak boros • Melihat dengan jernih sebab-sebab keberhasilan dan kegagalan pekerjaan yang

sedang dilakukan. Sehingga kita bisa meningkatkan kekuatan yang kita miliki, dan berusaha mengurangi kelemahan yang ada.

8

• Saling tukar menukar pengalaman antar orang, kelompok, kampung maupun lembaga yang sedang atau selesai mengerjakan sesuatu. Melalui proses ini, diharapkan munculnya sebuah kesadaran bahwa suatu “kesalahan” yang pernah dialami oleh orang lain bisa kita hindari.

b. Menjadi tanggung gugat • Memberikan jawaban secara terbuka dan jujur terhadap apa saja yang ingin

diketahui oleh masyarakat menyangkut suatu program dimana masyarakat berkepentingan terhadap program itu.

• Selain siap menjawab, kita harus siap “digugat” oleh masyarakat jika pekerjaan kita dianggap tidak sesuai dengan aturan dan nilai-nilai yang telah disepakati sebelumnya.

3. Prinsip-prinsip monev

Partisipatif, melibatkan banyak pihak mulai perencanaan hingga evaluasi. Terbuka, pertanggungjawaban dilaporkan secara terbuka. Tanggung gugat, pengambilan keputusan dan penggunaan sumber daya bisa ditanggung gugat di depan masyarakat luas.

Kesetaraan, semua pihak terlibat mempunyai hak dan kedudukan setara. Kejujuran, pelaporan dilakukan dengan jujur dan sesuai kondisi lapangan. Berjiwa besar, Berjiwa besar menerima dan memberikan kritik dan saran Keterpaduan, Dilakukan melihat semua arah secara terpadu dan menyeluruh Fleksibel, tidak kaku, sesuai dengan keadaan waktu dan tempat Kesepakatan, pelaksanaan didasarkan pada kesepakatan semua pihak.

Sumber:

Monitoring & Evaluasi: Sebagai Media Belajar,

DFID, 2001

9

Pengertian Evaluasi

Bab ini dimulai dengan apa arti evaluasi, mengapa kita melakukannya, dan apa yang

diharapkan dengan mempelajarinya. Berbagai pihak seringkali mengambil bagian dalam

proses evaluasi ini, meskipun seringkali tidak sepenuhnya dekat dengan masyarakat pada

semua tingkatan. Di samping, itu dibahas pula berbagai cara yang dilakukan orang ketika

mengambil bagian dalam evaluasi, tempat, biaya, dan untuk kepentingan siapa evaluasi

dilakukan.

1.1.Mengapa Evaluasi

Secara sederhana evaluasi berarti mengkaji nilai/hasil sesuatu (hasil kerja), proses

membandingkan antara hasil yang telah dicapai dengan hasil yang diharapkan. Pengertian

dan pemahaman tentang evaluasi ini membantu orang yang terlibat dalam program-

program pengembangan untuk mengkaji hasil kerja mereka secara sistematis.

Ketika ditanyakan kenapa orang mengevaluasi kerja mereka, masing-masing pihak akan memberikan jawaban berbeda, hal tersebut dapat dilihat pada uraian di bawah ini:

10

Membantu kita melihat dan mencari arah yang tepat

Melihat apa yang telah dicapai Membantu kita membuat

rencana-rencana ke depan Mengukur kemajuan Membuat kinerja kita lebih efektif Mampu mengembangkan Mengumpulkan lebih metode pengawasan banyak informasi Mengapa Anda Mengevaluasi Melihat kelebihan Melihat apakah kinerja kita dan kelemahan mengeluarkan biaya besar sementara hasil

yang

dicapai sedikit Mengkritisi hasil kerja Melihat apakah semua usaha sudah efektif Membandingkan dengan Mampu membagi pengalaman program lain yang sejenis

Di samping itu, ada 10 jawaban kunci atas pertanyaan ‘Mengapa Anda Mengevaluasi?’

• Kemajuan (untuk melihat apa yang telah dicapai)

• Mengukur Kemajuan (berkaitan dengan tujuan program)

11

• Mengembangkan Pegawasan/monitoring (untuk memperoleh pengelolaan yang

lebih baik)

• Menemukenali Kelebihan dan Kelemahan (memperkuat program)

• Melihat Apakah Upaya yang Dilakukan Sudah Efektif (perbedaan apa yang telah

dihasilkan progam)

• Biaya (apakah biayanya sudah masuk akal/realistis)

• Pengumpulan Informasi(merencanakan dan mengelola program lebih baik)

• Membagi Pengalaman (menghindari mereka membuat kesalahan yang sama atau

mendorong mereka menggunakan metode yang sama)

• Mengembangkan Efektivitas (agar memiliki dampak yang lebih baik)

• Memberi Perencanaan yang Lebih Baik (lebih berpihak pada kebutuhan

masyarakat, khususnya pada tingkat komunitas).

Beberapa di antara alasan kunci tersebut mudah, sementara yang lainnya sulit

dipahami. Ketika ini dilakukan di tingkat masyarakat kita sebaiknya menggunakan kata-

kata dan pemaknaan/bahasa yang lebih singkat dan mudah dipahami. Sebagai contoh

sederhana kita dapat menceritakan pengalaman aktual yang terjadi pada suatu

masyarakat, seperti di bawah ini:

Pada satu wilayah, sekelompok pengembangan masyarakat membandingkan evaluasi

mengenai perjalanan dengan mengendarai sebuah bis yang tidak diketahui arahnya.

Sambil menatap keluar melalui jendela para pengembang merasa gembira karena dapat

melihat kemajuan yang ada. Tiba-tiba hujan turun sehingga tirai jendela mobil ditutup.

Kondisi ini membuat mereka tidak dapat melihat suasana luar. Mereka tahu bahwa mobil

terus melaju, namun tidak dapat menceritakan seberapa cepat atau apakah mereka telah

mendekati tujuan.

Evaluasi itu seperti melihat dimana dan secepat apa anda pergi dan memperkirakan

kapan anda ingin mencapai tujuan. Dari jawaban yang ada sangat jelas bahwa evaluasi

telah dilakukan utamanya dengan mempertimbangkan: aktivitas program, sumber daya

manusia, sumber daya alam, informasi, gambaran dan fakta-fakta.

Hal tersebut dimaksudkan agar:

12

Memonitor kemajuan dan efektivitas evaluasi, mempertimbangakn biaya dan efisiensi,

menunjukkan apakah perubahan dibutuhkan, dan membantu merencanakan secara lebih

efektif untuk ke depan.

Jadi, di samping ada beberapa alasan lain juga terdapat perbedaan dalam

mengevaluasi. Ini adalah beberapa di antara alasan itu yang menjadi lebih jelas jika kita

melihat jawaban yang diberikan masyarakat.

• Karena pesanan penyandang dana

• Karena pesanan menteri/pemerintah

• Karena pesanan sponsor yang ingin melihat apakah mereka tetap ingin mendukung

program

• Karena peneliti ingin mencoba teknik evaluasi yang baru

• Karena materi-materi baru dibutuhkan untuk tujuan publikasi

Dari beberapa jawaban ini, jelas bahwa evaluasi dilakukan untuk beberapa alasan

tertentu. Meskipun, beberapa alsaan itu barangkali belum terlalu jelas bagi semua pihak

yang terlibat dalam evaluasi.

Contohnya, evaluasi telah digunakan pada program berbasis partisipasi dengan

harapan hasilnya akan digunakan dalam pengambilan keputusan berkaitan dengan

penyandang dana program, dimana pada kenyataannya keputusan pendanaan telah

diambil alih oleh penyandang dana program sebelum evaluasi dimulai. Jadi, hasil evaluasi

tidaklah membuat perbedaan berarti dalam pengambilan keputusan yang telah dibuat oleh

penyandanga dana.

Evaluasi juga digunakan pada beberapa kasus untuk membenarkan/mendukung

program yang lemah atau program yang gagal, atau sebagai upaya untuk mencoba

membentengi program-program yang gagal. Contohnya, evaluasi hanya tampak sukses

pada bagian tertentu dari program dan bukan pada keseluruhan program. Bila hanya

bagian tertentu dari program yang dilihat maka hanya sedikit peluang untuk melihat

kelemahan program secara keseluruhan.

Beberapa evaluasi telah berhasil dalam merubah program, contohnya; ketika

program hanya dikuasai oleh orang tertentu atau sekelompok orang yang tidak setuju

dengan kegiatan atau tujuan program tersebut.

13

1.2 . Apa yang dapat dan tidak dapat dilakukan dalam Evaluasi

Kita seringkali berharap terlalu banyak dari evaluasi karena melalui evaluasi kita

dapat memperoleh informasi keberhasilan dan kemajuan yang dapat digunakan pada

pengambilan keputusan dan perencanaan. Meskipun, terkesan lebih banyak sebagai

proses evaluasi. Kesannya bahwa evaluasi itu kebanyakan berkaitan dengan segala

kemungkinakn pertanyaan dan mampu menjawab semua pertanyaan.

Ingat bahwa evaluasi bukanlah obat yang dapat mengobati semua penyakit.

Melihat Keberhasilan dan Kegagalan

Orang sering menyangkan bahwa evaluasi mampu menunjukkan secara jelas

keberhasilan telah tercapai, tetapi seringkali sulit memberi bukti yang jelas mengenai

kesuksesan itu. Kenyataannya, lebih mudah menunjukkan kegagalan, sungguhpun

kegagalan tidaklah popular.

Salah satu alasan kenapa sangat sulit menunjukkan kesuksesan atau kegagalan

karena makna keduanya dapat berbeda-beda untuk setiap orang. Contohnya, apa yang

dianggap kegagalan pada suatu tempat justru dapat menjadi kesuksesan di tempat lain.

Hal itu dapat dilihat pada kejadian lapangan di bawah ini:

Dari Pengalaman

Di Brazil dicanangkan sebuah program pengembangan pedesaan untuk menunjang

sektor pertanian lokal. Program itu gagal, dan sebagian besar disebabkan oleh kegagalan

lembaga masyarakat lokal.

Namun, setahun kemudian salah satu pengembang program kembali ke wilayah itu

untuk suatu kunjungan singkat. Dia menemukan bahwa program itu memperoleh hasil,

khususnya pada bidang kesehatan. Di antaranya, Masyarakat masih menggunakan obat

yang pernah diperkenalkan sebelumnya seperti obat malaria, disentri dan penyakit-

penyakit umum lainnya. Sebagian masyarakat juga masih menanak dan menyaring air

yang mereka konsumsi serta masih menggunakan kotak untuk menyimpan sikat gigi.

Jadi, pada program ini, meskipun dikatakan gagal, namun masih ada kesuksesan

pada wilayah tertentu yang menutupi kegagalan program secara keseluruhan.

Pada sisi lain, bijaksana kiranya untuk berhati-hati ketika mengklaim kesuksesan.

Apa yang awalnya dianggap kesuksesan dapat saja menjadi kegagalan pada waktu lain.

14

Contohnya, kasus pembuatan jamban untuk meningkatkan kesehatan masyarakat pada

dua wilayah di Negara Amerika Selatan.

Mulanya program pengadaan jamban berjalan baik, namun seiring dengan waktu

pemanfaatan jamban makin berkurang, perawatannyapun makin terabaikan. Akhirnya,

justru menjadi sumber masalah kesehatan.

Pada program lain yang dialokasikan pada wilayah sangat miskin, jambannya

dibangun dari bata dan pintunya dipasangi kunci. Mereka tidak mengunci jamban tersebut

dan dijadikan sebagai tempat barang, seperti sepeda bahkan sebagai kandang ayam.

Sejauh ini jamban bukannya untuk tujuan sanitasi melainkan dijadikan gudang

penampungan barang.

Evaluasi dilihat dari segi Kuantitas dan Kualitas

Setiap evaluasi mengarah pada sesuatu yang dapat dihitung/diukur. Contohnya,

jumlah masyarakat yang ikut dalam program, jumlah produksi atau layanan produk,

jumlah sumber bahan-bahan yang tersedia, anggaran biaya program yang sedang

berlangsung atau luas suatu area yang dikelola. Angka-angka, jumlah dan kuantitas

seringkali digambarkan sebagai aspek kuantitatif dari evaluasi.

Tidaklah terlau sulit menentukan aspek kuantitaif suatu evaluasi. Contohnya, suatu

program vaksinasi dua bulanan yang bertujuan mencapai jumlah pasti anak yang divaksin

pada waktu yang pasti. Ketika program selesai maka muncullah jumlah pasti berapa anak

yang terjangkau oleh program tersebut.

Bagaimanapun, program tidak hanya terdiri dari berbagai faktor yang dapat dihitung

atau diukur. Melainkan, juga terdiri dari faktor-faktor yang sangat sulit diukur atau

dihitung namun mempengaruhi program yang sukses atau gagal pada jalur yang penting.

Termasuk didalamnya; sikap, kemampuan, kualitas, perilaku, nilai, dan motivasi serta

bagaimana hubungan masyarakat satu sama lain termasuk dengan program yang ada. Ini

merupakan gambaran dari aspek-aspek kualitatif evaluasi karena hal ini berhubungan

dengan kualitas sesuatu yang telah dievaluasi.

Beberapa faktor menjadi penting karena mereka membantu menjelaskan kenapa

program pada tempat-tempat tertentu dilakukan dengan cara khusus, dan kenapa

memiliki kelemahan dan kelebihan, solusi dan masalah, penyelesaian terduga dan tak

15

terduga. Ini juga mempengaruhi kesuksesan atau kegagalan program. Evaluasi mesti

dilihat pada keseluruhan karakter atau sifat alamiah program.

Mengetahui mengapa suatu program sukses atau gagal jauh lebih penting

dari pada knowing it does

Untuk menjawab pertanyaan tentang apa yang dapat dilakukan dalam mengevaluasi,

secara jelas kita dapat melihat bahwa memang kita tidak dapat melakukan semua.

Namun, paling tidak kita dapat:

• Menunjukkan keberhasilan dan kegagalan utama

• Menunjukkan dimana dan bagaimana kebutuhan akan perubahan dibutuhkan

• Menunjukkan bagaimana kekuatan-kekuatan dapat dibangun

• Menyediakan informasi dan menambah keterampilan untuk kepentingan

pengambilan keputusan dan perencanaan, dan

• Membantu pihak-pihak yang terlibat untuk melihat semakin meluas konteks dan

implikasi pekerjaan mereka

1.3. Siapa yang Dapat Mengevaluasi?

Dewasa ini masih berkembang anggapan bahwa hanya para ‘ahlilah’ yang dapat

melakukan evaluasi. Tanpa diragukan sesungguhnya banyak proses evaluasi yang hasilnya

jauh lebih baik jika dilakukan oleh tanaga evaluasi yang terlatih khusus.Terdapat banyak

jenis evaluasi yang dilakukan di dalam laboratorium, institusi, universitas, maupun di

rumah sakit.

Bagaimana dengan monitoring dan evaluasi yang dilakukan pada program

pengembangan dasar masyarakat baik dalam skala kecil maupun skala besar? Masyarakat

seringkali terlibat dalam program kesehatan, pertanian, pengembangan masyarakat dan

pendidikan orang dewasa. Selama ini mereka menggunakan metode monitoring yang

sudah terbiasa melibatkan masyarakat pada setiap program.

Namun demikian, meskipun masyarakat pada tingkatan komunitas atau distrik tetap

mengumpulkan informasi dan data statistik berkenaan dengan pekerjaan mereka, tetapi

mereka tidak terlibat dalam proses analisis. Sehingga seringkali mereka tidak paham akan

diapakan atau dibawa kemana data yang telah terkumpul tersebut.Bahkan terkadang

merasa tidak butuh dengan hasil analisis evaluasi yang telah dilakukan.

16

Karena meskipun mereka melihat hasil laporan evaluasi, mereka kesulitan dalam

memahami istilah-istilah khusus dan tampilan data statistik yang ada. Bagi pekerja di

tingkat masyarakat dan hasil kajian analisis yang mencengangkan, muncul kesan bahwa

hasil evaluasi dilakukan dan diperuntukkan bagi orang lain dan bukan untuk komunitas

mereka.

Tugas dan peran pekerja di tingkat masyarakat dan staf program secara umum

adalah melakukan monitoring dan evaluasi pekerjaan mereka termasuk di dalamnya

merekam, berpartisipasi dalam pertemuan-pertemuan regular, diskusi-diskusi kelompok,

lokakarya penilaian perkembangan kegiatan, dan membuat laporan berkala (mingguan,

bulanan, empat bulanan, dan tahunan).

Beberapa staf program, seperti para teknisi dan profesional mesti memiliki

keterampilan dan pengalaman khusus dalam hal evaluasi. Terkadang evaluator atau para

evaluator bukan bagian dari staf program. Mereka bekerja secara individu atau dalam tim

dan datang dari dalam maupun luar wilayah pelaksanaan program. Mereka terkadang

diminta untuk mengevaluasi pekerjaan evaluator program atau diminta sebagai penasihat

dalam proses evaluasi. Kalangan ini biasa disebut eksternal evaluator.

Eksternal dan Internal Evaluator: Siapa yang dapat memberikan gambaran

yang paling jelas?

Seorang eksternal evaluator adalah orang yang dapat mengambil bagian (a fresh

look) secara santai dalam program karena mereka tidak terlibat secara personal.

Contohnya, mereka tidak akan terlalu terpengaruh oleh intervensi staf program maupun

penyandang dana. Oleh karena itu, terhindar dari bias program dan lebih objektif dalam

penilaian.

Seorang internal evaluator adalah orang mengenal program dengan baik. Dia telah

mengetahui dengan baik tujuan, fungsi, masalah, kelebihan dan kelemahan program. Oleh

karena itu, biasanya kalangan internal evaluator cenderung bias dalam melaksanakan

fungsinya, hal ini dipengaruhi oleh berbagai faktor, seperti perasaan suka dan tidak suka,

persahabatan, atau bahkan ambisi pribadi. Dengan kata lain, mereka akan sangat

subyektif dalam menilai. Sungguhpun subyektivitas tidaklah selamanya lemah, namun

dalam evaluasi sikap subyektif dapat mempengaruhi jalan pikiran dan hasil laporan yang

jujur.

17

Hal tersebut akan jelas bila kita memperhatikan beberapa hal di bawah ini:

Kelebihan dan Kekurangan Evaluator Internal dan Evaluator Eksternal

Eksternal Internal

Tampak santai dalam program Mengetahui program dengan baik

Tidak terlibat secara personal sehingga Bagian dari struktur kekuasaan

obyektif dalam penilaian

Tidak memperoleh apa-apa dari program Termotivasi secara individu

namun memperoleh prestise dari evaluasi

Terlatih dalam metode evaluasi. Memiliki Bisa saja tidak terlatih khusus dalam

pengalaman pada evaluasi lain, dihargai metode evaluasi.

sebagai ahli dalam program

Orang luar yang tidak mengerti program Terbiasa dan mengerti program

serta

atau orang-orang yang terlibat mampu menginterpretasi sikap

personal

Dapat menyebabkan kegelisahan sbg staf Memahami program dengan baik,

program dan peserta tidak yakin akan sehingga tidak merasa ragu dalam

motivasinya ikut dalam program mengikuti program

Meningkatkan Rasa Percaya Diri Masyarakat dengan Kemampuan Mereka

Sendiri

Seringkali staf program dan masyarakat merasa tidak memiliki kemampuan dan

keterampilan mengevaluasi pekerjaan yang mereka lakukan. Mengembangkan metode-

metode manajemen yang baik akan meningkatkan rasa percaya diri, keterampilan dan

kemampuan mereka.

Khususnya pada tingkat komunitas, masyarakat seringkali beranggapan bahwa mereka

tidak mampu melakukan evaluasi karena keterbatasan kemampuan baik dalam ilmu

maupun keterampilan menyampaikan pendapat mereka di muka umum.

Kesulitan pertama akan mereka hadapi ketika berhadapan dengan orang luar, hal ini

terjadi bukan hanya karena faktor bahasa, budaya, dan pendidikan melainkan juga karena

ketidakpahaman orang luar terhadap kondisi nyata masyarakat lokal.

18

Beberapa cara dapat dilakukan untuk membuat masyarakat lokal merasa dibutuhkan

dan memiliki kamampuan dalam proses evalausi program adalah:

• Merekalah yang paling tahu akan wilayahnya, karakterisitik masyarakat (kondisi lahan

dan musim)

• Mereka paham bagaimana kehidupannya, hubungan masyarakat satu sama lain, siapa

yang memiliki kekuasan dan kenapa, bagaimana perasaan masyarakat, nilai-nilai apa

yang ada, bagaimana mereka menyelesaikan masalah, dan apa yang mereka harapkan

dan tidak harapkan

• Mereka yang paling tahu apa yang dapat dilakukan, apa yang mesti dihindari, apa

yang mesti dipelajari, dan bagaimana mereka menggunakan apa yang telah dipelajari

• Mereka telah tahu banyak tentang program, (seperti, mana program yang lalu,

sekarang, dan masa yang akan datang) sementara staf program hanya tahu yang

bersifat detail seperti pendanaan.

• Mereka telah sangat terbiasa dengan program monitoring berkala, seperti

mengumpulkan informasi dan data-data statistik, melakukan survey, membuat laporan

dan mengadakan berbagai pertemuan

Tantangannya adalah menemukan cara terbaik bagi masyarakat untuk membuat mereka

merasa terlibat ketika proses evaluasi dilakukan.

1.4. Partisipasi dalam Evaluasi

Kita mesti kembali melihat apa sebetulnya pengertian partisipasi atau mengambil

bagian dalam proses evaluasi. Tentunya ini akan menimbulkan banyak pengertian.

Contohnya, orang yang terlibat dalam menjawab berbagai pertanyaan survey. Paling tidak

mereka ikut ambil bagian dalam proses tanya jawab yang dilakukan meskipun secara

pasif, atau yang mereka lakukan lebih bermakna kerjasama daripada berpartisipasi.

Perbedaan cara masyarakat berpartisipasi dalam evaluasi dapat terlihat lebih jelas pada

empat contoh di bawah ini, mulai dari A ke D

Contoh A: Tipe evaluasi ‘Contoh studi’

Dalam hal ini masyarakat hanya diberi peran sedikit dalam evaluasi. Ketika tim evaluator

telah menjelaskan tujuan diadakannya evaluasi masyarakat serta merta setuju dimintai

informasi, dsb. Mereka tidak diajak untuk melakukan hal yang lebih dari sekedar memberi

informasi. Karena jika itu dilakukan maka mereka dianggap mengacaukan evaluasi. Hasil

19

evaluasi kemudian diambil alih oleh tim evaluasi dan tidak mengharapkan adanya

tanggapan dari masyarakat.

Contoh B; Tipe Evaluasi ‘Penolakan Membagi Hasil’

Beberapa diantara tujuan evaluasi biasanya disampaikan kepada masyarakat. Mereka

kemudian menjawab pertanyaan yang diajukan dalam kuesioner dan sedikit berperan

pada proses analisis informasi. Mereka juga barangkali ambil bagian dalam prosedur

evaluasi. Pada akhir evaluasi masyarakat mendapat tanggapan yang dibuat sesuai dengan

kebutuhan tim evaluasi.

Contoh C: Tipe Evaluasi ‘locking up (membatasi) keahlian’

Masyarakat mengambil bagian dalam evaluasi termasuk menentukan tujuan dan metode

evaluasi. Mereka berpartisipasi dalam analisis hasil evaluasi, tanggapan terhadap hasil

evaluasi yang dilakukan masyarakat secara luas dan menjadikannya sebagai bahan

rekomendasi.

Meskipun tidak ada sistem monitoring yang betul-betul efektif dalam program yang

memungkinkan masyarakat dan para staf berjalan sendiri. Masyarakat masih saja

tergantung pada bantuan pihak luar bila mereka akan melakukan evaluasi lain.

Contoh D: Tipe Evaluasi ‘Real Partnership -Hubungan Nyata- dalam Pengembangan’

Masyarakat mengambil bagian dalam menentukan kapan dan bagaimana mengevaluasi,

menentukan metode yang digunakan, mengumpulkan dan menganalisis data-data,

menyiapkan laporan dan menentukan bagaimana menggunakan hasil-hasil yang ada dan

mengejawatahkan rekomendasi yang ada ke lapangan.

Ketika metode monitoring berkala belum digunakan, maka metode baru akan

dikembangkan dalam program. Sehingga masyarakat memiliki akses berkala terhadap

kemajuan mereka dan mampu melakukan evalausi secara berkelanjutan.

1.5. Untuk Siapa Evaluasi itu?

Terkadang evalausi dilakukan untuk kepentingan pemerintah yang ingin mengetahui

apakah kebijakan yang pernah diambil berhasil atau tidak. Di samping itu, para

penyandang dana dana juga melakukan itu untuk tujuan yang sama.

20

Staf program pada tingkat masyarakat melihat tujuan utama diadakannya evaluasi

lebih pada hal yang berkaitan dengan sesuatu yang praktis. Mereka ingin tahu apa yang

program mereka telah capai, apakah upaya yang dilakukan telah efektif, dan apakah

sumber-sumber yang tersedia telah digunakan secara efisien untuk mencapai tujuan

program.

Kadang-kadang pihak perguruan tinggi juga dilibatkan, termasuk para mahasiswa

dan staf dengan maksud agar mereka memperoleh pengetahuan tentang evaluasi

ditingkat masyarakat. Hasil temuannya dapat dipublikasikan dalam bentuk buku atau

artikel dan memanfaatkan hasil pengalaman evaluasi itu untuk kepentingan studi mereka.

Ketika evaluasi dilakukan tentunya pihak-pihak yang terlibat dalam evaluasi itu

memiliki tujuan, motif dan harapan yang berbeda-beda.

Baik, jika kita membandingkan perkembangan evaluasi dengan memakai contoh

perjalanan menggunakan sarana transporatasi bis, sangat jelas bahwa akan terjadi

kebingungan bila para penumpangnya tidak memiliki tujuan yang jelas, mengapa mereka

ada di sana dan apa yang mereka harapkan.

Sebelum memulai suatu evaluasi, maka hal terpenting yang mesti dilakukan adalah

menentukan tujuan masing-masing orang.

Seringkali sangat sulit menemukan solusi ketika terdapat banyak sekali keinginan

dan kebutuhan yang mesti diakomodir. Situasi dan realitas tertentu suaitu program akan

menentukan apa yang akan dilakukan. Apa yang pentng adalah meyakinkan bahwa

kebutuhan dan tujuan yang berbeda yang ada di tingkat masyarakat tidak akan diabaikan

begitu saja. Tujuan, metode, dan hasil evaluasi diharapakan mendekati kebutuhan,

kenyataan, masalah, dan harapan masyarakat.

Kementerian, departemen, organisasi, perguruan tinggi, dan agen-agen yang ada

diharapkan juga memiliki kebutuhan dan harapan dari evaluasi. Seringkali sulit bagi

evaluasi yang tunggal untuk menyediakan berbagai informasi yang dibutuhkan bagi

masyarakat dan tingkatan lain dalam masyarakat (termasuk tingkat nasional maupun

internasional).

1.6. Kapan Evaluasi Harus Dilakukan?

Di samping monitoring biasa, yang dilakukan pada program yang sementara

berlangsung, ada pula kebutuhan atas evaluasi pada interval biasa untuk mencegah

terjadinya kekacauan informasi dan untuk mencapai gambaran yang lebih jelas mengenai

21

dampak dan kemajuan program. Bagi beberapa program dua ke tiga tahun jarak

pekerjaan evaluasi yang baik.

Meskipun, keputusan tentang kapan mengevaluasi akan tergantung, pada setiap

kasus, pada berbagai faktor dari program. Contohnya:

Apakah program telah mencapai tujuan-tujuan jangka panjang?

Jika ya, maka hanya akan sia-sia bila mngevaluasi kemajuan secara teresa-gesa.

Barangkali kurang dari dua tahun itu terlalu cepat.

Sudahkah program mencapai tujuan-tujuan jangka pendek (seperti program

vaksinasi dua bulanan)?

Pada kasus seperti ini, evaluasi seringali dilakukan ketika program telah selesai.

Metode monitoring apa yang telah digunakan?

Proses perekaman perlu dilakukan jauh sebelum evaluasi dimulai, apakah telah banyak hal

yang telah dikumpulkan? Apakah dibutuhkan tambahan waktu untuk melakukan ini?

Apakah evaluator eksternal dilibatkan dalam evaluasi?

Jika ya, ini akan berpengaruhh terhadap waktu, kapan mereka bisa datang dan butuh

berapa lama bagi mereka untuk sampai ke lokasi program? Berapa lama mereka dapat

tinggal?

Bagaimana dengan iklim/musim dan cuaca?

Pada musim hujan, mungkinkah mencapai wilayah yang terisolasi? Pada musim kering

sungai mungkin menjadi kering dan wilayah yang akan dikunjungi tidak dapat dijangkau

dengan perahu. Pada wilayah perkotaan, sangat sulit berkonsentarasi pada cuaca panas.

Bagaimana dengan waktu masyarakat?

Pada musim panen, apakah masyarakat punya waktu dan ketertarikan dalam evaluasi?

Pada waktu tertentu masyarakat tidak punya persediaan uang dan makanan yang cukup.

Apakah memungkinkan memilih waktu ketika masyarakat mungkin lebih santai dan ingin

menyediakan waktunya untuk tahapan evaluasi?

Bagaimana dengan waktu staf program?

Mereka juga tentunya punya waktu sibuk, manakah waktu yang terbaik buat mereka?

Bagaimana dengan pemerintah dan organisasi penyandang dana?

Mereka juga tentunya memiliki saran berkaitan dengan waktu.

22

1.7. Dimana Evaluasi dilakukan dan kenapa?

Sebuah evalausi seringkali dirancang diluar wilayah tempat akan dilakuaknnya evaluasi,

contohnya, seorang evaluator eksternal.

1.8. Berapa Lama Evalausi Dilakukan?

Bisa beberapa hari, beberapa bulan, bahkan bertahun-tahun. Ini sangat ditentukan oleh

berbagai faktor, antara lain:

1.9. Berapa Biaya yang Dibutuhkan dalam Evaluasi

1.10. Siapa Pemilik Hasil Evaluasi?

Siapakah yang menjadi pemilik hasil evaluasi, apakah hanya menjadi milik penyandang

dana? Bagaimana dengan tim pelaksana atau orang yang terlibat di dalamnya?

Evaluasi menjadi milik semua pihak termasuk yang mendanai dan yang meluangkan waktu

dan tenaga untuk itu.

2.2. Mengapa Perlu Merencanakan Evaluasi?

Apa arti perencanaan evaluasi? Perencanaan adalah suatu pengorganisasian metode kerja

tentang bagaimana kecenderungan anda dan kapan mencapai tujuan evaluasi.

Perencanaan membantu anda untuk:

• Menentukan prioritas dan tujuan evaluasi

• Menentukan jenis metode yang dibutuhkan

• Menentukan apa yang dibutuhkan secara lebih mendetail

• Menentukan peran setiap pihak dalam proses evaluasi

• Menentukan waktu dan biaya yang dgunakan

• Melihat bagaimana hubungan setiap bagian dari evaluasi

• Menambah keterampilan dalam perencanaan dan pengorganisasian

2.3. Membuat Perencanaan untuk Menyesuaikan dengan Kebutuhan

Terdapat berbagai macama jenis perencanaan evaluasi. (terkadang kata ‘desain’

digunakan untuk mengacu pada ‘perencanaan’). Pilihan jenis perencanaan yang digunakan

akan dipengaruhi oleh beberapa factor di bawah ini:

23

• Tujuan evaluasi. Contoh, evaluasi dampak program, atau menyediakan informasi

untuk mengembangakan efektivitas dan pengelolaan program.

• Ruang lingkup evaluasi. Untuk mengetahui apakah ruang lingkupnya besar atau kecil

• Orang-orang yang akan terlibat dan sumber daya yang tersedia

Cara terbaik dalam merencanakan setiap evaluasi adalah, pertama-tama melihat

rancangan program mereka. Dalam hal ini tujuan, tipe orang-orang yang terlibat, metode

organisasi, capaian dan masalah-masalahnya, dapat dipahami lebih jelas, dan kondisi

nyata program digunakan utnuk mempertajam perencanaan evaluasi.

Dalam evaluasi partisipasi perencanaan partisipasi msti mempertimbangkan

kemmapuan staf dan pesertanya. Analisa pertama terhadap informasi dikumpulkan oleh

staf dan peserta yang selanjutnya akan diolah dengan komputer. Hal ini menunjukkan

bahwa evalausi mesti dipahami oleh setiap pelaku.

Dalam proses ini koordinator evaluasi bertanggung jawab atas segala persiapan

akhir perencanaan evaluasi. Mereka mengkoordinasi masukan dari peserta program

lainnya.

2.4. Mengevaluasi (program yang sedang berjalan) “A Moving Program”

Program terdiri dari staf dan partisipan, struktur dan objek material (bangunan,

perlengakapan, kendaraan, mesin, perekam, anggaran, obat-obatan, suplai, radio) dan

kegiatan berupa pola manajemen,, organisasi, dan tindakan dalam berbagai bentuk.

Beberapa bagian dari program dapat dilihat dan disentuh secara easily. Beberapa

bagian butuh waktu dalam memperoleh bukti, melalui percakapan atau tulisan.

Contohnya, masyarakat dapat mengungkapkan bagaimana mereka melihat dan

mengalami sesuatu.

Suatu program berkembangan dari hari ke hari sesuai dengan apa yang dirasakan

masyarkat, atau hal-hal khusus yang terjadi ketika itu. Pada kondisi ini suatu program

terasa hidup. Setidaknya, pada suatu program jangka pendek (seperti kampanye

vaksinasi berjangka 3 bulan) evaluasi seringkali terjadi ketika program masih sementara

berjalan.

Berbagai program juga seringkali tampil memberi pelayanan masyarakat, seperti

pelayanan kesehatan atau penyuluh pertanian. Jadi evaluasi seringkali berlangsung ketika

program juga sementara berjalan. Program yang memiliki sistem monitoring yang baik.

24

Juga tentunya mempunyai pengalokasian waktu yang tepat. Jenis metode dan

perencanaan evaluasi yang terbaik mesti mempertimbangkan semua faktor yang

mendukung dan menghambat jalannya program seperti ini.

2.5. Tujuan Evaluasi dan Tujuan Program

Tujuan dari sebagian besar evaluasi adalah untuk melihat kemajuan apa yang telah dibuat

dalam rangka pencapaian tujua.

Ada banyak alasan mengapa seringkali sangat sulit mengevaluasi tujuan program dengan

cara ini. Berbagai contoh berikut membantu kita menunjukkan hal tersebut:

• Berbagai tujuan mungkin hanya akan ada pada cara yang sangat umum ketika

program berlangsung (contohnya: memulihkan penderitaan atau mengembangkan

gaya hidup). Pada beberpa kasus sangat sulit mengalihkan berbagai tujuan ini ke

dalam sesuatu kegiatan yang sulit dievaluasi.

Evaluasi seringkali hanya melakukan apa yang mudah dikaji

bukan apa yang harus dikaji

2.6. Mengapa Indikator menjadi Penting?

Suatu indikator merupakan penanda. Hal ini dapat dibandingkan dengan tanda jalan yang

menunjukkan apakah anda berada pada jalan yang tepat, sudah berapa jauh berjalan dan

berapa jauh lagi anda mesti berjalan untuk mencapai tujuan. Berbagai indicator

menunjukkan kemajuan dan membantu mengukur perubahan.

Beberapa indikator terdiri dari pengukuran dan ditunjukkan dalam jumlah, seperti::

• suatu persentase (bagian dari jumlah), seperti 50 persen (setengah) petani pedesaan

yang menggunakan pupuk kimia.

• Suatu tingkatan, seperti tingkat kematian bayi, dimana jumlah bayi di bawah satu

tahun meninggal dalam setahun. Dalam hubungannya dengan kelahiran 1000 bayi

hidup pada tahun yang sama.

• Suatu Perbandingan, seperti jumlah guru dikaitkan dengan jumlah anak usia sekolah

pada wilayah-wilayah tertentu (contohl; satu guru menangani 20 siswa).

25

2.7. Berbagai Indikator yang tidak Jelas

Dalam berbagai program, tujuan seperti yang kita ketahui, mungkin belum terlalu

jelas. Tanpa adanya tujuan yang jelas dan terukur sangat sulit memiliki indikator yang

jelas. Jika anda tidak terlalu yakin kemana mau pergi, bagaimana mungkin menilai

apakah anda ada di sana.

Jika tujuan program dan inidikator2 belum jelas terdefinisikan, maka ada cara

sederhana puntuk membantu meletakkan ini pada posisi yang tepat sebelum evaluasi

dimulai.

Awalnya, peserta program butuh memantau secara hati-hati apa yang sebenarnya

dilakukan dan mengapa. Mereka kemudian perlu menuliskan apa yang mereka lakukan

dengan menggunakan petunjuk seperti ‘pelatihan’ manajemen, dan aktivitas/kerja lapang.

Kemudian mereka mesti lebih dekat dalam melihat berbagai bagian dari program. Mereka

dapat melakukan ini dengan menggunakan/menanyakan pertanyaan.

Menanyakan pertanyaan-pertanyaan dasar

Contoh di bawah ini diadopsi dari konferensi nasional dari evaluasi partisipasi yang

dilakukan di Philipina tahun 1984. Pesertanya dari 27 program pengembangan kesehatan

dasar masyarakat yang disebut ‘social awareness building’ dimana masyarakat dari

tingkatan komunitas menghadiri seminar-seminar orientasi.

Pengalaman:

Membangun kesadaran sosial

Pertanyaan:

1. Berapa banyak peserta yang hadir pada seminar itu?

2. how many had been expected?

3. Apa latar belakang pendidikan dan pekerjaan para peserta?

4. Bagaimana tingkat kesadaran peserta pada awal seminar?

5. Apa isi seminar itu?

6. Bagaimana efektivitas metode training berbeda yang digunakan?

7. Berapa lama seminar itu berlangsung?

8. Berapa banyak peserta seminar yang telah mampu meningkatkan level kesadarannya

pada akhir seminar?

26

Pertanyaan-pertanyaan dasar membuat indikator dan tujuan program menjadi

semakin jelas.jawaban-jawaban yang ada menyediakan informasi-informasi yang berguna

bagi pelaksanaan evaluasi. Beberapa pertanyaan menjadi lebih sulit dijawab daripada

pertanyaan yang lain (cth, pertanyaan no. 4, 6, dan 8 yangberkaitan dengan kualitas

kesadaran, pembelajaran dan keefektivitasan)

Dengan menggunakan metode pertanyaan-jawaban peserta juga dapat mulai

melihat perbedaan antara upaya evaluasi, efisiensi, dan efek atau dampaknya. Bagian

pertama dan kedua seringkali telah dimonitor secara berkala oleh program. Ketiga, efek

atau dampak merupakan hal yang paling penting dalam evaluasi.

Setelah menentukan secara pasti apa yang dicari dalam evaluasi, langkah selanjutnya

adalah menyelekasi metode terbaik dalam penerapan evaluasi.

2.8. Memilih Metode-metode Evaluasi yang tepat

Terdapat banyak jenis metode evaluasi. Beberapa diantaranya untuk evaluasi

Dampak program terhadap masyarakat, beberapa di antaranya membantu dalam

mengevaluasi organisasi dan struktur program. Dan lainnya melayani efek kegiatan

program.

Masyarakat (metode yang umum digunakan)

• Ukuran secara fisik, seperti tinggi, berat, dan tes kesehatan, contohnya; pemeriksaan

darah dan urin

• Pertanyaan-pertanyaan verbal, pertanyaan dalam bentuk kuesioner, wawancara, test

keterampilan dan pengetahuan, rekaman, pertemuan dan diskusi

• Pertanyaan-pertanyaan tertulis, pertanyaan dalam kuesioner, tes pengetahuan,

keterampilan dan sikap.

• Analisa existing informasi, seperti rekaman, laporan, diari dan autobiografi

• Obeservasi, foto, gambar, praktek dan prosedur

Struktur Program dan Organisasi

seperti halnya metode yang digunakan dalam mengevaluasi, kita juga dapat

menggunakan:

• Informasi Tertulis; seperti rekaman, laporan, anggaran, rencana, evaluasi kinerja

sebelumnya, anggaran, perencanaan, ujian, ceklis, lamanya pertemuan

27

• Daftar pertanyaan tertulis dan verbal; seperti kuesioner

• Wawancara

• Observasi

• Diskusi dan alat perekam

• Hasil kerja individu atau diari kerja

Aktivitas Program

Banyak metode yang dapat digunakan dalam mengevaluasi dampak-dampak aktivitas

program, seperti:

• Pengukuran-pengukuran; mengcover wilayah, jumlah penduduk atau perumahan,

tingkat produksi, jumlah pendapatan, atau tingkat partisipasi dalam progra

• Tes fisik

• Pertanyaan verbal dan tertulis seperti kuesioner, wawancara, survey, pertemuan dan

rekaman kaset

28

Modul 2 Topik: Melakukan Monev Partisipatif BKM/LKM

1. Peserta memahami bagaimana caranya melakukan monev partisipatif

2. Peserta mengkaji dan memahami penggunaan panduan memandu monev partisipatif BKM – LKM /KSM/UP

Kegiatan 1 : Permainan mengamati benda

Kegiatan 2 : Diskusi berputar

Kegiatan 3 : Diskusi kelompok memahami panduan memandu monev BKM – LKM /KSM/UP

6 Jpl ( 270 ’)

Bahan Bacaan – Bagaimana melakukan monev

Bahan Bacaan – Panduan memandu monev partisipatif BKM/KSM/UP

• Kerta Plano, Kuda-kuda untuk Flip-chart

• LCD

• Metaplan, Spidol, selotip kertas dan jepitan besar

• Papan Tulis dengan perlengkapannya

• Benda-benda lain untuk mendukung game mengamati barang di baki

29

Permainan Mengamati Barang 1) Awali sesi ini dengan menyampaikan tujuan, yakni agar peserta memahami bagaimana caranya

melakukan monev partisipatif. Sebelum peserta memasuki ruangan untuk memulai sesi ini, sebaiknya pemandu melakukan persiapan dengan mengumpulkan barang-barang sejumlah peserta (misalnya ballpen, penghapus papan tulis, buku, pensil, kertas, kartu metaplan, boneka kecil atau gantungan kunci, buah-buahan, rumput, dll) dan menyimpannya pada baki. Tutuplah baki tersebut dengan sehelai kain, agar peserta tidak bisa melihat isinya. Letakan baki tertutup tersebut pada sebuah meja yang diletakkan di tengah-tengah ruangan.

2) Jelaskan kepada peserta, bahwa selanjutnya peserta akan diajak melakukan permainan yang berkaitan dengan monev. Sampaikan bahwa pemandu akan membuka kain yang menutupi baki tersebut selama sepuluh detik, dan peserta dipersilakan mengamati isi baki secara cepat. Setelah itu pemandu akan menutup lagi baki tersebut.

3) Persilakan peserta untuk menuliskan barang-barang apa saja yang tadi terlihat, dan berapa jumlahnya. Ingatkan peserta agar bekerja sendiri-sendiri. Beri kesempatan pada peserta untuk menulis. Setelah selesai, persilakan salah satu peserta untuk menuliskan daftar yang dibuatnya pada papan tulis.

4) Persilakan peserta lain untuk menambahkan daftar tersebut berdasarkan catatannya.

5) Pastikan bahwa semua peserta telah melengkapi daftar tersebut. Perhatikan apakah daftar tersebut cukup lengkap atau tidak. Tanyakan hal-hal sebagai berikut:

• Dari sejumlah barang (sebutkan jumlah yang anda simpan di baki) berapa yang berhasil didaftar (berapa %)?

• Apakah hasil pengamatan setiap orang sama? Mengapa?

6) Setelah beberapa pendapat peserta, simpulkan bahwa:

Pengamatan setiap orang berbeda karena hal yang dianggap penting oleh setiap orang berbeda. Oleh karena itu, bisa dibayangkan tidak fokusnya hasil pengamatan, jika dilakukan oleh suatu kelompok/tim. Oleh karena itu dalam sebuah monev partisipatif, hal yang terlebih dahulu harus dilakukan adalah adanya kesepakatan bersama tentang hal yang harus diamati dan dievaluasi.

Bisa dibayangkan juga jika monev dilakukan hanya oleh salah satu pihak, misalnya oleh beberapa orang ahli, terhadap suatu proyek yang dilakukan masyarakat. Hasilnya akan cenderung berdasarkan apa yang dianggap penting bagi orang tersebut, bukan bagi masyarakat. Dengan monev partisipatif, diharapkan terjadi persamaan pandangan mengenai hal-hal penting yang harus diamati perkembangannya.

30

Diskusi Kelompok-Berputar : Bagaimana Melakukan Monev 1) Pemandu menjelaskan bahwa dalam sessi ini peserta akan diminta melakukan curah pendapat

tentang bagaimana melakukan monev.

2) Persilakan peserta untuk membentuk empat kelompok. Kemudian persilakan masing-masing kelompok untuk berdiskusi tentang topik-topik berikut ini, dan menuliskannya pada kertas plano:

Kelompok Topik Diskusi 1 Apa yang harus di-monev dalam PNPMMP? 2 Indikator yang digunakan dalam PNPMMP 3 Siapa yang mengendalikan monev? Siapa yang melakukan monev? Siapa

yang perlu dilibatkan dalam monev? Apa peranan masing-masing? 4 Kapan dan dimana monev dilakukan?

3) Setelah beberapa menit, mintalah setiap kelompok untuk berhenti berdiskusi. Persilakan semua kelompok meninggalkan hasil diskusinya di tempat masing-masing, sedangkan mereka bergeser ke tempat diskusi kelompok di sebelahnya (kel. 1 pindah ke tempat diskusi kel. 2, kel. 2 pindah ke kel. 3, dst.) Kemudian persilakan setiap kelompok melanjutkan/mengoreksi hasil diskusi kelompok tersebut. Ulangi proses tersebut hingga seluruh kelompok selesai membahas keempat topik diskusi.

4) Persilakan masing-masing kelompok untuk mempresentasikan hasil diskusinya yang telah dilengkapi oleh kelompok lain. Persilakan peserta dari kelompok lain untuk mengkonfirmasi hal-hal yang belum jelas.

5) Tambahkan penjelasan berdasarkan bahan bacaan.

6) Tutup diskusi dengan menyampaikan kesimpulan-kesimpulan penting mengenai bagaimana melakukan monev.

Diskusi Memahami Panduan Memandu Monev BKM – LKM /KSM

1) Sampaikan bahwa setelah cukup jelas mengenai bagaimana cara melakukan monev partisipatif,

peserta akan diajak untuk mempelajari pedoman monev partisipatif PNPMMP, untuk BKM – LKM /KSM. Tujuannya agar peserta terampil menggunakan panduan monev tersebut.

2) Mintalah peserta untuk tetap berkelompok. Kemudian bagikan panduan memandu monev

partisipatif untuk BKM – LKM /KSM/UP kepada setiap peserta. Persilakan peserta berdiskusi kelompok tentang:

31

1. Cukup mudahkah proses ini untuk dilakukan bersama masyarakat? Mengapa? 2. Bagian mana saja yang paling sulit untuk dilakukan? Mengapa? 3. Menurut pengalaman, apa yang menjadi hambatan utama dalam menerapkan monev

semacam ini? 4. Kaji panduan ini, apakah sudah cukup memposisikan masyarakat secara setara? Apakah

cukup mendorong tumbuhnya demokrasi? Apakah sudah cukup pro-gender? Mengapa? 5. Apa saran kelompok anda untuk memperbaiki panduan ini?

3) Setelah kelompok selesai berdiskusi dan menuliskan kesepakatan kelompoknya pada kertas

plano, persilakan perwakilan kelompok untuk menyampaikannya pada diskusi pleno (kelompok 1 menjawab nomer 1 dan 5, kelompok 2: nomer 2 dan 5, kelompok 3 menjawab nomer 3 dan 5, dan kelompok 4 menjawab nomer 4 dan 5). Beri kesempatan kepada kelompok-kelompok lain untuk menanggapi.

4) Catatlah point-point penting dari proses diskusi pleno, sebagai hasil diskusi kelompok.

Kemudian simpulkan hasil diskusi dan tutup sesi ini dengan me,berikan penghargaan atas partisipasi aktif semua peserta.

32

Bagaimana Melakukan Monev?

Sebagaimana dengan sebuah rencana kerja, rencana monev pun harus mudah dipahami oleh orang yang berkepentingan. Karenanya, rencana monev perlu dengan lengkap menjelaskan: a) siapa yang akan me-monev; b) apa yang dimonev; c) bagaimana cara memonev; d) kapan monev dilakukan; dan e) dimana monev dilakukan.

Pertanyaan-pertanyaan berikut dapat kita pegang untuk menyusun rencana monev.

1. Apa yang perlu di monev?

2. Tolok ukur (indikator) apa yang dipakai?

3. Siapa yang mengendalikan dan mengkoordinasi proses monev?

4. Siapa yang perlu dilibatkan dalam monev? Apa perannya?

5. Kapan dan dimana masing-masing langkah monev akan dilaksanakan?

6. Bagaimana monev akan dilakukan (pilihan bentuk, cara dan alat)?

7. Bagaimana kita akan mengemas hasil monev?

8. Kepada siapa kita akan membagikan hasil monev?

1. Apa yang dimonev?

Hal-hal yang akan dimonev sangat tergantung tujuan monev itu sendiri.

Perencanaan, apakah perencanaan program telah dilakukan bersama-sama (mengundang banyak pihak yang akan dilibatkan dalam program)?

Kegiatan, apakah kegiatan yang direncanakan telah terlaksana dengan baik (tepat waktu, sesuai anggaran, partisipasi semua pihak, dll)

Penggunaan sumber daya, apakah penggunaan sumber daya sudah cukup baik? (tidak boros, tidak berlebihan)?

Pelaku kegiatan, apakah masing-masing penanggung jawab kegiatan sudah berperan sesuai kesepakatan? Apakah kita telah melibatkan pihak-pihak terkait (masyarakat lain, LSM, pemerintah, donor, dll) sesuai kesepakatan?

Hasil, apakah hasil yang diharapkan telah tercapai atau belum?

Tujuan dan manfaat, apakah tujuan program sudah tercapai? Apakah masyarakat bisa merasakan manfaat dari program?

Nilai-nilai, apakah nilai-nilai yang telah disepakati masih ditaati oleh semua pihak?

33

2. Indikator yang digunakan

Indikator digunakan untuk memudahkan dalam menilai keberhasilan, kegagalan atau kondisi suatu program. Indikator yang biasa dipakai untuk mengevaluasi sebuah program:

Ketersediaan sarana untuk mencapai tujuan yang diinginkan

Apakah hasil proyek sesuai dengan tujuan yang ingin dicapai

Apakah sarana atau kegiatan yang dibuat benar-benar dapat dicapai atau dimanfaatkan oleh orang-orang yang benar-benar membutuhkannya

Apakah sarana yang disediakan benar-benar digunakan untuk tujuan semula

Berapa persen jumlah atau luas sasaran sebenarnya yang dapat dijangkau oleh program

Bagaimana mutu pekerjaan dan sarana yang dihasilkan program (kualitas hidup, kualitas tanaman yang ditanam)

Berapa banyak sumber daya (tenaga, barang, dana) yang sudah digunakan (diinvestasikan) untuk mencapai tujuan

Apakah sumber daya dan kegiatan yang dilakukan benar-benar dimanfaatkan secara maksimal

Apakah kegiatan yang dilakukan benar-benar memberikan masukan terhadap perubahan yang diinginkan

3. Siapa yang melakukan monev

Sebelum menjawab pertanyaan siapa yang melakukan monev, maka kita perlu membedakan dua pertanyaan berikut:

a. Siapa yang mengendalikan dan mengkoordinasikan proses monev?

b. Siapa yang perlu dilibatkan dalam monev? Perannya apa?

Seperti dalam permainan sepakbola, pertanyaan pertama adalah sama dengan siapa yang menjadi kapten. Pertanyaan kedua adalah sama dengan siapa yang menjadi pengatur serangan, penjaga gawang, penyerang, dsb.

Jika monev dibuat dengan tujuan sebagai media untuk belajar dari pengalaman, maka pada prinsipnya semakin banyak pihak yang melakukan monev, semakin baik. Namun demikian pihak yang paling merasakan dampak program lah yang harus menjadi pengendali proses monev, dan mereka berhak menentukan siapa saja yang perlu dilibatkan.

4. Kapan dan dimana dilakukan?

Pada prinsipnya monev dilakukan kapan saja, dan menjadi bagian tidak terpisahkan seiring dengan berjalannya kegiatan atau program. Namun demikian, seringkali

34

kegiatan monev menjadi terlupakan karena tidak ditetapkan waktunya. Guna menetapkan waktu yang paling cocok, pertimbangkan saat strategis sesuai program kerja. Pilihannya adalah:

Awal, pertengahan dan akhir program

Terus menerus, perbulan, perkuartal, pertahunan

Beberapa bulan setelah program atau proyek selesai

Mengikuti alur kegiatan yang disepakati bersama

Penentuan tempat monev, tergantung apa yang dimonev dan cara yang dipilih. Secara umum:

Untuk pengamatan secara langsung, monev perlu dilakukan di tempat pelaksanaan kegiatan

Untuk diskusi dan pelaporan sebaiknya dilakukan di tempat yang nyaman dan gampang dijangkau oleh semua pihak yang perlu terlibat.

Sumber:

Monitoring & Evaluasi: Sebagai Media Belajar,

DFID, 2001

35

Panduan Memandu Monev Partisipatif Kegiatan BKM – LKM /KSM/UP

• Mengidentifikasi dan menganalisis siapa saja yang berpartisipasi dalam kegiatan, khususnya partisipasi masyarakat miskin dan kaum perempuan.

• Mengidentifikasi dan menganalisis siapa saja yang mengambil keputusan dalam kegiatan.

• Mengidentifikasi dan menganalisis penerima manfaat kegiatan.

• Mendiskusikan cara untuk meningkatkan partisipasi, pengambilan keputusan dan kepuasaan masyarakat miskin dan kaum perempuan.

• Kertas plano, selotip kertas • Spidol warna-warni • Kertas metaplan warna warni

Peserta

Pertemuan warga ini diadakan setelah satu kegiatan selesai. Pertemuan kecil ini dihadiri oleh pihak-pihak yang ikut dalam kegiatan, terutama perempuan miskin, laki-laki miskin, dan pengelola kegiatan (panitia). Relawan dapat menjadi pemandu monev partisipatif ini.

IDENTIFIKASI & ANALISIS PARTISIPASI 1. Sampaikan tujuan kita melakukan monev partisipatif

kegiatan. Pastikan warga yang hadir memahami kegunaan pertemuan ini.

2. Buatlah daftar rangkaian sub-kegiatan yang telah dilakukan

dalam pelaksanaan kegiatan, termasuk misalnya rapat-rapat, mencetak undangan, menyebarkan undangan, menyediakan konsumsi, mempersiapkan tempat kegiatan, dsb.

3. Salinlah contoh matriks Siapa berpartisipasi dalam

kegiatan ke dalam kertas plano. Pastikan peserta memahami kelompok orang yang berpartisipasi dalam kegiatan.

36

Siapa Berpartisipasi dalam Kegiatan? Daftar Sub-

Kegiatan 1 2 3 4 5 6

1. 2. 3.

Keterangan: Kelompok 1 : Pihak luar desa/kelurahan (faskel, proyek, dll). Kelompok 2 : Aparat pemerintahan (kades, lurah, dsb) Kelompok 3 : Tokoh masyarakat laki-laki Kelompok 4 : Tokoh masyarakat perempuan Kelompok 5 : Warga miskin laki-laki Kelompok 6 : Warga miskin perempuan. Kelompok 7 : dan lain-lain. 4. Persilahkan setiap orang untuk memberi suara (gunakan

tanda X atau lingkaran) pada kelompok yang mereka pikir terlibat dalam masing-masing sub-kegiatan.

5. Setelah semua memberikan suara, diskusikan bersama

kelompok mana yang paling banyak berpartisipasi (terlibat kegiatan) dan mengapa. Hal ini penting untuk memahami mengapa kelompok tertentu dominan atau absen melakukan sub-kegiatan tertentu. Misalnya, perempuan hanya berperan sebagai penyedia makanan-minuman.

6. Cermati bersama, apakah warga miskin dan perempuan

banyak terlibat dalam kegiatan. Keterlibatan ini penting karena pada dasarnya kegiatan yang dilakukan terutama ditujukan untuk memberdayakan warga miskin dan perempuan.

7. Diskusikan apakah situasi ini perlu dirubah dan bila perlu,

bagaimana melakukannya. IDENTIFIKASI & ANALISIS PENGAMBILAN KEPUTUSAN 8. Buatlah daftar seluruh keputusan yang telah diambil dalam

pelaksanaan kegiatan, termasuk misalnya penentuan jenis kegiatan, waktu atau lokasi, pembentukan panitia, penentuan penerima manfaat, dsb.

37

9. Salinlah contoh matriks Pengambil Keputusan ke dalam kertas plano. Pastikan peserta memahami kelompok orang pengambil keputusan.

Pengambil Keputusan? Daftar

Keputusan 1 2 3 4 5 6 1. 2. 3.

Keterangan: Kelompok 1 : Pihak luar desa/kelurahan (faskel, proyek, dll). Kelompok 2 : Aparat pemerintahan (kades, lurah, dsb) Kelompok 3 : Tokoh masyarakat laki-laki Kelompok 4 : Tokoh masyarakat perempuan Kelompok 5 : Warga miskin laki-laki Kelompok 6 : Warga miskin perempuan. Kelompok 7 : dan lain-lain 10. Persilahkan setiap orang untuk memberi suara (gunakan

tanda X atau lingkaran) pada kelompok yang mereka pikir pengambil keputusan untuk masing-masing keputusan.

11. Setelah semua memberikan suara, diskusikan bersama

peserta kelompok mana saja yang paling banyak berperan dalam pengambilan keputusan. Sangat penting untuk memahami mengapa kelompok tertentu (seperti warga miskin dan perempuan) tidak berperan dalam pengambilan keputusan.

Tak jarang kita menemukan bahwa keputusan sebenarnya ditentukan oleh pihak luar. Kondisi ini menunjukkan masyarakat, terutama miskin, belum memiliki kesempatan untuk memutuskan hal-hal yang berkaitan dengan dirinya.

12. Diskusikan apa yang dapat dilakukan sehingga warga miskin

dan perempuan dapat lebih berperan dalam pengambilan keputusan.

IDENTIFIKASI & ANALISIS PENERIMA MANFAAT 13. Buatlah daftar manfaat apa saja yang diperoleh dalam

pelaksanaan kegiatan, baik berupa barang/fisik maupun non-fisik seperti peningkatan pengetahuan, dsb.

38

14. Salinlah contoh matriks Penerima Manfaat ke dalam kertas plano. Pastikan peserta memahami kelompok orang penerima manfaat.

Penerima Manfaat? Jenis Manfaat

1 2 3 4 5 6 1. 2. 3.

Keterangan: Kelompok 1 : Pihak luar desa/kelurahan (faskel, proyek, dll). Kelompok 2 : Aparat pemerintahan (kades, lurah, dsb) Kelompok 3 : Tokoh masyarakat laki-laki Kelompok 4 : Tokoh masyarakat perempuan Kelompok 5 : Warga miskin laki-laki Kelompok 6 : Warga miskin perempuan. Kelompok 7 : dan lain-lain 15. Persilahkan setiap orang untuk memberi suara (gunakan

tanda X atau lingkaran) pada kelompok yang mereka pikir penerima manfaat pada masing-masing jenis manfaat.

16. Setelah semua memberikan suara, diskusikan bersama

peserta siapa saja yang sebenarnya mengambil manfaat paling banyak dari pelaksanaan kegiatan. Cermati seberapa banyak warga miskin dan perempuan menerima manfaat dari kegiatan.

17. Diskusikan apa yang dapat dilakukan sehingga warga miskin

dan perempuan benar-benar menerima manfaat dari pelaksanaan kegiatan.

USULAN DARI MASYARAKAT - tindakan yang bisa dilakukan

untuk meningkatkan partisipasi warga miskin, untuk menjamin kepuasan kelompok sasaran, untuk meningkatkan pembelajaran di masyarakat, dan keberlanjutan

Menurut Perempuan

Menurut Laki-laki (Panduan ini diadaptasi dari Organisational Development Snapshot Tool, ACCESS, 2007, dikembangkan untuk membangun kultur monev partisipatif di masyarakat melalui program PNPM Mandiri Perkotaan).

DEPARTEMEN

PEKERJAAN

UMUMDirektorat Jenderal Cipta Karya

Perkotaan