Apakah yang dimaksud dengan monitoring Apakah yang dimaksud dengan monitoring dan evaluasi?dan evaluasi?

• Monitoring adalah kumpulan informasi secara sistematik dan analisisnya selama suatu proyek berjalan.

• Evaluasi adalah perbandingan dampak proyek yang nyata terhadap rencana strategis yang disetujui.

• Tiga faktor yang perlu diperhatikan dalam MonEv– Efisiensi– Efektivitas– Dampak

Efisiensi, Efektivitas dan DampakEfisiensi, Efektivitas dan Dampak

• Efisiensi menyatakan bahwa masukan ke dalam pekerjaan sesuai dengan keluarannya.

• Efektivitas adalah ukuran sejauh mana suatu program pengembangan atau proyek mencapai tujuan khusus yang ditetapkan. .

• Dampak menyatakan apakah yang kita lakukan menghasilkan perbedaan terhadap masalah yang kita coba kerjakan

MENGAPA MONITORING DAN MENGAPA MONITORING DAN EVALUASI?EVALUASI?

Melalui monitoring dan evaluasi, kita mampu:• Meninjau kemajuan;• Mengidentifikasikan masalah-masalah

dalam perencanaan dan/atau implementasi;• Melakukan pengaturan sehingga kita lebih

mungkin “menciptakan perbedaan”..

Siklus tentang efek monitoring dan evaluasiSiklus tentang efek monitoring dan evaluasi

Merencanakan

Melaksanakan

Memonitor

Merenungkan/belajar/memutuskan/mengaturMelaksanakan

Memonitor

Merenungkan/belajar/memutuskan/mengatur

Melaksanakan

Mengevaluasi/bel-ajar/memutuskan

Manfaat Monitoring dan EvaluaiManfaat Monitoring dan EvaluaiMonitoring dan evaluasi dapat:• Membantu kita untuk mengenal masalah dan penyebabnya;• Menyarankan solusi yang mungkin terhadap masalah;• Memunculkan pertanyaan tentang asusmsi dan strategi;• Mendorong kita untuk merenungkan di mana kita sedang

berjalan dan bagaimana kita mencapainya;• Memberikan informasi dan wawasan;• Membangkitkan kita untuk bertindak berdasarkan informasi

dan wawasan itu;• Meningkatkan kemungkinan bahwa kita akan membuat suatu

perbedaan perkembangan yang positif.

Cakupan MonitoringCakupan Monitoring

Monitoring meliputi: • Menetapkan indikator efisiensi, efektivitas dan

dampak; • Mengatur sistem untuk mengumpulkan informasi

yang menghubungkan indikator-indikator ini; • Mengumpulkan dan merekam informasi; • Menganalisis informasi; • Menggunakan informasi untuk membuat laporan

menejemen dari hari ke hari.

Cakupan MonitoringCakupan Monitoring

Monitoring meliputi: • Menetapkan indikator efisiensi, efektivitas dan

dampak; • Mengatur sistem untuk mengumpulkan informasi

yang menghubungkan indikator-indikator ini; • Mengumpulkan dan merekam informasi; • Menganalisis informasi; • Menggunakan informasi untuk membuat laporan

menejemen dari hari ke hari.

Cakupan EvaluasiCakupan EvaluasiEvaluasi meliputi: • Melihat apa yang ingin dicapai proyek atau organisasi atau

perbedaan apa yang ingin dilakukan. Apa dampak yang ingin dibuat? Menilai kemajuannya ke arah apa yang ingin dicapai, sasaran dampaknya.

• Melihat strategi proyek atau organisasi. Apkah proyek atau organisasi itu mempunyai strategi? Apakah proyek atau organisasi mengikuti strategi secara efektif? Apakah strategi itu berjalan? Jika tidak berjalan, mengapa terjadi?

• Melihat bagaimana proyek atau organisasi bekerja. Apakah terdapat pemanfaatan sumber daya yang efisien? Opportunity cost apa yang dipilih untuk bekerja? Bagaimana kelangsungan cara yang dipilih agar proyek atau organisasi berjalan? Apa implikasi jalannya proyek atau organisasi bagi semua pemangku kepentingan?

Cakupan EvaluasiCakupan EvaluasiEvaluasi meliputi: • Melihat apa yang ingin dicapai proyek atau organisasi atau

perbedaan apa yang ingin dilakukan. Apa dampak yang ingin dibuat? Menilai kemajuannya ke arah apa yang ingin dicapai, sasaran dampaknya.

• Melihat strategi proyek atau organisasi. Apkah proyek atau organisasi itu mempunyai strategi? Apakah proyek atau organisasi mengikuti strategi secara efektif? Apakah strategi itu berjalan? Jika tidak berjalan, mengapa terjadi?

• Melihat bagaimana proyek atau organisasi bekerja. Apakah terdapat pemanfaatan sumber daya yang efisien? Opportunity cost apa yang dipilih untuk bekerja? Bagaimana kelangsungan cara yang dipilih agar proyek atau organisasi berjalan? Apa implikasi jalannya proyek atau organisasi bagi semua pemangku kepentingan?

Beberapa jenis evaluasiBeberapa jenis evaluasi

• Evaluasi diri: Evaluasi diri melibatkan organisasi atau proyek dalam bercermin terhadap diri sendiri dan menilai bagaimana organisasi atau proyek itu berjalan, sebagai suatu cara praktis pembelajaran dan perbaikan.

• Evaluasi partisipatori: Ini merupakan bentuk evaluasi internal. Penekanannya adalah melibatkan sebanyak mungkin orang secara langsung dalam pekerjaan.

• Penilaian partisipatori cepat: Penilaian ini merupakan suatu cara kualitatif dalam melakukan evaluasi. Penilaian ini semi-terstruktur dan dilaksanakan oleh tim antardisplin selama periode waktu singkat. Penilaian ini meliputi penggunaan tinjauan data sekunder, observasi langsung, wawancara seme-terstruktur, informan kunci, wawancara kelompok, permainan, diagram, peta dan kalender.

• Evaluasi eksternal: Evaluasi ini merupakan evaluasi yang dilakukan oleh seorang atau tim luar yang dipilih secara hati-hati.

• Evaluasi interaktif: Evaluasi ini melibatkan interaksi yang sangat aktif antara evaluator atau tim evaluasi luar dan proyek atau organisasi yang sedang dievaluasi.

Pemilihan Evaluator EksternalPemilihan Evaluator EksternalKualitas untuk mencari evaluator atau tim evaluasi eksternal: • Pemahaman tentang isu perkembangan.• Pemahaman tentang isu organisasi. • Pengalaman dalam mengevaluasi perkembangan proyek, program atau

organisasi. • Riwayat pekerjaan yang baik dengan pelanggan-pelanggan sebelumnya. • Keterampilan penelitian.• Komitmen terhadap kualitas. • Komitmen terhadap batas waktu.• Obyektivitas, kejujuran dan keterbukaan.• Logika dan kemampuan bekerja secara sistematis.• Kemampuan berkomunikasi secara verbal dan tertulis.• Gaya dan pendekatan yang sesuai dengan organisasi kita. • Nilai-nilai yang cocok dengan nilai-nilai organisasi. • Beaya yang masuk akal, terukur terhadap harga yang sedang berjalan.

Indikator Indikator Monitoring dan evaluasi merupakan bagian dari proses perencanaan. Dalam proses ini ditetapkan indikator-indikator pembentuk sistem monitoring:

– Apa yang ingin kita ketahui– Informasi apa yang akan kita kumpulkan

Indikator merupakan tanda-tanda yang dapat diukur atau tampak bahwa sesuatu telah dikerjakan atau sesuatu telah dicapai. Dengan indikator dapat dijawab pertanyaan:

• Siapa?• Berapa banyak?• Berapa sering?• Berapa jumlah?

Mengembangkan IndikatorMengembangkan Indikator • Mengidentifikasi situasi masalah yang sedang kita coba

perhatikan• Mengembangkan suatu visi: akan menjadi seperti apa

masalah tersebut. Hal ini akan memberikan indikator dampak.

• Mengembangkan visi proses tentang bagaimana cara kita untuk mencapai sesuatu. Hal ini akan memberikan indikator proses.

• Mengembangkan indikator-indikator berdasarkan efektivitasnya

• Mengembangkan indikator-indikator berdasarkan efisiensi sasaran.

Merancang suatu sistem monitoringMerancang suatu sistem monitoring

• Langkah 1: Workshop: efektivitas, efisiensi, dampak, indikator, informasi yang diperlukan

• Langkah 2:Mengubah masukan dari workshop itu menjadi suatu ringkasan untuk pertanyaan-pertanyaan sistem monitoring yang harus mampu dijawab.

• Langkah 3: Memutuskan bagaimana kita akan mengumpulkan informasi yang kita butuhkan dan di mana kita akan menyimpannya (pada berkas komputer atau berkas manual).

• Langkah 4: Memutuskan seberapa sering kita akan menganalisis informasi – hal ini berarti mengumpulkan dan mencoba untuk menjawab pertanyaan-pertanyaan yang dianggap penting.

• Langkah 5: Mengumpulkan informasi, menganalisis, melaporkan.

Kerangka Acuan sistem evaluasiKerangka Acuan sistem evaluasi

• Latar Belakang: Ini merupakan latar belakang proyek atau organisasi, sesuatu tentang masalah yang diidentifikasikan, apa yang kita kerjakan, berapa lama kita berada, mengapa kita telah memutuskan untuk melakukan evaluasi.

• Maksud: Di sini kita akan mengatakan evaluasi apa yang ingin dicapai oleh organisasi atau proyek.

• Pertanyaan-pertanyaan evaluasi kunci: Pertanyaan-pertanyaan sentral apa yang harus dituju oleh evaluasi.

• Tujuan khusus: Bidang-bidang khusus apa, internal dan/atau eksternal, yang kita inginkan dituju oleh evaluasi. Sebagai contoh, kita ingin agar evaluasi memasukkan suatu tinjauan keuangan, atau memasukkan tempat-tempat program khusus.

• Metodologi: Di sini kita mungkin memberikan parameter-parameter luas dari jenis pendekatan yang kita pilih dalam evaluasi. Kita munkin juga menyarankan jenis-jenis teknik yang akan digunakan oleh tim evaluasi.

• Masalah logistik: Masalah-masalah ini termasuk waktu, beaya, syarat-syarat komposisi tim dan sebagainya.

BAGAIMANA KITA MEMPEROLEH BAGAIMANA KITA MEMPEROLEH INFORMASI?INFORMASI?

• Studi kasus• Rekaman observasi• Buku harian• Rekaman dan analisis peristiwa-peristiwa penting

(disebut “analisis peristiwa kritis”) • Kuisener terstruktur • Wawancara satu-per-satu • Kelompok-kelompok pusat• Survei sampel• Rangkuman sistematik dari biro statistik.

Menganalisis InformasiMenganalisis InformasiMenentukan indikator-indikator kunci untuk proses monitoring/evaluasi

Mengumpulkan informasi di sekitar indikator-indikator itu

Mengembangkan struktur analisis, berdasarkan pada pengertian intuitif dari tema-tema dan masalah-masalah yang muncul di mana kita menduga adanya variasi dari apa yang kita harapkan.

Menembus data kita, mengorganisasi-kannya dalam tema-tema danmasalah-masalah itu. .

Mengenali pola, kecenderungan, dan interpretasi yang mungkin

Menuliskan temuan-temuan dan kesimpulan-kesimpulan. Menyusun rekomendasi.

LaporanLaporan• RANGKUMAN EKSEKUTIF: • PENGANTAR:• DAFTAR ISI• BAGIAN 1: • PENDAHULUAN• BAGIAN 2: TEMUAN• BAGIAN 3: KESIMPULAN• BAGIAN 4: REKOMENDASI• LAMPIRAN