Evaluasi? Mengapa kita perlu

mengevaluasi?

Hector Salazar Salame

J-PAL SEA

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi?

Mengapa Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Kendala dan Tantangan

5. Evaluasi dari Awal sampai Akhir

6. Analisis Keefektifan Biaya

Ikhtisar Pelatihan

1. Apa yang dimaksud dengan evaluasi?

Mengapa Mengevaluasi?

2. Mengapa melakukan pengacakan?

3. Cara pengacakan

4. Kendala dan Tantangan

5. Evaluasi dari Awal sampai Akhir

6. Analisis Keefektifan Biaya

Apa yang dimaksud dengan

Monitoring dan Evaluasi?

Monitoring & Evaluasi

Evaluasi Program

Evaluasi Dampak

Apakah perbedaan antara:

Monitoring dan Evaluasi

A. Tidak ada. Kedua kata

tersebut menggambarkan

tindakan yang sama

B. Monitoring merupakan

tindakan yang bersifat

internal, sedangkan Evaluasi

merupakan tindakan yang

bersifat eksternal

C. Monitoring adalah untuk

manajemen, sedangkan

Evaluasi untuk akuntabilitas.

D. Tidak tahu.

E. Lain-lain

Evaluasi Program

Monitoring& Evaluasi

Evaluasi Program

Evaluasi Dampak

Komponen Evaluasi Program

• Analisis kebutuhan

• Penilaian Teori Program

• Evaluasi Proses

• Evaluasi Dampak

• Cost Effectiveness

• Apa permasalahnya?

• Bagaimana, secara teoritis, program tersebut dapat menyelesaikan masalah?

• Apakah program berjalan sesuai rencana?

• Apakah tujuan akhir tercapai? Berapa besar dampak?

• Dilihat dari besar dampak dan biaya yang dikeluarkan, apakah terdapat cara lain sebagai alternatif?

Biasanya, sebuah evaluasi harus dilakukan:

A. Secara eksternal dan

independen dari pelaksana

program yang dievaluasi

B. Secara eksternal dan

terintegrasi dengan

pelaksana program

C. Secara internal

D. Tidak tahu

Untuk siapakah evaluasi ini ?

• Pembuat kebijakan

• Pelaksana kebijakan

• Akademisi

• Penerima manfaat (beneficiary)

• Donor

• Pihak pendukung, pihak skeptis

Siapakah audiens terpenting Anda dari hasil

evaluasi?

A. Pembuat kebijakan

B. Pelaksana kebijakan

C. Penerima manfaat (beneficiary)

D. Donor

E. Akademisi

F. Pihak pendukung, pihak skeptis

Apakah kami mengetahui cara

menanggulangi kemiskinan?

Jeff Sachs

“Saya telah menemukan bentuk

investasi tertentu yang

dibutuhkan [untuk mengatasi

masalah kemiskinan]; telah

menemukan cara untuk

menyusun dan menerapkannya;

[dan] menunjukkan bahwa cara

itu dapat dilakukan.”

Jeffrey Sachs

End of Poverty

Apakah Anda percaya Jeff Sachs?

A. Ya

B. Tidak, kita belum

menemukan bentuk

investasi khusus yang

dibutuhkan tersebut.

C. Tidak, kita belum

menemukan cara untuk

menyusun dan

menerapkannya.

D. Tidak, kita belum melihat

cara-cara itu dapat dilakukan

E. Tidak, tapi dengan alasan

lain

Bill Easterly

“Setelah menghabiskan $2.3 triliun

selama lebih dari 5 dekade, mengapa

kebutuhan paling mendasar kaum

miskin di dunia masih secara tragis

belum juga terpenuhi?

Apakah ini berarti waktunya untuk

menghentikan impunitas program

bantuan asing?”

Bill Easterly

The White Man’s Burden

Apakah debat ini terdengar relevan untuk Anda?

A. Ya

B. Tidak

C. Sebagian

Apakah pertanyaan “Bagaimana caranya menanggulangi

kemiskinan” dapat terjawab dengan melakukan Evaluasi

Dampak?

A. Ya

B. Tidak

C. Tidak Tahu

Di manakah posisi J-PAL dalam

debat ini?

• Di antara keduanya

• Kami percaya program penanggulangan

kemiskinan dapat membantu

• Namun kita masih harus banyak belajar

bagaimana caranya.

Bagaimana evaluasi dampak ini dapat

membantu kita?

• Masih sedikit bukti yang dapat menjelaskan apa yang bekerja

• Dapat melakukan hal lebih banyak dengan anggaran tertentu, dengan bukti yang lebih baik

• Apabila anggaran akan diberikan kepada program yang berhasil, maka akan membantu meningkatkan kantong bagi program-program penanggulangan kemiskinan.

• Pertanyaan bukan tentang “Apakah program penanggulangan kemiskinan berhasil?” melainkan : – Program mana yang paling berhasil, mengapa dan kapan?

– Konsep mana yang berhasil, mengapa dan kapan?

– Bagaimana kita meningkatkan yang berhasil ini?

• Tambahan ke daftar yang sudah terbukti – Bagian dari strategi evaluasi (riset) yang telah disusun dengan penuh

pertimbangan

MENINGKATKAN KUALITAS

AIR/SANITASI

Sebuah Contoh di Kenya

Menurut Anda, apakah cara yang paling efektif

dari segi biaya untuk mengurangi masalah diare?

A. Mengembangkan

infrastruktur pipa air

B. Meningkatkan kualitas

sumber air yang ada

C. Meningkatkan suplai dan

kebutuhan akan klorin

D. Pendidikan tentang sanitasi

dan kesehatan

E. Meningkatkan jumlah

kompor untuk memasak dan

merebut air

F. Meningkatkan infrastruktur

sanitasi

ANALISIS KEBUTUHAN

Identifikasi masalah

Kebutuhan

• Secara Umum

– Hampir 2 juta anak meninggal per tahun karena

diare

– 20% dari kematian anak (di bawah 5 tahun)

adalah karena diare

• Indonesia

– 36 persen anak terhambat pertumbuhannya

• Diare, kekuranan gizi dilihat sebagai faktor utama

Permasalahan

• 13% dari populasi dunia tidak mempunyai

akses “sumber air yang baik”

• Kurangnya akses terhadap solusi purifikasi air

• Berdasarkan laporan, masyarakat dapat memperoleh akses

air bersih dengan bersedia membayar $1 agar terhindar dari

diare, atau $24 per DALY (Kremer et al 2009)

7/2009 Spring Cleaning - SITE 24

Tujuan Akhir

• MDG: “Mengurangi sampai setengah dari

jumlah populasi penduduk yang tidak

mendapat akses berkelanjutan ke air bersih

untuk minum”

Solusi

Apakah program ini sendiri dapat

menyelesaikan permasalahan?

• Kualitas air hanya sedikit membantu jika tidak higienis

(Esrey, 1996)

– 42% rumah tangga hidup tanpa toilet di dalam rumah

• Masyarakat lebih tertarik membayar air yang bersifat

convenient daripada membayar untuk mendapatkan air bersih

• Kurang dari 10% rumah tangga membeli alat treatment air

– Di Zambia, $0,18 per bulan untuk keluarga dengan enam anggota

keluarga

– Di Kenya, $0,30 per bulan

• 25% kepala rumah tangga dilaporkan merebus air untuk

kebutuhan air minum sehari sebelumnya

Solusi Alternatif?

Mengembangkan Solusi

• Apakah teori yang melandasi solusi Anda?

• Bagaimana memetakannya ke dalam teori

masalah yang dihadapi?

PENILAIAN TEORI PROGRAM

Blueprint untuk Perubahan

Penilaian Teori Program

• Kerangka Kerja Logis (LogFrame, LFA)

• Teori Perubahan

• Kerangka Hasil

• Pemetaan Hasil

Theory of Change

MODIFIKASI SUMBER AIR

(untuk mencegah

kontaminasi)

AIR BERSIH DISIMPAN DI

RUMAH

ANGGOTA RUMAH TANGGA

MENGKONSUMSI AIR

OUTCOME KESEHATAN

DITINGKATKAN (misal. Insiden

diare berkurang)

Asumsi sampel: air ditampung dalam wadah yang bersih, dan wadah dipertahankan agar tetap bersih

Asumsi sampel: Anggota RT mengkonsumsi air dari sumber air yang bersih dan bukan sumber air yang berpotensi terkontaminasi

Asumsi sampel: sumber air dipelihara dengan baik, dan terdapat suplai air yang konsisten

Asumsi sampel: Tingkah laku yang berubah tetap konsisten dari waktu ke waktu

Penilaian Teori Program

• Bagaimana program tersebut akan menjawab kebutuhan

yang terdapat dalam analisis kebutuhan?

– Apakah pra-syarat yang dibutuhkan untuk memenuhi kebutuhan

tersebut?

– Bagaimana dan mengapa kebutuhan tersebut kurang atau gagal

dipenuhi saat ini?

– Bagaimana program ini bermaksud untuk mengatasi kekurangan

yang ada?

– Layanan apa yang akan ditawarkan?

Kerangka Logis Tujuan Indikator Sumber

Verifikasi

Asumsi/

Ancaman

Dampak

(Maksud/

Tujuan

keseluruhan)

Menurunnya

tingkat diare

Tingkat diare Survei di

tingkat rumah

tangga

Penyakit

ditularkan melalui

air adalah sebab

utama diare

Hasil

(Tujuan

Proyek)

Rumah

tangga

meminum air

yang lebih

bersih

(Δ dalam)

sumber air

minum;

E. coli

CFU/100ml

Survei rumah

tangga, uji

kualitas air di

penampungan

air rumah

Beralih dari

sumber air kotor.

Tidak ada

kontaminasi ulang

Output Sumber air

lebih bersih;

keluarga

mendapat air

yg lbh bersih

E. coli

CFU/100ml;

Uji kualitas air

pada sumber

Pemeliharaan

berkelanjutan,

pengetahuan

praktek

pemeliharaan

Input

(Kegiatan)

Proteksi

sumber air

dibangun

Terdapat

proteksi

sumber air,

berfungsi

Kunjungan ke

sumber/ survei

Bahan memadai,

pendanaan,

tenaga

Sumber Roduner, Schlappi (2008) Logical Framework Approach and Outcome Mapping, A constructive Attempt of Synthesis,

Analisa

Kebutuhan

Evaluasi

Proses

Evaluasi

Dampak

EVALUASI PROSES

Menjadikan program berhasil

Evaluasi Proses

• Sisi Suplai

– Logistik

– Manajemen

• Sisi Permintaan

– Asumsi Tanggapan

– Perubahan Perilaku?

Evaluasi Proses: Logistik

• Konstruksi (184/200, $1024/sumber air)

– Membangun perlindungan di sumber air

– Memasang pagar

– Memasang drainase

• Mengatur perawatan pengguna ($35/tahun)

– Menambal beton

– Membersihkan penampungan area

– Membersikan saluran drainase

Evaluasi Proses: Logistik Suplai

Evaluasi Proses: Sisi Permintaan

• Apakah rumah tangga tersebut mendapatkan air

dari sumber yang telah dilindungi?

– Untuk rumah tangga yang mengambil dari berbagai

sumber air, terdapat peningkatan penggunaan sumber

yang telah dilindungi sebanyak 21 persen

• Apakah tempat penampungan terkontaminasi

ulang?

• Apakah masyarakat minum dari air “bersih”?

– Tidak terdapat perubahan yang signifikan dalam cara

menyalurkan, menyimpan atau perilaku treatment.

Prosesnya oke, maka ….

• Apa yang terjadi dengan diare?

EVALUASI DAMPAK

Mengukur sejauh mana keberhasilannya

Apakah tujuan tercapai?

• Hasil utama (dampak): apakah dengan adanya

perlindungan di sumber air mengurangi

diare?

• Juga pertanyaan tambahan: Apakah

dampaknya terhadap rumah tangga dengan

praktek sanitasi yang baik vs yang buruk`?

Bagaimana cara mengukur dampak?

• Apakah yang akan terjadi jika program

tersebut tidak ada?

• Perbedaan antara

apa yang terjadi (dengan adanya program tsb) …dan

- apa yang bisa saja terjadi (tanpa adanya program tsb)

= DAMPAK dari program

Membangun Counterfactual

• Counterfactual sering dibangun dengan memilih kelompok yang tidak terpengaruh oleh program tersebut.

• Metode Acak: – Gunakan pengelompokan acak dari program untuk

membentuk kelompok kontrol yang mewakili counterfactual.

• Tanpa-metode acak – Menyatakan bahwa kelompok tertentu yang tidak

termasuk dalam program mewakili counterfactual.

Bagaimana perbedaan dampak dengan

proses?

• Ketika kita menjawab pertanyaan proses, kita

perlu menjelaskan apa yang terjadi.

• Ketika kita menjawab pertanyaan dampak,

kita perlu membandingkan apa yang terjadi

dengan apa yang bisa terjadi tanpa adanya

program tersebut.

EVALUASI ACAK

“Standar Emas” untuk Evaluasi Dampak

Secara acak

pilih sampel

dari area

yang

dimaksud

Sampel Acak dan Pengelompokan Acak

Secara acak

kelompokkan

ke perlakuan

dan kontrol

Secara acak

pilih sample

Kelompok

perlakuan dan

kontrol

Sampel Acak dan Pengelompokan Acak

Secara acak

pilih sampel

dari area yang

dimaksud

Sampel Sumber air bersih

Target

Populasi

(200)

Tidak

dievaluasi

(0)

Sampel

Evaluasi

(200)

Total Populasi

(562 sumber air)

Pengelom-

pokkan Acak

Tahun 2

(50)

Tahun 3,4

(100)

Tahun 1

(50)

Dampak

• 66% penurunan konsentrasi bakteri E. coli

pada sumber air

• 24% penurunan konsentrasi bakteri E. coli

pada rumah tangga

• 25% penurunan tingkat diare

Menentukan dari beberapa pilihan

Intervensi Dampaknya terhadap Diare

Perlindungan sumber air (Kenya) 25% penurunan penyakit diare pada anak

usia 0-3

Intervensi Dampaknya terhadap diare

Perlindungan sumber air(Kenya) 25% penurunan tingkat diare pada anak

usia 0-3

Dispenser sumber klorin (Kenya) 20-40% penurunan diare

Distribusi klorin ke rumah (Kenya) 20-40% penurunan diare

Cuci tangan (Pakistan) 53% penurunan tingkat diare pada anak

di bawah usia 15 tahun

Masuknya pipa air (pinggiran Maroko) 0.27 penurunan jumlah hari diare pada

anak per bulan

Menentukan dari beberapa pilihan

ANALISIS COST-EFFECTIVENESS

Pembuatan Kebijakan Berbasis Bukti

Diagram Cost-Effectiveness

KAPANKAH WAKTU YANG

TEPAT UNTUK MELAKUKAN

EVALUASI ACAK….

Kapankah waktu yang tepat untuk

melakukan evaluasi acak?

A. Setelah program dimulai dan

Anda tidak berniat memperluas

ke arah lain

B. Ketika dampak positif telah

terbukti menggunakan

metodologi yang ketat

C. Ketika Anda melaksanakan suatu

program dengan maksud untuk

memperluas cakupannya

D. Ketika program masih dalam

cakupan yang sangat kecil. Mis.

Hanya untuk beberapa rumah

tangga

Kapan evaluasi acak dilakukan?

• Ketika Anda ingin menjawab pertanyaan penting dan ingin tahu jawabannya

• Faktor waktu—tidak terlalu dini dan tidak terlalu terlambat

• Program bersifat representatif, bukan program ‘gold-plated’ semata – Atau menguji konsep dasar yang perlu Anda uji

• Waktu, keahlian, dan uang untuk melakukan hal yang benar

• Mengembangkan sebuah strategi evaluasi untuk menentukan prioritas

Kapan evaluasi acak sebaiknya tidak

dilakukan? • Ketika program masih prematur dan masih perlu

‘perbaikan’ di sana sini agar berhasil

• Ketika proyek masih dalam skala yang terlalu kecil untuk diacak menjadi dua kelompok yang cukup ‘representatif’

• Bila dampak positif telah terbukti dengan menggunakan metodologi yang ketat serta sumber data memadai untuk semua orang

• Setelah program dimulai dan Anda tidak berencana untuk memperluas ke arah lain

Bagaimana evaluasi dampak dapat gagal

• Tidak ada yang mengajukan pertanyaan yang

jawabannya diberikan oleh studi/kajian

tersebut

• Mengukur hasil yang salah

• Meninggalkan terlalu banyak pertanyaan

penting yang tidak terjawab

• Menghasilkan hasil yang bias

Program dan Evaluasinya:

Dimana kita memulainya? Intervensi

• Mulai dengan masalah

• Verifikasi masalah tersebut

memang benar terjadi

• Buatlah sebuah teori

mengapa masalah tersebut

timbul

• Desain program

• Pertimbangkan apakah solusi

tersebut bersifat cost effective

Evaluasi Program

• Mulai dengan pertanyaan

• Verifikasi pertanyaan tersebut

belum terjawab

• Buatlah sebuah hipotesis

• Desain evaluasi

• Pastikan apakah nilai jawaban

setara dengan biaya evaluasi

• Bila Anda menanyakan dengan pertanyaan yang benar, berarti Anda cenderung peduli

Komponen Evaluasi Program

• Analisa kebutuhan

• Penilaian Teori Program

• Evaluasi terhadap proses

• Evaluasi Dampak

• Cost Effectiveness

• Apa masalahnya?

• Bagaimana, secara teoritis, program tersebut dapat menyelesaikan masalah?

• Apakah program berjalan sesuai rencana?

• Apakah tujuan akhirnya tercapai? Signifikankah?

• Dilihat dari signifikansi dan biaya yang dikeluarkan, apakah terdapat cara lain sebagai alternatif?

PEREMPUAN SEBAGAI

PEMBUAT KEBIJAKAN

Selanjutnya …