republik indonesia - bappenas.go.id. praktik pelaksanaan... · kerja mandiri yang diserahi tanggung...

REPUBLIK INDONESIA

PRAKTIK PELAKSANAAN EVALUASI DI BEBERAPA NEGARA:

SEBUAH TINJAUAN LITERATUR

Kedeputian Evaluasi Kinerja Pembangunan

Kementerian Perencanaan Pembangunan Nasional/BAPPENAS 2010

ii

KATA PENGANTAR

Terbentuknya Direktorat Evaluasi Kinerja Pembangunan Sektoral (EKPS) sebagai salah satu Direktorat dilingkungan Deputi Evaluasi Kinerja Pembangunan di Kemenneg PPN/Bappenas pada penghujung tahun 2007 lalu setidaknya menyiratkan satu hal, yakni bahwa secara kelembagaan Bappenas memiliki komitmen yang makin kuat terhadap evaluasi sebagai satu mata rantai penting dalam proses perencanaan pembangunan nasional. Evaluasi di Bappenas boleh dikatakan merupakan barang yang “lama namun baru”. Barang lama, karena pada lingkup yang lebih mikro kedeputian/direktorat teknis, to some extent, sejatinya evaluasi telah dilakukan, meski masih bersifat sepotong-sepotong dari kacamata sektor masing-masing. Barang baru, karena praktik evaluasi kebijakan oleh sebuah unit kerja mandiri yang diserahi tanggung jawab khusus untuk itu memang baru ada setelah direktorat ini terbentuk. Dengan pembentukan Direktorat EKPS ini, evaluasi diharapkan dapat dijalankan dalam karakter yang lebih “memandang dari luar” dan dalam konteks yang lebih holistik dan bersifat lintas sektor. Konsekuensinya, Bappenas perlu secara institusi memiliki strategi evaluasi pencapaian outcome/impact terhadap program-program dan kebijakan pembangunan yang lebih canggih dan profesional. Beberapa tahun terakhir, upaya ke arah evaluasi yang baik memang telah dilakukan oleh Kedeputian/Direkorat Sektor terkait, misalnya melalui berbagai prakarsa strategis. Namun demikian, hal tersebut perlu terus di kembangkan ke arah yang lebih bersifat institusional.

iii

Sebagai unit kerja baru, dengan tugas dan fungsi yang baru pula, tantangan yang harus segera dihadapi Direktorat EKPS adalah bahwa belum ada model yang ideal mengenai bagaimana evaluasi kebijakan semestinya dijalankan. Evaluasi yang telah cukup sering dilakukan baru terbatas pada evaluasi kegiatan/proyek yang sifatnya berbeda dengan evaluasi kebijakan. Dalam kerangka inilah Direktorat EKPS memulai satu langkah kecil berupa studi pustaka mengenai praktik evaluasi outcome/impact di berbagai negara. Fokus dari studi literatur ini terletak pada metodologi apa saja yang bisa dipilih untuk program/kebijakan pada sektor yang beragam. Hadirnya tinjauan literatur ini diharapkan dapat berkontribusi dalam membangun technical know how, terutama mengenai bagaimana melakukan evaluasi outcome dan impact dari program atau kebijakan dari perencanaan pembangunan di Indonesia. Harapan kami tinjuan literatur ini bermanfaat bagi upaya membangun kapasitas evaluasi, tidak saja bagi lingkungan Deputi Evaluasi Kinerja Pembangunan, namun juga bagi lingkungan yang lebih luas, terutama unit-unit kerja terkait di Kementerian PPN/Bappenas.

Jakarta, Maret 2010 Plt. Deputi Bidang Evaluasi Kinerja Pembangunan

Dr. Ir. Dedi M. Masykur Riyadi

1

PRAKTIK PELAKSANAAN EVALUASI DI BEBERAPA NEGARA:

SEBUAH TINJAUAN LITERATUR

Dalam manajemen perencanaan pembangunan, evaluasi adalah satu mata rantai penting yang tidak kalah penting dari perencanaan itu sendiri. Paling tidak, kegiatan evaluasi dapat menjadi semacam jembatan antara satu perencanaan dengan perencanaan periode berikutnya.

Evaluasi menjadi strategis kedudukannya, karena dari kegiatan evaluasi tersebut dapat1:

(i) diketahui keberhasilan atau kegagalan sebuah program/kegiatan;

(ii) diidentifikasi di mana dan bagaimana perlu dilakukan perubahan-perubahan;

(iii) diketahui bagaimana kekuatan dan potensi dapat ditingkatkan;

(iv) diperoleh informasi untuk membuat perencanaan dan pengambilan keputusan tahap selanjutnya; dan

(v) membantu untuk dapat melihat konteks dengan lebih luas serta implikasinya terhadap kinerja pembangunan.

Tujuan evaluasi pada umumnya adalah untuk mendapatkan informasi dan menarik pelajaran dari pengalaman mengelola kegiatan/program pembangunan (input-proses-output) yang baru sebagian dijalankan atau sudah selesai dilaksanakan sebagai umpan balik bagi pengambilan keputusan dalam rangka perencanaan

1 Lebih lengkap, dapat dilihat di

http://www.bcwbanten.co.cc/2007/11/evaluasi-dan-monitoring.html


2

pelaksanaan pemantauan pengendalian dan kajian ulang (review).

Sementara itu, dalam penjelasan PP No.39/2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan, dijelaskan bahwa maksud dari dilakukannya evaluasi adalah untuk:

“... dapat mengetahui dengan pasti apakah pencapaian hasil, kemajuan dan kendala yang dijumpai dalam pelaksanaan rencana pembangunan dapat dinilai dan dipelajari untuk perbaikan pelaksanaan rencana pembangunan di masa yang akan datang. Fokus utama evaluasi diarahkan kepada keluaran (Outputs), hasil (Outcomes), dan dampak (Impacts) dari pelaksanaan rencana pembangunan. Oleh karena itu, dalam perencanaan yang transparan dan akuntabel, harus disertai dengan penyusunan indikator kinerja pelaksanaan rencana, yang sekurangkurangnya meliputi; (i) Indikator masukan, (ii) Indikator keluaran, dan (iii) Indikator hasil/manfaat”.

Meski secara legal formal telah ditetapkan PP No. 39/2006 sebagaimana disebutkan di atas, namun sejauh ini kita belum memiliki sebuah sistem evaluasi, terutama evaluasi outcome/impact atas pelaksanaan rencana, yang kredibel. Evaluasi pelaksanaan rencana adalah bagian dari evaluasi kebijakan, bukan evaluasi proyek/kegiatan. Evaluasi kegiatan/proyek sudah sering kita lakukan dan hasilnya kadang-kadang kita anggap sebagai hasil evaluasi kebijakan. Padahal, evaluasi kebijakan dengan evaluasi proyek/kegiatan adalah dua hal yang berbeda.

Evaluasi pelaksanaan rencana murni menilai: Apakah kebijakan-kebijakan yang tersurat dalam dokumen Rencana Pembangunan, dalam hal ini RPJMN, sudah dilaksanakan atau belum?; Jika belum dilaksanakan, mengapa?; Jika sudah dilaksanakan, hasilnya bagaimana?; Apakah hasilnya sudah sesuai dengan target?; dan seterusnya. Ini belum pernah dilakukan.

Kegiatan evaluasi yang sering dilakukan oleh Kementerian/Lembaga dan Direktorat Teknis di Bappenas adalah evaluasi proyek/kegiatan. Evaluasi pelaksanaan

3

rencana yang telah dilakukan oleh beberapa Kedeputian/Direktorat di Bappenas dalam beberapa tahun terakhir perlu lebih disinergikan, tidak dalam lingkup mikro sektor persektor. Sehingga pada akhirnya evaluasi pelaksanaan rencana tersebut berada pada lingkup lebih makro, institusional Kemenneg PPN/Bappenas.

Salah satu fungsi Direktorat EKPS, sebagaimana diamanatkan oleh Keputusan Menneg PPN/Kepala Bappenas Nomor 5 Tahun 2007 tentang Organisasi dan Tata Kerja Kemenneg PPN/Bappenas adalah melakukan pemantauan, evaluasi, dan penilaian pelaksanaan program, lintas program, prioritas RKP serta RPJMN.

Guna menjalankan tugas pokok dan fungsinya sebagaimana disebutkan di atas, Direktorat EKPS perlu memiliki pemahaman yang cukup mengenai bagaimana evaluasi outcome/impact seharusnya dijalankan. Sebagai langkah awal, dilakukanlah penghimpunan referensi antara lain seperti apa praktik evaluasi outcome/impact di beberapa negara lain. Paling tidak, penghimpunan referensi ini bermanfaat untuk memperoleh gambaran mengenai apa saja yang bisa dievaluasi dengan evaluasi outcome/impact, bagaimana evaluasi outcome/impact dilakukan, dan metodologi apa saja yang bisa digunakan untuk menjalankan evaluasi outcome/impact.

Lebih jauh, diperlukan juga pemahaman mengenai berbagai praktik evaluasi outcome/impact untuk sektor-sektor yang berbeda. Matriks sebagaimana disajikan berikut ini merupakan rangkuman dari praktik dan metodologi evaluasi outcome/impact yang dilaksanakan terhadap Program/Kebijakan pada berbagai sektor dengan menggunakan metodologi yang juga beragam, di negara-negara: Amerika Serikat, Papua New Guinea, Iran, Kerajaan Vermont Bagian Timur, Uganda, Australia, Filipina, Yaman, Swedia, Hungaria, Meksiko, Brazil, dan Selandia Baru.

4

Secara singkat, matriks di bawah ini menjelaskan evaluasi outcome/impact di berbagai bidang yang dilakukan oleh beberapa negara, dan dikelompokkan berdasarkan tiga bidang besar yakni: (i) Politik Hukum Pertahanan dan Keamanan, (ii) Sosial Budaya, dan (iii) Ekonomi. Untuk Bidang Politik Hukum Pertahanan dan Keamanan misalnya, diambil contoh kegiatan evaluasi yang dilakukan di Papua New Guinea dan Kerajaan Vermont Bagian Timur. Evaluasi di Papua New Guinea dilakukan terhadap kegiatan Yumi Lukautim Mosbi (YLM) Project sedang di Kerajaan Vermont Bagian Timur dilakukan terhadap program Vermont Center for Crime Victim Services. Metode evaluasi yang digunakan adalah metode kualitatif, diantaranya melalui wawancara mendalam (indepth interview), review serta kajian terhadap dokumen terkait pelaksanaan kegiatan atau program, pengisian kuisioner dan analisis logic model.

Disamping itu, didapati juga evaluasi outcome/impact yang menggunakan metode kuantitatif, seperti yang dilakukan oleh Amerika Serikat terhadap program COPS Grant; Filipina terhadap program Conditional Cash Transfer (CCT); atau Swedia terhadap program Youth Labor Market. Metode evaluasi yang digunakan yaitu analisis statistik deskriptif dan ekonometrik dengan perhitungan least square dan logit model. Metode analisis ini juga dilakukan pada evaluasi bidang Politik Hukum Pertahanan dan Keamanan, Ekonomi, Pendidikan, serta Kesehatan.

Pemilihan metodologi, dilakukan sesuai bidang pembangunan yang akan dievaluasi. Setiap bidang pembangunan memiliki karakteristik yang berbeda-beda. Pada bidang pembangunan Politik Hukum Pertahanan dan Keamanan, metode evaluasi kualitatif umumnya banyak digunakan. Sedangkan pada bidang pembangunan Sosial Budaya dan Ekonomi, metode evaluasi yang digunakan merupakan kombinasi antara metode kualitatif dan

5

kuantitatif. Hal ini sangat dipengaruhi oleh karakteristik data dari masing-masing bidang pembangunan.

Berdasar kegiatan evaluasi yang telah dilaksanakan di beberapa negara tersebut, terdapat 2 contoh negara yang melakukan evaluasi terhadap kebijakan nasional. Yaman melakukan evaluasi dampak terhadap kebijakan Social Fund for Development (SFD), dan Swedia melakukan evaluasi dampak terhadap kebijakan Youth Labor Market Program. Kedua kebijakan tersebut merupakan kebijakan yang bersifat nasional. Data yang digunakan untuk pelaksanaan evaluasi tersebut adalah data primer, yang diperoleh melalui survei yang sifatnya nasional ataupun sampling secara langsung terhadap masyarakat penerima manfaat. Dengan demikian pada pelaksanaan evaluasi dampak terhadap level kebijakan nasional akan berkonsekuensi terhadap waktu, dana, serta jumlah SDM yang dibutuhkan.

Untuk 13 contoh Negara lainnya, evaluasi dampak dilakukan terhadap program atau kegiatan yang spesifik. Data yang digunakan pada pelaksanaan evaluasi, umumnya menggunakan data sekunder yang diperoleh dari badan statistik nasional seperti data Annual Survey of State and Local Government Finance pada evaluasi dampak program COPS Grant di USA; Base Line Survey 2001 Pusat Statistik Iran (SCI) dan UNFPA Iran pada evaluasi dampak program KB menggunakan model prevalensi di Iran; Annual Poverty Indicator Survey (APIS) 2004 pada evaluasi dampak program Conditional Cash Transfer (CCT) di Filipina. Hal ini menunjukkan bahwa pada evaluasi dampak terhadap program atau kegiatan yang spesifik, tidak dilakukan survei yang bersifat nasional untuk memperoleh data yang akan diolah. Dengan demikian waktu pelaksanaan evaluasi, dana yang dibutuhkan serta sumber daya manusia yang dibutuhkan akan lebih sedikit jika dibandingkan dengan evaluasi dampak yang menggunakan data primer.

6

Simpulan umum yang dapat ditarik adalah bahwasanya evaluasi outcome/impact sejatinya dapat dilakukan pada berbagai level, baik kegiatan, program, maupun kebijakan lain dalam tingkatan yang lebih tinggi lagi. Pemilihan metode evaluasi seperti apa yang digunakan dapat didasarkan antara lain pada data yang tersedia, karakteristik bidang pembangunan yang ingin dievaluasi, serta tujuan dari evaluasi itu sendiri. Tentu saja kesemua hal tersebut berimplikasi pada besaran dana yang dibutuhkan untuk pelaksanaan kegiatan evaluasi. Hal ini menjadi masukan berharga bagi para perencana pembangunan untuk menentukan evaluasi dampak terhadap program, kegiatan ataupun kebijakan seperti apa yang akan dilakukan. sehingga dapat diketahui sampai sejauh mana pencapaian tujuan pembangunan telah berhasil dicapai.

7

MATRIKS EVALUASI OUTCOME/IMPACT YANG DILAKSANAKAN DI BEBERAPA NEGARA

No. Negara Nama

Program/ Kebijakan

Deskripsi Singkat Metodologi Evaluasi Temuan Sumber

BIDANG POLHUKHANKAM

1 USA COPS Grants Level: Program

Program Community Oriented Policy Services

(COPS) merupakan intergovernmental grant program pada Departmentt of Justice US. Program ini membiayai perekrutan dan redeployment 100.000 tambahan petugas kepolisian di Amerika.

Tipe grant program

COPS: Pertama, grant perekrutan sebesar 75% digunakan untuk membiayai gaji petugas baru selama 3 tahun; Kedua, Making Officer Redeployment Effective (MORE) merupakan pemberian grant untuk membiayai teknologi, lembur, dan gaji pegawai sipil; Ketiga, grant

inovatif guna membiayai masalah-masalah khusus seperti kekerasan domestik, kenakalan geng, penyalahgunaan senjata api.

Evaluasi dampak: Pertama, apakah grant COPS menstimulasi pengeluaran kepolisian lokal di kota-kota besar?; Kedua, apakah grant

COPS dapat mencegah terjadinya kejahatan di kota-kota besar?

Mayoritas grant COPS

dikategorikan sebagai grant proyek, yaitu grant yg hanya diberikan kepada pemohon saja

Jenis Evaluasi: Evaluasi Impact

Studi ini merupakan

evaluasi dampak grant COPS yang menggunakan metode analisis regresi OLS (Ordinary Least Square) dan 2SLS. Model pertama, untuk mengetahui dampak grant COPS terhadap besarnya pengeluaran dinas kepolisian; Model kedua, untuk

mengestimasi hubungan antara grant COPS dengan tingkat kejahatan. Dalam model ini tingkat kejahatan yang dimaksud adalah tingkat kejahatan pembunuhan, pemerkosaan, perampokan, penyerangan, pencurian, pencopetan, dan pencurian kendaraan bermotor.

Metode OLS

digunakan untuk menganalisis model pertama dan kedua. Sedang metode 2SLS digunakan untuk mengukur kemungkinan hubungan simultan antara anggaran pengeluaran untuk penegakan hukum dengan tingkat kejahatan dengan tetap menjaga variabel grant COPS dan sosioekonomi.

Data yang digunakan

dalam studi ini diambil

Analisis kebijakan pada studi ini disusun berdasarkan hasil analisis regresi.

Grant COPS

tidak menstimulasi penerima grant untuk meningkatkan pengeluaran di atas pengeluaran rutinnya.

A Report of The Heritage Center for Data Analysis: Impact Evaluation of COPS Grants in Large Cities, David B. Muhlhausen, PhD; May 26, 2006.

8

No. Negara Nama

Program/ Kebijakan


dari 58 kota besar di USA. Data tahun analisis yang diambil adalah 5 tahun sebelum dan sesudah pelaksanaan program, dimana pelaksanaan grant COPS ini dilaksanakan pada tahun 1994.

Data yang digunakan

bersumber dari data Annual Survey of State dan Local Government Finance.

2 Papua New Guinea

Yumi Lukautim Mosbi (YLM) Project Level: Program

Proyek ini merupakan kerjasama antara National Capital District Commission (NCDC) dan Australian-funded Law & Justice Sector Program (LJSP) yang bertujuan untuk meningkatkan ketertiban, keamanan dan pencegahan terjadinya kejahatan di wilayah Port Moresby. Proyek ini dimulai pada Maret 2005.

Pelaksanaan proyek ini

meliputi: Pertama, kampanye kepedulian komunitas untuk perbaikan kepedulian terhadap Port Moresby; Kedua, slogan sebagai

symbol upaya yang dilakukan NCDC untuk perbaikan lembaga pemberi pelayanan masyarakat menggunakan anggaran lembaga yg berulang-ulang; Ketiga, pembiayaan kegiatan-kegiatan kemasyarakatan yang fokus pada keamanan kota melalui proyek pendanaan pemerintah Australia melalui LJSP.


Impact evaluasi YLM

dilakukan untuk: Pertama, memberikan

informasi mengenai tingkat, kedalaman, dan jenis kejahatan di wilayah tertentu di Port Moresby yang bersifat objektif dan independen. Kemudian informasi tersebut digunakan oleh sektor guna mengetahui tren tingkat kejahatan dan menentukan program serta strategi untuk mengatasi kejahatan; Kedua, mengetahui persepsi masyarakat mengenai YLM, kepolisian dan lembaga lainnya, dan memonitor perubahan persepsi monitor tersebut dari waktu ke waktu.

Evaluasi impact

difokuskan pada outcomes, guna mengetahui apakah hasil proyek YLM diketahui oleh masyarakat. Evaluasi ini tidak mengukur efisiensi, namun mengukur efektifitas.

Studi ini menggunakan

metodologi review

Proyek YLM perlu diperkuat dengan dukungan manajemen LJSP terhadap penggunaan teknik perencanaan sistematik yang dilakukan oleh NCDC.

Fokus kegiatan

yang dilakukan YLM masih terlalu luas, tidak sebatas upaya penurunan tingkat kejahatan yang terjadi di Port Moresby, sehingga fungsi kegiatan tersebut belum maksimal dan perlu dilakukan penyempurnaan.

Yumi Lukautim Mosbi Impact Evaluation 2006, PNG Justice Advisory Group, 22 January 2007

9

No. Negara Nama

Program/ Kebijakan


terhadap dokumen latar belakang serta beberapa metode guna mengetahui progress dari dampak yang terjadi yaitu:

Kuisioner, guna

mengetahui sejauh mana pengetahuan masyarakat mengenai YLM

Analisis persepsi

publik tentang pelayanan YLM melalui data kualitatif dari pertanyaan open-ended pada kuisioner, interview dengan stakeholder, dan focus group interview dengan anggota USAC.

Penilaian victimisasi

kejahatan menggunakan data tahun 2004, 2005, 2006 dari lembaga survey sektor hukum dan peradilan.

3 USA Underage Drinking Prevention Projects Level: Program

Proyek Underage Drinking Prevention Program merupakan program yang bertujuan menekan jumlah kecelakaan yang terjadi akibat mabuk minuman keras pada remaja di bawah umur. Proyek ini merupakan pilot dengan melihat kesuksesan program Washington Regional Alcohol dari aspek penerapan hukum dan efektifitas pelaksanaan kegiatan.

Evaluasi dilakukan mulai

pertengahan tahun 1990-an terhadap 4 program yang dilaksanakan di wilayah berbeda, yaitu: Pertama, Program Safe and Sober Youth (SASY) di Chesterfield Country, Virginia; Kedua, Project


Data kecelakaan untuk

analisis diambil dari data Virginia Department of Motor Vehicles. Data yang digunakan meliputi data tahun 1991-2000. Pengukuran remaja yang terlibat meminum alkohol terkait kecelakaan yang terjadi, dihitung mulai remaja usia 21 tahun dengan kejadian kecelakaan pada tengah malam.

Data yang digunakan

merupakan data time series bulanan.

Metodologi analisis

data dilakukan dengan menggunakan metode

Berdasar hasil studi:

Ketiga program yang terdiri dari SASY, PEM, dan TCUDPP menekankan pada strategi pendidikan dan informasi publik, dimana program PEM juga memasukkan komponen aktif legistatif dan pemaksaan.

Dari ketiga

program tersebut tidak ditemukan memiliki dampak terhadap jenis minuman pengganti alkohol terkait kecelakaan

Impact Evaluation of Underage Drinking Prevention Projects, Lacey, J. H., Wiliszowski, C. H., and Jones, R. K, Mid-America Research Institute, November 2003.

10

No. Negara Nama

Program/ Kebijakan


Extra Mile (PEM) di Omaha, Nebraska; Ketiga, Salt Lake City Underage Drinking Prevention Project (SLCUDPP) di Salt Lake Country, Utah; Keempat, Travis Country Underage Drinking Prevention Project

ARIMA. Kemudian untuk merubah menjadi stasioner, digunakan 12-rentang yg berbeda. Fungsi logaritma digunakan guna menyesuaikan dengan data yang digunakan.

yang melibatkan pengendara di bawah umur.

Program

SLCUDPP menekankan pada pelaksanaan hukum pelarangan penjualan minuman beralkohol kepada remaja di bawah umur. Dari hasil pengamatan, jumlah kecelakaan kendaraan di malam hari yang melibatkan remaja di bawah umur mengalami penurunan.

Berdasarkan hal

tersebut dapat disimpulkan bahwa untuk mencapai target keamanan yg lebih baik, program strategi pendidikan dan informasi publik saja belum cukup. Perlu dilakukan upaya pencegahan seperti mengurangi ketersedian minuman beralkohol dan aktivitas mengendarai kendaraan bermotor setelah minum-minum.

11

No. Negara Nama

Program/ Kebijakan


4 4 wilayah di Northeast Kingdom of Vermont

Vermont Center for Crime Victim Services Level: Program

Program ini memiliki tujuan 3 prioritas: Pertama, untuk menurunkan dampak isolasi geografis; Kedua, membangun komunitas yang berkoordinasi merespon kejahatan domestik dan kekerasan pada anak; Ketiga, membangun hubungan diantara para pelindung anak dan advokat korban kejahatan domestik.

Program ini dilaksanakan

di 4 wilayah di Northeast Kingdom of Vermont yaitu Caledonia, Essex, Lamoille, dan Orleans. Wilayah tersebut berada di daerah pedalaman dan terisolasi. Lembaga pemerintah yang menangani perlindungan anak adalah Vermont Departemen of Social and Rehabilitative Services (SRS).

Dalam mencapai tujuan

program ini, penerima bantuan merekrut 3 orang ahli kejahatan domestik untuk bekerja di kantor perlindungan anak.Konsultan ini merupakan konsultan untuk pelindung pekerja anak, membantu penyelesaian kasus-kasus, menyusun rekomendasi kebijakan untuk SRS untuk meningkatkan pelayanan terhadap keluarga yang mengalami kekerasan domestik dan kekerasan pada anak, dan melaksanakan training dan pemberian informasi terhadap mengenai kekerasan domestik dan kekerasan pada anak di kantor-kantor SRS di setiap wilayah penerima grant.


Metode evaluasi yang

digunakan dalam studi adalah dengan menggunakan logic model untuk mendeskripsikan keterkaitan antara kegiatan-kegiatan yang dilakukan oleh penerima grant dengan outcomes yang diharapkan.

Evaluator dalam hal ini

melakukan identifikasi variabel-variabel kontekstual yang relevan untuk pelaksanaan kegiatan yang dibiayai oleh grant, membangun asumsi-asumsi kunci yang melandasi pelaksanaan kegiatan yang dibiayai oleh grant, dan menentukan variabel yang dapat disajikan sebagai penjelasan rival untuk pencapaian outcome oleh

penerima grant. Alur logic model yang

digunakan:

Tujuan utama para penerima grant adalah membangun hubungan antara SRS, lembaga perlindungan anak di setiap wilayah, dan program penanggulangan kejahatan domestik yang meliputi Vermont Network Against Domectic Violence and Sexual Assault

(jaringan). Tingkat kerjasama di setiap wilayah berbeda-beda. Upaya penyelesaian konflik dilakukan dengan penyusunan Memorandum of Understanding (MoU), dukungan perlindungan anak, pendampingan hukum.

National Evaluation of The Rural Domestic Violence and Child Victimization Enforcement Grant Program, Mary Ann Dutton ; Aileen Worrell ; Darci Terrell ; Sharon Denaro ; Robin Thompson, Desember 2002.

5 Uganda Kampanye Kebijakan ini memiliki Jenis Evaluasi: Jarak outlet The Power Of

Variabel Kontekstua

l (Model Ideal)

Asumsi

Kegiatan Program

Outcome

Variabel Konteks

tual (Model Rival)

12

No. Negara Nama

Program/ Kebijakan


Surat Kabar Level: Program

tujuan untuk mengurangi korupsi dana subsidi program sekolah dasar pada pemerintah lokal dengan memberdayakan masyarakat terutama guru dan orang tua murid, untuk memonitor pemerintah lokal dalam menangani program subsidi sekolah.

Kebijakan ini berupa

penerbitan data pengiriman dana subsidi per bulan dari pemerintah pusat kepada pemerintah lokal/daerah pada surat kabar nasional dan edisi bahasa lokal Uganda.

Kebijakan ini diambil

berdasarkan hasil survey yang dilakukan oleh Public Expenditure Tracking Survey (PETS)

pada pertengahan 1990 yang mengungkapkan bahwa setiap dollar yang dikeluarkan oleh pemerintah pusat hanya sekitar 20% yang diterima oleh sekolah.

Kebijakan ini memiliki

hasil yang menonjol yaitu penurunan korupsi dari 80% menjadi 20%.

Evaluasi Impact Studi ini menguji

dampak kampanye informasi pemerintah Uganda terhadap korupsi dana subsidi program sekolah dasar.

Data yang digunakan

adalah data hasil survey pada tahun 1996 dan 2002 yang dilakukan oleh PETS

Metode analisis yang

digunakan adalah metode analisis regresi.

Metode Evaluasi yang

digunakan dalam studi ini adalah Difference in Difference, instrumental variable.

Metode Difference in

Difference digunakan untuk membandingkan perubahan dalam persen, dana yang diterima sekolah akses surat kabar dengan sekolah tanpa akses surat kabar pada periode 1995-2001.

Instrumen variabel

yang digunakan oleh evaluator sebagai indikator dari kampanye informasi adalah jarak dari outlet surat kabar terdekat. Instrumen variabel ini ditentukan untuk menilai dampak korupsi dengan beberapa pertimbangan yaitu akses surat kabar adalah separuh endogen, kepala sekolah yang tidak memiliki akses surat kabar bisa saja mengetahui program subsidi dari orang tua murid yang memiliki

surat kabar yang terdekat memiliki korelasi dengan pengetahuan kepala sekolah mengenai peraturan dalam menangani program subsidi dan jadwal pencairan dana dari pusat tetapi tidak berkorelasi dengan nilai test kemampuan umum.

Jarak ke outlet

surat kabar yang terdekat memiliki korelasi yang sangat kuat dengan penurunan korupsi sejak kampanye koran dilaksanakan.

Dengan

memberikan pengetahuan kepada kepala sekolah mengenai program subsidi, akses publik terhadap informasi dapat menjadi pencegah yang kuat bagi korupsi di daerah.

Information: Evidence From A Newspaper Campaign To Reduce Capture, Ritva Reinikka†and Jakob Svensson‡, December, 2003.

13

No. Negara Nama

Program/ Kebijakan


akses surat kabar, dan adanya variasi seberapa teratur guru memiliki akses surat kabar.

BIDANG SOSIAL BUDAYA

1 Iran Dampak KB dgn menggunakan model prevalensi di Iran Level: Program

Prevalensi Model yang diperkenalkan oleh John Bongaarts, perkiraan potensi kesuburan dan jumlah kelahiran averted oleh program dan non program dgn menggunakan sumber penduduk dan penerimanya berdasarkan data.


Perbedaan antara

potensi kesuburan kesuburan diamati berkaitan dengan kontrasepsi.

Semakin besar

perbedaan antara potensi dan diamati kesuburan, semakin tinggi dampak dari program KB kesuburan.

Studi ini menggunakan

Base Line Survey-2001 (BLS-2001) data yang dikumpulkan oleh Pusat Statistik Iran (SCI) dan UNFPA-Iran di beberapa kabupaten Bushehr (Bushehr & Kangan Distrik), Golestan (Gonbadkavoos & Minoodasht Distrik), Kurdistan (Marivan & Divandareh Distrik), Sistan & Bluchestan (Zahedan & Zabol Distrik) & Teheran Provinsi (Islamshahr Distrik).

Metode yang digunakan:

-Randomized experiments

-Quasi-experiments -Multilevel Regression

methods

Hasil studi menunjukkan bahwa Marivan & Zahedan distrik memiliki tinggi & rendah dalam penurunan angka TFR & CBR masing-masing.

Penemuan juga

menunjukkan bahwa tingkat kemiskinan di ASFR milik kelompok umur 30-34 di Marivan, 35-39 di Islamshahr, Gonbadkavoos dan Bushehr, 40-44 di Zabol, Divandareh dan Kangan, 45-49 di Zahedan dan Minoodasht.

Evaluation of the Impact of Family Planning Programs on Fertility: Using Prevalence Model for Selected Districts in Iran 2001 – By: Hassan Eini Zinab, Associate Researcher In: Population Studies and Research Center, Tehran, Iran, March 2005.

2 Meksiko Opportunidades (dahulu bernama PROGRESA) Level:

Opportunidades merupakan program bantuan sosial Pemerintah Meksiko yang diluncurkan pada tahun 2002. Program ini ditujukan untuk masyarakat miskin


Data yang digunakan

adalah data primer. Sampel sebanyak 506 komunitas (penerima program dan bukan

Program ini berhasil meningkatkan permintaan pelayanan kesehatan dan pendidikan khususnya para

Empowering Women to Obtain High Quality Care : Evidence from An Evaluation of Mexico’s Conditional

14

No. Negara Nama

Program/ Kebijakan


Program Meksiko. Masyarakat miskin diberikan imbalan atas kehadirannya di sekolah, kunjungannya di klinik kesehatan, penambahan nutrisi. Program ini memberikan insentif dari sisi permintaan, tidak seperti program-program lainnya yang memfokuskan pada performa penyelenggara pelayanan seperti pelatihan tenaga medis

Evaluasi program

dilakukan oleh komisi independen

penerima program) diambil dari tujuh negara bagian (states) utama di Meksiko. Pengambilan sampel dilakukan pada tahun 2003.

Pengambilan sampel digunakan metode two-stage stratified sampling design.

Model yang digunakan

adalah multivariate regression model.

Model multivariat digunakan karena variabel terikat lebih dari satu.

Variabel terikat terdiri

atas history taking and diagnostic (sampel darah, urin, pendarahan,discharge); phusical examination

(tekanan darah, timbangan ibu, mengukur tinggi rahim, dan tes pelvic); pencegahan dan manajemen kasus (administrasi tetanus taxoid, pemberian suplemen zat besi, nasihat keluarga berencana, saran tentang menyusui, catatan daftar konsultasi yang dihadiri).

Variabel terikat merupakan skor kualitas dari gabungan komponen. variabel-variabel bebas terdiri atas usia ibu, jumlah kehamilan sebelumnya, dan sebelum keguguran atau aborsi, tingkat pendidikan dan usia kepala rumah tangga, tingkat pendidikan ibu, ukuran rumah tangga, proporsi laki-laki dan anggota keluarga

perempuan dan kepala keluarga perempuan terlihat dari :

Penerima program mendapatkan 12,2% tambahan informasi mengenai prosedur sebelum melahirkan.

Perempuan dan ibu hamil penerima program lebih aktif dalam mengkonsumsi pelayanan kesehatan

Penerima

program menjadi lebih berani menyuarakan keinginannya dalam hal kesehatan.

Cash Transfer Programme . Sarah L. Barber and Paul J. Gertler, Oxford University 2005.

15

No. Negara Nama

Program/ Kebijakan


perempuan yang berusia 0-5 dan6-17 tahun, indeks aset rumah tangga (proporsi dengan kepemilikan tanah, kepemilikan rumah, kulkas, pemanas gas, televisi, air internal dalam rumah tangga, dan listrik di rumah tangga), ketinggian, jarak ke ibu kota, dan apakah ada pusat kesehatan di daerah komunitas.

3 Australia The Safe Routes to Schools (SRTS) Program Level: Program

Evaluasi efektifitas SRTS memperlihatkan program tersebut berhasil menurunkan kecelakaan para pengguna jalan

Program SRTS berhasil

menurunkan tingkat kecelakaan yang melibatkan target utama program yakni pejalan kaki, usia sekolah dan pengayuh sepeda

Kecelakaan yang

menimpa anak-anak pada jam berangkat dan pulang sekolah, menurun

Bagi semua pengguna

jalan, program tersebut dikatakan berhasil mengurangi frekuensi kecelakaan, apabila mampu turun hingga lima persen

Angka efektifitas program itu belum menghasilkan data yang pasti. Namun demikian program SRTS dapat dikatakan mampu menekan angka kecelakaan


Model log linear

dengan struktur poison error adalah model yang biasa digunakan dalam seri data kecelakaan (Bruhning and Ernst, 1985). Model ini digunakan untuk mengukur pengaruh SRTS terhadap frekuensi kecelakaan.

Analisa dilakukan

dalam dua bagian: Pertama, pengaruh program tersebut diukur dengan menggunakan data agregat kecelakaan. Karena itu efek program dapat dihitung setelahnya. Dalam kondisi yang berlawanan, tahapan kedua dari analisa perkiraan pengaruh program tersebut per tahunnya, diperkenalkan.

Model tersebut

menggunakan data kecelakaan antara tahun 1987-2000. Kecelakaan yang dicatat berasal dari enam jalan yang digunakan.

Perkiraan efek

Model tersebut sesuai dengan data kecelakaan tiap tahun dari enam jalan yang digunakan sebagai sampel terhadap efektifitas program SRTS. Model tersebut tidak digunakan pada tahun yang sama ketika program penghitungan dilakukan. Perkiraan perubahan frekuensi kecelakaan pada periode post implementation

dihitung setelah disesuaikan dengan kontrol.

Pendekataan cara ini diperkirakan meningkatkan jumlah kecelakaan karena pertimbangan uji statistik

Hasil positif penggunaan analisa agregat, model yang digunakan untuk menjabarkan

Outcome Evaluation of the Effectiveness of the Safe Routes to Schools Program, by Amanda Delaney, Stuart Newstead, Bruce Corben, Report No. 225, Monash University, Accident Research Centre, July 2004.

16

No. Negara Nama

Program/ Kebijakan


program SRTS dihitung dari agregat dan analisa tahun per tahun terhadap frekuensi kecelakaan

Metode Aggregate

analysis, Model poison log linear yang digunakan memperlihatkan persamaan pada saat dipakai untuk mengukur pengaruh program SRTS menggunakan frekuensi agregat post implementation

Metode Year by year

analysis, Frekuensi kecelakaan setiap tahun seperti yang tertera dalam indeks tahunan, diolah dari data yang tersedia.

bagian pertama cocok terhadap data kecelakaan tiap tahun dari enam jalan yang digunakan sebagai sampel. Model tersebut mengukur efek penerapan program SRTS terhadap frekuensi kecelakaan setiap tahun. Estimasi pengaruh program terwakili setiap tahunnya menyusul pelaksanaan program (bukan tahun kalender). Efek tersebut mengesampingkan factor lain. Karena program SRTS menempatkan faktor lain pada posisi kontrol

4 USA Student Mentoring Program Level: Program

Student Mentoring Program merupakan program subsidi federal yang kompetitif yang diatur oleh Office of Safe and Drug Free Schools (OSDFS). Program ini mengisi ketiadaan dukungan orang dewasa pada titik temu yang kritikal pada kehidupan siswa yang beresiko dengan menyediakan dana untuk sekolah dan masyarakat- dan organisasi yang berbasis keyakinan untuk menciptakan sekolah berbasis program mentoring dengan target anak-anak pada grade 4-8.

Prioritas dari program ini

adalah kebutuhan akademis dan sosial untuk anak-anak yang beresiko.


Disain evaluasinya

menggunakan disain eksperimental, dimana siswa s ecara acak dimasukkan kedalam control group dan treatment.

Jumlah sampel yang

diambil adalah 2573 siswa, yang terdiri dari 1272 siswa yang dimasukkan ke dalam treatment group yaitu grup yang menerima layanan mentoring dari program dan 1301 siswa yang dimasukkan kedalam control group yaitu grup yang tidak menerima layanan mentoring dari program.

Student Mentoring Program meningkatkan dampak akademis pada siswa perempuan dan menghasilkan dampak akademis bagi siswa laki-laki.

Student

Mentoring Program berpengaruh secara negatif terhadap perilaku pro-sosial bagi siswa pria.

Student

Mentoring Program memiliki dampak menurunkan

Impact Evaluation of the U.S. Department of Education’s Student Mentoring Program, Final Report MARCH 2009.

17

No. Negara Nama

Program/ Kebijakan


Strategi dari program ini

adalah (a). menyeleksi semua mentor yang potensial termasuk memeriksa latar berlakang. (b). Mengadakan training dan dukungan untuk mentor dan staf program pada basis ongoing. (c). Kegiatan untuk mentor dan siswa. (d). menetapkan prosedur untuk pengawasan hubungan mentoring.

Evaluasi ini bertujuan untuk menjawab o apa dampak school-

based mentoring programs terhadap interpersonal siswa, hubungan dengan orang dewasa dan keterlibatan dalam suatu komunitas.

o apa dampak school-based mentoring programs terhadap

keterlibatan sekolah siswa (misalnya kehadiran, perilaku yang baik terhadap sekolah dan prestasi akademis).

o apa dampak school-based mentoring programs terhadap siswa yang bermasalah atau berperilaku nakal.

Metode analisis yang digunakan adalah metode fixed effect model untuk menaksir

dampak mentoring program terhadap siswa yang menerima layanan tersebut. Model ini juga digunakan untuk menilai perbedaan 5 subgrup yaitu: (1). Jenis Kelamin; (2). Usia (Siswa berusia 12 tahun keatas dengan siswa berusia 12 tahun ke bawah); (3). Struktur Keluarga (Siswa dengan 2 orang tua dengan jenis keluarga lainnya); (4). Adanya perilaku nakal yang dilaporkan sendiri pada garis dasar (pencurian,penggunaan senjata, penggunaan obat terlarang dan alkohol atau aktivitas geng); (5). Ketidakahlian akademis (matematika, membaca/seni bahasa

keterlambatan hadir pada siswa yang lebih muda.

18

No. Negara Nama

Program/ Kebijakan


inggris atau keduanya).

5 Brazil The Integrated Management of Childhood Illness (IMCI) Level: Program

IMCI merupakan pendekatan terpadu untuk kesehatan anak. IMCI bertujuan untuk mengurangi kematian, penyakit dan cacat, dan meningkatkan pertumbuhan dan perkembangan anak-anak di bawah usia lima tahun.

Strategi-strategi yang

digunakan pada program ini :

Meningkatkan kemampuan manajemen penanganan kasus kesehatan bagi staff-staf kesehatan

Meningkatkan keseluruhan sistem kesehatan

Meningkatkan praktek kesehatan keluarga dan komunitas


Sampel diambil dari

tiga negara bagian Brazil dengan tingkat kematian bayi yang paling tinggi yaitu Ceara, Parabia, dan Pernambuco. Kabupaten/kota yang sangat besar dan sangat kecil tidak dimasukkan.

Kategori sampel

dibedakan menjadi tiga yaitu (i) lebih dari 50 persen staf kesehatan pada kabupaten/kota sudah diikutsertakan pada IMCI training (ii) setidaknya ada satu staf kesehatan kabupaten/kota yang sudah diikutsertakan pada IMCI training (iii)

tidak ada staf kesehatan kabupaten/kota yang sudah mengikuti IMCI training

Metode pertama

adalah ANOVA. Metode ini ingin membandingkan rata-rata populasi, persentase buta huruf, persentase populasi kota, pendapatan perkapita perbulan, indeks pembangunan manusia, jarak ke ibukota negara, persentase tingkat kemiskinan, persentase cakupan program kesehatan keluarga, cakupan petugas kesehatan komunitas pada kabupaten/kota berdasarkan tiga kategori di atas.

Metode kedua adalah

Hanya populasi, pendapatan perkapita perbulan dan persentase cakupan program kesehatan keluarga yang secara signifikan berbeda pada kategori-kategori.

Tidak ada

perbedaan angka kematian bayi dan penurunan tingkat kematian bayi pada 1000 kelahiran yang signifikan pada tiga kategori kabupaten/kota.

Komponen IMCI

training tidak

bisa memberikan dampak terukur pada tingkat kematian bayi.

Impact of Health Worker Training on Routinely Collected Child Health Indicators in Northeast Brazil, Joao Amaral et al, Oxford University 2005.

19

No. Negara Nama

Program/ Kebijakan


regresi trend waktu. Metode ini digunakan untuk melihat perkembangan tingkat kematian bayi lahir dan penurunan tingkat kematian bayi pada 1000 kelahiran dengan menggunakan dua sumber data berbeda (CHW dan registered death and births) pada tiga kategori di atas.

BIDANG EKONOMI

1. Filipina Conditional Cash Transfer (CCT) Program (nama lokal: Pantawid Pamiliyang Pilipino Program)

Level: Program

CCT Program dianggap mampu dalam jangka pendek meningkatkan income bagi penduduk miskin. Dalam jangka menengah dan panjang, program ini dipercaya meningkatkan human capital. Disamping itu, CCT Program juga dipercaya dapat lebih fokus pada rumah tangga miskin dan kemudahan dalam pengintegrasiannya dengan social services yang lain seperti pendidikan, kesehatan, dan gizi.

Tahun 2007, CCT Program dipilotkan di 4 provinsi di Filipina, dan sejak Januari 2008 dilaksanakan secara nasional.

Program ini memberikan

cash kepada RTSM agar anggota keluarganya bisa tetap membangun human capital mereka (kesehatan, gizi, dan pendidikan), terutama bagi anak-anak di bawah 15 tahun.

Tujuan utamanya yakni:

(i) meningkatkan partisipasi sekolah pada pendidikan dasar; dan (ii) menurunkan angka kemiskinan.

Beneficiaries-nya adalah

Jenis evaluasi: Evaluasi Impact

Sesuai namanya,

kajian berupa ex-ante impact evaluation (definisi: an evaluation or appraisal of a programme before it is implemented).

Semangat yang mendasari adalah: meski CCT Program dinilai berhasil di banyak negara, tidak ada jaminan bahwa hal yang sama terjadi di negara lain.

Tujuan kajian adalah untuk menjajagi dampak CCT Program terhadap partisipasi sekolah dan kemiskinan di Filipina. Caranya dengan melakukan ekplorasi berbagai budget skenario dan targetting strategi.

Dibatasi pada aspek demand saja.

Metodologi: 1. Dimulai dari

conceptual framework dengan penggunaan asumsi-asumsi hingga didapatkan persamaan fungsi utility.

2. Selanjutnya estimating

model dengan menetapkan dummy

Cash transfer an sich tidak cukup signifikan meningkatkan partisipasi sekolah. Oleh karenanya, diperlukan persyaratan khusus.

Targetting yang

tepat sangat penting artinya untuk membantu memaksimalkan efektivitas dan dampak program.

CCT program

perlu juga diiringi dengan kebijakan lain agar benar-benar mendapatkan hasil sesuai yang diharapkan.

Good

governance adalah komponen penting untuk menjamin keberhasilan CCT Program.

Ex-ante Impact Evaluation of Conditional Cash Transfer Program on School Attendance and Poverty: The Case of the Philippines, ADB Economics Working Paper Series No.142, Manila: Asian Development Bank, Son, HH. and Florentino, J. 2008.

20

No. Negara Nama

Program/ Kebijakan


RTM (kurang lebih 3000 HH).

variable-nya. Berdasarkan itu, digunakan Multinomial Logit Model.

3. Selanjutnya dilakukan

Simulasi dengan menggunakan fungsi utility dengan prinsip:

RT ke-n akan memilih satu alternatif jika utility yang didapat dari alternatif tersebut lebih besar dari yang dihasilkan oleh alternatif-alternatif lainnya.

4. Digunakan Log

Earning Regression

dan analisis dengan menggunakan Multinomial Logit Coefficients.

Simulasi dilakukan

dengan skenario besaran cash transfer, jika rumah tangga diberikan berturut-turut 0, 100, 200, dan 300 Peso; untuk dianalisis pengaruhnya terharadap partisipasi sekolah dan angka kemiskinan

Kebutuhan data untuk

melakukan simulasi didapatkan dari Annual Poverty Indicator Survey (APIS) tahun 2004, yang di dalamnya terdapat informasi detail mengenai karakteristik demografis dan ekonomi penduduk, status kesehatan dan pendidikan anggota keluarga, KB, perumahan, akses terhadap air, sanitasi, dll.

2. Yaman Social Fund for Development (SFD), yang terbagi

The Social Fund for Development (SFD)

diluncurkan pertama kali pada tahun 1997. Tujuannya adalah untuk


Studi ini berupa impact

evaluation, dilakukan 2

Evaluasi ini membagi temuan dan simpulan kedalam 4

Yamen Social Fund for Development: 2006 Impact Evaluation

21

No. Negara Nama

Program/ Kebijakan


ke dalam 3 program yakni: 1. The

Community Development Program

2. The Capacity Building Program

3. The Small and Micro-enterprise Development Program

Level: Kebijakan (di bawahnya terdapat 3 program)

meningkatkan akses penduduk berpendapatan rendah terhadap layanan sosial dasar. Di samping itu, juga memberi contoh mekanisme penyediaan layanan sosial yang efektif, efisien, dan transparan melalui (i) perbaikan pendekatan dalam penyediaan layanan sosial dan (ii) pemberdataan komunitas dan institusi lokal sehingga dapat menjalankan pembangunan lokal dengan lebih baik.

The Community

Development Program bertujuan untuk meningkatkan akses terhadap infrastruktur sosial ekonomi dasar

The Capacity Building

Program membantu membangun kapasitas partner lokal (masyarakat, NGO, pemerintah lokal, konsultan dan kontractor)

The Small and Micro-

enterprise Development Program menyediakan layanan microfinance

kali. Evaluasi pertama dilaksanakan pada 2003 untuk mengukur impact proyek-proyek SFD sepanjang tahun 1999-2003, dan untuk mengumpulkan baseline data bagi kegiatan yang akan dilaksanakan pada periode sesudahnya (2003-2006).

Data diperoleh dari 97

proyek (mencakup 2.028 rumah tangga) tahun 1999-2002, dan 101 proyek lain untuk menghasilkan dasar bagi evaluasi tahap ke-2.

Paper ini menyajikan

hasil evaluasi impact kali ke-2, yang mengukur impact proyek-proyek SFD hingga tahun 2006.

Evaluasi ini mengulas

impact proyek-proyek SFD baik dalam jangka pendek maupun panjang, melalui observasi terhadap impact dari 2 kali siklus (1999-2003 dan 2003-2006).

Analisis yang

digunakan terdiri dari 2: (i) before/after analysis, membandingkan data baseline tahun 2003 dengan sampel ex-post tahun 2006 yang mewakili proyek-proyek SFD yang dijalankan pada tahap II (2003-2006); (ii) return visit analysis, dilaksanakan terhadap proyek-proyek pada periode tahun 1999-2002, untuk melihat apakah impact yang ditiumbulkan oleh SFD bersifat sustainable dalam jangka

kelompok besar, yakni: (i) efisiensi pelaksanaannya; (ii) targetting outcomes; (iii)

konsultasi, partisipasi, ownership dan impact dari SFD terhadap social capital; dan (iv) mutu layanan, keberlanjutan dan dampaknya.

Dari sisi efisiensi

pelaksanaan, disimpukan secara umum cukup efisien terlaksanan sesuai target yang diharapkan

Dari sisi

targetting,

disimpulkan tepat sasran karena proporsi terbesar sumber daya yang ada dari SFD telah menyasar RT paling miskin (49% dana SFD mengalir ke desil termiskin, 64% ke quintil termiskin, dan 73% ke 3 desil termiskin.

Dari sisi

partisipasi, konsultasi, dan kepemilikan juga terlihat level positif.

Study, Yamen: ESA Consultores Internacional, 2007.

22

No. Negara Nama

Program/ Kebijakan


menengah (2003-2006).

Metodologi: 1. Dilakukan sensus

nasional dan survei rumah tangga

2. Pada saat yang sama,

dilakukan beneficiaries assessment menggunakan qualitative evaluation technique, salah satunya dengan in-depth interview dengan key informan dan melalui focused group.

3. Untuk mengatasi tidak

adanya control group, agar tetap dapat dilakukan pembandingan, dilakukan observasi terhadap beseline, ex-post dan ex-ante data.

4. Penggunaan Project

cycle performance. Cost-Efficiency. Benefit Incidence Analysis uses statistical modeling.

5. Digunakan multivariate

conditional (fixed-effect) logit regression model dalam analisis multivariat.

6. Dalam return visit

analysis, digunakan logistic regression untuk analisis multivariatnya.

Sampling: Evaluasi ini

berdasarkan sampel rumah tangga yang merupakan penerima manfaat riil atau potensial, dengan survey tahunan. Karena ketiadaan control group, digunakan pipeline sample untuk menjadi kelompok pembanding

23

No. Negara Nama

Program/ Kebijakan


(penggunaan pipeline proyek-proyek SFD yang telah diidentifikasi namun belum diimplementasikan).

3. Swedia Youth Labor Market Programs, dua di antara program-program yang ada di bawahnya yakni: 1. Youth Practice 2. Labor Market Training Level: Kebijakan (terdiri atas program-program yang dua diantaranya menjadi fokus evaluasi)

Untuk mengatasi tingginya angka pengangguran usia muda (yang mencapai puncaknya di tahun 1993), Pemerintah Swedia meluncurkan Youth Practice (atau dalam bahasa lokalnya Ungdomspraktik) pada Juli 1992, dan Labor Market Training.

Sesuai namanya,

program-program yang termasuk dalam rumpun Youth Labor Market Programs ditujukan terutama bagi penganggur usia muda (20-24 tahun).

Youth Practice

menawarkan pekerjaan yang disubsidi pemerintah bertujuan untuk memberi pengalaman kerja bagi penganggur usia muda berijazah SMA. Peserta ditempatkan di perusahaan swasta atau milik negara selama 6 bulan, dan beri diupah USD36,5 perhari.

Labor Market Training

berbentuk kursus-kursus dengan materi dan durasi bervariasi. Tujuannya adalah untuk meningkatkan kemampuan agar sesuai dengan labor demand.


Paper ini mencoba

membuat evaluasi terhadap dua program active labor market paling komprehensif di Swedia bagi penduduk usia 20-24 tahun yang diluncurkan pada paruh pertama tahun 1990an, yakni Youth Practice dan Labor Market Training.

Tujuan evaluasi adalah

untuk mengetahui pengaruh program-program tersebut bagi mereka yang menjadi beneficiaries dibandingkan dengan apabila mereka harus terus mencari kerja sebagai penganggur terbuka (terkait dengan pendapatan, kesempatan mendapatkan pekerjaan, dan kemungkinan studi). Evaluasi difokuskan pada akibat yang ditimbulkan secara langsung oleh program.

Evaluasi ini

menggunakan analisis ekonometrik dengan perhitungan least square.

Untuk estimating the

propensities digunakan Binomial dan Multinomial Logit Model.

Standard OLS

Regression dan Probit.

Baik Youth Practice maupun Labor Market Training, dalam jangka pendek (1 tahun), berkorelasi negatif terhadap pendapatan dan employment.

Perbandingan

antara Youth Practice dengan Labor Market Training

menunjukkan bahwa program yang pertama (Youth Practice) lebih baik daripada program yang kedua (Labor Market Training).

Evaluation of Swedish Yout Labor Market Programs, Larsson, L.,

The Journal of Human Resources, Vol.28, No.4, pp.891-927, 2003.

24

No. Negara Nama

Program/ Kebijakan


Teknik sampling: menggunakan random sampling terhadap 200 ribu orang, diambil dari database milik Swedish National Labor Market Board dan BPS Swadia.

Tujuan eksplisit dari

labor market policy adalah meningkatnya employability para penganggur usia muda. Sehingga, program ini dianggap sukses jika mampu meningkatkan akses pesertanya terhadap pasar kerja disamping meningkatnya pendapatan. Di samping itu, kemungkinan transisi dari pengangguran ke dunia pendidikan. Pendapatan diukur dengan variabel continuous.

4. Hongaria Grants for SME Modernization in the Framework of National Development Plan 2004-2006 Level: Program

Program ini menyediakan grant bagi UKM untuk dimodernisasi (dipakai untuk membeli peralatan)

Grant diberikan dalam

jumlah maksimum 25 juta HUF (kurang lebih 100.000 Euro)

Kontribusi swasta

minimum 50% Jumlah pelamar 9.000 Jumlah beneficiaries

3.500


Tujuan dari evaluasi ini

adalah untuk mengetahui: (i) apakah UKM yang dibantu ber-invest lebih?; (ii) apakah UKM yang dibantu tumbuh lebih cepat?

Metodologi: 1. Simple regression

(have to control for all important variables)

2. Difference-in-differences/DiD (unobservable factors are time invariant)

3. Propensity Score Matching/PSM (controls for time-varying unobservables)

UKM yang dibantu lebih besar dan tumbuh lebih cepat bahkan sebelum program dijalankan

Efek signifikan

terhadap investasi jangka pendek

Tidak terdapat

efek yang signifikan pada pertumbuhan (paling tidak untuk jangka pendek)

Efek signifikan

pada investasi bahkan bagi UKM yang yang melamar namun tidak diterima/dikabulkan.

Impact evaluation of grants for SME modernization in the framework of National Development Plan 2004-2006, Béres, A., National Development Agency, 2009.

25

No. Negara Nama

Program/ Kebijakan


5. Selandia Baru

New Economic Research Fund Level: Program

New Economic Research Fund (NERF)

diluncurkan tahun 1999 oleh Kementerian Riset Iptek Selandia Baru, bertujuan untuk memacu pertumbuhan ekonomi dengan membiayai riset dasar yang memiliki potensi untuk memunculkan industri baru.

Dialokasikan 29 juta

NZD untuk membiayai 140 proyek NERF, yang fokusnya bervariasi (nanobioteknologi, sumber energi baru, dll).

Jenis evaluasi: Evaluasi Outcome

Evaluasi outcome ini

bertujuan untuk menjawab pertanyaan seputar sejauh mana NERF: (i) mampu mempersembahkan riset yang berkelas dunia, (ii) memacu pembangunan human kapital dan skill, (iii) membuat riset mampu menciptakan platform yang menopang bidang-bidang yang bermunculan; (iv) membangun area pengetahuan baru yang bisa mengundang dukungan sumber dana lain selain pemerintah.

Data dikumpulkan dari

periset, PNS, dan stakeholder lain. Pengumpulan datanya sendiri menggunakan dua pendekatan, yakni kuantitatif dan kualitatif.

Pengumpulan data

kuantitatif dilakukan melalui survei (elektronik survei), yang dikirimkan kepada 140 pimpinan program NERF. Data yang dikumpukan terkait dengan aktivitas, output, outcome, pendanaan, dan manajemen.

Pengumpulan data

kualitatif dilakukan melalui kunjungan lapangan (site visit). Selama 4 minggu, 2 orang tim evaluasi berkunjung ke institusi riset di seluruh wilayah. Pemimpin program yang ditemui dipilih berdasarkan pada purposive

Temuan dibagi ke dalam beberapa isu, antara lain terkait dengan: kualitas sains, kepemimpinan dan SDM, program strategi, inovasi dan komersialisasi, administrasi NERF, dan keseluruhan.

Secara kualitas,

proyek-proyek NERF punya elemen-elemen yang diperlukan untuk memenuhi standar internasional.

Sebagian besar

proyek NERF melibatkan siswa/mahasiswa dalam aktivitas riset. Beberapa proyek merekrut ahli dari luar negeri untuk menjamin ekspertis yang diperlukan. Periset NERF juga melakukan perjalanan luar negeri untuk berkolaborasi dengan partner di luar negeri.

Outcome Evaluation of the New Economy Research Fund, Wellington, Gemota, G., Messeri, L., & Lal, B.,Abt. Associate Inc., 2005.

26

No. Negara Nama

Program/ Kebijakan


sampling strategy. Juga dilakukan meeting pada awal dan akhir site visit dengan staf Kementerian Riset Iptek, yayasan Riset Iptek, investor potensial, kalangan industri, dll.

27

REFERENSI

-- 2006, Peraturan Pemerintah Nomor 39 Tahun 2006 tentang Tata Cara Pengendalian dan Evaluasi Pelaksanaan Rencana Pembangunan [Online]. Available: http://www.bappenas.go.id/node/129/51/pp-no-39-tahun-2006-tentang-tata-cara-pengendalian-dan-evaluasi-pelaksanaan-rencana-pembangunan/ [2010, February 5]

-- 2007. Yamen Social Fund for Development: 2006 Impact Evaluation Study. Yamen: ESA Consultores Internacional

BCW 2007. Evaluasi dan Monitoring, Situs Resmi Banten Corruption Watch (BCW), [Online]. Available: http://www.bcwbanten.co.cc/2007/11/evaluasi-dan-monitoring.html [2010, February 5]

Bernstein, L., Dun Rappaport, C., Olsho, L., Hunt, D., and Levin, M. (2009). Impact Evaluation of the U.S. Department of Education’s Student Mentoring Program (NCEE 2009-4047). Washington, DC: National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, U.S. Department of Education.

Béres, A. 2009. Impact evaluation of grants for SME modernization in the framework of National Development Plan 2004-2006. Hungary: National Development Agency Hungary.

Delaney, A., Newstead, S., and Corben, B. 2004. Outcome Evaluation of the Effectiveness of the Safe Routes to Schools Program, Report No. 225. Monash University: Accident Research Centre

Dutton, M.A., Worrell, A., Terrell, D., Denaro, S., and Thompson, R. 2002. National Evaluation of The Rural

http://www.bappenas.go.id/node/129/51/pp-no-39-tahun-2006-tentang-tata-cara-pengendalian-dan-evaluasi-pelaksanaan-rencana-pembangunan/





28

Domestic Violence and Child Victimization Enforcement Grant Program. Washington DC: National Institute of Justice of The US Department of Justice.

Gemota, G., Messeri, L., & Lal, B. 2005. Outcome Evaluation of the New Economy Research Fund. Wellington: Abt. Associate Inc.

Joao Amaral et al. 2005. Impact of Health Worker Training on Routinely Collected Child Health Indicators in Northeast Brazil. Oxford University.

Kemmenneg PPN/Bappenas 2007. Peraturan Menteri Negara Perencanaan Pembangunan Nasional/Kepala Bappenas No. 005 Tahun 2007 tentang Organisasi dan Tata Kerja Kemenneg Perencanaan Pembangunan Nasional/Bappenas [Online] Available: http://www.bappenas.go.id/node/124/183/peraturan-menteri/ [2010, February 5]

Lacey, J. H., Wiliszowski, C. H., and Jones, R. K. 2003. Impact Evaluation of Underage Drinking Prevention Project. Mid-America Research Institute.

Larsson, L. 2003. Evaluation of Swedish Yout Labor Market Programs, The Journal of Human Resources, Vol.28, No.4, pp.891-927.

Mosbi, Y.L. 2007. Impact Evaluation 2006. Papua New Guinea: PNG Justice Advisory Group.

Muhlhausen, D.B. 2006. A Report of The Heritage Center for Data Analysis: Impact Evaluation of COPS Grants in Large Cities. Washington DC: The Heritage Foundation.

Reinikka, R. and Svensson, J. 2003. The Power Of Information: Evidence From A Newspaper Campaign To Reduce Capture. Uganda: Development Research Group, The World Bank.

http://www.bappenas.go.id/node/124/183/peraturan-menteri/

http://www.bappenas.go.id/node/124/183/peraturan-menteri/

29

Sarah L. Barber and Paul J. Gertler 2005. Empowering Women to Obtain High Quality Care : Evidence from An Evaluation of Mexico’s Conditional Cash Transfer Programme. Oxford University.

Son, HH. and Florentino, J. 2008. Ex-ante Impact Evaluation of Conditional Cash Transfer Program on School Attendance and Poverty: The Case of the Philippine, ADB Economics Working Paper Series No.142. Manila: Asian Development Bank

Zinab, H.E. 2005. Evaluation of the Impact of Family Planning Programs on Fertility: Using Prevalence Model for Selected Districts in Iran 2001. Tehran: Population Studies and Research Center.

republik indonesia - bappenas.go.id. praktik pelaksanaan... · kerja mandiri yang diserahi tanggung...

Documents