pokok bahasan kesembilan

Bahan Bantu Perkuliahan Analisa Kebijakan Publik

Pokok Bahasan IXMENGEVALUASI PROGRAM KEBIJAKAN PUBLIK

Sub Pokok Bahasan Halaman

9.1. Prinsip-prinsip Dasar Evaluasi Kebijakan Publik 909.2. Teknik Pembuatan Evaluasi Kebijakan Publik

Bahan Bacaan 97

93


Pokok Bahasan IX

Judul Pokok Bahasan

Mengevaluasi Program Program Kebijakan Publik

Tujuan Interaksional

Pada akhir materi, mahasiswa diharapkan dapat menjelaskan mengenai: (1) Prinsip-prinsip Pembuatan Evaluasi Kebijakan Publik, dan (2) Teknik Evaluasi Kebijakan Publik

Sub Pokok Bahasan

9.1. Prinsip-prinsip Dasar Evaluasi Kebijakan Publik

Ada dua alasan mengapa evaluasi kebijakan harus dilakukan karena : (1) Pemerintah menerapkan peraturan untuk mencapai tujuan tertentu, menciptakan suatu sistem birokrasi, menggunakan anggaran yang tersedia untuk mencapai tujuan tertertentu, dan (2) Adanya aspek pertanggungjawaban yang harus dilakukan oleh pihak pemerintah (eksekutif) kepada pihak DPRD (legelatif) atas pelaksanaan kebijakan tersebut. Karenanya evaluasi kebijakan publik dipahami sebagai suatu proses sistematis dalam mengumpulkan, menganalisis, dan menginterpretasikan informasi untuk mengetahui tingkat keberhasilan pelaksanaan program sekolah dengan kriteria tertentu untuk keperluan pembuatan keputusan. Informasi hasil evaluasi dibandingkan dengan sasaran yang telah ditetapkan pada program. Apabila hasilnya sesuai dengan sasaran yang ditetapkan, berarti program tersebut efektif. Jika sebaliknya, maka program tersebut dianggap tidak efektif (gagal)

Ada beberapa pertanyaan kunci yang harus dijawab dalam evaluasi kebijakan; berapa banyakkah dana dibelanjakan (untuk pembangunan)?; berapa banyak para orang ("klien") menerima jasa?; berapa banyak jasa ini memberikan manfaat?; bagaimana program tersebut dilaksanakan, diatur, dan dioperasikan?; dan bagaimana kelompok masyarakat menanggapi jasa melalui program pemerintah? Tetapi sekalipun kebijakan dan program sungguh baik diorganisir, dioperasikan, digunakan, cukup dibiayai, dan didukung oleh kelompok kepentingan, melalui evaluasi kebijakan masih dapat dipertanyakan tentang apa yang kerjakan pemerintah? Apakah mereka bekerja? Apakah program ini mempunyai efek diuntungkan pada kelompok masyarakat? Apakah efeknya segera dirasakan sekarang atau dalam jangka panjang? Apakah efeknya positif atau negatif? Apakah ada hubungan antara biaya-biaya program dan manfaat yang diterima oleh masyarakat? Seandainya dilakukan oleh pihak lain apakah lebih memberi manfaat kepada masyarakat dengan dana yang tersedia dan sistem program yang sama?

94


Seluruh pertanyaan di atas belum dijawab sepenuhnya oleh pemerintah, karena selama ini hal yang dilakukan pemerintah masih sangat kecil sehingga diperlukan evaluasi terhadap kebijakan yang dijalankan oleh pemerintah.

Evaluasi Kebijakan: Menaksir Pengaruh dari Kebijakan Publik

Evaluasi kebijakan pada dasarnya adalah mempelajari tentang konsekuensi-konsekuensi dari suatu kebijakan publik yang dilaksanakan. Lebih jauh lagi, evaluasi kebijakan dipahami sebagai penilaian terhadap efektifitas dalam pencapaian tujuan program. Penelitian evaluasi kebijakan merupakan sasaran untuk melakukan pengujian sistematis, yang secara empiris diuji menyangkut efek kebijakan berkelanjutan dan program publik berakibat pada target dalam kaitannya dengan tujuan yang hendak dicapai. Dalam penelitian evaluasi kebijakan yang hendak dikaji adalah pengaruh dari sebuah kebijakan adalah efek-efek dari kebijakan tersebut dalam kondisi dunia nyata, termasuk: (1) pengaruh terhadap target situasi atau kelompok, (2) pengaruh pada situasi-situasi atau kelompok-kelompok selain dari target (spillover effects), (3) pengaruh terhadap masa depan dan juga kondisi-kondisi yang akan segera terjadi, (4) biaya-biaya langsung, dalam bentuk sumber daya yang tersedia pada program, dan (5) biaya-biaya tidak langsung, termasuk hilangnya kesempatan untuk melakukan hal-hal lain (oppurtunity cost).

Segala keuntungan dan biaya, pada saat sekarang dan yang akan datang, harus diukur melalui efek-efek simbolik dan nyata.

(a) Mengukur pengaruh, bukan output. Dalam menaksirkan pengaruh kebijakan, harus diidentifikasikan perubahan-perubahan dalam masyarakat yang berhubungan dengan tindakan dari adanya aktivitas pemerintah.

(b) Kelompok-kelompok sasaran. Kelompok sasaran merupakan bagian dari masyarakat kepada siapa program ditujukan. Kelompok-kelompok sasaran pertama-tama harus diidentifikasikan dan kemudian ditentukan pengaruh yang diinginkan dari program pada anggota kelompok-kelompok tersebut.

(c) Kelompok-kelompok bukan sasaran (nontarget). Pengaruh-pengaruh kelompok bukan sasaran dapat dinyatakan sebagai keuntungan dan juga biaya-biaya, seperti keuntungan-keuntungan konstruksi industri dari proyek perumahan publik.

(d) Efek-efek jangka pendek dan jangka panjang. Banyak studi-studi menunjukkan bahwa program-program baru atau inovatif mempunyai efek-efek positif jangka pendek. Tidak semua program bertujuan pada tingkat yang sama dari perubahan secara permanen atau sementara.

(e) Biaya-biaya dan keuntungan-keuntungan tidak langsung dan simbolik. Program-program biasanya diukur dari biaya langsung. Sangat sulit untuk mengidentifikasikan keuntungan-keuntungan atau biaya-biaya tidak langsung dan simbolik. Sangat jarang faktor-faktor tersebut

95


dimasukkan dalam model pembuatan keputusan formal. Dalam hal ini sangat sering intuisi politik merupakan petunjuk terbaik yang tersedia bagi para pembuat keputusan.

(f) Mengkalkulasi keuntungan-keuntungan bersih dan biaya. Dalam mengkalkulasi harus disertakan semua keuntungan-keuntungan simbolik dan nyata masa sekarang dan yang akan datang, minus semua biaya-biaya simbolik dan nyata masa sekarang dan yang akan datang (Tabel. 9.1).

Pengaruh-pengaruh Simbolik Pada Kebijakan

Pengaruh simbolik berkaitan dengan persepsi dan sikap dari perorangan/setiap individu terhadap aksi pemerintah. Setiap individu, kelompok-kelompok, dan masyarakat biasanya menilai kebijakan publik melalui tujuan-tujuannya yang baik daripada pencapaiannya yang nyata.

Kebijakan-kebijakan pemerintah lebih banyak menjelaskan tentang aspirasi-aspirasi masyarakat dan “tokoh-tokoh masyarakat” daripada kondisi-kondisi yang nyata. Kebijakan-kebijakan tersebut lebih banyak dilakukan daripada mengupayakan efek perubahan mendasar dari kondisi masyarakat; hal tersebut juga menolong masyarakat untuk bersatu dan menjaga ketertiban.

Politik digambarkan sebagai “siapa mendapat apa, kapan, dan bagaimana.” Pada masa sekarang ini, politik sepertinya lebih terpusat pada “siapa merasakan apa, kapan, dan bagaimana.” Apa yang dikatakan oleh pemerintah sama pentingnya dengan apa yang dilakukan oleh pemerintah.

Tabel 9.1.Menilai Dampak dari Kebijakan

KEUNTUNGAN(Benefits)

BIAYA(Costs)

Sekarang

(Present)

Mendatang

(Future)

Sekarang

(Present)

Mendatang

(Future)

Kelompok-Kelompok sasaran dan situasi-situasi

SimbolicTangible

SimbolicTangible

SimbolicTangible

Simbolik Tangible

Non Kelompok-Kelompok sasaran dan situasi-situasi (Spillover)

SimbolicTangibleSumPresentBenefit

SimbolicTangibleSumPresentBenefit

SimbolicTangibleSumPresentCosts

SimbolicTangibleSumPresentCosts

96


Sum all benetifs minus Sum all costsNet

policy impacts

Kebanyakan dari pemerintah membuat beberapa usaha untuk meninjau keefektifan program-program mereka. Peninjauan tersebut biasanya menggunakan salah satu bentuk dibawah ini: (1) Melakukan berbagai Pemeriksaan dan Laporan, (2) Melakukan berbagai Perkunjungan ke tempat, (3) Melakukan berbagai Pengukuran program, (4) Melakukan Perbandingan dengan standard-standard profesional, dan (5) Evaluasi berbagai pengaduan warga.

Evaluasi Program: Apa Yang Dapat Dilakukan Oleh Pemerintah

Masalah yang sesungguhnya adalah untuk mengukur apa yang akan terjadi tanpa adanya sebuah program dan kemudian membandingkan kedua kondisi masyarakat. Perbedaan yang ada harus diakibatkan oleh program itu sendiri dan bukan perubahan-perubahan lain yang muncul pada saat bersamaan. (a) Sebelum versus setelah pebandingan-perbandingan. Membandingkan

hasil-hasil dalam yurisdiksi pada rentang dua waktu, yaitu satu pada saat sebelum program diiplementasikan dan yang satunya beberapa saat setelahnya.

(b) Perbandingan-perbandingan Perhitungan Garis Kecenderungan versus Postprogram. Perkiraan yang lebih baik tentang apa yang akan terjadi tanpa program dapat dibuat dengan memproyeksikan kecenderungan-kecenderungan yang lalu (pre-program) kedalam periode waktu post-program. Kemudian proyeksi-proyeksi tersebut dapat dibandingkan dengan dengan apa yang akan terjadi sesungguhnya dalam masyarakat setelah program diimplementasikan. Perbedaan antara proyeksi-proyeksi yang berdasarkan pada kecenderungan-kecenderungan preprogram dan data postprogram yang sebenarnya dimungkinkan diakibatkan kepada program itu sendiri. Harus dicatat bahwa data tentang kelompok-kelompok target atau kondisi-kondisi harus dicapai sebelum beberapa periode waktu program dijalankan, sehingga garis perkiraan dapat ditetapkan.

(c) Perbandingan antara Yurisdiksi dengan dan tanpa Program. Membandingkan individu-individu yang pernah berpartisipasi dalam program dengan mereka yang belum pernah atau membandingkan kota-kota, negara-negara bagian, negara-negara yang mempunyai program dengan yang tidak. Masalah-masalah dalam perbandingan ini dapat diselesaikan bila yuridiksi sebelum dan sesudah pengenalan program diobservasi. Hal tersebut dapat memperkirakan perbedaan-perbedaan antara usaha-usaha sebelum yurisdiksi program dipertimbangkan. Setelah program dijalankan, dapat diobservasi apakah perbedaan-perbedaan antara yurisdiksi-yurisdiksi telah meluas atau tidak. Desain ini mjenyediakan perlindungan terhadap sebab perbedaan-perbedaan pada program tertentu pada saat penggaris

97


bawahan perbedaan-perbedaan sosioekonomi antara yurisdiksi-yurisdiksi bertanggung jawab untuk outcome yang berbeda.

(d) Perbandingan antara Kelompok-kelompok kendali dan eksperimen sebelum dan sesudah program. Kelompok-kelompok kendali dan eksperimen harus identik, dan penampilan preprogram dari setiap kelompok harus diukur dan penemuannya sama. Program harus di aplikasikan hanya kepada kelompok eksperimen. Perbedaan-perbedaan postprogram antara kelompok eksperimen dan kelompok kendali harus diukur secara teliti.

Evaluasi Federal: Kantor Accounting Umum

Kantor accounting umum adalah senjata dari konggres. Kantor accounting umum mempunyai kekuasaan yang luas untuk mengaudit operasi-operasi dan pembiayaan-pembiayaan perwakilan federal, serta mengevaluasi program dan melaporkan penemuan-penemuannya kepada kongres. Singkatnya, kantor accounting umum telah terlibat secara virtual dalam setiap pertanyaan pokok yang dihadapkan pada negara.

Penelitian Eksperimen Kebijakan

1. Prasangka hasil-hasil positif. Percobaan-percobaan sosial jarang dapat ditiru secara sempurna.

2. Efek Hawthorne. Manusia bertingkah laku berbeda pada saat mereka mengetahui sedang diperhatikan.

3. Mengumumkan hasil kepada negara. Studi-studi tentang jaminan income (pendapatan) dari pemerintah menantang penemuan-penemuan kelompok eksperimen, tetapi juga memprediksikan bahwa program seluruh negara harus menghasilkan perubahan yang lebih dramatik dalam tingkah laku kerja. Apabila setiap orang dalam negara dijamin income (pendapatan) minimum tahunannya, standard-standard budaya dapat merubah seluruh negara; hasilnya rangsangan kerja dapat “secara serius mengecilkan biaya yang diperkirakan dari program luas ekonomi”.

4. Isu-isu etis dan legal. Mengesampingkan isu-isu legal dan etis, secara politik akan menyulitkan untuk menyediakan pelayanan-pelayanan kepada beberapa orang dan bukan yang lainnya.

5. Hasil-hasil interpretasi politik. Keuntungan dari percobaan kebijakan adalah substansial. Hal tersebut sangat berharga bagi masyarakat untuk melakukan sendiri kepada program-program skala besar dan kebijakan dalam pendidikan, kesejahteraan, perumahan, kesehatan dan yang lainnya tanpa ide real tentang apa itu kerja.

Evaluasi Program: Mengapa Sering Terjadi Kegagalan

Beberapa masalah yang dihadapkan kepada evaluasi kebijakan.1. masalah pertama diperhadapkan kepada siapa saja yang ingin

mengevaluasi program publik untuk menentukan apa tujuan-tujuan dari program tersebut.

98


2. banyak program dan kebijakan yang mempunyai nilai simbolik primer. Mereka tidak merubah kondisi dari kelompok target tetapi membuat kelompok tersebut merasa bahwa pemerintah “peduli”.

3. perwakilan pemerintah mempunyai kemauan yang kuat untuk “membuktikan” bahwa program-program mereka mempunyai pengaruh yang positif.

4. perwakilan pemerintah biasanya mempunya investasi yang besar – organisasi, finansial, fisikal, psikologi – dalam program-program dan kebijakan-kebijakan baru.

5. apabila ada studi yang serius tentang pengaruh kebijakan dilakukan oleh perwakilan pemerintah, maka akan dilibatkan beberapa interference dengan aktivitas-aktivitas program yang sedang berjalan.

6. evaluasi program membutuhkan dana, fasilitas, waktu dan personil, dimana perwakilan pemerintah tidak suka untuk berkorban bagi program-program yang sedang berjalan.

Bagaimana Birokrasi-birokrasi Menjelaskan Penemuan-penemuan Negatif

Dihadapkan dengan bukti-bukti yang jelas bahwa program-program favorit mereka tidak berguna dan tidak menghasilkan, mereka akan beralasan bahwa:1. efek-efek dari program tersebut adalah jangka panjang dan tidak

dapat diukur pada saat sekarang.2. efek-efek program tersebut menyebar dan umum; tidak ada kriteria

atau index yang dapat mengukur apa yang akan dicapai.3. efek-efek program tersebut tidak kelihatan dan tidak dapat

diidentifikasikan oleh pengukuran atau statistik kasar.4. penelitian percobaan tidak dapat dilakukan secara efektif karena

untuk menahan pembayaran bagi beberapa orang dalam mengobservasi pengaruh dari penahan biaya semacam itu sangatlah tidak adil bagi mereka.

5. kenyataanya tidak ada perbedaan yang ditemukan antara perorangan yang menerima pelayanan dan mereka yang tidak, yang berarti bahwa program tidak cukup intensive dan mengindikasikan kebutuhan program terhadap sumberdaya yang lebih.

Professor James Q. Wilson dari Harvard memformulasikan 2 peraturan umum untuk mengcover kasus-kasus penelitian ilmu sosial pada pengaruh kebijakan: 1. Segala intervensi-intervensi kebijakan dalam masalah-masalah sosial

menghasilkan efek yang diinginkan – bila penelitian dilakukan oleh mereka yang mengimplementasikan kebijakan atau sejawatnya.

2. tidak ada intervensi kebijakan dalam masalah sosial yang menghasilkan efek yang diinginkan – bila penelitian dilakukan oleh partai bebas ketiga, khususnya mereka yang skeptis terhadap kebijakan.

Mengapa Program-program Pemerintah Jarang Berakhir

99


Mengapa sangat sulit bagi pemerintah untuk mengakhiri program-program dan kebijakan-kebijakan yang gagal? Jawabannya bervariasi dari satu program dan program lainnya.1. Mengkonsentrasikan kepada keuntungan, mengurangi biaya.2. Kepentingan-kepentingan Birokrasi dan Legislatif.3. Incrementalisme dalam bekerja. Pemerintah jarang melakukan

pertimbangan pada setiap program secara keseluruhan setiap tahunnya. Pertimbangan aktif dari program dibuat pada margin – yaitu, perhatian difokuskan pada perubahan-perubahan yang diajukan dalam program-program yang sedang berjalan daripada nilai keseluruhan dari program-program tersebut.

Politik Sebagai Pengganti Analisis

Analisis kebijakan, termasuk di dalamnya evaluasi kebijakan adalah proses yang rasional dimana memerlukan persetujuan beberapa pada permasalahan pemerintah tentang perlunya memecahkan masalah; beberapa persetujuan atas biaya-biaya dan manfaat bermasyarakat dan pertimbangan pemberian; dan beberapa persetujuan atas perumusan suatu disain riset, pengukuran manfaat dan biaya-biaya, dan penafsiran menyangkut hasil. Nilai konflik selalu mengganggu hampir setiap titik di dalam proses evaluasi, tetapi analisa kebijakan tidak bisa memecahkan konflik nilai. Karenanya pertimbangan politik menjadi penting untuk digunakan.

Politik merupakan manajemen konflik. Nilai konflik menjelaskan mengapa pembuat keputusan kurang bergantung pada analisis kebijakan sistematis, dalam formulasi, seleksi, atau evaluasi kebijakan. Malahan lebih bergantung pada proses-proses politik.

Pendekatan politik pada analisis kebijakan menekankan :1. Pencarian mengenai hal-hal umum yang mungkin membentuk dasar

untuk mengidentifikasi masalah-masalah sosial.2. Pertukaran yang beralasan/masuk akal diantara nilai-nilai yang

sedang berkonflik pada setiap tahap dari proses pembuatan kebijakan.3. Pencarian keuntungan outcome (luaran) yang bermutu untuk

kelompok-kelompok yang berbeda, berusaha untuk memuaskan keinginan-keinginan yang berbeda.

4. Mengkompromikan konsiliasi dan sebuah keinginan untuk menerima keuntungan/pendapatan bersih yang kecil (half a loaf), dari pada menderita kerugian dari proposal-proposal yang meliputi banyak hal.

5. Posisi tawar diantara partisipan, bahkan dalam wilayah kebijakan yang terpisah, untuk memenangkan/mendapatkan sekutu (“saya akan mendukung proposalmu bila kau mendukung proposal saya”).

Batasan-batasan Kebijakan Publik

Harapan yang berlebihan pada pemerintah menyebabkan segala sesuatunya harus diselesaikan secara keseluruhan. Disisi lain pemerintah

100


mempunyai berbagai keterbatasan. Karenanya dalam melakukan studi yang serius tentang kebijakan publik harus mengenal batasan-batasan kebijakan berdasarkan kondisi-kondisi dibawah ini:

1. Beberapa masalah-masalah sosial tidak mempunyai solusi karena caranya didefinisikan berbeda-beda menurut pandangan masyarakat. Apabila masalah di definisikan secara relatif daripada absolut, masalah tersebut tidak akan pernah diselesaikan oleh kebijakan publik, seperti masalah kemiskinan.

2. Perkiraan-perkiraan yang diharapkan bisa selalu keluar jalur dari kemampuan-kemampuan pemerintah.

3. Kebijakan-kebijakan yang menyelesaikan masalah pada satu kelompok dalam masyarakat dapat menimbulkan masalah bagi kelompok lainnya.

4. Sangatlah mungkin beberapa kekuatan sosial tidak dapat disentuh oleh pemerintah, walaupun sangat ingin dilakukan.

5. Biasanya orang mengadaptasikan dirinya pada kebijakan publik dengan cara menyumbang kebijakan-kebijakan yang tidak berguna.

6. Masalah-masalah sosial dapat memiliki penyebab yang banyak, dan kebijakan yang spesifik tidak dapat menghapus masalah-masalah tersebut.

7. Pemecahan dari masalah-masalah tersebut membutuhkan kebijakan-kebijakan yang lebih mahal dari masalahnya.

8. Sistem politik tidaklah terstruktur untuk pembuatan keputusan yang sangat rasional.

9.2. Teknik Pembuatan Evaluasi Kebijakan Publik

Dalam membuat kerangka evaluasi kegiatan ada beberapa tahapan yang harus dilakukan :

(1)Penyusunan Rancangan Evaluasi

a. Penentuan Fokus dan TujuanFokus kegiatan evaluasi adalah pada hasil pelaksanaan kebijakan. Karenanya yang menjadi acuan adalah program-program yang sedang atau telah dilaksanakan, kemudiaan ditentukan tujuan evaluasi secara jelas dan operasional sehingga kriteria pencapaiannya dapat diukur dan mudah diketahui. Berkaitan dengan hal tersebut, perlu dilakukan pencermatan terhadap program/proyek/kegiatan yang akan di evaluasi.

b. Pengembangan Komponen dan IndikatorSecara umum ada lima komponen, yaitu: tujuan/konteks, masukan/input, proses, dan keluaran serta outcome. Jelasnya ditunjukkan pada gambar 9.1. dibawah ini.

101


Gambar 9.1.Komponen Evaluasi Kebijakan

Penentuan indikator dan kriteria yang digunakan untuk evaluasi sangat terkait dengan komponen yang akan di evaluasi. Indikator merupakan penjabaran dari komponen-komponen program yang akan di evaluasi. Dalam hal ini, setiap komponen dijabarkan menjadi indikator-indikator, termasuk kriteria pencapaiannya.

● Tujuan : mencakup indikator yang mempertanyakan apakah program sesuai dengan: (a) landasan hukum/kebijakan yang berlaku, (b) kondisi geografis dan sosial ekonomi masyarakat, (c) tantangan masa depan, (d) aspirasi masyarakat sekitar, (d) daya dukung masyarakat terhadap program. Indikator-indikator tersebut seharusnya menjadi landasan dalam merumuskan tujuan. Oleh karena itu, dalam pelaksanaan evaluasi, yang dipertanyakan adalah: apakah tujuan serta sasaran yang dirumuskan telah sesuai dengan indikator-indikator eksternal tersebut di atas. Untuk mencapai tujuan tersebut, perlu menetapkan kebutuhan minimum yang diperlukan.

● Input : Sesuatu yang tersedia secara lengkap dan digunakan dalam proses pencapaian tujuan; dana, lahan, ruang, tenaga kerja, pustaka, pengetahuan, sikap, kretivitas, dan lain sebagainya. Idealnya indikator-indikator input tersebut telah siap sehingga proses pelaksanaan program yang diprogramkan dapat berjalan dengan baik. Di dalam pelaksanaan evaluasi dipertanyakan apakah input-input di atas telah disusun atau diadakan sesuai kebutuhan dan digunakan secara efisien (kesesuaian antara masukan/sumberdaya dan proses). Indikasi dapat dilihat dari penggunaan dan pengelolaan sumberdaya dalam proses.

● Proses : Usaha memanfaatkan ketersediaan sumberdaya untuk pencapaian tujuan; distribusi, alokasi, dan interaksi antara sumberdaya dengan proses lainnya. Idealnya indikator-indikator dalam komponen proses tersebut berjalan sesuai dengan prinsip dan konsep yang dijadikan landasan berpikir. Oleh karena itu, dalam evaluasi dipertanyakan apakah

102


proses-proses yang terkait dengan program yang diajukan telah berjalan dalam rangka peningkatan produktivitas. Produktivitas adalah ukuran kesesuaian antara proses dan output. Indikasi dapat dilihat dari hasil capaian selama proses dengan mengukur pemanfaatan sumberdaya selama proses.

● Output adalah pencapaian dan hasil produksi akhir dari suatu proses; proses perencanaan, manajemen dan kontrol. Outcome munculnya konsekuensi dari akibat adanya output; resiko pemeliharaan. Idealnya output/outcome tersebut sesuai dengan yang dicantumkan sebagai sasaran program yaitu efektifitas. Efektivitas adalah ukuran kesesuaian antara tujuan projek dan hasil yang diperoleh (termasuk mengukur outcomes).

Selain komponen dan kriteria di atas, komponen dan kriteria lain yang perlu diperhatikan adalah :

● Akuntabilitas. Akuntabilitas merupakan ukuran kebertanggung-jawaban pelaksanaan projek baik kepada pemberi kerja maupun kepada masyarakat/sasaran.

● Kapasitas inovatif. Kapasitas inovatif merupakan ukuran dari pengelolaan projek menghadapi perubahan lingkungan.

Untuk jelasnya dapat lihat contoh pada tabel 9.1. dibawah ini.

Tabel 9.1.Penentuan Indikator dan Kriteria Evaluasi

Harapan-harapan yang berkaitan

IndikatorKeberhasilan

Sumber Data Keadaan Luar yang Relevan

ImpactWadah komunikasi dan informasi diantara stakeholder pemanfaat sumberdaya Rawa Pening

Tersusunnya sejumlah permasalahan dan solusi pengatasan masalah

Tersampaikan informasi dari pihak pemerintah dan atau masyarakat untuk didiskusikan.

Tambatan Rapat pertemuan wakil-wakil kelompok masyarakat, Pemerintah dan Perguruan Tinggi

Pengurus Forum Rembug Rawa Pening

Bappeda

Kebijakan pemerintah dalam pengelolaan Rawa Peningtidak berubah

Masukan sejumlah masalah dan solusi pengatasannya dapat digunakan untuk perencanaan

103


dan Dinas Terkait Provinsi Jawa Tengah dan Kabupaten Semarang.

proyek yang akan datang.

Dukungan dan koordinasi semua pihak/instansi terkait.

HasilTerbentuk Forum Rembug Rawa Pening

Terlaksananya pertemuan antara pemerintah, perguruan tinggi dan kelompok masyarakat.

Terumuskannya Visi, Misi, dan Strategi serta Program

Tersusunnya Kepengurusan Forum Rembug Rawa Pening

Tambatan Rapat pertemuan wakil-wakil kelompok masyarakat, Pemerintah dan Perguruan Tinggi

Pengurus Forum Rembug Rawa Pening

Bappeda dan Dinas Terkait Provinsi Jawa Tengah dan Kabupaten Semarang.

Foto pertemuan.

Pihak masyarakat, perguruan tinggi, dan pemerintah berperan aktif

Pihak perguruan tinggi dan pemerintah mau memberikan bimbingan kepada pengurus forum rembug Rawa Pening.

Dana kegiatan pemantauan dan evaluasi tersedia.

KeluaranTerselenggarannya pertemuan-pertemuan ditingkat masyarakat dan pemerintah desa di sekitar Rawa Pening

… kali pertemuan

Tambatan rapat pertemuan dengan masyarakat

Kelompok

Foto pertemuan dan pembentukan kelompok

Pihak masyarakat, perguruan tinggi, dan pemerintah mengikuti pertemuan sesuai rencana

Kebijakan pemerintah untuk mendukung secara terus menerus

MasukanMasukan/Inputs dan Kegiatan/Activities Pembentukan Organisasi Pengelola Rawa

Laporan keuangan

Tambata

Tidak ada perubahan-perubahan

104


Pening Berbasis Masyarakat Tenaga Fasilitator :

a. Tim UKSW : …. orang b. …………………………. : ….

orangc. ………………………… : ….

orang Konsumsi Pertemuan Transportasi Sewa Gedung Perlengkapan dan peralatan ATK

Dana dari Bappeda Provinsi Jawa Tengah : Rp. 150.000,-

n Rapat pertemuan kelompok Pengurus kelompok yang terbentuk

Foto-foto pertemuan

kebijakan baik. Masyarakat

dan Pemerintah Desa di sekitar Rawa Pening bersedia hadir untuk memenuhi undangan.

Proses DIP/Pencairan dana tepat waktu

c. Rancangan Pengumpulan Data dan Pengembangan Instrumen

Sesuai dengan tujuan evaluasi dan komponen yang akan di dikaji, perlu ditentukan rencana pengumpulan data. Dalam hal ini, data apa saja yang akan dijaring dan siapa responden atau sumber datanya. Setelah hal tersebut ditentukan, maka langkah selanjutnya adalah mengembangkan instrumen.

Pengembangan instrumen dilakukan dengan mengacu pada komponen-komponen program yang akan di evaluasi. Penyusunan instrumen mencakup penentuan jenis instrumen dan isi instrumen. Isi instrumen hendaknya disusun berdasarkan kisi-kisi substantif dari komponen dan indikator, dan perlu dilakukan validasi serta uji coba untuk memperoleh instrumen yang valid dan reliable. Satu komponen dapat dijabarkan menjadi beberapa indikator.

d. Menyusun Rencana Kerja

Rencana kerja pelaksanaan evaluasi perlu disusun, mencakup berbagai kegiatan dalam evaluasi, terutama pengumpulan data, analisis data, pembuatan laporan, dan tindak lanjutnya. Dalam hal ini, perlu disusun jenis kegiatan, waktu pelaksanaan, pelaksana atau evaluator, hasil yang diharapkan, instrumen dan metode yang digunakan, serta subyek atau sumber data. Tabel 9.2. merupakan salah satu contoh format rencana kerja penyelenggaraan evaluasi.

Tabel 9.2.Rencana Kerja evaluasi

No Waktu Kegiatan Hasil Yang Tempat Responden Alat/

105


Diharapkan

/ Sumber Data

Instrumen

1.2.3.dst

(2)PelaksanaanPelaksanaan evaluasi pada dasarnya terdiri atas empat, yaitu pengisian kuesioner oleh responden, mencermati dokumen yang terkait dengan program, observasi kegiatan program, dan wawancara. Empat kegiatan tersebut dilakukan untuk saling melengkapi dan cek silang (cross check).

a. Pengisian Kuesioner

● Jumlah dan Karekteristik Responden ditetapkan dan masing-masing dibuat instrumen untuk setiap responden terlampir.

● Pemilihan responden diupayakan bukan orang yang ditunjuk. tetapi dipilih oleh petugas evaluasi secara acak.

● Usahakan agar responden mengisi kuesioner secara terpisah/tidak saling mencontoh dan tidak dilihat oleh pimpinan, sehingga dapat bebas mengisinya.

● Perlu dijelaskan bahwa pengisian kuesioner dengan menuliskan nama, tetapi pengisian tidak berpengaruh terhadap yang bersangkutan. Petugas evaluasi harus dapat meyakinkan bahwa isian semata-mata untuk penyempurnaan program dan tidak akan berpengaruh kepada karier pengisi yang mengisinya.

● Pengisian kuesioner harus selesai pada hari itu juga dan hasilnya dibawa pulang oleh petugas yang datang. Isian kuesioner seorang responden tidak boleh dilihat oleh responden lain dan juga oleh pimpinan.

b. Penggalian Data Dokumen

● Data dokumen yang perlu dicermati adalah: (1) rancangan program, (2) data latar belakang sosial ekonomi masyarakat, (3) program jangka panjang (jika ada), RAPB tahun ini dan beberapa tahun yang lewat, (4) data tentang kegiatan dan prestasi yang dicapai, (5) data prestasi khususnya yang terkait dengan capaian target dalam program, (6) laporan pelaksanaan program, jika sudah ada, serta (7) data lain yang diperlukan.

● Ketika mencermati data dokumen harus selalu diingat data yang sebelumnya sudah ditemukan. Misalnya jika pada

106


isian kuesioner disebutkan pelaksanaan suatu program mencapai 60%, perlu dicek apakah catatan-catatan yang ada sesuai dengan isian tersebut.

● Ketika mencermati data dokumen perlu diarahkan untuk menjawab pertanyaan: (1) Apakah program sesuai dengan kebutuhan masyarakat (akuntabel)? Pertanyaan ini dijawab dengan cara mencocokan isi program-program dengan kondisi dan karateristik latar belakang sosial ekonomi masyarakat, (2) Apakah sasaran yang diajukan realistik? Pertanyaan ini dicermati dari data tentang kesiapan komponen fungsi-fungsi pendukung (komponen input) untuk mencapai sasaran tersebut, misalnya jumlah dann kualitas guru, ketersediaan alat dan sebagainya. (3) Apakah sasaran yang disebutkan pada program tercapai, dengan mencocokkan sasaran tersebut dengan dokumen tentang pencapaiannya di akhir tahun pelajaran. (4) Apakah dampak program tersebut terhadap kepercayaan masyarakat. (5) Akuntabilitas keuangan, dengan mencermati bukti-bukti pembukuan sehingga diketahui apakah penggunaan dana sudah sesuai dengan program dan dapat dipertanggungjawabkan administrasinya

c. Observasi

● Observasi dilakukan untuk mencermati kegiatan atau bukti fisik yang berkaitan dengan program, misalnya, kegiatan olahraga, hasil pengadaan fasilitas tertentu, rapat dan sebagainya

● Ketika melakukan observasi sebaiknya telah dipastikan data apa yang ingin didapatkan. Di samping itu juga telah mencermati data awal, baik dari program maupun isian kuesioner, sehingga observasi dapat tearah.

● Hasil observasi diharapkan dapat menjawab pertanyaan: (1) Apakah manajemen cukup terbuka? Pertanyaan tersebut dapat dijawab dengan melihat apakah rapat berjalan dengan demokratis dan apakah program tersedia dan dapat dibaca. (2) Apakah kegiatan yang diprogramkan berjalan dengan baik? Jawaban pertanyaan tersebut dicermati misalnya kegiatan yang telah diprogramkan, kesesuaian fasilitas yang diadakan dengan pengajuan pada program dan sebagainya.

d. Wawancara

● Wawancara dilakukan untuk menggali persepsi responden terhadap proses pelaksanaan program. Wawancara juga digunakan untuk mencek data lain yang sudah lebih dahulu diperoleh. Misalnya data dokumen tentang kondisi sosial

107


ekonomi dapat dicek ketika wawancara dengan responden. Data keterbukaan yang diperoleh dari kuesioner dapat dicek dengan wawancara dengan elemen masyarakat.

● Hasil wawancara diharapkan dapat mengungkap pertanyaan: (1) Apakah betul bahwa penyusunan program dilakukan secara bersama-sama? (2) Apakah betul semua warga, khususnya yang terkait mengetahui apa saja program? (3) Apakah betul bahwa alokasi anggaran diketahui oleh warga? (4) Apakah betul kerjasama antara warga semakin membaik? (5) Apakah betul kerjasama dengan masyarakat semakin meningkat? (6) Apakah penggunaan dana dilakukan secara terbuka? (7) Apakah program-program diyakini akan terus berlanjut, karena memang merupakan kebutuhan?

● Semua yang ditanyakan pada butir (b) di atas juga ditanyakan pada kuesioner. Wawancara lebih banyak melakukan pendalaman atau pemeriksaan tentang isian kuesioner. Oleh karena itu sebaiknya sebelum melakukan wawancara isian kuesioner telah dibaca dan dipahami lebih dahulu.

(3)Pelaporan

a. Analisis Data

Evaluasi pada dasarnya dilakukan pada lokasi atau masyarakat sasaran secara mandiri, sehingga unit analisisnya juga lokasi atau masyarakat sasaran. Simpulan juga akan berlaku untuk lokasi atau masyarakat sasaran, sehingga tidak ada generalisasi. Jika ada keinginan generalisasi, sifatnya inferensi dari data atau simpulan yang telah diambil untuk masing-masing sekolah. Misalnya jika ingin mengetahui berapa persen yang berhasil mencapai sasaran yang dilakukan adalah menghitung dari simpulan sasaran program.

Analisis pada evaluasi dasarnya untuk menjawab pertanyaan pokok, antara lain:

● Apakah tujuan telah sesuai dengan kondisi masyarakat dan lingkungannya?

● Apakah sasaran yang diajukan dalam program realistik? ● Apakah program-program yang diajukan untuk mencapai

sasaran tersebut sesuai? ● Apakah komponen input telah tersedia dan mendukung proses

pelaksanaan program?● Apakah program-program tersebut berjalan sesuai dengan yang

direncanakan.● Apakah aspek-aspek manajemen (keterbukaan, kerjasama,

kemandirian, akuntabilitas dan sustainabilitas) yang ingin dikembangkan sudah tumbuh? Pertanyaan penting tersebut dapat dirinci menjadi: (1) Apakah proses pengambilan

108


keputusan, baik menyangkut program maupun alokasi keuangan, semakin partisipatif dan terbuka? Misalnya dalam penyusunan program, rapat-rapat dan pengambilan kebijakan lainnya. (2) Apakah kerjasama antar masyarakat maupun antara lembaga dengan lingkungan masyarakat sekitar berjalan semakin baik? (3) Apakah kemandirian program (secara kolektif), dalam mengambil kebijakan semakin baik? Artinya tidak sekedar mengikuti petunjuk dari atas. Juga apakah kemampuan lembaga dalam menumbuhkan partisipasi masyarakat semakin baik? (4) Apakah pelaksanaan program maupun penggunaan anggaran akuntabel, baik dari aspek kegiatan maupun keuangannya?

● Apakah program efektif, artinya apakah sasaran-sasaran yang diajukan dapat tercapai?

● Apakah ada dampak positif atau negatif dari program-program terhadap masyarakat?

Catatan: Pertanyaan (a) sampai dengan (h) pada dasarnya merupakan representasi pertanyaan untuk komponen tujuan/konteks, input, proses, output, dan dampak (outcome).

b. Penyusunan Laporan

Pada buku I (konsep dan pelaksanaan) disebutkan bahwa laporan evaluasi hendaknya memuat dua hal pokok, yaitu laporan teknis yang menyangkut program dan laporan keuangan. Laporan dibuat untuk setiap program secara terpisah. Untuk evaluasi yang dilakukan oleh pihak di luar (eksternal), struktur laporan sebagai berikut:

Bab I : A. Gambaran Umum

B. Program-program Bab II : A. Deskripsi Data

● Kondisi dan Dukungan Komponen Tujuan, Konteks

● Ketersediaan dan Kesiapan Komponen Input

● Proses Pelaksanaan/Keterlaksanaan Program

● Ketercapaian Sasaran/Hasil● Dampak Program Terhadap

SekolahB. Peningkatan Sebelum dan Setelah

Pelaksanaan Program-ProgramC. Pertanggungjawaban Keuangan

Bab III : A. SimpulanB. Rekomendasi

(4) Pemanfaatan Hasil dan Tindak Lanjut

109


Seperti disebutkan sebelumnya bahwa hasil evaluasi akan digunakan sebagai landasan pengambilan keputusan, baik keputusan pada tingkat lokal yang bersangkutan, Kabupaten/Kota dan Propinsi, serta oleh Pusat.

110


BAHAN BACAAN UTAMA

Jones, Charles O, 1994, Pengantar Kebijakan Publik, Jakarta, Raja Grafindo Persada, Halaman 351 – 418.

Thomas R. Dye (312-329), Policy Evaluation, Finding Out What Happens after a Law is Passed

111

pokok bahasan kesembilan

Documents