Politik dan Organisasi KonteksEvaluasi Pendidikan4.1 PendahuluanDalam evaluasi bab ini dipandang sebagai salah satu teknik rasional kebijakan-analisis. untuktingkat bahwa konteks politik dan organisasi sebenarnya evaluasi berbeda darirasional langkah-langkah khusus yang ideal harus dipertimbangkan untuk mempertahankan standarakurasi dan utilitas. Masalah kontekstual evaluasi dibahas ketika mempertimbangkanmodel fase reformasi pendidikan dan artikulasi konteks pengambilan keputusan. dimengubah konteks pengambilan keputusan yang relevan dari evaluasi tergantung pada polasentralisasi dan desentralisasi sistem pendidikan. Pada bagian akhir dariBab berbagai strategi untuk meningkatkan kelembagaan, organisasi dan tekniskonteks (dalam arti infrastruktur teknis untuk pemantauan pendidikan danEvaluasi) dibahas.

4.2 Rasionalitas Asumsi Mengenai Kebijakan-KonteksevaluasiDalam banyak aplikasi evaluasi pendidikan, misalnya evaluasi program atau sekolahevaluasi, objek evaluasi atau evaluandum, adalah pengaturan kehidupan nyata di mana(pendidikan) tujuan yang diperjuangkan melalui kegiatan praktis yang spesifik. seperti praktissituasi dapat abstrak digambarkan sebagai satu set alat dan tujuan.Tujuan sangat penting untuk semua jenis evaluasi mulai dari programevaluasi dan evaluasi sekolah untuk pembangunan pemeriksaan. Tujuan dapat dilihatsebagai "negara yang diinginkan" atau "tipe ideal proses", yang pada gilirannya mereka dapat digunakan sebagai targetdan standar evaluasi. Sebagai contoh: tingkat tertentu pencapaian pada matematika yang mencetak gol dengan diSetidaknya 80% dari siswa, atau penggunaan komputer selama setidaknya 20 menit selama 80% daripelajaran bahasa. Selain itu, tujuan tidak perlu harus didefinisikan dalam tepat seperti itu,Bentuk operasional dan kuantitatif. Bahkan ketika ada hanya gagasan umumdimensi yang merupakan situasi yang ada harus ditingkatkan setelah periode programpelaksanaan, atau, dalam kasus kami, sekolah, kita masih bisa melihat situasi seperti goalorienteddan dapat dinilai. Dalam kasus terakhir komite ahli dapat digunakan untuk membuatpenilaian. Secara umum, ketika kriteria evaluasi tetap lebih global dan "terbuka", yangpersyaratan keahlian substantif evaluator harus sangat tinggi, sepertimereka dapat dilihat sebagai menggantikan kekakuan dinyatakan berlaku terstruktur daninstrumen standar.Kehadiran tujuan, khusus atau umum, adalah fitur penting dari apa yang bisadisebut sebagai rasionalitas formal pengaturan evaluasi. Di mana kita bisa mengambil"Pengaturan evaluasi" baik sebagai obyek evaluasi dan konteks yang lebih besar di mana iniobjek dan evaluasi itu sendiri berlangsung. Evaluasi itu sendiri dapat dilihat sebagai bagian dariModel rasionalitas diterapkan pada program kebijakan atau fungsi sekolah.Fitur utama dari model rasionalitas ini dapat dinyatakan menurut berikutpoin (perhatikan bahwa konsep "Program" yang sering digunakan dalam hal menyatakandi bawah ini harus ditafsirkan dalam arti luas, termasuk, misalnya, fase tertentuselama sekolah reguler):• program yang akan dievaluasi memiliki tujuan, dan evaluasi dapat dipandu dengan caratujuan ini;• program itu sendiri harus dilihat sebagai satu set alat, yang terdapat beberapa alasansehubungan dengan kemungkinan bahwa mereka memang akan mengarah pada pencapaian tujuan;• direncanakan, atau "cetak biru" program juga dilaksanakan sesuai rencana;

• Evaluasi memiliki bentuk umum dari investigasi empiris apakah tujuan tercapaiberdasarkan program, yaitu set dilaksanakan sarana;• Kegiatan evaluasi dapat dilakukan dengan cara yang relatif tidak terganggu dan berisi,bebas dari segala jenis pengaruh dari pihak yang memiliki kepentingan tertentu, dan dilakukanmenurut norma-norma profesional (yaitu standar praktek evaluasi yang baik);• hasil evaluasi tersebut akan digunakan untuk pengambilan keputusan, yang mungkin dari"Formatif" atau "sumatif" alam, dan dalam praktek dengan cara ini akan ditingkatkan.Seringkali titik terakhir tidak terjadi begitu lugas. Penggunaan evaluasi sering darikurang alam "linear" dan "instrumental" melainkan sebuah proses bertahap dan fuzzymempengaruhi konsepsi aktor yang relevan.Dalam cara yang lebih umum dapat dikatakan bahwa untuk tingkat bahwa pengaturan evaluasiBerangkat membentuk model rasionalitas, evaluasi, dalam arti yang sistematis, disiplinPermintaan, akan menjadi lebih rumit.Beralih kembali ke persyaratan tujuan, itu adalah satu hal untuk mengatakan bahwa tujuan mungkin umum.Namun, dalam situasi di mana tujuan dilombakan antara para pihak terkait, seperti,Misalnya, guru dan kepala sekolah, akan lebih sulit bagi evaluator untuk menemukantitik acuan untuk merancang evaluasi. Dalam konteks kebijakan skala besarEvaluasi situasi bahwa pihak yang berkepentingan berbeda tentang tujuan program sama sekali tidakmungkin. Kadang-kadang, ada juga dapat perbedaan besar antara tujuan resmi dan"nyata" tujuan stakeholder. Misalnya, dalam program eksperimental untuk dewasapendidikan, tujuan resmi dinyatakan oleh Departemen Pendidikan yang dinyatakan dalam bentukkeuntungan antara peserta belajar, tapi untuk guru dalam program eksperimental,kerja berkepanjangan dan kepemilikan jangka panjang tampaknya lebih penting (Scheerens,1983).Dalam konteks kebijakan-evaluasi evaluator mungkin menemukan diri mereka di tengah-tengahbenar-benar dipolitisasi konteks, di mana partisan akan mencoba untuk menggunakan evaluasi untuk menegakkan merekaPosisi sendiri. Dalam situasi seperti banyak akan tergantung pada berdiri profesionalevaluasi, dan kemandirian organisasi dari cara mereka dapat beroperasi. dievaluasi (internal) sekolah situasi mungkin tidak secara terbuka dipolitisasi, meskipunNamun demikian, perbedaan penting dari tujuan dan prioritas dalam domain tertentusekolah dapat terjadi juga. Dan, sehubungan dengan evaluasi sekolah eksternal, mungkin adatingkat administrasi, untuk meningkatkan "konsumerisme" atau untuk menginformasikan personil sekolah tentangtitik kuat dan lemah fungsi sekolah.Implikasi praktis dari semua ini untuk evaluator adalah bahwa tahap awal pengaturanprioritas dan memilih kriteria evaluasi dan standar sangat penting.Kegiatan tidak hanya dilihat sebagai analitik tetapi juga, bahkan mungkin lebih dari itu, praktisdan "manajerial", dalam upaya untuk berdamai pada prioritas evaluasi denganstakeholder, surmounting perlawanan dan membangun komitmen.Aspek kedua dari model rasionalitas, keberadaan agak eksplisitAlasan tentang "berarti" dari program yang memadai untuk mencapai tujuan, telah memberikannaik ke jenis tertentu evaluasi, yaitu "evaluasi analitik". evaluasi analitikdimaksudkan untuk mengartikulasikan struktur alat-to-end dasar program. kadang-kadang iniProses digambarkan sebagai "membuat eksplisit teori Program", atau merekonstruksi"Mendasari logika program" (Leeuw, Van Gils & Kreft, 1999).Bertentangan dengan cita-cita yang rasional, dalam prakteknya, hubungan antara tujuan dan sarana dapatmenjadi jauh longgar. Berarti, misalnya, dapat dipilih karena mereka benar-benar berakhir didiri mereka sendiri- "medium adalah pesan", karena mereka melayani lebih partikularistik

Tujuan dari beberapa pemangku kepentingan, atau hanya karena program ini tidak dipersiapkan dengan baik ataudirancang. Dalam situasi seperti evaluator dapat, pada prinsipnya, menyimpan banyak waktu, usaha, danakhirnya uang, dengan menunjukkan kelemahan tersebut. Dalam "evaluasi analitik" yangevaluator menggunakan metode analitik (seperti review temuan penelitian yang ada tentang masalah ini) kemendapatkan indikasi tentang bagaimana kemungkinan metode yang diusulkan akan menyebabkan pencapaian tujuan.Menurut karakteristik ketiga model rasionalitas, program yang direncanakan adalahjuga "benar-benar" dilaksanakan. Sekali lagi, praktek menunjukkan bahwa hal ini tidak selalu terjadi danparsial atau bahkan tidak ada sama sekali implementasi mungkin kenyataan. Dalam kasus tujuan program adalahdinilai dan pelaksanaan program telah gagal, evaluasi disebut "non acaraevaluasi ". Untuk mencegah hal ini, adalah lebih baik untuk menyertakan pemeriksaan pelaksanaandalam desain evaluasi. Hal ini dapat dilakukan dengan cara mengukur indikator proses ataudengan cara pengamatan langsung.Jika program, khususnya sarana, metode dan pendekatan yang terdiri dariProgram yang kurang jelas, dan implementasi lebih dicirikan sebagai suatu proses"saling adaptasi" antara gagasan dan preferensi individu praktisi,memeriksa pelaksanaan menjadi lebih kompleks. Dalam situasi seperti observasionalStudi dapat bekerja lebih seperti membangun "post hoc" varian program, yang kemudian mungkinterkait dengan ukuran hasil di kemudian hari.Kelima rasionalitas asumsi tentang pengaturan evaluasi adalah bahwa evaluator akandalam posisi untuk melaksanakan pekerjaan profesional mereka dengan cara yang relatif tidak terganggu.Seperti yang sudah kita lihat ketika membahas situasi pada awal evaluasi program,di mana evaluator dapat menjadi muncul dalam perdebatan politik di antara partisan, iniKondisi juga, tidak selalu bertemu dalam praktek yang sebenarnya. Tetapi juga ketika datang untuk memilihmetode evaluasi dan melakukan pendataan kondisi ini dapat dilanggar. Pada Saattaruhannya evaluasi adalah, benar atau salah, dianggap tinggi oleh para praktisi, merekatidak akan memiliki sikap netral terhadap metode pengumpulan data yangdiusulkan oleh evaluator. Satu bisa memandang metode evaluasi sebagai bervariasi padakontinum berjalan dari "control evaluator" untuk "kontrol praktisi". partisipatifobservasi, metode seperti ajaran menulis "log" dari setiap pelajaran dan wawancara terbukaTes standar dan pengamatan eksternal sebagian besar di luar kendalipraktisi. Scheerens (1983) menjelaskan pengaturan di mana evaluasi penangkapanpraktisi membawa mereka untuk meninggalkan tujuan, langkah-langkah evaluasi yang dikendalikan, dan memohonuntuk metode yang lebih terbuka di mana mereka sendiri adalah penyedia utama informasi.Dalam banyak kasus eksplorasi yang jelas tentang tujuan evaluasi akan membantumengatasi resistensi. Misalnya, dalam evaluasi program dan evaluasi sekolahfungsi organisasi daripada fungsi individu guru adalah evaluasiobyektif. Namun demikian guru mungkin masih berpikir bahwa mereka adalah objek evaluasi, danmereka akan perlu diberitahu secara eksplisit bahwa ini tidak terjadi.Meskipun sebagian besar fitur yang dibahas dalam bagian ini lebih menonjol dandidokumentasikan dalam bidang evaluasi program, rekomendasi yangdisediakan juga relevan untuk jenis lain dari evaluasi pendidikan, seperti sekolahevaluasi. Rekomendasi utama adalah:

• untuk menganalisis tujuan program dengan hati-hati dan masukkan proses pencahayaan tujuanantara para pemangku kepentingan, sebaiknya menghasilkan komitmen yang jelas laporan tujuan danKriteria efek yang akan akhirnya digunakan dalam evaluasi;• untuk secara kritis menilai attainability hubungan berarti akhir, dengan kata lainkemungkinan bahwa diusulkan Program berarti akan menyebabkan pencapaian tujuan, sebaiknya sebelumKegiatan evaluasi empiris mulai;• untuk memeriksa secara empiris pelaksanaan program atau serangkaian kegiatan yang menjadidievaluasi;• harus siap untuk negosiasi terinspirasi politik tentang lebih atau kurang reaktif DataMetode pengumpulan dan juga untuk menginvestasikan waktu dan energi dalam komunikasi danpresentasi dari kegiatan evaluasi dimaksudkan dan tujuan mereka;• untuk berinvestasi dalam mengkomunikasikan hasil evaluasi sebagai proses umum menerangimasalah bagi para pemangku kepentingan, yang mungkin atau mungkin tidak menyebabkan dampak langsung pada pengambilan keputusan.Bersiap Pendekatan Evaluasi untuk Kondisi Kontekstual; KasusPendidikan Reformasi ProgramDalam bagian ini penekanannya adalah pada dimensi prosedural reformasi pendidikanprogram dan konteks pengambilan keputusan. Strategi reformasi prosedural tergantung padaurutan fase dan pada lokus pengambilan keputusan mengenai program reformasi,membedakan top-down versus pendekatan bottom up dalam pengelolaan reformasi.Ketika datang ke gearing tepat monitoring dan evaluasi untuk keputusan mengenaiproyek di berbagai tahapan yang dua aspek konteks pengambilan keputusan ini penting:kejelasan secara keseluruhan dan rasionalitas konteks ini (lihat bagian sebelumnya) danpembagian pengambilan keputusan otoritas atas tingkat hirarki dari sistem pendidikan.

Program Membuat Pra-Kondisi dan MemilihSecara keseluruhan Strategi sistemik M & EPada bagian akhir ini, pertama-tama, beberapa dugaan yang dibuat tentang pas m & e strategi untukberbagai aspek kontekstual yang dibahas di seluruh bab ini. Gagasan "paspengaturan "mencerminkan pendekatan kontingensi, yang datang ke asumsibahwa tidak ada strategi evaluasi yang ideal yang akan optimal untuk semua konteks. Pada akhirnyaseksi pandangan kontingensi ditantang dalam mempertimbangkan apakah unsur-unsur tertentum & e strategi akan pantas pelaksanaan universal.Keseluruhan "rasionalitas" dalam konteks pengambilan keputusanUntuk tingkat bahwa konteks pengambilan keputusan seputar program reformasi kabur,yaitu ketika reformasi berangkat dari perubahan model yang direncanakan untuk reformasi tambahan,pemantauan, inspeksi dan evaluasi diri sekolah daripada menjadi evaluasi programstrategi yang paling tepat. Jika program reformasi itu sendiri adalah kumpulan longgarinisiatif dan interpretasi dari setiap sekolah, mungkin sebagai konsekuensi daribottom up proses inovasi, "kuat" penelitian eksperimental atau quasiexperimentaldesain mungkin sulit untuk menerapkan dan lebih "ad hoc" desain bisa menjadi satu-satunyaoption.

Pola desentralisasi fungsionalOrientasi klien M & E harus tergantung pada otoritas pengambilan keputusan aktordalam sistem pendidikan. Prinsip tentatif yang diusulkan menyatakan bahwa evaluatifInformasi hanya tersedia untuk aktor yang memiliki keleluasaan untuk bertindak atas dasarinformasi ini.Fase dari program reformasiPada awal (inisiasi / adopsi) tahapan program studi pra-evaluatif menggambarkanReaksi praktisi dapat dipertimbangkan. Dalam studi kelayakan evaluasi fase inibisa berguna juga.Pada tahap implementasi, evaluasi proses dalam arti pengobatanpemeriksaan pelaksanaan, adalah sangat penting, terutama ketika program memiliki luaslingkup, cakupan yang luas dan tingkat kelonggaran dalam penafsiran isi Program.Pada fase program pelembagaan hasil program harus dipantau.Para dugaan atas semua mengungkapkan pendekatan darurat: kesesuaian atauefisiensi dalam pemilihan monitoring dan evaluasi strategi tergantung pada karakteristikdari konteks reformasi. Untuk menantang perspektif ini orang bisa menimbulkan pertanyaan apakahbeberapa pendekatan evaluasi mungkin lebih baik dalam semua kemungkinan konteks pendidikanreformasi. Kandidat yang jelas untuk kualifikasi ini akan menjadi penilaian output.Bidang evaluasi pendidikan dalam arti mengukur kinerja siswa padasatu sisi dan evaluasi pendidikan dalam arti evaluasi program di sisi laintangan telah dikembangkan sebagai dua bidang yang relatif terpisah. Hal ini sangat jelas bahwa integrasidiperlukan dan bahwa evaluasi program pendidikan harus menggunakan penilaian siswakinerja, dalam mata pelajaran dasar dan kompetensi kunci, sebagai kriteria utama. dalam periodikpemantauan fungsi berkelanjutan dari sistem atau mahasiswa reformasi pendidikan jangka panjangpenilaian kinerja juga mungkin dipilih sebagai prioritas pertama. Dalam kasus di manaprogram penilaian siswa nasional tidak tersedia dan penilaian internasional,satu alasan atau lainnya, tidak digunakan, jenis hasil, seperti lulus / gagal tarif,partisipasi dalam tingkat pendidikan lanjutan dan drop-out, akan menjadi satu-satunya pilihan, masihmempertahankan prevalensi indikator hasil.Dalam semua program reformasi, di mana beberapa jenis revisi kurikulum yang dipertaruhkan, itu akanjuga akan cenderung menggunakan penilaian prestasi siswa dalam domain kurikuler tertentusebagai kriteria efek.Dalam evaluasi diri sekolah sistem murid-monitoring juga bisa memainkan peran sentral dalammasa depan, menggabungkan strategi manajemen data-driven dan hasil sekolah yang berorientasi denganpemantauan dan diagnosis pada tingkat kelas.Jadi, dalam kesimpulan, tampaknya bahwa satu datang jauh dalam memastikan kegunaanpenilaian kinerja siswa sebagai tulang punggung kebanyakan konteks reformasi pendidikandan evaluasi. Hanya pada awal, fase formatif pengembangan program yang lain yang lebihProses-deskriptif, pendekatan yang cukup. Lebih sepenuhnya matang monitoring dan evaluasipendekatan akan berusaha untuk kausal berhubungan informasi input / proses untuk hasil penilaian.Kadang-kadang kasus dapat dibuat untuk menggunakan "proses" indikator sebagai "pengganti" hasilIndikator (Oakes, 1989; Scheerens, 1990).Mengingat "bahan", termasuk analisis dari berbagai jenis "prasyarat"yang disajikan dalam bab ini membangun strategi umum untuk menentukanprioritas untuk sistemik M & E di negara selanjutnya bisa mengatasi berikutmasalah:• menjelaskan ketentuan yang tersedia untuk M & E di dalam negeri sehubungan dengan tiga dasar

fungsi yang dibahas (sertifikasi / akreditasi, akuntabilitas, selfimprovementunit); kesimpulan dalam hal tingkat perkembanganketentuan yang melayani masing-masing fungsi;• menganalisa pola desentralisasi fungsional di dalam negeri; kesimpulan tentang M & Eketentuan yang "cocok" dengan pola tertentu (misalnya, seperti digambarkan dengan kasusnegara Afrika Utara, M & E jenis berorientasi selfimprovement unit, sepertievaluasi diri sekolah, hanya masuk akal jika sekolah memiliki gelar tertentu kebijaksanaanuntuk melakukan sesuatu dengan hasil; meminta sekolah untuk melaporkan tentang kinerja mereka danjasa kepada orang tua lebih relevan dalam konteks di mana ada pilihan bebas sekolahdan sebagainya.);Target M & E ketentuan prioritas substantif dalam kebijakan pendidikan; misalnya ketikaprioritas untuk lima tahun ke depan adalah pada peningkatan menengahpendidikan, hal ini bisa menjadi yang pertama sub-sektor untuk mengoptimalkan ketentuan M & E;• memeriksa politik, kelembagaan dan organisasi pra-kondisi untuk menentukan derajatupaya untuk mewujudkan set awal prioritas.Langkah-langkah ini akan menghasilkan satu set prioritas umum, yang harus dijabarkanberdasarkan analisis yang lebih rinci pilihan teknis dan kemungkinan sinergidi antara mereka.