DAFTAR ISI

Pembukaan1. Pengantar

Audit Efisiensi dan Efektifitas didasarkan pada Netherlands Court of Audit1.1.1 Sudahkah Objektifitas terpenuhi?1.1.2 Sudahkah tujuan kelompok tercapai?1.1.3 Audit Efektifitas1.1.4 Audit Efisiensi1.2 Rangkuman

2. Kerangka Umum Audit Efisiensi dsan Efektifitas2.1 Pengantar2.2 Kerangka Legislatif2.2.1 Tugas Netherlands Court of Audit2.2.2 Kekuasaan Netherlands Court of Audit2.2.3 Tanggungjawab Administratif2.2.4 Dari kebijakan politik sampai akuntabilitas politik2.2.5 Data Kinerja dan Evaluasi pembelajaran peraturan Pemerintah Pusat Belanda

3. Subjek Audit dan jenis Audit3.1 Pengantar3.2 Proses Produksi sektor publik3.2.1 Keluaran (outputs)3.2.2 Manfaat (outcomes)3.2.3 Sistem (throughput)3.2.4 Masukan (input)3.3 Penjelasan penyebab3.4 Ruang lingkup Audit dan Metode3.4.1 Langkah Apa yang seharusnya dikembangkan dalam Audit?3.4.2 Bagaimana memutuskan tipe audit yang disajikan?3.4.3 Tanggungjawab Kementrian3.4.4 Bagaimana penyesuaian terhadap politik desentralisasi?3.4.5 Bagaimana seharusnya audit terhadap keluaran dan manfaat dari

pertanggunjawaban badan pemerintah non-pusat?

4. Strategi AuditPengantar

4.2 Objektif, permasalahan, dan pertanyaan audit4.2.1 Objektif4.2.2 Permasalahan4.2.3 Pertanyaan Audit4.2.4 Hipotesis4.2.5 Detail lain dan betuk Audit4.3 Audit4.3.1 Pilihan Metode Audit

4.3.2 Metode4.3.3 Metode Matrik

5. Analisis Tujuan dan Informasi KebijakanPengantarTujuan KebijakanUmumRenkonstruksi dan Operasionalisasi Tujuan KebijakanStandar Tujuan KebijakanPenyusunan Formulasi Tujuan KebijakanRekomendasiInformasi KebijakanUmumArti Informasi Kebijakan?Sumber Informasi dalam keluaran dan ManfaatKualitas Informasi Kebijakan (sebagai Produk)Kualitas Informasi kebijakan (sebagai Proses)Penyusunan manfaat pembuatan informasi kebijakanPemeriksaan untuk penyusunan tujuan kebijakan dan informasi kebijakanPembagian Informasi kepada Dewan Perwakilan RakyatPoin menarik lainnyaRekomendasi

6 Audit pencapaian Objektif (dan pencapaian tujuan kelompok)6.1 Pengantar6.2 Audit pencapaian dari Objektif6.2.1 Definisi permasalahan dan pertanyaan audit6.2.2 Kriteria6.2.3 Desain Audit6.2.4 Indikator kinerja6.2.5 Indikator manfaat6.2.6 Rekomendasi6.3 Audit pencapaian tujuan kelompok6.3.1 Definisi permasalahan6.3.2 PertanyaanAudit6.3.3 Kriteria6.3.4 Desain Audit6.3.5 Indikator tujuan kelompok6.3.6 Rekomendasi

7 Audit EfektifitasPengantarPermasalah Audit dan pertanyaan AuditKriteriaDesain AuditMetode AuditIndikatoe Efektifitas

Rekomendasi

8 AuditEfisiensi8.1 Pengantar8.2 Format Audit Efisiensi8.2.1 Objektif8.2.2 Definisi permasalahan dan pertanyaan audit8.2.3 Kriteria8.2.4 Rekomendasi8.3 Istilah8.3.1 Manfaat,keluarandanmasukan8.3.2 Perbandingan8.3.3 Kualitas8.3.4 Penjelasan8.4 Pengertian batasan dari subjek audit8.4.1 umum atau operasional objektif?8.4.2 Kaluaran atau manfaat?8.5 Pengumpulan data8.5.1 Kualitas data8.5.2 Data dalam manfaat atau keluaran8.5.3 Masukan8.5.4 Kualitas8.5.5 Menemukan dan menggunakan penjelasan8.6 Perhitungan Efisiensi8.6.1 Indikator Efisiensi8.6.2 FDH, DEA dan SFA8.6.3 Akuntansi Diferensial dalam efisiensi

Pendahuluan

Audit daya guna dan tepat guna yang dilaksanakan oleh Pengadilan Audit

Belanda sudah sangat berubah sejak Audit Capaian Manual yang pertama telah

diterbitkan 1996. Tentu saja, proses perubahan ini masih berlangsung, sebagian besar

dalam kaitan dengan faktor internal dan eksternal yang utama. Faktor eksternal yang

utama telah menjadi pengundangan dari Undang-undang Akuntansi Pemerintah tahun

2001 dan penerbitan suatu dokumen kebijakan berjudul dari anggaran kebijakan ke

tanggung-jawab kebijakan.

Faktor internal yang paling utama telah menjadi misi dan strategi pengadilan

tersebut. Manual ini telah dipahami/dikandung sebagai strategy-neutral dokumen, dan

berisi informasi atas analisa sasaran hasil kebijakan dan informasi kebijakan, dan

studi keluaran, hasil dan penjelasan. pokok ini mungkin untuk mempengaruhi ke

tingkat derajat yang lebih besar atau lebih sedikit atas strategi yang diadopsi oleh

pengadilan itu. Gagasan adalah bahwa auditor harus mampu untuk memilih dari

bagian manual yang mempunyai hubungan erat atas audit yang mereka sedang

berniat untuk melaksanakan.

Start yang manual dengan penguraian kerangka itu, di mana pengadilan

menyelesaikan audit daya guna dan tepat guna, dan dengan penjelasan terminologi

yang paling utama.

Manual juga menguraikan jenis keputusan yang dapat Anda ambil ketika

perencanaan dan pelaksanaan atas suatu audit efisiensi atau audit efektivitas.

Bagaimana Anda melakukan ini sangat tergantung atas sifat alami masalah dan daerah

di mana audit diharapkan untuk diselenggarakan. Karena ini memberi alasan, manual

tidak berisi manapun peraturan yang tidak dapat diubah untuk audit strategies. Apa

yang Anda akan harus lakukan pada setiap kasus adalah untuk menjelaskan secara

detil berapa banyak audit yang Anda rencanakan untuk dilakukan ( dan ini dapat

terbentang dari hanya mengenali apakah sasaran hasil dari kebijakan ditentukan telah

dicapai, untuk assesing dampak yang sosial dan berharga), data macam apa yang

Anda rencanakan untuk dikumpulkan, bagaimana rencana Anda untuk melakukannya

dan bagaimana rencana Anda untuk menelitinya seperti yang dapat Anda lakukan

saat menjawab pertanyaan audit itu.

Standard penyimpanan yang diatur oleh Pengadilan Audit Belanda untuk

tindakan pemerintah adalah suatu faktor penting ketika saat untuk merumuskan

kesimpulan. Audit Daya guna dan tepat guna datang dengan standard yang telah

ditetapkan untuk memperbaiki assesing perumusan sasaran hasil kebijakan ( lihat

bagian 5.2.3) dan mutu informasi kebijakan ( lihat bagian 5.3.4). Tidak ada ukuran

umum yang telah di-set untuk menaksir cara yang ditempuh oleh keluaran dan hasil

yang telah dirumuskan. Dalam hal ini, Anda akan harus merumuskan standard yang

spesifik milik Anda, berdasarkan pada sasaran hasil yang dinyatakan dan pengaturan

buatan relevan bidang kebijakan ( lihat juga bagian 6.2.2). Penerapan yang sama

berlaku secara umum bisa dikatakan kepada penilaian efektivitas kebijakan

pemerintah ( lihat bagian 7.3). Dalam rangka menjamin konsistensi didalam cara yang

perumusan standard, telah disusun (UU) dalam wujud suatu database standard; tiap-

tiap regu audit berkewajiban mengkonsultasikan database ini ketika penyusunan suatu

proposal audit dan untuk menyuling nya satu kali ketika audit telah diselesaikan.

Audit Capaian Manual Ini menggantikan Audit Capaian Manual ( 1996),

Audit Keluaran Kebijakan Manual ( 1997) dan Audit Efisiensi Manual ( 2001).

Pengarang dari manual ini sudah menggunakan material dari semua tiga manual

sebelumnya. Manual telah dirancang untuk menghubungkan dengan material

menggunakan kursus atas metode dan teknik audit.

1 Pengenalan

1.1 Audit Daya guna dan tepat guna yang diselenggarakan oleh Pengadilan Audit

Belanda

Audit Daya guna dan tepat guna yang diselenggarakan oleh Pengadilan Audit

Belanda dirancang untuk mengukur keluaran dan hasil. Ada sejumlah jalan yang

berbeda untuk melihat keluaran dan hasil, bagaimanapun: kita dapat meneliti tingkat

derajat itu kepada badan mana yang dimasalahkan telah mencapai sasaran hasil nya,

kita dapat meneliti efektivitas kebijakan dan kita dapat meneliti efisiensi hasil dan

keluaran. 1 Ini jenis audit yang berbeda adalah layered: dalam rangka audit

efektivitas kebijakan pemerintah, asumsi adalah bahwa Anda telah mempunyai

informasi atas tingkat derajat bagi pemerintah yang telah sukses dalam mencapai

kebijakan nya mengarahkan. Sebagai tambahan, suatu kesadaran efektivitas kebijakan

diperlukan dalam rangka menjangkau suatu penghakiman atas efisiensi hasil itu.

Bertentangan terhadap latar belakang ini, jenis audit yang berbeda - berkisar antara

mengukur sukses badan tertentu dalam mencapai sasaran hasil kebijakan nya serta

mengukur efisiensi nya dalam pelaksanaannya- pertumbuhan keduanya lebih rumit

dan menuntut waktu yang lebih, dalam kaitan dengan mutu informasi kebijakan

kepada apa kebijakan tersebut didasarkan.

1.1.1 Sudahkah sasaran hasil telah dicapai?

Suatu audit prestasi sasaran hasil melibatkan analisa situasi sosial yang nyata

atas kebijakan yang telah diterapkan, dan membandingkan sasaran hasil kebijakannya,

yaitu. Menciptakan kebijakan situasi social yang diterapkan. Tidaklah mungkin,

bagaimanapun, untuk menetapkan suatu peristiwa kebetulan menghubungkan antara

capaian pemerintah dan derajat tingkat efek tertentu yang mana telah diproduksi.

Dengan kata lain, itu tidak mengijinkan Anda untuk membuat pengumuman apapun

tentang tingkatan yang mana dari suatu kebijakan menteri yang telah menjadi sukses

atau tidak. Audit jenis ini terutama relevan sekali kepada pengadilan Irimkan ( yaitu.

meningkat;kan operasi pemerintah pusat dan/atau para orang tentang undang-undang

dengan tugas menurut undang-undang) jika itu adalah layak untuk diharapkan, badan

pemerintah yang bermasalah telah menikmati, hanya membatasi sukses dalam

mencapai tujuan nya atau jika Anda ingin membangun suatu platform untuk suatu

analisa yang mendalam mengenai efektivitas kebijakan pemerintah.

Karena alasan ini, strategi yang diuraikan di bab 6 untuk menaksir prestasi sasaran

hasil adalah seterbuka mungkin ke audit efektivitas yang lebih tepat. 2

Dalam beberapa kasus, itu adalah hal baik untuk terlalu awal maupun mustahil

untuk pertimbangan lain menetapkan apakah sasaran hasil yang terakhir telah dicapai, dalam

1 Ada juga jenis audit keempat: suatu analisa tingkatan target kelompok telah dicapai. Audit jenis ini dibahas bab 6; lihat juga bagian 1.2.2 di bawah

2 Lihat juga Lulofs dan Schuddeboom

hal mana saja yang mungkin berguna bagi usaha dan menetapkan apakah auditee telah

mencapai tonggak mil tertentu yang sudah dikenal sepanjang jalan. Ini dapat juga menjadi

penting ketika suatu menteri tidaklah bertanggung jawab atas prestasi mengenai tujuan yang

ditentukan, tetapi adalah bertanggung jawab untuk memastikan bahwa tonggak tertentu

dicapai.

Ini berlaku khususnya ke audit pemberian kemudahan. Pertanyaan kunci di

sini adalah apakah kondisi-kondisi sudah bekerja, bahwa menteri telah menaruhnya

pada tempatnya dalam rangka memastikan bahwa kebijakan pemerintah diterapkan

dengan baik oleh otoritas regional, lokal atau provinsial. Dengan kata lain, audit

pemberian kemudahan memperhatikan langkah-langkah intermediate/antara di dalam

rantai kebijakan, langkah-langkah antara peran yang dilakukan oleh pemerintah pusat

di dalam menciptakan kondisi-kondisi yang benar untuk kebijakan dan pekerjaan

yang dilakukan oleh organisasi dan otoritas lokal.

Di dalam suatu pengaturan di mana pembuatan kebijakan telah

terdesentralisasi, audit pemberian kemudahan membentuk suatu komplemen

sempurna ke audit capaian pemerintah pusat. Menteri yang bermasalah secara

langsung dapat dipertanggungjawabkan jika pekerjaan tentang kementeriannya telah

ditemukan tidak mempunyai berbagai efek apapun atas kemungkinan bagi otoritas

lokal. Ini mungkin menjelaskan mengapa efek social tertentu belum dicapai atau

belum mencapai ke derajat tingkatan yang cukup.

1.1.2 Adakah target kelompok yang telah dicapai?

Di dalam situasi praktis tertentu, mungkin sukar membuktikan untuk

menetapkan apakah sasaran hasil umum tertentu, seperti ' memelihara alam[i] di

(dalam) Netherlands', telah dicapai. Apa yang dapat Anda lakukan pada kasus yang

sedemikian adalah menetapkan kesuksesan auditee dalam mencapai tonggak mil atau

tujuan sekunder tertentu. Salah satu dari kemampuan nya ini untuk menjangkau

kelompok target nya.

Suatu kemampuan audit pemerintah untuk menjangkau kelompok targetnya mungkin

sesuai jika kebijakan di dalam keraguan diharapkan untuk menghasilkan individu atau

kelompok tertentu yang mempertunjukkan jenis perilaku tertentu . Dalam kasus yang

demikian, kebijakan adalah efektif jika mempunyai suatu dampak pada sisi kanan orang-

orang. Ini berarti target kelompok yang sudah dikenal harus berhubungan dengan kebijakan

itu dalam beberapa cara yang lain.

Selagi pencapaian kelompok target itu bukanlah juga suatu kondisi yang

cukup untuk menuju keberhasilan sasaran hasil kebijakan tersebut, itu sangat mau

tidak mau bahwa ini akan dicapai jika, baik kelompok target maupun para perantara

relevan belum dicapai. Secara teoritis, itu adalah mungkin untuk meliputi dampak

audit apapun dari kebijakan pemerintah adalah suatu pengujian tingkatan auditee yang

telah sukses didalam mencapai baik target nya maupun para perantara relevan.

1.1.3 Audit Efektivitas

Ketika Pengadilan melaksanakan suatu audit efektivitas, tujuannya adalah

untuk menetapkan apakah kebijakan pemerintah yang bermasalah pasti mempunyai

efek yang diinginkannya. Istilah ' efek' meliputi keluaran kedua-duanya dan hasil

yang dicapai atas pertolongan keluaran ini.

Audit Efektivitas begitu kompleks, sebagiannya karena kebijakan rantai mungkin

lama dan sebagiannya lagi karena mungkin ada faktor eksternal di tempat kerja, itu dapat

mempengaruhi tujuan terakhir dari kebijakan yang bermasalah. Seringkali suatu rangkaian

langkah-langkah yang utuh antara keluaran pemerintah dan situasi sosial yang akhirnya

diciptakan. 3 Semakin banyak langkah ada didalam rantai yang mendorong ke arah hasil atau

keluaran ditentukan, semakin sulit untuk menetapkan hubungan peristiwa kebetulan dengan

kebijakan pemerintah. Dalam banyak kesempatan, hasil bukan sekedar hasil kebijakan yang

dikejar oleh menteri, tetapi dipengaruhi oleh factor yang lain. Sebagai contoh, apakah wanita-

wanita dewasa sukses kembali ke pasar pekerja? tergantung tidak hanya pada ukuran yang

diambil untuk meningkatkan jasa penempatan untuk wanita-wanita seperti itu , tetapi juga

pada berbagai faktor ekonomi-sosial.

1.1.4 audit efisiensi

3 Tunjangan lingkungan adalah contoh. Rantai dari keluaran ke dampak sosial meliputi satu rangkaian langkah-langkah intermediate seperti pembayaran tunjangan, kesadaran kelompok target akan keberadaan tunjangan, keputusan yang diambil oleh kelompok target untuk membeli produk yang bermasalah, penggunaan produk oleh kelompok target, dan perubahan lingkungan.

orang-orang tidak hanya tertarik apakah suatu output dari suatu kebijakan tercapai, tetapi juga seberapa banyak mereka mengeluarkan biaya dan apakah biaya dapat dikurangi.Karena itu pentingnya dari pelaksanaan audit efisiensi, sebagai tambahan dari audit keluaran dan hasil. Jadi audit boleh terkonsentrasi baik pada hasil dan keluaran yang dihasilkan dari implementasi kebijakan pemerintah. Pada kasus sebelumnya, audit dicocokkan ke arah menetapkan keefektifan biaya hasil kebijakan pemerintah, sedang tujuan kasus berikutnya adalah untuk mengukur efisiensi keluaran yang dihasilkan oleh implementasi kebijakan pemerintah, pertanyaannya adalah apakah:Hasil atau keluaran yang sama bisa diperoleh dengan sumber daya yang lebih sedikit, atauSumber daya yang sama bisa memberikan hasil atau keluaran yang lebihPada praktiknya, istilah ‘efisiensi kebijakan’ dan ‘efisiensi manajemen operasional’ digunakan juga. Yang awal berhubungan dengan kebijakan, sedang yang terakhir berhubungan dengan keluaran kebijakan.

Peraga 1.1 proses produksi sektor publikPeraga 1.1 menunjukkn hubungan antara efisiensi dan efektivitas audit pada satu sisi dan berbagai aspek sektor-publik proses produksi pada sisi lainnya. Peraga tidak mencakup audit dari pencapaian sasaran atau pencapaian dari kelompok target. Ini mungkin dianggap sebagai subtipe audit efektivitas. Baik yang diharapkan serta keluaran dan hasil yang nyata berperan dalam peraga diatas.

1.2 ringkasan isiBab 2 membahas kerangka legislatif yang mempengaruhi audit efisiensi dan efektivitas. Di bawah konstitusi belanda, pengadilan audit belanda menikmati posisi yang independen pada sistem konstitusi belanda. Tugas pengadilan dan wewenang diatur oleh peraturan akntansi pemerintahan. Bab ini menjelaskan bagaimana posisi konstitusi pengadilan dan kewajiban serta wewenangnya mempengaruhi pekerjaannya di dalam melakukan audit efisiensi dan efektivitas.

Efisiensi dimana hasil telah dicapaiEfektivitas biaya

Efisiensi dimana keluaran telah diproduksiefisiensiHarga rendah

ekonomi

InputPegawai, peralatan, dan uang

OutputProduk dan servis

ThroughputProses produksi

Outcomesdampak

Efektivitas dari kebijakanefektivitas

Bab 3 membahas objek dari audit: apa yang merupakan langkah proses produksi pada sector public, dan tipe keluaran dan hasil seperti apa yang diperiksa oleh pengadilan dalam auditnya? Bab ini juga menjelaskan bagaimana untuk memilih antara tipe audit yang berbeda: audit pencapaian tujuan, audit pencapaian kelompok target, audit efektivitas dan audit kinerja.Bab 4 adalah tentang mengumpulkan dan menganalisis data untuk tujuan audit efisiensi dan efektivitas. Bergantung pada masalah yang dihadapi dan tipe audit yang dipilih, kamu bisa menggunakan bermacam-macam cara pengumpulan data untuk membuat pengumuman tentang hasil dan keluaran. Bergantung dari metode pengumpulan yang kamu pakai, kamu dapat menggunakan macam-macam metode analitis untuk membuat penjelasan yang mungkin dari pertentangan dari hasil dan keluaran. Macam-macam metodenya dibahas dalam bab ini.Bab 5 menggarisbesarkan macam-macam metode untuk mengaudit tujuan kebijakan (yaitu hasil dan keluaran apa yang ingin diproduksi) dan menjelaskan standar yang digunakan untuk menilai informasi kebijakan.Bab 6 sampai 8 menjelaskan bagaimana kamu dapat menggunakan baik informasi kebijakan atau data yang kamu kumpulkan sendiri untuk mengaudit hasil dan keluaran. Definisi masalah, standar, desain audit dan rekomendasi yang mungkin didiskusikan untuk semua tipe audit.

2. kerangka umum untuk audit efisiensi (daya guna) dan efektivitas (tepat guna).2.1 pendahuluanKonstitusi belanda menjamin independensi pengadilan audit belanda dalam sistem Negara konstitusional. Wewenang dan tugasnya diatur dalam peraturan akuntansi pemerintah 2001.2.2 kerangka legislatif2.2.1 tugas dari pengadilan audit belandaKonstitusi belanda melaporkan bahwa pengadilan audit belanda akan bertanggung jawab untuk menguji pendapatan dan pembelanjaan Negara. Di bawah konstitusi, organisasi, komposisi dan wewenang dari pengadilan audit belanda diatur oleh keputusan parlemen yaitu peraturan akuntansi pemerintahan 2001. Peraturan berikutnya juga berisi rincian audit dimana pengadilan diberi wewenang untuk melaksanakan. Konstitusi juga melaporkan bahwa hukum khusus mungkin akan ditetapkan dalam rangka menugaskan kewajiban tambahan dari pengadilan audit.Berdasar pasal 85 dari peraturan akuntansi pemerintah, pengadilan audit diperlukan untuk menguji efisiensi dan efektivitas dari yang ditargetkan oleh kebijakan, dan efisiensi dari dari finansial dan manajemen material, dari arsip untuk tujuan ini dan dari organisasi pemerintah pusat.Berdasar pasal 91 peraturan akuntansi pemerintah 2001, pengadilan mempunyai kuasa audit tertentu dalam hubungannya terhadap badan hukum dengan tugas menurut undang-undang atau memiliki hubungan finansial dengan Negara.Pasal 92 dari peraturan akuntansi pemerintah 2001 memberi kuasa pada pengadilan untuk mengaudit organisasi yang telah diberi dana EU.Yang terakhir, pasal 90 dari peraturan akuntansi pemerintah 2001 memberikan pemerintah kekuasaan untuk meminta pengadilan untuk menyelesaikan audit spesifik

tertentu.

2.2.2 wewenang dari pengadilan audit belandaPengadilan audit belanda memiliki jangkauan kekuasaan yang luas dalam melaksanakan audit terhadap departemen pemerintah. Berdasar pasal 87 dari peraturan akuntansi pemerintah 2001, pengadilan audit belanda boleh, sepanjang wewenang ini sebagai hal yang penting bagi capaian tugas-tugasnya, memeriksa semua barang, arsip, dokumen, dan informasi pengangkut lainnya dengan cara yang mungkin mengatur. Menteri juga berkewajiban memenuhi pengadilan audit belanda dengan informasi-informasi yang membantu yang dianggap penting dalam pencapaian dari kewajibannya. Pengadilan juga memiliki kekuatan tertentu untuk mengaudit badan yang berhubungan dengan negara. Jika negara membayar sejumlah uang kepada suatu organisasi untuk tujuan tertentu, pengadilan diberi kuasa untuk mencari tahu untuk apa uang tersebut sebenarnya digunakan. Pada kasus dari badan hukum dengan tugas menurut undang-undang , wewenang pengadilan sebatas untuk memeriksa pencapaian dari tugas menurut undang-undang dengan mengajukan pertanyaan (yang berarti bahwa tidak berhak untuk melihat aktivitas lain yang dilakukan oleh organisasi yang sama).Pengadilan audit belanda tidak menerbitkan suatu keputusan tiap tahun atas efisiensi dan efektivitas yang ditargetkan pemerintah. Ketiadaan efisiensi atau efektivitas dalam usaha pencapaian kebijakan tidak dengan sendirinya membentuk alasan-alasan suatu keberatan formal, karena adanya kuasa untuk mengambil tindakan ketika melakukan suatu audit keteraturan. Jika auditor pengadilan menolak manajemen material dan finansial yang ditargetkan, atau pada pernyataan yang berkaitan (lihat pasal 88 dan 89 dari peraturan akuntansi pemerintah 2001).2.2.3 tanggung jawab administratifPrinsip yang mendasari audit yang dilaksanakan oleh pengadilan audit belanda adalah bahwa menteri bertanggung jawab atas peraturan pemerintah (lihat artikel 42 dari konstitusi) dan, pada kasus audit dari badan hukum dengan tugas menurut undang-undang, bahwa badan yang mengatur entitas itu bertanggung jawab atas tindakannya.Banyaknya pasal pada peraturan akuntansi pemerintah 2001 secara rinci disesuaikan pada tanggung jawab menteri untuk efisiensi dan efektivitas kebijakan pemerintah. Berdasar pasal 20 (1) dari undang-undang, pemerintah bertanggung jawab atas efektivitas dan efisiensi kebijakan yang mendasari anggaran mereka. Cara yang ditempuh oleh tanggung jawab kementrian umum ini diterjemahkan ke dalam tindakan praktis tergantung pada tingkat dimana berbagai operasional dikembangkan, baik pada badan hukum dengan tugas menurut undang-undang maupun otoritas lokal. Pengertian dari tanggung jawab umum ke khusus adalah elemen pemandu yang penting pada audit efektivitas dan efisiensi dari pengadilan (lihat bab 3 untuk info lebih jauh mengenai aspek ini). Pasal 20 (2) dari undang-undang mengatur bahwa menteri bertanggung jawab untuk memimpin audit reguler dari efektivitas dan efisiensi kebijakannya. Departemen keuangan dan masalah ekonomi berperan mengkoordinasikan peran dalam semangat ini (lihat keputusan departemen keuangan dan masalah ekonomi). Berdasar pasal 20 (3) undang-undang, menteri diperlukan

untuk menginformasikan pengadilan audit Belanda dalam waktu yang tepat te4ntang efisiensi dan efektivitas audit yang mereka pesan, dan tentang penemuan mereka.8

Tingkat tanggung jawab yang dilahirkan oleh dewan manajemen tentang undang-undang dengan tugas menurut undang-undang untuk aplikasi uang pemerintah yang dibayar kepada mereka atau untuk pemecatan dari tugas-tugas menurut undang-undang mereka ( sepanjang mereka seperti/ketika dibiayai dari retribusi menurut undang-undang) yang menentukan lingkup pelaksanaan audit entities.2.2.4 Dari anggaran kebijakan ke tanggung-jawab kebijakanSuatu dokumen kebijakan pemerintah berjudul Dari anggaran kebijakan ke tanggung-jawab kebijakan ( VBTB) telah diterbitkan akhir tahun 1990 dengan tujuan memperkuat aspek kebijakan pernyataan anggaran. Model manajemen yang mendasari operasi VBTB adalah result-based: pemerintah seharusnya mulai bertindak sebagai jawaban atas capaian kementerian dan dampak capaian mereka.9

Tentang keterkaitan tertentu pada manual ini atas audit efisiensi dan efektivitas adalah bagian kebijakan di dalam laporan tahunan dan anggaran yang baru. Artikel kebijakan, yang merupakan bagian dari sektor kebijakan, dimaksudkan untuk menjawab pertanyaan yang berikut:

Apa yang kita inginkan untuk mencapai ( yang dinyatakan dalam kaitan dengan hasil kebijakan yang telah dirancang)? Sudahkah kita mencapai yang ingin kita capai?

Apa yang kita lakukan untuk mencapai tujuan? Sudahkah kita melakukan apa yang seharusnya kita lakukan?

Berapa banyak kemungkinan biayanya? Sudahkah biaya tersebut seperti apa yang kita perkirakan?

2.2.5 Data Kinerja Pemerintah pusat Belanda dan peraturan studi evaluatif Data Kinerja Pemerintah Pusat Belanda dan Peraturan Studi Evaluatif telah diterbitkan Februari 2001.10Hal ini secara jelas dihubungkan dengan dokumen kebijakan atas operasi VBTB.Peraturan dari menteri keuangan, menyediakan lebih terperinci informasi atas sejumlah ketentuan dalam Peraturan Pertanggungjawaban pemerintah, yang juga berhubungan erat dengan pengadilan audit efisiensi dan efektivitas. Halaman 9 berisi instruksi untuk:

Penggunaan alat evaluasi yang terintegrasi Argumentasi yang harus diperhitungkan ketika mendirikan/memulai suatu ex-

ante evaluasi Tingkat dan frekwensi dengan mana kebijakan harus diperlakukan untuk

reguler ex pos facto evaluations ( yaitu kelengkapan dan kecenderungan waktu tertentu)

48 Perbandingan tanggung jawab dalam hubungannya dengan manajemen operasional yang di set dalam Sector 21 Peraturan Akun Pemerintah tahun 2001

9Van deer Knap (2000)10 Pesanan,yang mana telah diformulasikan pada bagian dalam pembangunan dari Laporan Audit Pengadilan Belanda yang berjudul Organisasi dari evaluasi kebijakan (Maret 2000),menggantikan indicator manual yang diterbitkan pada tahun 1994

Metodologi mutu alat evaluasi dan cara yang ditempuh oleh informasi kebijakan disiapkan

Cara yang ditempuh oleh menteri, menyatakan para sekretaris dan pegawai sipil senior diberitahukan penemuan tentang evaluasi reguler, dan

Masing-Masing tanggung jawab kementerian untuk memastikan bahwa tugas ini diterapkan dengan baik.

Pesanan mengambil istilah ‘alat evaluasi’ yang mencakup sistem yang menyediakan informasi data kinerja standar dan evaluasi reguler. Kedua informasi persediaan atas efisiensi dan efektivitas pada kebijakan menteri ( dan atas efisiensi suatu manajemen operasional kementrian), dimana mengapa mereka adalah sumber informasi yang penting untuk pengadilan dalam menaksir informasi kebijakan dan jenis informasi lainnya.

3. Pokok Audit dan Jenis Audit

3.1 Pengenalan

Audit atas efisiensi dan efektivitas yang dilakukan oleh Pengadilan Audit Belanda dirancang untuk menjawab pertanyaan yang berikut : sudahkah tujuan tercapai? ( dalam kaitan dengan output dan/atau outcomes), sudahkah tujuan yang dicapai sesuai dengan kebijakan yang diinginkan oleh kementerian yang dipertanyakan, dan apakah kebijakan tersebut efisien? berdasarkan proses produksi sector publik, bab ini menjelaskan aspek yang mana yang harus diperhitungkan ketika merancang audit untuk menguji output dan/atau hasil.3.2 Proses produksi sector publik

Dalam audit atas efisiensi dan efektivitas , dewan kehormatan yang bekerja di sector publik ( yaitu. pemerintah pusat bersama-sama dengan badan-badan hukum dengan tugas menurut undang-undang) terutama sebagai proses produksi. Ini merupakan suatu proses yang terdiri dari empat aspek: input,throughput,output dan outcome. Dengan kombinasi audit yang berbeda, kamu dapat menarik kesimpulan tentang prestasi sasaran hasil dan mencapai kelompok target, dan atas kebijakan efisiensi dan efektivitas dan efisiensi dari target manajemen operasional. Audit prestasi sasaran hasil dan mencapai kelompok target dan efektivitas sektor publik adalah sesuatu yang membandingkan kombinasi yang relevan dengan tujuan kebijakan pemerintah.Hal ini telah diuraikan dalam bab 1.input throughpu

toutputs outcomes

Staf,peralatan dan uang

Proses produksi

Produk dan jasa

dampak

Gambar 3.1. Proses produksi sector public (sumber : Menteri Keuangan,2001,amandemen;lihat juga Bouckaert,1999)

Tidaklah selalu memungkinkan untuk membuat suatu pembedaan yang jelas antara output dan hasil. Di banyak instansi, ada suatu rantai output dan outcome, dan jika tepatnya garis pembagian ditarik akan menghasilkan suatu persetujuan. Jika kamu harus membuat pembedaan seperti itu dalam suatu pemeriksaan, kamu seharusnya dalam situasi apapun datang untuk menyelesaikan suatu persetujuan secara jelas dengan suatu kementerian yang dipertanyakan seperti di mana dengan tepat tanggung-jawab menteri dari manajemen manajemen badan-badan hukum berakhir.

Output Atau Outcome?

Salah satu tugas (atau sasaran hasil kebijakan) tentang Pusat untuk Pekerjaan Dan Pendapatan adalah untuk menemukan pekerjaan untuk orang-orang yang menganggur. Sampai di sini, pusat memberitahukan peluang para pencari kerja. Apakah tindakan ini dengan sendirinya suatu output, atau apakah itu menjadi suatu output hanya sekali ketika tanda penganggur suatu ketenaga-kerjaan kontrak? Atau apakah tindakan yang belakangan adalah suatu outcome? Juga, apakah jenis tindakan mungkin berbentuk sebagai konstituti suatu output atau outcome? Apakah ketika seorang pencari kerja menerima suatu pekerjaan, atau hanya sekali ia atau dia tengah bekerja untuk suatu periode tertentu waktu?3.2.1 Output

Output secara umum, dan output kebijakan khususnya, adalah hasil dari proses operasi yang digunakan oleh suatu organisasi dalam mencari-cari untuk mencapai sasaran tujuan kebijakan nya.

Output Pemerintah pusat

Output Pemerintah pusat adalah hasil proses operasi yang digunakan oleh suatu organisasi pemerintah pusat atau departemen yang dimaksudkan untuk ’dunia luar’; hasil tersebut dihubungkan dengan organisasi atau tujuan kebijakan departemen. Output Pemerintah pusat meliputi suatu sisi jajaran produk dan jasa. Beberapa di depan umum, aktivitas yang terlihat, yaitu aktivitas yang dirasakan oleh warganegara, organisasi masyarakat sipil dan perusahaan,sebagai contoh: dana, retribusi dan informasi kampanye publik. Yang lainnya adalah dukungan pelayanan disediakan oleh kementerian kepada bukan badan pemerintah pusat seperti otoritas lokal, badan hukum dengan tugas menurut undang-undang dan otoritas administratif otonomi. Seperti jasa meliputi menetapkan perundang-undangan, menandatangani perjanjian, berlatih pengawasan ( sebagai contoh, tentang capaian dari otoritas lokal atau orang badan hukum dengan tugas menurut undang-undang), perancangan suatu sistem komputer atau pengumpulan relevan informasi kebijakan.Sebagian dari output ini lebih internal dibanding eksternal dan untuk alasan ini akan nampak seperti lebih baik disesuaikan untuk suatu peninjauan ulang manajemen. Pada

waktu yang sama, output jenis ini , seperti perancangan suatu sistem komputer untuk merekam surplus pupuk, bisa jadi sungguh satu-satunya jenis aktivitas pemerintah pusat yang mungkin layak diharapkan untuk melaksanakan suatu pemberian dalam bidang kebijakan. Dalam hal ini juga relevan output untuk mencapai suatu outcome eksternal tertentu.

Dukungan pelayanan disajikan terutama sekali dalam hubungan dengan kebijakan yang telah didesentralisasi di dalam terminologi fungsional atau mengenai ilmu bumi yang manapun . Dalam hal ini, output eksternal yang riil yaitu. outcome yang dikirimkan ke warganegara, organisasi masyarakat sipil dan perusahaan firma yang membentuk target audit efisiensi dan efektivitas yang utama yang dilakukan oleh badan pemerintah pusat seperti otoritas lokal, badan hukum dengan tugas menurut undang-undang dan otoritas administratif otonomi.11 5

Output Pihak ketiga

Output Pihak ketiga adalah hasil proses operasi yang digunakan oleh bukan organisasi pemerintah atau departemen yang dimaksudkan untuk ’dunia luar’; hasil tersebut dihubungkan dengan sasaran outcome kebijakan pemerintah pusat . Output ini yang terlihat di depan umum, yaitu yang dirasakan oleh warganegara, organisasi masyarakat sipil dan perusahaan. Di dalam kasus kebijakan yang mengarah pada mengurangi volume outcome barang sisa oleh perusahaan di Belanda, sebagai contoh, kebijakan pemerintah pusat output akan meliputi merumuskan perundang-undangan dan meletakkan pengaturan perijinan pada tempatnya untuk otoritas lokal. Di sini, outcome yang terakhir, yaitu mengurangi volume barang sisa, akan tergantung, inter alia, atas lisensi yang diwarisi oleh otoritas lokal ( yaitu. output). Contoh lain dari output pihak ketiga adalah banyaknya polisi baru ( yaitu suatu output dalam mendukung kebijakan keamanan pemerintah) dan banyaknya tempat yang tersedia kursus kewarganegaraan untuk imigran ( yaitu suatu output dalam mendukung kebijakan kewarga negaraan pemerintah).

Dalam banyak kasus, suatu otoritas provinsial atau lokal juga bertindak sebagai suatu perantara untuk para agen eksekutif. Dalam kasus ini, sebagai contoh, dengan kebijakan fasilitas panti asuhan.12 Pemerintah pusat mendistribusikan uang itu ke otoritas lokal, yang menyampaikannya ke pusat panti asuhan ( yang kedua-duanya adalah organisasi non-profit yang tidak mempunyai manapun ikatan dengan pemerintah). Pusat Panti Asuhan mengirim output riil, outcome yang mana adalah,

511Lihat juga De Groot dan Goudriaan (1991) untuk informasi pada pembedaan antara produk pertengahan dan produk akhir12Pemberhentian ini menjadi kasus ketika Basic Childcare Provision Act yang baru member pengaruh. Pendanaan sekarang disediakan secara langsung melalui para orang tua.13Lihat Turksema (2000)14Informasi lainnya dari badan hukum dengan tugas menurut UU (contohnya,dalam definisi, standard an proposal audit) bisa ditemukan pada situs Intranet yang relevan.15Lihat Pengadilan Audit (2001a) sebagai contoh.

sebagai contoh, suatu peningkatan dalam banyaknya para ibu yang tinggal membayar pekerjaan setelah melahirkan anak-anak.13

Di bawah kuasa-kuasa yang diwarisi untuk itu, pengadilan berhak untuk melakukan audit yang terpisah dari capaian badan hukum dengan tugas menurut undang-undang. Pada prinsipnya, seperti audit adalah tunduk kepada aturan yang sama ketika berlaku bagi audit capaian badan pemerintah pusat. Sesuatu yang ganjil untuk audit tentang badan hukum dengan tugas menurut undang-undang, bagaimanapun, fakta bahwa, sebagai lawan audit dari yang lain bukan badan pemerintah pusat yang bekerja untuk mendukung kebijakan pemerintah, pengadilan juga berhak mengaudit manajemen operasional mereka.14

Output heterogen

Output yang dikirimkan oleh pemerintah pusat dan non-badan pemerintah pusat mungkin adalah heterogen, berarti sebagai contoh bahwa mereka boleh berbeda kedua-duanya kompleksitas dan kualitasnya. Di mana jika output adalah heterogen, adalah penting untuk membedakan maka, sebagai contoh dengan pembagian output di atas sejumlah kategori homogen ( untuk informasi lebih lanjut pada bagian ini, lihat bagian 4.3.2.1)15

Adalah penting bagi auditor untuk memperhatikan mutu dan kompleksitas output yang mereka periksa. Hal ini adalah mungkin, sebagai contoh, bahwa suatu kenaikan di dalam volume output mungkin punya suatu akibat sampingan yang tak diinginkan dalam wujud suatu kemunduran dalam mutu mereka.

Auditabilitas

Hal ini biasanya diperlukan menjadikan agar lebih mudah untuk mengukur output dibanding outcome. Yang terpenting adalah bahwa informasi atas output biasanya telah tersedia atau secara wajar mudah untuk dikumpulkan. Bagaimanapun, kementerian mungkin berharap untuk mengetahui output apa yang mereka sudah kirimkan dalam menerapkan kebijakan mereka sendiri. Yang sama mungkin adalah diharapkan dari badan pemerintah pusat melibatkan implementasi kebijakan pemerintah, seperti para badan hukum dengan tugas menurut undang-undang dan otoritas provinsial dan lokal. Pemerintah pusat akan harus mengatur badan ini agar memastikan bahwa ia disediakan bersama dengan informasi yang penting, yang mana itu kemudian bisa diproses seperti yang diharapkan.

3.2.2 Manfaat (outcomes)

ManfaatManfaat kebijakan merupakan hasil yang dapat terlihat secara umum dijalankan oleh pemerintah pusat atau badan legal dengan tugas menurut undang-undang. Contoh dari manfaat adalah pengurangan emisi CO2 (yakni hasil yang diharapkan dari kebijakan pemerintah dalam perubahan iklim), pertambahan jumlah masyarakat yang merasakan keamanan di jalan (yakni

hasil yang diharapkan dari kebijakan pemerintah dalam hukum dan tata tertib) dan perkembangan dalam penyatuan etnis minoritas (yakni hasil yang diharapkan kebijakan penyatuan penduduk).

AuditabilitasManfaat sangat sulit untuk diaudit, sebagian karena sulit untuk dijumlahkan (contoh ‘fasilitas kesehatan publik di Netherlands) dan sebagian karena ini seringkali sulit untuk menentukan apakah manfaat tersebut dikarenakan kebijakan yang dijalankan oleh pemerintah pusat atau oleh badan legal dengan tugas menurut undang-undang. Selain itu, faktor lain berasal dari kementrian (atau bagian lain yang terlibat dalam implementasi kebijakan) yang kemungkinan dalam pekerjaannya membawa bagian dalam manfaat yang diberikan. Hal ini termasuk tren demografis (kependudukan) dan keadaan dalam pasar tenaga kerja. Diasumsikan, sebagai contoh, pemerintah pusat mendirikan Pusat Lapangan Pekerjaan untuk tempat bagi pengangguran mendapatkan pekerjaan. Apakah Pusat tersebut dapat memberikan pekerjaan bagi mereka tidak hanya tergantung pada kinerja Pusat itu sendiri, tetapi juga keadaan dalam pasar tenaga kerja (dalam istilah jumlah lowongan pekerjaan) dan, serupa dengan hal itu, iklim perekonomian secara umum( yakni tingkat ekonomi yang lebih baik, akan lebih banyak pekerjaan yang ditawarkan). Secara berurutran untuk mengukur efektifitas dari kebijakan, akan tetapi, anda perlu untuk mengeliminasi pengaruh dari faktor luar. Ini adalah tugas yang sulit, dimana terkadang lebih mudah untuk mengukur keluaran. Hal ini disayangkan, oleh karena itu, kami merekomendasikan, walaupun hal ini sulit, anda seharusnya mengukur keduanya baik keluaran maupun manfaat yang dihasilkan oleh mereka.6 Selain itu, kaluaran tidak membutuhkan hasil dari dampak sosial yang diharapkan. Sebaiknya, mereke membutuhkan keadaan, tetapi bukan keadaan yang cukup, untuk memperoleh harapan dari hasil akhir.

Pendapat audit terhadap manfaat juga penting karena menaikkan ketertarikan publik dan relevan dengan pertanyaan audit. Selain itu, warga negara tidak terlalu tertarik terhadap keluaran sebagai tingkat untuk memastikan bahwa permasalahan sosial telah terselesaikan. Tentu saja, kementrian dapat menyelenggarakan perhitungan untuk itu.

Alasan katiga untuk mengukur manfaat karena resiko dari kinerja yang dijalankan manajemen mungkin menyimpang jauh dari tujuan utama kebijakan. Hal ini dikenal sebagai ‘performance paradox’. Sebagai contoh, jika pendanaan universitas didasarkan pada jumlah kelulusan, hal ini mungkin menghasilkan kecenderungan untuk menjatuhkan standar akademis. Keseluruhan rantai audit dari keluaran dan manfaat seharusnya mengidentifikasikan tren ini, sebagai contoh karena generasi lulusan akan

6 Sebagai contoh kasus dimana perhatian maksimum dari manfaat dan keluaran terhadap subsidi pembayaran gaji tenaga kerja terhadap seluruh deretan merupakan audit pekerjaan lapangan pada tahun 1996. Audit ini melihat jangklauan dari alat untuk mengurangi pengangguran dan mengukur keduanya baik keluaran maupun manfaat, antara lain kreasi pekerjaan tambahan, sejumlah orang keluar dari pekerjaan tambahan dan masuk ke dalam pekerjaan reguler.

lebih sulit dalam menemukan pekerjaan seteleh kekelulusan (Semua hal lain menyisakan hasil serupa).

Efek SampingBersamaan dengan anda memeriksa keluaran dan manfaat, ini mungkin penting untuk mengambil berbagai efek samping yang tidak terlihat, baik yang layak maupun tidak layak. Hal ini khususnya lebih relevan terhadap efek samping yang tidak layak.

Pengujian efek samping sangat rumit oleh karena secara teoritis bentuknya sangat terbuka, tidak dibatasi oleh tujuan kebijakan. Salah satu jalan yang mungkin untuk membatasi audit adalah dengan memfokuskan dalam efek samping dimana kebijakan pemerintah yang lain mencari cara untuk melawannya (antara lain dampak terhadap lingkungan yang tidak menguntungkan dikarenakan kebijakan ekonomi).

3.2.3 Sistem (throughput)

Istilah ‘throughput’ (yakni aktivitas) mengaju kepada semua tindakan yang diambil oleh kementrian atau badan pemerintah non-pusat dalam mengubah ‘input(masukan)’ (yakni sumber daya) menjadi kebijakan nyata-relasi outputs(keluaran). Dalam kata lain, sistem (throughput) berelasi ke implementasi dari kebijakan daripada hasil kebijakan tersebut (dimana dinyatakan sebagai keluaran dan/atau manfaat). Contoh dari sistem (throughput) adalah perancangan lisensi aplikasi, penyelenggaraan kursus pelatihan dan perekrutan anggota.

Bersamaan dengan pemeriksaan keluaran dan manfaat, ini mungkin penting juga untuk mengambil sistem (throughput) yang tidak terlihat. Selain itu, pilihan yang buruk dari aktivitas mungkin menyediakan penjelesan untuk keluaran dan/atau manfaat yang buruk.

3.2.4 Masukan (Input)

Masukan terdiri dari sumber daya yang digunakan untuk menghasilkan manfaat atau keluaran. Sumber daya diantaranya termasuk anggota, peralatan, pelayanan dari luar, dan pengeluaran dalam keduanya baik instrumen kebijakan keuangan maupun non-keuangan (antara lain bantuan, pinjaman dan operasi untuk informasi publik). Ini dipergunakan keduanya baik untuk pemerintah pusat maupun badan pemerintah non-pusat.

Secara berurutran utuk mengukur efisiensi dengan sumber daya yang telah digunakan, semua jenis sumber daya perlu untuk dinyatakan dalam cara yang sama. Cara paling mudah dalam menyatakannya dalah dengan istilah moneter. Ada dua cara untuk melakukan hal ini: dalam istilah biaya dan belanja. Belanja didefinisikan sebagai pembayaran yang digerakkan dengan obligasi.

Biaya, dalam hal lain, adalah nilai dari sumber daya yang dibutuhkan untuk tujuan dari manajemen operasional.

3.3 Penjelasan penyebab

Ketika pemerikasaan keluaran dan/atau manfaat, anda perlu mendapatkan gambaran mengenai penyebab potensial dari kinerja yang buruk atau ketidakefisienan. Anda mungkin membutuhkan informasi mengenai penyebab secara benar untuk membuat rekomendasi yang relevan kepada kementrian, pejabat resmi dengan tugas menurut undang-undang dan/atau Dewan Perwakilan Rakyat. Penyebab dari kinerja yang buruk atau ketidakefisienan berasal dari dalam( internal) atau luar (eksternal).

Penyebab internal adalah penyebab yang beasal dari kementrian itu sendiri dan/atau pada badan pemerintah non-pusat yang terlibat dalam implementasi kebijakan pemerintah.Penyebab diantaranya termasuk penyusunan formula kebijakan objektif yang tidak jelas atau berlebihan, menggunakan instrumen kebijakan yang salah, aktivitas kinerja yang salah dan menciptakan ketidakcukupan kondisi untuk efektifitas. Akan tetapi, karakteristik organisasi seperti tingkat keanggotaan dan kulitas anggota, juga hal yang merupakan penyebab internal.

Faktor Eksternal, yakni faktor dibawah kontrol dari pemerintah pusat atau badan pemerintah non-pusat dan sulit untuk dipengaruhi, mungkin juga berasal dari penyebab kinerja buruk atau ketidakefisienan. Contoh dari faktor eksternal adalah ketidakcukupan dukungan bagi kebijakan, kerumitan administratif (contoh kerumitan sistem keamanan sosial, kebijakan yang terdesentralisasikan dalam keduanya baik fungsiopnal maupun term geografis, tekanan pasar dan privatisasi), kesempatan yang tidak setara untuk memperkuat manfaat, tren lain dan kebijakan baru yang menetralisir berbagai dampak positif yang dibuat oleh kebijakan dan tren ekonomi.

Kami mempunyai penggabungan matrik untuk menyajikan jangkauan luas dari penjelasan yang mungkin. Sumbu vertikal terbagi dalam dua bagian, tergantung pada pengaruh dari pemerintah pusat yang mampu mempengaruhi. Dalam kenyataan, apa yang kami bicarakan mengenai hal ini adalah tanggung jawab dari kementrian. Sumbu Horisontal juga terbagi dari dua bagian, satu untuk kinerja yang buruk dalam istilah dari ketidakcukupan keluaran dan yang lainnya untuk kinerja yang buruk dalam istilah ketidakcukupan manfaat. Kami mengintepretasikannya dalam kata ‘outputs(keluaran)’. Selain itu, hal ini tidak berarti apa-apa bagi warga negara apakah kementrian atau badan eksekutif yang tidak mengerjakan pekerjaannya secara benar.

Table 3.1: Acuan penjelasanPenjelasan untuk output yang tidak memuaskan pada bagian dari pemerintah pusat dan badan terkait serta otoritas lokal.

Penjelasan untuk pengaruh sosial yang tidak memuaskan.

Yang berada dalam pengaruh langsung mentri.

PENGATURAN DAN PENERAPAN KEBIJAKAN

Ketidaksepadanan antara target output dengan waktu dan tenaga kerja serta sumber daya (terlalu berambisi)

Target tidak menyediakan pedoman yang mencukupi.

Target tidak memenuhi syarat SMART-C (specific, measurable, agreed upon, time-related and consistent with related targets).

Kebijakan yang terlalu banyak. Kebijakan yang bertentangan pada

bagian dari kementrian lain. Kerangka hukum yang tidak

memadai. Penyelenggaraan yang tidak

memadai. Masalah yang berkaitan dangan

pengelolaan operasional, yaitu tidak memadainya keuangan dan pengelolaan barang, fasilitas IT yang tidak memadai, serta ketidakteraturan.

Tugas dan wewenang yang tidak jelas.

Kekurangharmonisan antar divisi.

KUALITAS KEBIJAKAN Dasar teoritis yang tidak

memadai (ketidakcukupan pilihan instrumen atau tidak ada perhitungan mengenai efek samping)

Kurangnya adaptasi dalam merespon perubahan keadaan.

Output pemerintah pusat yang tidak memuaskan.

Yang berada diluar pengaruh langsung mentri.

KETERLIBATAN DAN PENERAPAN OLEH BADAN PEMERINTAH NON-PUSAT.

Kurangnya dukungan dari para pemegang saham (didalam /diluar pengaruh-harus ditentukan kasus per kasus).

Kebijakan yang bertentangan pada bagian dari EU/provinsi/kota

Perwakilan pemerintah tidak dapat melaksanakan apa yang ingin dicapai.

FORCE MEJEURE Kejadian dramatis

seperti perang, kecelakaan dan bencana alam.

Perkembangan ekonomi, demografi dan iklim.

Kebijakan yang bertentangan pada bagian pemerintah pusat, provinsi dan kota.

Keempat kategori didalam acuan tidak saling terpisah : ada beberapa tingkatan saling melengkapi, sebagai contoh dalam hal untuk menyediakan dukungan pemegang saham yang memadai ( sebagai contoh, apakah menteri bertanggung jawab akan hal ini, ataukah perhatian dari para pemegan saham saham sangat berbeda, sehingga sangat tidak bijaksana untuk menerima sang menteri untuk dapat memaksakanpengaruh langsung pada mereka?). Implikasi berlanjut menjadi bahwa kegagalan untuk menghasilkan output dapat juga menjelaskan mengapa outcome tidak tercapai.

3.4 Bidang dan metode auditBerdasarkan beberapa argumen, sebagai contoh teknis, strategi, dan pengelolaan, tim harus memutuskan tipe audit tertentu mana saja yang akan dijalankan. Bagian ini membahas beberapa aspek yang dapat menjalankan pengambilan keputusan.

3.4.1 Langkah apa yang harus melibatkan audit?Sebuah audit dimulai dangan menetapkan kebijakan mengenai sasaran, sebagai contoh apa yang ingin dicapai oleh menteri (output dan outcome yang ingin dicapai) dan apakah kebijakan sasaran telah memenuhi syarat SMART-C (specific, measurable, agreed upon, realistic and consistent with related object). Langkah selanjutnya melibatkan perolehan informasi pada output dan outcome sesungguhnya, yang dapat dipilih dengan menggunakan data yang tersedia, atau pada kementrian atau dimana saja.Data yang tersedia pada kementrian (informasi kebijakan) akan tidak diperlukan tidak selalu cocok untuk mencapai keputusan pada sifat output dan outcome yang dihasilkan kementrian. Dalam kasus itu, pertanyaannya adalah apakah pihak lapangan harus mencoba dan mengumpulkan data sendiri. Sangatlah penting untuk memikirkan dalam hubungan ini, mengumpulkan dan menganalisa data pada output dan outcome dalah sangat memakan waktu. Pada saat proposal audit disusun, pertama tim dan berikutnya manajemen dan dewan pengurus harus memutuskan apakah audit cukup penting (sebagai contoh, dalam syarat penambahan nilainya) untuk jasa penyebaran sejumlah besar staf.Itu juga dapat mencukupi, berdasarkan simpulan yang dilakukan saat prposal audit dibuat, untuk mendorong menteri untuk mengembangkan kualitas informasi kebijakan, dan untuk target audit pada aspek tertentu.Jika informasi tersedia dan memiliki kualitas yang baik, anda dapat menggunakannya untuk membuat keputusan, sebagai contoh, mengenai output dan atau outcome yang dicapai oleh pemerintah pusat maupun daerah.

3.4.2. Bagaimana anda memutuskan tipe audit mana yang akan digunakan?Saat mengukur output dan outcome, anda harus memilih dari keempat tipe audit yang berbeda yang telah didiskusikan diatas, sebagai contoh audit dari apakah sasaran telah tercapai, audit dari apakah sekelompok target telah tercapai, audit efektifitas dan audit efesiensi.Yang mana dari keempat tipe yang anda pilih bergantung pada faktor-faktor berikut, diantaranya:

Keadaan politik;

Kualitas sasaran kebijakan yang merupakan subyek audit;

Ketersediaan data audit dan informasi mengenai kebijakan;

Kompleksitas yang terjadi dilapangan atau panjangnya rangkaian kebijakan;

Sifat audit (apakah dirancang untuk menstimulasi auditan?);

Ketersediaan jumlah staf audit yang mencukupi dengan kualifikasi yang benar.

Kapan secara sederhana anda harus meminta menetukan apakah sasaran telah tercapai?

Sebuah audit untuk menentukan apakah sasaran tertentu telah tercapai atau tidak, dapat secara khusus relevan jika tidak ada keraguan mengenai hal ini dan jika ini adalah masalah yang muncul dalam perdebatan kebijakan pemerintah, baik yang lalu maupun yang akan datang. Apakah angka kejahatan naik atau turun pada periode yang diberikan? Apakah udara lebih bersih atau lebih kotor pada tahun 2004 dibandingkan tahun 2000? Apakah lebih banyak atau lebih sedikat anak yang putus sekolah pada tahun 2003 jika dibandingkan dengan tahun lalu? Terpisah dari semacam jurang sosial, pertanyaan mengenai apakah pemerintah telah mencapai sasarannya dapat juga menjadi penting dalam situasi dimana fokus berada pada barang dan jasa yang telah dihasilkan (output). Keadaan politik dapat menjadi seperti membuat bernilai menemukan berapa kilometer tanggul yang telah diinspeksi pada periode yang diberikan, berapa jam guru mengajar, berapa jam polisi berpatroli dan berapa banyak keuntungan yang tak dapat diakui.Hal itu sering membuktikan bahwa sangat sulit untuk mendapatkan jawaban untuk pertanyaan yang jelas dan sederhana, walaupun pembuat kebijakan dan atau anggota parlemen sering mendasarkan pernyataan mereka pada asumsi pasti dalam rasa hormat ini.Jika informasi relevan tidak dapat ditelusuri dari informasi kebijakan dalam bentuk data yang telah diproses secara teliti, ini adalah penemuan dalam diri sendiri. Jika anda berharap untuk membawa hal ini selangkah lebih jauh, anda dapat mencoba dan membuat gambaran jelas menggunakan informasi dari bagian data yang lain, arsip dan laporan audit yang lalu. (lihat bagian 4.3.2.2)Jika, lagi, hal ini tidak mungkin dan lapangan meskipun begitu tetap bersemangat untuk melakukan lebih dari pertanda sederhana kurangnya informasi kebijakan, anda harus mengumpulkan data sendiri. Pada kebanyakan kasus, anda akan membutuhkan data dalam jumlah besar untuk menjawab pertanyaan tersebut, secara khusus jika anda tertarik untuk mengidentifikasi kecenderungan sosial yang lebih luas. Survey adalah alat yang berguna falam hubungan ini. (lihat bagian 4.3.2.2).Jika audit anda dibatasi untuk menentukan apakah sasaran yang dimaksud telah tercapai atau tidak, anda tentu tidak dapat mengatakan tentang tingkatan menenai kebijakan mana yang digunakan disini. Pada saat yang sama ini adalah pertanyaan yang mana banyak pembaca dari laporan anda dibatasi

untuk bertanya dan adalah sulit untuk mencegah mereka dari membaca lebih dari yang anda tulis dibandingkan maksud anda sebenarnya. Untuk alasan ini, anda dapat bertanya pada diri anda sendiri, secara khusus jika anda mengumpulkan data bagaimanapun juga, apakah tidak penting untuk selangkah lebih jauh dangan menjalankan baik audit efektifitas maupun efesiensi.Apa yang harus anda lihat untuk menentukan target-target sudah tercapai?Prinsip yang sama yang diterapkan pada audit yang diarahkan untuk membuat apakah sekelompok target telah tercapai: sangatlah penting jika ada keraguan serius seperti apakah kampanye informasi utama publik dan berita mengenai skema pemerintah telah mencapai target yang relevan. Bahkan jika target telah tercapaipun tidak ada jaminan bahwa kampanye dan skema yang dipertanyakan benar-benar memiliki efek. Bagaimanapun, tidak akan ada keraguan bahwa kampanye dan skema tidak berfungsi jika target-target belum tercapai.Jika anda menemukan bahwa target-target memang telah tercapai, ini adalah titik dimana anda harus berpikir lagi. Apakah penemuan ini memadai, atau anda ingin melihat lebih dekat outcome yang tercapai, dengan memperhatikan perubahan pengetahuan, sikap dan tingkah laku?Audit yang diarahkan semata-mata untuk membuat apakah target-target telah tercapai akan menggunakan beberapa bentuk survey. Jika anda berharap untuk melihat lebih jauh dan mengukur outcome, anda perlu untuk melakukan sebuah audit efektivitas. Seperti digambarkan dibawah, apa yang perlu anda lakukan pada situasi seperti ini (mungkin sulit) adalah memperoleh data yang dapat dibandingkan pada keadaan sebelum dan sesudah kampanye (atau, seperti adanya, dengan atau tanpa kampanye.Kapan anda harus melakukan audit efektifitas?

Lapangan melakukan audit efektivitas yang meliputi lebih dari sekedar memproses informasi kebijakan yang telah ada hanya jika:

Jawaban yang relevan tidak dapat disimpulkan dari informasi kebijakan yang ada;

Kementrian yang berhubungan atau bagian lain tidakme mungkinkan dapat melakukan atau menugaskan sebuah pembelajaran sepanjang jalur ini yang komprehensif pada masa depan;

Adanya alasa sosial dan keuangan yang menekan untuk membuat apakah kebijakan yang dipertanyakan terpengaruh;

Lapangan mampu melakukan audit yang dipertanyakan.

Jelas, ini adalah poin-poin yang anda harus anda masukkan kedalam catatan anda ketika anda membuat proposal audit.Semua audit efektivitas harus mencari jawaban dari dua pertanyaan berikut ini:

1. Apakah kebijakan yang dipertanyakan benar-benar memilki pengaruh seperti yang diharapkan? (ini adalah pertanyaan yang sama yang telah kita bahas dalam hubungan dengan audit yang diarahkan untuk membuat apakah sasaran objektif telah tercapai.)

2. Apakah fakta bahwa sasaran telah atau belum dicapai disebabkan oleh kebijakn yang ditanyakan?

Untuk menjawab kedua pertanyaan tersebut, anda perlu memperoleh informasi pada keadaan atau tingkah laku yang mana kebijakan itu itu dapat memberikan pengaruhnya, ang lebih baik pada saat waktu yang berbeda-beda (sebagai contoh, jumlah pemuda yang datang ke kursus latihan sebelum dan sesudah adanya dorongan pemerintah ). Anda juga harus membuat gambaran jelas dari faktor yang ada yang dapat mempengaruhi keadaan (seperti situasi pasaran buruh) dan menemukan cara membedakan antara pengaruh yang diakibatkan oleh kebijakan yang ditanyakan dengan pengaruh yang diakbatkan oleh faktor lain.Membuat perbandingan antara titik waktu yang berbeda-beda (sebelum dan sesudah penerapan kebijakan yang baru) dan atau kelompok orang yang berbeda (yang kepada mereka kebijakan telah berpengaruh pada tingkatan yang berbeda) adalah faktor vital dalam menjawab pertanyaan diatas. Kita harus kembali pada poin ini lebih detail pada bagian 7.4.Cara terbaik dalam membuat perbandingan adalah melakukan percobaan, sebagai contoh dengan membuat perbandingan antara titik waktu yang berbeda dan perbandingan antara suatu jangkauan kelompok yang mirip (lihat bagian 4.3.3.2)Ini adalah suatu yang secara umum tidak mungkin diterapkan dalam praktek, bagaimanapun, dalam kasus ini anda harus berbalik pada solusi yang kurang menarik, seperti survei yang dilakukan pada titik waktu spesifik dan perbandingan dengan informasi lain pada situasi sebelum pengenalan kebijakan baru. Dimana, bagaimanapun, resiko bahwa pilihan yang dibuat oleh pendahulu anda dalam memperoleh informasi, sebagai contoh dalam syarat mengenai jenis pertanyaan yang ditanyakan dan responden yang mereka pilih, agak kurang relevan dengan pertanyaan yang anda cari jawabannya.Apa yang juga dapat anda lakukan adalah menanyakan masyarakat tentang keadaan sebelum pengenalan kebijakan baru. Dalam kasus ini, tentunya, anda mendapat resiko bahwa mereka lupa dan mereka memberikan jawaban yang ingin anda dengar bukan jawaban yang sebenarnya.Saat tidak ada solusi yang dapat mengatasi semua masalah, ada beragam cara untuk mengurang batas resiko. Pada dasarnya, itu adalah pertanyaan untuk mengetahui dengan apa anda memperbandingkan. Dengan kata lain, anda harus memberikan perhatian lebih pada komposisi kelompok yang anda perbandingkan,dan menemukan cara dan menghilangkan perbedaan antara mereka. Anda harus meminta penasehat audit efektifitas pada biro untuk European and Government-wide Performance Audits (ERDMO) untuk memberikan saran mengenai cara terbaik untuk jenis audit ini.

Ada beberapa jenis tehnik untuk menemukan apakah perubahan tertentu adalah akibat dari kebijakan baru dan bukan akibat faktor lain, dan beberapa dari cara tersebut adalah dengan saling melengkapi. Pertama-tama, anda dapat merancang audit dengan jalan membatasi peran faktor lain kedalam kemungkinan yang dapat diperkirakan. Anda dapat melakukannya dangan membandingkan dua kelompok yang diambil secara acak dari kelompok yang lebih besar (sebagai contoh, dengan melempar koin). Satu kelompok adalah yang tidak tersembunyi terhadap kebijakan, dan yang lainnya tidak. Ini adalah bentuk asli dari pelaksanaan suatu percobaan.Percobaan semu dan percobaan yang lazim adalah teknik yang kedua. Kedua

percobaan ini berbeda dari percobaan asli, yaitu respondennya tidak

dialokasikan secara acak kedalam percobaan dan grup-grup pengawas.

Kelebihan dari tipe ini adalah dapat disajikan segera setelah kebijakan yang

baru telah berlaku, dimana memungkinkan informasi atas pengaruh dari

kebijakan tersebut didapatkan secara relatif murah.

Ada pemikiran ke-3, dan ini membutuhkan pemikiran pendahuluan yang amat

cermat, contohnya dengan membaca sebanyak mungkin laporan audit,

mengenai faktor lain yang memegang peran dan kemudian mencari untuk

menetapkan secara sistematis apakah mereka sungguh-sungguh memegang

peran. Appendix 6, berisi sebuah contoh tentang tipe pendekatan sistematis ini.

Karena tidak mungkin untuk mengadakan sebuah percobaan yang asli ketika

memeriksa sebuah kebijaksanaan yang telah diperkenalkan. Umumnya anda

akan menemukan diri anda menggunakan teknik yang kedua dalam

prakteknya, misalnya percobaan semu dan percobaan yang lazim.

Kapan seharusnya anda melakukan audit efisiensi?

Jenis yang sama dari kondisi berlaku untuk sebuah keputusan untuk

mengadakan sebuah audit efisiensi seperti yang berlaku pada audit efektivitas.

Lapangan melakukan audit efisiensi hanya jika :

Sebuah pertanyaan tentang keuntungan efisiensi yang potensial adalah

kepentingan yang khusus.

Informasi relevan yang cukup didapatkan dalam efisiensi.

Tidak ada pihak lain yang berencana melakukan audit efisiensi terhadap

subjek yang sama dalam waktu yang dekat.

Lapangan mampu melakukan audit yang dibicarakan.

Audit efisiensi bahkan lebih maju daripada audit efektivitas. Audit efisiensi

didesain bukan hanya mengukur outcome yang diterima oleh kebijakan yang

dibicarakan atau output yang sudah dihasilkan, akan tetapi audit ini juga

mencari untuk menetapkan sebuah hubungan dengan sumber atau input yang

digunakan untuk tujuan ini.

Disini juga, unsur kunci dari pemeriksaan adalah “perbandingan”.

Dikarenakan efisiensi relatif dalam dua tanggapan. Pertama, ini adalah tentang

saling berhubungannya antara sumber yang digunakan, volume dari output

atau outcome dan kualitas mereka. Supaya menghasilkan informasi atas

efisiensi segala macam yang kompleks harus berkaitan satu sama lain. Kedua,

efisiensi dapat diukur hanya dalam relasi dalam poin yang berkenaan, sebagai

contoh, sebuah organisasi hanya dapat menjadi lebih atau kurang efisien ketika

dibandingkan dengan orang lain atau sebuah poin atau titik di masa lalu.

Seperti yang akan dijelaskan secara detail di chapter 8, anda dapat sesekali

melakukan tipe audit ini dengan bantuan indikator-indikator. Bagaimanapun,

ada juga teknik ekonometri yang lebih kompleks. Faktor yang menyulitkan

dalam hal ini adalah fakta bahwa anda perlu memiliki setidaknya 50 observasi

pembanding sebagai sebuah basis.

3.4.3. Tanggung Jawab Kementerian

Salah satu persoalan dasar dalam hubungannya dengan pemeriksaan efisiensi

dan efektifitas adalah cakupan dari tanggung jawab menteri. Ketika

kebijaksanaan telah didesentralisasikan, baik dalam geografis atau hubungan

fungsional, menteri tidak bertanggung jawab secara penuh atas hasil dari

kebijakan pemerintah tersebut. Dalam hal2 demikian menteri mengatakan

untuk menanggung sebuah tanggung jawab secara tidak langsung.

Menurut menteri keuangan, seorang menteri secara tidak langsung

bertanggung jawab atas hasil dari kebijakan pemerintah jika dia bertanggung

jawab hanya untuk menaruh suatu kondisi yang dibutuhkan untuk

memfasilitasi hasil yang dinginkan dan bila pihak lain bertanggung jawab atas

hasil tersebut. Sebagai contoh, kebijakan dalam anggaran tidak secara eksplisit

menyatakan bahwa menteri tidak bertanggung jawab atas semua hasil yang

diharapkan dari kebijakan pemerintah, asumsi ini bahwa menteri tersebut

menanggung baik langsung atau tidak langsung tanggung jawab tersebut.

Di saat yang sama, seorang menteri yang bertanggung jawab secara tidal

langsung, dalam setiap saat turut bertanggung jawab untuk menilai hasilnya

dimana kebijakan umum objektif mencari untuk menghasilkan dan yang

dihasilkan oleh sistem. Perubahan dalam masalah kebijakan dan susunan dari

hasil adalah subyek dari pengawasan dan evaluasi, diikuti dimana diperlukan

oleh perubahan kebijakan yang disetujui didalam badan penasihat pemerintah.

3.4.4. Bagaimana anda memperlakukan kebijakan desentralisasi?

Laporan lapangan adalah untuk keluaran dan hasil dari pemerintah pusat.

Untuk melakukan hal tersebut maka perlu untuk melihat keluaran dan hasil

dari pemerintah lokal. Dimana implementasi dari kebijakan pemerintah pusat

baik tidak lengkap atau kurang.

Adalah pekerjaan menteri untuk memastikan bahwa otoritas lokal mengirimkan keluaran

tertentu atau mencapai hasil tertentu. Pertanyaannya adalah: Apakah yang menteri lakukan cukup membawa hal ini?Apa yang pengadilan lakukan dalam kenyataannya adalah menginformasikan kepada menteri tentang situasi lokal. Hal tersebut menyediakan kepada menteri

informasi kebijakan yang relevan atas suatu aspek tertentu menyangkut keseluruhan rantai

kebijakan. Pengadilan dapat menggunakan informasi ini untuk menghimbau menteri, sebagai bagian dari tanggung jawabnya yang tidak langsung, untuk mendorong pihak lokal untuk mewujudkan peningkatan yang pasti.Penjelasan pengadilan menemukan kinerja yang buruk dari pemerintah pusat, seperti ketidakefektifitasan output pemerintah pusat, yang membawanya untuk memberikan hukuman pada menteri. Hal ini setaraf dengan peran pengadilan sebagai penilai dari kinerja pemerintah pusat (dan orang yang sah berdasarkan undang-undang). Penjelasan pengadilan menemukan kinerja yang buruk dari otoritas lokal yang membawanya untuk menghimbau menteri untuk mengadopsi

suatu kebijakan yang yang bertujuan untuk mengalihkan halangan yang dipermasalahkan.3.4.5 bagaimana cara mengaudit hasil dan keluaran dimana bukan pemerintah pusat badan yang bertanggung jawab?

Dalam rangka mengaudit keluaran dari kebijakan desentralisasi geografis hasilnya, pengadilan boleh memutuskan untuk memperoleh informasi secara langsung dari para

pihak local yang bersangkutan. Dalam hal ini, yang harus dilakukan: Jika otoritas lokal bertanggung jawab untuk menerapkan suatu kebijakan pemerintah

tertentu, yang pertama Anda harus menentukan dimana tanggung jawab menteri

dengan tepat seharusnya berada. Kemudian Anda harus menentukan apa yang telah menteri lakukan (contohnya keluaran apa yang telah ia hasilkan) dalam rangka memastikan bahwa otoritas lokal dapat secara efektif

menerapkan kebijakan. Anda harus menemukan dalam waktu yang sama apakah

menteri telah mengumpulkan informasi kebijakan yang cukup atas ‘keluaran

pemerintah pusat’ ini.

Jika implementasi dari kebijakan pemerintah telah terdesentralisasi (di

dalam terminologi geografis atau fungsional yang manapun), Anda perlu

menemukan apakah menteri mempunyai akses ke informasi yang bermutu tinggi dan

bagaimana implementasi dari kebijakan ini meningkat (termasuk data keluaran dan hasil). Jika menteri tidak mempunyai informasi, pengadilan dapat memutuskan untuk mengumpulkan informasi sendiri jadi hal ini dapat menarik kesimpulan cukup beralasan pada tingkat mana pemerintah pusat sedang

menuju keberhasilan hasil atau keluaran tertentu dan apakah kebijakan tersebut

efektif. Di antara audit berikut ini telah dilaksanakan pokok atas berikut: pencegahan dan pemberantasan tindak kriminal, persiapan penanggulangan bencana, dan konseling dan mengintegrasikan kembali hilang

data sekolah.

Satu penjelasan yang mungkin untuk suatu kegagalan pada pihak otoritas lokal,

sebagai contoh, untuk mencapai keluaran tertentu atau untuk suatu ketidakhadiran

hasil sosial, mungkin kebijakan yang dikejar oleh pemerintah pusat (contohnya keluaran pemerintah pusat) tidak berdampak terhadap otoritas lokal. Ketika melakukan pencarian untuk mengidentifikasi kemungkinan yang

menyebabkan hasil dan keluaran tidak cukup, Anda harus memulai dengan memeriksa kemungkinan penjelasan tersebut. Setelah semua itu dilakukan, menteri itulah yang menjadi target utama untuk diaudit.

Dalam melaksanakan pemeriksaan kinerja terhadap otoritas lokal dan provinsi, Anda tergantung pada kerjasama sukarela mereka, yang diberi bahwa pengadilan

tidak mempunyai kuasa-kuasa terhadap audit dalam hubungannya dengan otoritas seperti itu. Sampai saat ini,belum ada satupun permasalahan di dalam perolehan kooperasi ini. Itulah sebabnya tim pemeriksa mampu untuk menjamin kerahasiaan pihak

individu (sebagai contoh, di dalam kasus audit dilaksanakan atas pokok berikut: kebijakan pemerintah di kota besar, konseling dan mengintegrasikan kembali hilang

data sekolah, dan persiapan penanggulangan bencana).Mungkin dengan baik menjadi lebih sukar untuk memperoleh kerjasama sukarela dari otoritas

provinsi dan local jika pengadilan menemukan sendiri dengan memperbanyak frekuensi audit. Untuk alasan ini, adalah penting untuk mengingat kemungkinan dalam

bekerja bersama dengan kantor pengawasan keuangan lokal, untuk meneruskan kepedulian

besar manakala organisasi dan orang yang meminta bantuan mereka, dan untuk

menghormati sumpah yang telah diikrarkan.

Dalam kondisi yang umum, suatu audit kinerja yang meliputi suatu penilaian menyangkut

kinerja dari otoritas provinsi atau lokal harus diarahkan pada pembentukan suatu pendapat

kepada menteri yang bersangkutan. Dalam rangka melakukannya, Anda harus

memperoleh informasi atas peran yang dimainkan oleh pemerintah pusat dalam membantu

para pihak provinsi dan lokal yang bersangkutan untuk menyampaikan keluaran yang

diminta.

Point lain yang mungkin harus dipegang menteri untuk dapat dipertanggungjawabkan

adalah: Bagus tidaknya kualitas informasi yang tersedia baginya atas sasaran hasil

yang ditetapkan yang lebih dulu telah dicapai (mencakup penyajian informasi oleh otoritas provinsi dan lokal, atau otoritas yang sekiranya dapat menyediakan.

Dalam suatu tingkatan, suatu sasaran hasil ditetapkan lebih dulu, ketika terdapat

harapan pada otoritas lokal dan provinsi untuk menghasilkan keluaran yang pasti.

Dalam kondisi yang umum, ketika menteri sedang bekerja untuk menciptakan sebuah

sistem yang dapat memastikan bahwa keterkaitan hasil dan keluaran dapat

dikirimkan (contohnya kemampuan menteri untuk meletakkan kondisi sesuai dengan

tempatnya) dan informasi dalam hasil dan keluaran tersebut dikumpulkan.

4 Strategi Audit4.1 PendahuluanBab 4.2 dengan singkat mendiskusikan bagaimana cara menguraikan tujuan dari audit Anda

dan menggambarkan masalah yang sedang Anda cari petunjuknya. Keberhasilan sebuah audit sangat tergantung pada perhatian yang kritis Anda dalam memutuskan tujuan dan masalah audit. Berdasarkan pada masalah dan jenis audit yang telah Anda pilih (contohnya suatu audit apakah sasaran dari badan yang

dimasalahkan telah dicapai, kelompok target telah dicapai, audit yang efektif atau audit

yang efisien), ada berbagai macam metode -beberapa penyelidikan, atau lebih cocok dengan sebutan menguji- yang dapat Anda gunakan untuk membuat pengumuman tentang keberhasilan audit dalam mengirimkan hasil dan keluaran yang pasti, dan alasan untuk hal tersebut. Metode-metode tersebut akan didiskusikan di bab 4.3. Pada bab 4.4, akhirnya, kita kembali ke ’matriks penjelasan’ di bab 3.3, meilih metode audit yang disenangi, ke derajat yang lebih besar atau lebih kecil, ke masing-masing jenis penjelasan.4.2 Sasaran, permasalahan, dan pertanyaan auditSifat alami audit, dan temuannya menghasilkan, sebagian bergantung pada dimana masalah diputuskan. Dengan kata lain, ini merupakan aspek yang vital dari proses audit dan layak untuk diberi perhatian yang penuh. Di waktu yang sama, hal tersebut telah jelas dari pengalaman masa lalu bahwa auditor tidak banyak

mengalami kesulitan untuk menggambarkan dengan jelas baik masalah maupun sasaran. Dalam kenyataanya, hal ini bisa jadi adalah salah satu aspek yang paling sering

dilewatkan menyangkut proses audit.Ketidakhadiran dari kejelasan masalah dan sasaran hasil adalah satu penyebab utama

permasalahan di dalam proses audit. Sebagai contoh, ketidakhadiran dari definisi yang

jelas sering menyebabkan penundaan, seorang auditor cenderung untuk memperluas

lingkup audit mereka untuk menutupi semakin banyaknya isu dalam percobaan untuk

melaksanakan suatu audit yang menyeluruh.

Itu adalah semua daftar keberatan etik dan praktis dalam percobaan kebijakan. Sebagai contoh, pemerintah tidak dapat mencegah sebuah kelompok tukang kebun melanggar pajak untuk memastikan apakah mereka akan mengubah konsumsi energi mereka, sementara di saat yang bersamaan menghasilkan pelanggaran pajak yang sama, kelompok yang dapat dibandingkan. Pada saat yang bersamaan, percobaan menawarkan kesempatan lebih banyak daripada yang terlihat di awalnya. Faktanya adalah bahwa kesempatan biasanya muncul untuk percobaan kebijakan “natural”. Kebijakan pada sekolah di daerah terpencil adalah contoh yang bagus untuk hal ini: sekolah dimana etnis minoritas mencapai 70% dari populasi murid menerima dana tambahan, sedangkan sekolah dengan jumlah murid yang berasal dari etnis minortias lebih rendah mendapatkan lebih sedikit dana tambahan atau bahkan tidak sama sekali.Sebuah Percobaan “alami” membuat berguna fakta bahwa grup tertentu akan saling menyerupai dalam lingkup variabel ini (misalnya sekolah dimana etnis minoritas mencapai 69% dan sebuah sekolah yang mencapai 7-%), dan bahwa salah satu kelompok akan mendapatkan stimulus (dalam hal ini, pendanaan lebih) sementara kelompok lain tidak mendapatkannya. Ini memberikan kesepatan kepada peneliti untuk mempelajari efek dari penerapan dari bagian instrumen kebijakan (atau, jika kasusnya terjadi, yang tak terlaksana) pada kelompok yang sebenarnya identik. Satu penjelasan yang dapat diuji, sebagai contoh, bahwa sebuah subsidi ekstra senilai 6,102.50 gulden per guru per satuan waktu (ini adalah jumlah yang termasuk dalam

hal ini) sebenarnya membawa murid dari etnis minoritas mendapat nilai yang lebih tinggi dalam ujian kelulusan sekolah mereka.

Sasaran utama: percobaanUntuk informasi lebih jauh dari statistik: lihat kotak 1 pada Pelatihan Metode dan Teknik (dapat dilihat pada domain DDO pada intranet). Anda juga dapat membaca Baarda & De Goede (1995), Basisboek Methoden en Technieken; Swanborn (1987). Methoden van sociaal-wetenschappelijk onderzoek.E. Leuven, M. Lindahl, H. Oosterbeek en D. Webbink (2003). Zin en onzin in evaluatieonderzoek; over de effecten van extra subsidies voor achterstandsleerlingen. Universiteit van Amsterdam (SCHOLAR).http://www1.fee.uva.ni/scholar/oosterbeek/ achterstandsleerlingen.pdf

Analisa rangkaian waktuRangkaian waktu adalah urutan kronologis dari sebuah data kuantitatif, seperti tingkat absen, tingkat pengangguran, tingkat kriminal, dan tingkat pengeluaran siswa di sekolah. Anda dapat menggunakan analisa rangkaian waktu untuk menemukan penjelasan dari sebuah pola sebuah rangkaian waktu dengan syarat variabel lain dan untuk menghubungkan observasi untuk meyakinkan peratiran struktural dari pelaksanaan. Saat Kantor Audit Belanda mengaudit perjanjian dalam memerangi kekerasan di ekonomi malam hari, si auditor melakukan pengukuran atas sejumlah tahun untuk meyakinkan apakah perjanjian yang telah dibuat menurunkan tingkat kasus yang terjadi.Kelemahan dari metode ini adalah memerlukan unit penelitian dalam jumlah besaar dan bahwa data yang dikumpulkan harus berkualitas tinggi.

4.3.2.3 Teknik yang melibatkan sebuah kombinasi dari eksplorasi dan penaksiran- studi perbandingan kasus

Menampilkan studi perbandingan kasus tidaklah sama dengan menampilkan sejumlah studi kasus. Perbedaan terletak pada basis mana kasus dipilih. Sebagai contoh, kasus dalam studi perbandingan kasus bisa dipilih dengan basis dari satu atau lebig variabel independen. Peneliti kemudian dapat mengoptimalkan sampai pada variasi minimal atau maksimal dengan menghargai variabel tersebut. Kasus juga dapat dipilih dengan basis dari satu atau lebih variabel dependen. Ini biasa dilakukan dengan memberi keleluasaan variasi maksimal (Swanborn, 1999: 60-66). Dengan kata lain, sebuah studi kasus yang baik memerlukan pengetahuan yang baik mengenai kasus yang ada.Sebuah perbedaan yang umum dibuat dalam hubungan dengan desain studi kasus adalah antara sebuah ‘desain sistem yang paling sama’ (MSSD) dan sebuah ‘desain sistem yang paling berbeda’ (MDSD). Ini digunakan, sebagai contoh, dalam pengetahuan politik untuk menjelaskan sebuah fenomena yang terjadi pada konteks yang berbeda, seperti munculnya macan ekonomi, coups d‘etat dan revolusi. Ini digunakan untuk menemukan faktor penjelasan yang umum bagi semua situasi seperti itu, walaupun fakta mengatakan bahwa negara yang melibatkan perbedaan secara luas dari masing-masing. Mssd, dalam hal lain, digunakan untuk membandingkan

Contoh : pemerintah lokal dan bantuan khusus

Asumsikan bahwa kita ingin mencari tahu bagimana pemerintah lokal menggunakan kebebasan yang

telah diberikan untuk menentukan bagaimana caranya menghabiskan dana bantuan khusus. Asumsikan

juga kita ingin mencari tahu bagaimana pemerintah lokal menggunakan kebebasannya meskipun yang

lain tidak. Jika kita menggunakan meta-evaluasiuntuk mengidentifikasi faktor kesuksesan dan

kegagalan dalam proses desntralisasi, kemudian kita dapat menggunakan hasilnya untuk memilih kasus

secara hati-hati dan untuk mengarahkan penelitian kita pada tujuan yang sangat spesifik. Hal ini akan

mengubah studi kasus menjadi penilaian secara mendalam.

o Benchmarking

Benchmarking adalah sebuah metode yang memperbolehkan unit-unit organisasi

untuk diperbandingkan satu sama lainnya lalu dilakukan suatu studi kasus

perbandingan. Meskipun hasilnya menjadi lebih dangkal jika dibandingkan dengan

apa yang dihasilkan dari suatu studi kasus. Dewan Administrasi Publik Belanda

mengartikan Benchmarking sebagai berikut : “suatu investigasi atas kinerja (dan

dampak sosial) secara sistematis terhadap proses-proses pokok dan metode operasi

yang digunakan oleh satu atau lebih penunjukan pimpinan organisasi khususnya yang

ada di lapangan, dan membandingkan kinerja organisasi dan metode operasi dengan

prakteknya yang terbaik, dengan tujuan untuk mencapai suatu peringkat dan

memoerbaiki kinerja organisasi.”Contoh : perbedaan antara pusat pekerjaan dan pendapatan

Pemerintah pusat diharapkan untuk mengakhiri cara yang dipisah pada tuntutan subsidi bagi

pengangguran, subsidi orang tidak mampu dan bantuan sosial yang ditangani dan dinilai. Pada tanggal

1 Januari 2002, seluruh penilik tempat kerja dan layanan social kota telah digabungkan untuk

membentuk 130 pusat pekerjaan dan pendapatan. Meskipun seluruh pusat tersebut beroperasi dengan

basis yang sama, beberapa diantaranya meraih ‘nilai reintegrasi’ yang lebih tinggi daripada lainnya.

Mengapa begini?

Sekali anda dapat mendefinisikan dan mengumpulkan data, langkah selanjutnya

adalah menghitung perbedaan dalam hal efisiensi atas output ataupun outcome

kebijakan yang ingin anda jadikan pertimbangan. Ada beberapa cara untuk melakukan

hal ini. Salah satunya adalah menggunakan petunjuk sederhana dan teknik analits

sebagai berikut : menghilangkan hal-hal yang dapat dihapuskan secar bebas (FDH),

analisa data penyelubung (DEA), dan anlisa batas stochastic (SFA). Sekali anda telah

menggunakan petunjuk untuk mengukur efisiensi suatu output dengan pasti, anda

selanjutnya dapat menguji kemungkinan dari penjelasan atas perbedaan efisiensi.

Diantara metode-metode yang tersedia untuk tujuan ini adalah analisa probit dan tobit,

dan juga analisa regresi sederhana.

o Group Model Building

Group Model Building (GMB) berarti beberapa kelompok model bangunan yang

mencerminkan realitas sosial. GMB membantu dalam menilai suatu keadaan dari

sudut pandang yang teratur dan karena itu mencampur opini individu menjadi

kumpulan opini. Pembuat model bertindak sebagai fasilitator kelompok yaitu

seseorang yang membantu kelompoknya untuk mengembangkan suatu system model

yang dinamis. Hasilnya, fungsi yang lebih baik dibuat dari sekumpulan pengetahuan

yang tersedia di dalam kelompok, tetapi hal ini jarang dimanfaatkan karena adanya

kurang komunikasi. Tujuan utmanya adalah untuk menemukan solusi yang tidak

hanya berkualitas tinggi tetapi juga memiliki dukungan terhadap persoalan kelompok.

Ada dua tipe dari GMB : tipe yang lebih kualitatif dan tipe yang lebih

kuantitatif. Tipe kualitatif (yang dikenal juga sebagai ‘mappping’) digunakan untuk

menganalisa masalah dengan menggunakan bantuan ‘diagaram putaran sebab-akibat

(causal loop diagramming)’. Diagram ini dapat membantu untuk menyusun pendapat

mengenai suatu hubungan sebab-akibat dari suatu masalah yang kompleks. Diagram

ini lalu digunakan untuk menganalisa masalah dan mengidentifikasi titik intervensi

dalam system yang dapat digunakan untuk mendesain strategi-strategi untuk

mengatasi masalah. Apabila tipe kuantitatif digunakan, Causal loop diagramnya di

konversikan menjadi diagram ‘arus dan persediaan’ selanjutnya kita bisa

mengukurnya, setelah simulasi mana yang dapat digunakan dengan model dan

efektifitas dan kekuatan solusi yang potensial diuji.

Lembaga Audit Belanda boleh menggunakn GMB, misalnya, dalam mencari

penjelasan atas masalah yang berkelanjutan di dalam bidang kebijakan yang kompleks

seperti perawatan kesehatan. GMB akan meliputi membawa semua kelompok yang

terlibat untuk melihat efektifitas kebijakan. Apakah unsur-unsur dan para pelaku telah

memainkan perannya? Unsur dan pelaku manakah yang telah memenuhi kebijakan?

Dan apakah hal ini telah berjalan secara efektif?

Yang penting adalah untuk mengetahui bahwa GMB membutuhkan komitmen

yang tinggi dari para pelaku yang terlibat, dan juga pengetahuan khusus yang luas,

dimana Lembaga audit Belanda tidak memilikinya. Berarti lembaga ini menyewa

konsultan eksternal.

Analisa Jaringan dan Stakeholder

Pada umumnya, kementrian mengimplementasikan kebijakannya pada bidang-

bidang khusus dengan membantu pemerintah local, perusahaan pribadi, organisasi

masyarakat, dan/atau kelompok masyarakat. Analisa jaringan termasuk mengamati

peran yang dijalankan oleh pemerintah sebagai ‘pemeran kedua’

Anda dapat menggunakan analisa jaringan dan stakeholder untuk menganalisa

hubungan hierarkis, bentuk interaksi, ketergantungan dan pendefinisian masalah.

Pertanyaan kunci dari tipe anlisa ini adalah :

1. Siapa yang terlibat dalam hal implementasi kebijakan?

2. Apakah hubungan diantara pemeran-pemeran tersebut?

3. Dengan cara apakah pemeran individu dapat membantu atau mengganggu

implementasi kebijakan?

4. Apakah semua pemeran berpendapat sama dalam hal masalah kebijakan dan

solusinya?

Jawaban terhadap pertanyaan diatas dapat digunakan untuk mencari alasan

keterlambatan atas implementasi kebijakan? Misalnya karena hubungan hierarkisnya

tidak dapat didefinisikan dengan baik, atau karena pemeran nya memiliki prioritas

yang lain.

Contoh : Bagian pertanggung jawaban antara Kementrian Pendidikan, Budaya dan Ilmu Pengetahuan

dengan tim manajemen proses pendidikan utama.

Organisasi untuk manajemen proses diartikan sebagai orgasnisasi yang semi-independen berisfat

sementara yang beroperasi pada jarak dari kementrian tersebut dan yang bertanggung jawab dalam

mengamati proses pembaruan yang kompleks. Tim Manajemen proses pendidikan utama (The Primary

Education Process Management Team/PEPMT) adalah salah satu organisasinya.

Lembaga audit mengungkapkan ketidakjelasanmengenai peran dari PEPMT. Sudahkah sebuah

organisasi independen menjadi bagian dari kementrian atau konsultan secretariat negara?

Sebenarnya kementrian mengakui hal ini, dengan peninjauan kembali, ketidakcukupan gagasan telah

diberikan dalam pertanyaan apakah yang akan dan harus PEPMT lakukan. Sebuah studi mengenai

kemungkinan penjelasan dapat dilihat secara eksplisit mengenai hubungan antara PEPMT dan

kementrian pendidikan.

4.4 Metode Matrix

Pada bagian 3.3, kita menggunakan penjelasan matriks untuk mendiskusikan

penjelasan mengenai inefisiensi. Metode ini berarti mengindikasikan, beberapa

metode yang telah dijelaskan diatas, diantaranya mana yang sesuai untuk mempelajari

penjelasan dengan salah satu dari keempat kuadran. Metode pada kotak berikut ini

sesuai dengan aplikasi yang luas.

Output Outcome

Internal Audit kinerja

Manajemen audit kinerja

Analisa teori kebijakan

Percobaan

Eksternal

Manajemen audit kinerja dalam

organisasi swasta

Analisa jaringan dan stakeholder

Analisa waktu

Analisa kejadian

5 Menganalisa tujuan kebijakan dan informasi

kebijakan

5.1 Pendahuluan

Bab ini mendiskusikan analisa tujuan kebijakan dan informasi kebijakan.

Bagian 5.2 menjelaskan bagaiman caranya menganalisa tujuan kebijakan, termasuk

standar untuk pembangunan kembali tujuan kebijakan. Bagian 5.3 membahas cara

untuk menganalisa tujuan kebijakan,dan berbagai tipe informasi kebijakan, sumber

informasi kebijakan, standar informasi kebijakan dan bagaimana caranya untuk

menilai informasi kebijakan, sebelum membuat rangkaian rekomendasi.

5.2 Tujuan kebijakan

5.2.1 Umum

Seluruh audit kinerja didasarkan pada tujuan kebijakan yang dirumuskan oleh

kementrian atau ahli hukum. Saat ini, tujuan kebijakan umum kementrian

dikemukakan dalam anggaran VBTB.

Berdasarkan publikasi dari dokumen kebijakan pemerintah yang berjudul Dari

anggaran kebijakan menuju akuntabilitas kebijakan (VBTB), Berbagai macam

anggaran kementrian telah diubah dari anggaran yang banyak mengandung informasi

menjadi anggaran yang mengandung tujuan spesifik dari kebijakan. Kementrian

diharuskan membuat hal berikut dalam anggaran VBTB nya :

1) Apa yang ingin dicapai

2) Apakah maksud dari pembentukan hal ini

3) Berapa biaya yang dibutuhkan

Hasilnya, bentuk anggaran ini adalah bentuk yang ideal untuk Lembaga audit kinerja.

Kenyataannya, tujuan yang dirumuskan dalam artikel kebijakan anggaran umumnya

terlalu abstrak yang digunakan dalam menganalisa tujuan kebijakan. Faktanya dokumen

kebijakan dan surat parlemen mengandung informasi spesifik yang lebih banyak, tujuan

kebijakan. Tujuan ahli hukum mungkin dapat ditemukan dalam perundang-undangan

(mereka, bagaimanapun juga, organisasi dengan kewajiban konstitusional) atau dalam

anggaran kementrian, kegiatan penggabungan atau laporan tahunan yang dikeluarkan entitas

tersebut.

5.2.2 Rekonstruksi dan pengoperasionalan tujuan kebijakan

Meskipun diharuskan untuk mempublikasikan anggaran yang diminta oleh operasi

VBTB, seorang menteri gagal untuk merumuskan tujuan kebijkannya dengan baik, lembaga

akan mencoba untuk merekonstruksi atau mengoperasikan tujuan ini. Selain itu, penting

artinya untuk meminta kementrian untuk memberikan persetujuannya pada setiap bagian

proses rekonstruksi dan operasinalisasi.

Merekonstruksi tujuan kebijakan

Untuk mengidentifikasi tujuan kebijakan berarti tidak hanya menguji dokumen

kebijakan, tetapi juga berkonsultasi dengan pemeriksa. Wawancara cenderung untuk

menunjukkan tujuan kebijakan tidak hanya menggambarkan tujuan pemeriksa yang akurat

atau dapat diandalkan. Tujuan kebijakan mungkin membuktikan secara tidak jelas, terlalu

berambisi, kurang berambisi atau ketinggalan jaman. Meskipun, hal ini selalu mendasarkan

pada nilai auditnya dalam tujuan kebijakan.

Bahkan apabila pihak yang diperiksa berusah unutk mencapai tujuan yang tidak

konsisten dengan tujuan kebijakannya, bentuk terakhir dari sumber utama kekuasaan dari

kebijakan dalam proses demokrasi. Dari pandangan pengendalian demokratis, sampai saat itu,

tujuan kebijakan untuk menyediakan titik refrensi. Celakanya, penemuan dan kesimpulan itu

tidak dapat dirumuskan tentang ketidaksesuaian yang ditemukan antara tujuan kebijakan yang

aktual dengan yang resmi.

Salah satu cara dalam merekonstruksi tujuan kebjakan adalah dengan membuat

“pohon kebijakan’. Pohon kebijakan digunakan sebagai alat penghubung dengan tujuan

kebijakan yang kedua dan yang terakhir. Membuat pohon kebijakan tidaklah mudah. Sebagai

balok bangunan digunakan untuk membuat pohon kebijakan seringkali diambil dari dokumen

kebijakan, sangat berharga untuk mengkonsultasikan pohon ini dengan auditee.

Mengoperasionlakan tujuan kebijakan

Hal yang sangat mudah untuk mengoperasikan tujuan kebijakan apabila hal ini telah

dirumuskan dalam syarat-syarat yang kelihatan dengan segera, seperti ‘menurunkan

kecepatan rata-rata di jalan, yaitu menjadi x kilometer per jam’. Pada beberapa kasus,

meskipun tujuan kebijakan dirumuskan dalam syarat- adalah ‘pencegahan pemborosan’

Apa yang perlu anda lakukan adalah untuk mencoba dan mendesain petunjuk yang

menggambarkan tujuan yang dirumuskan oleh pembuat kebijakan yang seakurat dan

selengkap mungkin,dan benar-benar telah dapat diukur. Selain itu, Anda harus bertanya pada

diri anda sendiri pertanyaan berikut ini :

Apakah indikator kebijakan telah melingkupi semua bidang dari tujuan kebijakan?

Misalnya, apakah indikator hanya berhubungan dengan pencegahan kuantitas pemborosan

(pencegahan kuntitatif) atau juga mengukur usaha untuk mengurangi bahaya pemborosan

utamanya pada lingkungan (pencegahan kualitatif)?

Adakah hubungan yang cukup kuat antara tujuan kebijakan yang anda coba kendalikan dan

indikator yang telah anda pilih untuk tujuan audit anda?

Misalnya, indikator didefinisikan sebagai ‘pengurangan jumlah pemborosan yang dihasilkan

oleh perusahaan’ hanya menyediakan petunjuk terbatas dari luasnya pemborosan yang telah

‘dicegah’. Hal ini dikarenakan jumlah produksi pemborosan tidak hanya bergantung pada

pengukuran pencegahan. Hal ini juga bergantug pada faktor otonomi seperti tingkat

pertumbuhan ekonomi.

Adakah faktor yang mengubah gambaran indikator dari tujuan kebijakan?

Misalnya, ketika tujuan kebijakan didefinisikan sebagai ‘pencegahan pemborosan yang

berbahaya’ yang dijalankan sebagai indikator yang didefinisikan sebagai ‘mengubah jumlah

pemborosan berbahaya yang dilaporkan perusahaan’. Indikator ini mengabaikan perubahan

perlakuan pelaporan perusahaan. Dengan kata lain, apabila perusahaan kurang cermat dalam

melaporkan pemborosan yang berbahaya, hasilnya mungkin berupa penolakan jumlah

pemborosan berbahaya yang benar-benar dilaporkan tanpa pemberian petunjuk pencegahan

pemborosan yang berbahaya.

5.2.3 Standar tujuan kebijakan

Tujuan kebijakan harus SMART yaitu Spesific (spesifik), Measurable (dapat diukur), agreed-

upon (disetujui), Realistic (realistis) dan Time-related (Berorientasi waktu). Lebih khususnya

ini berarti bahwa:

SMART Keterangan

Specific Tujuan haruslah spesifik : manakah antara kebijakan output dan

outcome yang diharapkan untuk dihasilkan? manakah kelompok target

(diasumsikan ada) yang dapat dicari?

Measurable Bahwa kebijakan harus memungkinkan untuk mencapai tujuan yang

ditetapkan. Untuk itu memerlukan pendefinisian syarat-syarat yang jelas

(dalam beberapa kasus) dalam melakukan survei dasar.

Agreed-upon Paling sedikit, pihak yang berwenang (contohnya DPR atau badan

eksekutif lainnya) harus mengkonsultasikan kebijakan tersebut.

Realistic Tujuan kebijakan harus dibuat sejalan dengan tujuan yang akan dicapai

dalam keadaan yang masuk akal.

Time-related Tanggal harus ditetapkan berdasarkan tujuan akhir yang akan dicapai.

Tujuan dan batas akhir jangka menengah dapat juga diformulasikan

untuk proyek jangka panjang.

Selain itu, tujuan kebijakan juga membutuhkan kekonsistenan :

Konsisten atas tujuan kebijakan

konsisten Saling konsisten antara tujuan : satu tujuan kebijakan tidak

mengeluarkan yang lainnya

Konsisten antara tujuan dan data utama : jika data utama diubah,

tujuan juga harus diubah sesuai perabahan data itu

Untuk alasan inilah, tujuan kebijakan di istilahkan menjadi ‘SMART-C’. Untuk

informasi yang lebih jelas mengenai standar diatas akan diberikan dalam Tambahan 4.

Dapat dilihat juga dalam pusat data standar (anda dapat melihatnya dengan memilih

pilihan ‘Court of Audit Aplications’ di menu ‘Start’), yang akan dijelaskan juga

dalam catatan di Tambahan 4, untuk contoh pengunaan dari standar itu.

5.2.4 penilaian atas perumusan tujuan kebijakan

Mengecek daftar mungkin diperlukan untuk menentukan penilaian terhadap

perumusan tujuan kebijakan. Selanjutnya lihat bagian 5.3.7

5.2.5 rekomendasi

untuk menyelesaikan tujuan kebijakan umumnya dihasilkan dengan beberapa

rekomendasi :

Tujuan kebijakan harus diformulasikan sedemikian rupa agar mudah dalam

menentukan penilaian

Beberapa yang tidak konsisten harus dipindahkan atau adanya indikasi

dimana diperkirakan akan menimbulkan masalah dengan yang lain

Pendapat yang baik harus diberikan untuk mendukung tujuan kebijakan

Perubahan dalan tujuan kebijakan atau kriteria evaluasi harus ditentukan

secara jelas dan fakta yang baik harus diberikan untuk mendukungnya.

5.3 informasi kebijakan

5.3.1 umum

Informasi kebijakan merupakan kunci yang utama dalam manajemen pelayanan

publik. Informasi ini menjadi penting sejak terbitnya dokumen pemerintah pada

tahun 1999 yang berjudul ‘ From policy budgets to policy accountability

(VBTB)’ dan dipublikasikan pertama kali di tahun 2002.

Tersedianya informasi kebijakan (penilaiaan dilakukan oleh lembaga audit

belanda) bukan hanaya untuk tujuan itu saja, tetapi merupaka suatu kondisi

yang membutuhkan pemantauan pekerjaan dan peningkatan efisiensi dan

efektifitas dari kebijakan pemerintah.

5.3.2 apakah informasi kebijakan?

Maksud dari informasi kebijakan

Informasi kebijakan dapat digunakan dalam bermacam tujuan dan berbagai

tingkat dalam proses pembuatan kebijakan :

Selama tahap pekerjaan persiapan : sebagai dasar untuk formulasi dari

kebijakan atau persiapan dari anggaran terkait

Selama tahap implementasi : untuk mengatur dan meyesuaikan kebijakan

(termasuk pemantauan terhadap implementasi kebijakan)

Selama tahap evaluasi : untuk tujuan pelaporan dari kebijakan yang sudah

dilakukan.

Perbedaan maksud akan dihubungkan dengan perbedaan kelompok target dan

perbedaan tipe dalam penggunaan beberapa siklus. Ketika digunakan untuk

tujuan manajemen, sebagai contoh informasi kebijakan yang terutama

berhubungan dengan kebijakan departemen atau kementrian yang ditanyakan ;

persetujuan informasi kebijakan juga akan dibutuhkan oleh DPR untuk tujuan

yang sama. Kebutuhan akan penggunaan informasi kebijakan untuk

penganggaran dan maksud laporan didasarkan atas keputusan DPR dalam hal

perubahan anggran pemerintah. Menteri memberikan informasi tersebut kepada

DPR, salah satunya untuk persetujuan atas peningkatan rencana yang diikuti

(dalam hal anggaran) atau untuk melaporkan kemajuan yang dibuat atas

implementasi kebijakan yang ada (dalam hal laporan tahunan). Informasi ini

disediakan dalam bagian dari siklus anggaran tahunan.

Peran tersebut dilakukan oleh informasi selama dalam tingkatan yang masih

berhun\bungan dengan lingkup efektifitas dan dan efisiensin pemeriksaan.

Pertanyaan informasi ini terdiri atas suatu analisa masalah yang secara ideal

tidak tergabung dalam dasar survey dan teori kebijakan. Ditambah sumbangna

dari lingkup skenario yang dievaluasi dan alternative kebijakan. Informasi atas

argument dibelakangnya juga harus terkait.

Informasi kebijakan dalam output dan outcome

5.3.4 kualitas informasi kebijakan

Penilaian informasi kebijakan adalah aspek yang memungkinkan dalam

penyelenggaraan audit. Dokumentasi dalam jumlah besar terd\sedia dalam

standar dengan sejumlah informasi dokumentasi yang seharusnya dipatuhi.

Untuk memperkirakan kualitas dari informasi kebijakan, im audit membuat

standar terperinci yang dirumuskan oleh pengadilan tentang informasi

kebijakan dan juga aplikasi yang dijelaskan pada pusat data standar (anda dapat

melihatnya dengan memilih pilihan ‘Court of Audit Aplications’ di menu

‘Start’).

Standar ini dterapkan pada informasi kebijakan yang dihasilkan oleh system

untuk memproduksi data standar kinerja dan kebijakan informasi yang

dihasilkan dari evaluasi. Hal tersebut tidak menyatakan bahwa standar tersebut

juga diterapkan pada informasi dari sumber lain yang seperti dijelaskan pada

5.3.3

Semua penerapan audit yang diterapkan oleh kantor di Belanda berdasarkan

dari standar dasar yang sama dengan perkiraan informasi. Terdapat 2 kategori

dari standar dasar :

Standar dasar teknik : terkait, keandalan, kesesuaian dengan peraturan, dan

petunjuk pelaksanaan dari isi informasi

Standar dasar dari bentuk dan penyampaian : komprehensif, perbandinagn,

dan kesesuian dengan peruturan dan petunjuk pelaksanan dari bentuk

informasi.

Jika informasi kebijakan yang dipertanyakan sesuai dengan 6 standar dasar,

Court menandainya dengan ‘bermanfaat’.

Ketika menghubungkan audit efektifitas dan efisiensipada peristiwa apapun,

anda akan perlu mempertimbangkan standar sekunder berikut untuk relevansi

data. Informasi seharusnya :

Komplit

Terkini dalam perhitungan dan asumsinya

Tersedia pada jangka waktu yang layak

Pada peristiwa apapun, anda akan perlu mempertimbangkan standar sekunder

berikut ketika mengukur kinerja auditan dalam hubungannya dengan standar

dasar untuk memperbandingkan :

Konsistensi (pada waktu : antara bagian berbeda dari rantai kebijakan dan

antara sumber yang berbeda)

Standar dasar dan sekunder bersama-sama membentuk apa yang dikenal

sebagai standar ‘paket dasar’. Pada cara dimana standar sekunder yang

diterapkan akan bervariasi dari satu kasus ke kasus yang lain.

Informasi yang terperinci tentang kelengkapan sebagai standar sekunder

diberikan pada bagian 5b. bagian ini dijelaskan dalam jangka waktu mum tipe

informasi yang dibutuhkan untuk mengelola kebijakan pada tahapan yang

beragam dari suatu proses kebijakan. Istilah ‘optional’ digunakan untuk

menjelaskan aspek-aspek yang tidak dihubungkan sebagai bagian yang

membentuk paket dasar dari kebutuhan akan kelengkapan sebagai standar

sekunder. Contoh penerapan dari standar ini diberikan pada bagian 5c.

5.3.5 kualitas informasi kebijakan (sebagai suatu proses)

Persiapan informasi

Bertujuan untuk membuat informasi kebijakan – apakah disediakan oleh

system untuk menghasilkan penerapan standar data atau evaluasi sesuai dengan

6 standar yang ditunjukkan. Anda biasanya akan memerlukan kehati-hatian

untuk mengetahui pada 3 tahapan informasi. Informasi disiapkan berdasarkan 3

tahapan :

Pengumpulan, termasuk pencatatan awal produk yang dihasilkan pada

tahap ini adalah informasi standar

Pemrosesan, produk yang dihasilkan pada tahapan ini mengolah

informasi

Pendistribusian, produk yang dihasilkan adalah distribusi informasi atau

pelaporan

Ketiga tahapan ini tidak boleh terlepas satu sama lain. Setelah itu semua,

pemerintah atau organisasi lain berharap untuk mendistribusikan informasi

yang sesuai dengan kebutuhan dan pengumpulan keduanya (tahap 1) dan

tahapan pengumpulan dan pemrosesan (tahap 2) harus sesuai standar.

Contohnya, untuk mendistribusikan informasi terkait, departemen dan

organisasi lain seharusnya memakai rasional, analisa, untuk menjangkau

pengumpulan data (bagian dari hasil kebijakan). Ini berati bahwa hal itu harus

diformulasikan dab dijalankan dengan objektif, dan penentuan kinerja data

(termasuk data dari outcome).

Ketika suatu proses dari bagian atau organisasi lain (seperti agragat secara

keseluruhan, sintesa, dll) informasi dasar, penting untuk menjaga integritas.

Artinya, metode pemrosesan juga membutuhkan untuk mematuhi kebutuhan

akan kepercayaannya, keabsahannya, kereaturan dan auditabilitas. Jika anda

menilai tingkat kepercayaan atau keabsahan dari suatu informasi yang tersedia,

anda harus dapat memberikan jamionan dengan mengajukan pertanaan ke

bagian dan organisasi. Dalam hal ini, contohnya, jenis yang tepat dari keahlian

yang tidak dibutuhkan, bahwa pemisahan tugas telah diterapkan, prosedur yang

jelas telah diterapkan dan semua data telah dicatat dengan semestinya (sehingga

ada pertimbangan audit yang memadai). Jika bagian atau organisasi tidak

memproses data sendiri, mereka harus puas bahwa pihak lain memproses

datanya dengan tepat.

Persyaratan yang berhubungan dengan peraturan.

Klausa 5.1 dari peraturan mengenai data dan evaluasi kinerja pemerintah pusat

Belanda menyatakan bahwa sistem informasi (untuk data kinerja standar) serta

alat evaluasi digunakan untuk tujuan penganggaran dan pelaporan harus sesuai

dengan persyaratan dalam hubungannya deangn keabsahan, kepercayaan,

keakkuratan, dan kegunaan.

Persyaaratan ini dijabarkan secara terperinci pada pp. 34-37 dari peraturan

mengenai data dan evaluuasi kinerja pemerintah pusat Belanda. Klausa 5.2

menyatakan bahwa informasi kebijakan meliputi anggaran dan laporan tahunan

seharusnya disiapkan sesuai dengan kebutuhan dan bentuk yang mudah

diperiksa. Harus jelas bagaimana menggabungkan informasi yang relevan:

informasi yang jelas seharusnya diberikan pada pilihan yang mendasari

persiapan suatu informasi. Sistem untuk data kinerja standar dan prosedur

untuk pemrossesan data harus dicatat dalam suatu cara yang dapat dinilai oleh

entitasnya. Harus memungkinkan untuk menilai kualitas dan sikap yang

memihak dari suatu evaluasi dengan bantuan data audit.

Penilaian sistem untuk penialain kinerja.

Langkah pertama untuk melakukan evaluasi sistem informasi kinerja adalah

menentukan apakah tujuan organisasi yang disiapkan oleh sistem. Denga kata

lain, apakah kegiatan sebagai ukuran netral, pencatatan sederhana dari tujuan

jangka panjang tanpa menimbulkan dampak terhadap organisasi? Atau

memainkan peranan penting dalam sistem kontrol dan perencanaan informasi?

Idealnya, pengumpulan dan analisa data seharusnya dari bagian dan kumpulan

perencanaan dan sistem kontrol, sebagai jaminannya bahwa informasi

digunaskan untuk tujuan merevisi kebijakan dan laporan. Setelah itu, kontrol,

tidak ada artinya mengumpulkan data jika anda tidak melakukan apapun

dengannya.

Pertanyaan kedua yang perlu anda tanyakan yakni apakah, dalam kaitannya

dengan strategi politik dan tujuan operasional dan kinerja yang ditunjukkan

oleh sistem informasi kinerja dalam hal ini, sistem informasi kinerja

mengandung indikator kinerja yang benar. Hal ini karena tujuanh operasional

dan strategis tidak selalu diterjemahkan dalam indikator yang tepat, yanag

mana membuat informasi yang dihasilkan dari sistem informasi kinerja tidak

cocok untuk digunakan pada kebijakan revisi atatau tujuan pelaporan. Sebagai

contoh, Jika tujuan dari kebijakan pemerintah adalah untuk mencegah produksi

sampah, tingkat data kinerja diartikan sebagai penurunan kuantitas sampah

tidak selalu menyatakan bahwa terjadi penurunan sampah yang diproduksi,

yang mana berariti hal itu bukanlah indikator yang baik atas outcome dari

kebijakan yang dipertanyakan.. bagaimanapun juga jika tujuan diartikan

sebagai mengurangi kuantitas sampah, data kinerja akan menyatakan hasil yang

luar biasa tentang kesuksesan pemerintah dalam mencapai tujuannya, dan

inilah indikator yang baik atas outcome dari suatu kebijakan.

Tahap ketiga meliputi pernyataan apakah indikator kinerja tepat dalam

menentukan sudut pandang. Dengan kata lain ini adalah pertanyaan dari

pernyataan validitas dan keandalan kinerja mereka.

Netherland Court of Audit (Lembaga audit Belanda) merancang persyaratan-persyaratan berikut yang berkaitan dengan sistem yang mengukur pencapaian tujuan, efisiensi dan efektifitas suatu kebijakan organisasi.

Sistem informasi kinerja seharusnya mengandung informasi tentang input, proses, output dan outcome.

Informasi yang dihasilkan oleh sistem informasi kinerja seharusnya mencakup kriteria hasil yang ditetapkan sebelumnya dalam bagian ini.

Indikator hendaknya meliputi strategi khusus atau tujuan operasional yang ditetapkan untuk kebijakan atau organisasi yang sedang diperikasa.

Indikator seharusnya tidak hanya mencakup pengeluaran jangka pendek dari perspektif jangka panjang.

Keuntungan yang didapat dari pengumpulan data harus sebanding dengan biaya yang dikeluarkan.

Informasi yang dihasilkan oleh sistem informasi kinerja harus dapat membantu manajemen dalam mengambil keputusan.

Informasi yang dihasilkan oleh sistem informasi kinerja harus berguna, sebagai contoh dalam proses penganggaran, pengambilan keputusan yang sifatnya regular atau dalam evaluasi.

Informasi yang lama harus disimpan sehingga dapat digunakan untuk menganalisis perubahan secara kronologis.

Kriteria sistem informasi di Inggris

Dalam manual yang dikeluarkan oleh HM Treasury dan UK’s National Audit Office (Kantor Audit Nasional Inggris) yang berjudul Choosing the right FABRIC. A framework for performance, terdapat bab yang menentukan unsur dari sistem informasi kinerja yang baik, yaitu :Focused, harus fokus pada tujuan dan sasaran organisasiAppropriate , tepat dan berguna untuk para pihak yang berkepentinganBallanced , seimbang dalam memberikan gambaran tentang kegiatan organisasi, mencakup semua area yang penting dari organisasiRobust, memiliki daya tahan sehingga dapat mengikuti perubahan-perubahan dalam organisasi.Integrated, sistem harus merupakan bagian yang integral dari organisasi.Cost Effective, biaya sebanding dengan manfaat yang dihasilkan

5.3.6 Penilaian Terhadap Daya Guna dari Informasi Kebijakan

Ketika Anda sudah dapat menentukan kualitas dari informasi kebijakan, langkah logis selanjutnya adalah menguji apakah informasi benar-benar digunakan untuk mengembangkan dan memperbaiki kebijakan.

Pengujian terhadap daya guna dari informasi kebijakan sangat krusial, terutama jika Anda menginvestigasi alasan-alasan untuk menelusuri suatu kebijakan tertentu.

Bahkan jika audit yang dilakukan tidak menitikberatkan pada argumentasi yang mendasari kebijakan yang diberikan, menyertakan aspek ini merupakan hal yang sangat berguna. Sangat penting untuk memastikan bahwa pihak kementrian tidak hanya mengumpulkan informasi tanpa mengetahui apakah informasi tersebut diterapkan atau tidak. Lebih dari itu kenyataan bahwa tidak digunakannya informasi kebijakan tersebut (atau digunakan dengan sebaik-baiknya) dapat menjelaskan mengapa pemerintah tidak dapat mencapai output atau outcome yang ditentukan.

Klausul 6.1 dari Dutch Central Government Performance Data and Evaluative Studies Regulation (peraturan mengenai data dan evaluasi kinerja pemerinah pusat Belanda) menyebutkan sejumlah aspek yang berkaitan dengan pemeriksaan terhadap manfaat yang dihasilkan dari informasi kebijakan dan data kinerja :

o Pejabat senior dan menteri harus diberitahu, sesuai dengan prosedur standar yang berlaku di kementerian tersebut, hasil dari evaluasi reguler.

o Data kinerja harus digunakan untuk tujuan (1) pengganggaran negara (2) siklus anggaran kementerian (3) proses kebijakan kemeterian (4) manajemen operasional.

Syarat-syarat berikut ini juga relevan untuk masalah ini (lihat juga Court of Audit,1991c) :

o Pihak-pihak yang berkepentingan (misalnya parlemen, pejabat dan menteri) harus menerima laporan hasil audit tepat waktu

o Pihak yang berwenang harus memutuskan (dengan tepat waktu) langkah-langkah yang harus dilakukan berdasarkan temuan pemeriksaan

o Perhatian harus diberikan pada setiap perubahan

Untuk alasan auditability, bukti dokumen yang dari daya guna informasi kebijakan sangat penting untuk disediakan.

5.3.7 Checklist untuk menilai sasaran dan informasi kebijakanAnda dapat menggunakan checklist umtuk menilai formulasi dari sasaran kebijakan dan/atau informasi kebijakan (output and outcome dan aspek lainnya).Checklist dapat digunakan, sebagai contoh, sebagai langkah sistematis untuk memastikan apakah masing-masing laporan dari serangkaian laporan audit memenuhi jumlah yang disyaratkan. Hal ini bukan hanya masalah menilai persayaratan dari sasaran kebijakan dan informasi kebijakan. Checklist juga digunakan untuk mencatat mendata aspek umum dan/atau metodologi tertentu dari laporan yang sedang diperiksa.

Contoh checklist yang digunakan oleh Netherland court of Audit tersedia di intranet milik lembaga tersebut.

5.3.8 Ketentuan tentang Pelaporan Informasi ke Dewan Perwakilan

Lembaga audit Belanda telah melukiskan petunjuk untuk ketentuan tentang pelaporan informasi oleh menteri. Petunjuk ini, yang tersedia untuk pemeriksaan di HANDAR (dalam folder dengan judul proses utama/proses audit), harus diamati ketika memeriksa cara menteri melaksanakan kewajibannya untuk memberi laporan ke States General. Petunjuk tersebut tidak hanya berisikan standar mengenai ketentuan pelaporan informasi tetapi juga mendiskusikan terminologi yang digunakan oleh lembaga audit dalam laporannya untuk masalah yang sulit ini. Dalam petunjuk tersebut terdapat pula checklist.

Anda harus waspada pada fakta bahwa persyaratan informasi tambahan diberlakukan untuk proyek yang merupakan subyek untuk pereturan prosedural untuk proyek yang besar.

5.3.9 Sudut pandang yang lainnya.

Anda harus lebih memperhatikan untuk poin-poin berikut ketika mencari informasi kebijakan. Pertama-tama, Anda harus mengetahui level informasi kebijakan yang harus disediakan. Kita telah sepakat bahwa, pada dasarnya, menteri harus memiliki akses pada informasi kebijakan jenis ini. Pada kenyataannya, bagaimanapun, hal ini tergantung pembagian tanggung jawab oleh menteri untuk bidang kebijakan yang diperiksa. Ketika otoritas regulator telah melakukan tanggung jawab untuk mengawasi bidang yang diperiksa, sebagai contoh, jenis informasi yang tersedia untuk menteri dapat berbeda dengan informasi yang tersedia apabila menteri memiliki tanggung jawab penuh terhadap kebijakan tersebut. Hal ini harus ditelaah satu persatu untuk setiap bidang kebijakan.

Menilai informasi kebijakan pada tingkat lokal

Ketika National Court of Audit mencoba untuk menilai sistem yang berjalan untuk menjamin kualitas dari informasi lokal, hal ini berarti memasuki area dimana mereka tidak memiliki kewenangan yang besar. Hal ini berarti mereka bergantung pada kerjasama sukarela. Sebagai contoh, terdapat sebuah kasus audit dengan subyek dengan tujuan melakukan konseling dan menyatukan kembali siswa putus sekolah, saat Court harus menilai kualitas dari informasi kebijakan lokal. Kejadian serupa terjadi ketika Court mengaudit kebijakan dari pemerintah kota-kota besar,yang melibatkan pengamatan terhadap kualitas dari sarana-sarana pemerintah untuk mengawasi dan memeriksa kebijakan tersebut. Dalam kedua kasus tersebut, The court secara eksplisit menentukan sasaran auditnya adalah menteri, pihak yang bertanggung jawab untuk membuat ketentuan yang efektif mengenai pelaporan informasi.

Pada audit dengan tujuan mencegah dan memerangi kenakalan remaja, dan menyiapkan rencana pencegahan bencana, The Court juga mengamati jumlah informasi yang disediakan kepada pejabat lokal yang berwenang. Tujuannya untuk menilai peran yang dilaksanakan oleh otoritas lokal dalam melakukan koordinasi dan peran dari badan tingkat propinsi dalam melakukan supervisi. Walaupun menteri tidak bertanggung jawab secara langsung terhadap tindakan yang dilakukan oleh pejabat lokal, dia memiliki kewenangan untuk mempertanyakan apabila terjadi kekurangan-kekurangan yang begitu kentara.

Yang kedua, anda harus mengetahui bagaimana cara untuk menilai informasi yang dihasilkan oleh penyedia data profesional, misalnya National Institute for Public Health and the Environment, Statistic Netherland, the Netherland Bureau for Economic Policy Analysis, dan the Social and Cultural Planning Office of Netherland. Secara teori, organisasi-organisasi ini harus diperlakukan sama dengan penyedia data lainnya, dan tidak ada alasan untuk mencegah auditor menelaah lebih dalam organisasi-organisasi tersebut. Namun pda kenyataannya, kita harus melihat seberapa jauh yang kita berharap dan seberapa jauh kita bisa untuk menilai jenis informasi ini. Dan tingkat ketelitian yang akan kita kejar. Hal yang sama berlaku untuk organisasi-organisasi seperti otoritas regulator, inspektorat dan lembaga supervisi lainnya.

5.3.10 Rekomendasi

Dalam membuat rekomendasi, sangat penting untuk menyarankan hal-hal yang sifatnya spesifik yang dapat menghasilkan perbaikan-perbaikan yang sifatnya struktural terhadap kualitas dari informasi kebijakan.

Sebagai contoh, dalam laporan pemeriksaan untuk mencegah dan memerangi kenakalan remaja, the Court membahas semua jenis langkah-langkah teknis yang detail yang harus dimasukkan pada arus informasi (misalnya bagian yang memperlihatkan apakah remaja telah mendapat bantuan dan jika sudah apa efeknya; penggambaran yang jelas tentang waktu kunjungan kepada remaja).Terlepas dari isinya, format dari sistem untuk mengukur kualitas dari informasi juga merupakan faktor yang krusial. Sebagai contoh, laporan audit dengan tujuan untuk melakukan konseling dan menyatukan kembali siswa putus sekolah membahas secara detail kebutuhan untuk menghubungkan catatan sekolah dengan catatan yang dibuat oleh badan yang bertanggung jawab untuk melakukan konseling dan supervisi (misalnya lembaga kesejahteraan remaja dan pejabat pengawas sekolah), dan informasi juga dikirimkan kepada menteri pendidikan untuk membantu dalam membuat kebijakan untuk masalah siswa putus sekolah. Akhirnya, tentu akan jauh lebih jika semua pihak yang berkepentingan melakukan kompilasi data yang dibutuhkan untuk melaporkan kebijakan nasional dengan bantuan komputer untuk semua data yang dibutuhkan oleh berbagai pihak untuk menampilkan pekerjaan yang telah dilakukan daripada dengan serangkaian proses yang terpisah. Agar hal ini dapat dilakukan, bagaimanapun, harus ada jaminan kualitas dari lokal data, dan jaminan tersebut sifatnya terbatas. Hal ini dilakukan tanpa mengatakan bahwa undang-undang tentang privasi juga harus diperhatikan dengan ketat.

Rekomendasi yang tidak jelas seperti “kualitas dari informasi kebijakan harus ditingkatkan” harus dihindari. Berikut ini adalah contoh-contoh rekomendasi yang spesifik.

o Lakukan investigasi mengapa 44% dari remaja yang diklasifikasikan sebagai tersangka dalam sistem pelacak kenakalan remaja tidak tercatat trelah dilakukan penututan.

o Lakukan reviu secara sistematis terhdap kebijakan yang berlaku di kota-kota besar, untuk memperoleh gambaran tentang kesuksesan pemerintah atau dengan kata lain keberhasilan dalam mencapai tujuan, efektifitas kebijakan, dan keterangan secukupnya untuk hal ini.

o Buat desain dari sistem informasi yang mengandung informasi yang relevan tentang input, proses, output dan outcome. Sistem informsi kinerja harus terhubung dengan siklus perencanaan dan pengawasan dan siklus kebijakan.

6. AUDIT TERHADAP PENCAPAIAN TUJUAN (DAN MENCAPAI KELOMPOK SASARAN)

6.1 Pendahuluan

Telah dijelaskan pada bab 3, bahwa terdapat tiga jenis audit kinerja yaitu audit untuk menilai keberhasilan pencapaian tujuan, audit untuk menilai efektifitas dan untuk menilai efisiensi. Perbedaan antara ketiga jenis audit diatas terletak pada masalah pokok yang diperiksa, subyek audit danmetode audit. Bab ini akan lebih mendalami tipe audit kinerja yang pertama yaitu yang ditujukan untuk menilai keberhasilan pencapaian tujuan atau pemenuhan sasaran kelompok.

6.2 Audit terhadap Pencapaian Tujuan

6.2.1 Perumusan Masalah dan Pertanyaan Audit

Audit terhadap pencapaian tujuan dirancang untuk menentukan tingkat pencapaian tujuan dari suatu kebijakan baik tujuan umum dan/atau tujuan yang sifatnya operasional. Sesuai dengan VBTB Operation, tujuan-tujuan diatas mungkin diformulasikan dalam bentuk target groups (lihat bagian 6.3), sasaran nilai dan tenggat waktu. Pada umumnya kita akan mudah merumuskan masalah untuk jenis audit ini. Contohnya sebagai berikut.

Apakah sasaran dari kebijakan telah terpenuhi?

Sasaran dari suatu kebijakan harus ditentukan dengan jelas sebelumnya (lihat bab 5). Tujuan dari kebijakn itu dapat diformulasikan dalm bentuk output dan outcome (contohnya perubahan dalam masyarakat). Perumusan masalah selanjutnya dapat diperluas menjadi lebih detail, sehingga dapat meliputi sebagai contoh audit question yang spesifik untuk setiap bidang kebijakan, kementerian atau badan hukum yang menjalankan perintah undang-undang, level administrasi, alat kebijakan dan/atau waktu.

Anda juga dapat memeriksa peran yang dijalankan oleh menteri yang terkait dengan pencapaian sasaran kebijakan. Berikut ini adalah contoh-contoh audit qustion untuk jenis audit ini.

Berapa banyak subsidi yang diberikan pada tahun lalu dan apakah jumlah ini sesuai dengan tujuan yang ditetapkan oleh prmerintah? (ini adalah contoh rekaan )

Apa output yang dihasilkan di lapangan oleh Pesticides Approval Committee? (NCA 2002f, p 29)

Seberapa baik penatausahaan koleksi yang dilakukan di museum negara, dan seberapa baik pemeliharaan koleksi tersebut? (NCA, 200b, p 8-9)

6.2.2 Kriteria Tidak ada kriteria baku untuk pencapaian output dan outcome, yang ada hanya formulasi dari sasaran informasi kebijakan (lihat bab 5). Intinya, ketika mengaudit output, secara umum Anda akan membandingkan output dan outcome yang diinginkan dengan output dan outcome yang faktual.

Informasi tentang output dan output yang diharapkan (yakni nilai acuan) dapat diperoleh dari berbagai macam sumber. Informasi tersebut, sebagai contoh, dapat diperoleh dari perjanjian yang telah dibuat sebelumnya mengenai jumlah output dan outcome, dalam kasus perjanjian antara pemerintah pusat di satu pihak dan badan dan/atau otoritas administrasi di pihak lainnya (lihat juga bab 5 mengenai formulasi dari tujuan).

6.2.3 Perancangan Audit Audit yang ditujukan untuk menentukan pencapaian tujuan suatu kebijakan tidak dirancang untuk memastikan apakah tujuan-tujuan tersebut dicapai karena menggunakan alat kebijakan tertentu. Hal ini berarti tidak dibutuhkan desain audit yang kompleks.

Yang Anda butuhkan adalah sistem untuk mengukur berbagai output dan/atau outcome setelah penggunaan alat kebijakan yang relevan, atau kombinasi dari pengukuran sebelum dan sesudah penggunaan alat kebijakan. Yang pertama (yakni pengukuran setelah pelaksanaan kegiatan) dibutuhkan jika sasaran resmi kebijakan adalah sebagai berikut; untuk mencapai nilai teretntu dalam variabel tertentu (contoh, tingkat kebisingan tidak melebihi X desibel). Kombinasi pengukuran sebelum dan sesudah kegiatan dibutuhkan jika sasaran resmi kebijakan adalah sebagai berikut; untuk meningkatkan atau penurunan nilai dipengaruhi oleh faktor-faktor (contohnya: pengurangan dari x dalam tingkat kebisingan suara).

Dalam mendaftar berbagai detail rencana dalam hubungan tersebut, anda dapat

membuat pernyataan tentang beberapa output dan /atau outcome dengan dasar

perbandingan.

Perbandingan bersama : teknik ini cocok digunakan untuk situasi dimana

mereka lebih dari satu agen eksekutif dengan salah satunya sama atau

dipersamakan proses produksi dan hasilnya (seperti satu jenis inspektorat

operasi dalam angka daerah yang berbeda); perbandingan kinerja dari target

organisasi dengan organisasi lain sering kali bermakna sebagai tanda usaha

terbaik atau usaha rata-rata adalah tanda dalam penilaian.

Perbandingan urutan : meliputi perbandingan kinerja organisasi saat ini

dengan kinerja sebelumnya. Kriteria umum yang digunakan dalam hal kinerja

saat ini lebih dari kinerja sebelumnya. Dalam membuat perbandingan antar

waktu, anda harus memikirkan tentang perubahan output tidak sesederhana

kinerja organisasi itu sendiri, tetapi selalu dipengaruhi faktor lain (seperti

peningkatan atau penurunan dalam beban kerja, contahnya angka aplikasi

untuk surat ijin).

6.2.4. Indikator Kinerja

Berbagai indikator dapat digunakan untuk membuat pernyataan tentang distribusi

output oleh kementerian, orang yang tepat dengantugas khusus atau hal bertindak

secara lokal. Kantor Perencanaan Sosial dan Budaya Belanda membagi pengukuran

kinerja kedalam dua kategori yang berikut:

Indikator kinerja : keluar di akhir produksi produk (saat nomor surat ijin

diberitahukan atau nomor surat ijin ditandatangani).

Indikator proses : keluar selama proses pengerjaan atau pertengahan produksi

produk.

Di waktu mengartikan indikator, anda harus kritis atas kualitasnya dan jalan mana

yang digunakan dalam produksi. mereka dalam berbagai peristiwa harus menurut

dengan tiga kondisi berikut:

Mereka harus merumuskan kuantitas variabel;

Mereka harus mampu mengembangkan;

Mereka harus mampu menggunakan kelebihan produksi dalam jangka waktu

yang lama, jadi ketidakmampuan kronologis digunakan.

Anda mungkin berfikir mudah, dalam menggunakan indikator kinerja, untuk

membedakan antara output bahwa kelihatan ke sebelah luar dunia dan kemudahan

output.

6.2.5. Indikator Outcome

Output dikirim oleh perusahaan, rumah tangga dan institusi mungkin memberikan

indikasi tentang dampak sosial dari kebijaksanaan. Itu juga indikator langsung

outcome yang memberikan indikasi pada outcome akhir dalam masyarakat. (Seperti

dalam hal angka kematian di jalan, yang mana mungkin digunakan indikator dari

keamanan lalu lintas secara umum). Indikator didesain untuk mengukur outcome

akhir, kemudian dampak produk dalam warga kota tersebut yang diharapkan atau

masyarakat pada umumnya. Indikaotr pemanfaatan (perubahan dalam target yang

terjangkau) mungkin juga digunakan sebagai wakil untuk mengukur outcome khusus.

Sebagai contoh seperti halnya indikator adalah angka pasar tukang kebun yang

digunakan mengukur penyimpanan energi.

Di waktu yang sama, data yang telah diambil dan output yang dikirimkanoleh

pemerintah pusat dapat juga digunakan sebagai indikator outcome. Itu dipakai

khususnya dalam hal pengambilan atau output langsung berpengaruh pada prestasi

outcome yang dihasilkan (untuk contohnya, angka dari tempat militer dimana tanah

terkontaminasi sebagai indikator dari perbaikan tanah di tempat militer). Sehingga,

tanpa makna pengambilan atau pengiriman output oleh pemerintah pusat mungkin

menjadi indikator dari outcome akhir yang dihasilkan.

Apakah data kinerja sudah selalu aktual mengatakan berbagai hal tentang outcome

akhir dapat dipercayai harus dalam jalan mana dalam rumusan. Jika kita mengambil

contoh sebelumnya tentang kebijakan pemerintah dalam pemborosan produksi,

dimana objektivitas dari rumusan sebagai ”pencegah pemborosan produksi”, alat

untuk ”pengurangan jumlah pemborosan” tidak aktual mengatakan lebih tentang

pencegahan pemborosan produksi, sehingga dapat diartikan bahwa itu bukanlah

indikator yang baik tentang outcome. Jika, sehingga, yang objektif adalah

merumuskan ulang untuk dapat membaca perubahan jumlah pemborosan, tokohnya

kemudian berkata persetujuan besar tentang luasnya objektifitas yang dicapai dan itu

adalah indikator yang baik untuk outcome.

6.2.6. Rekomendasi

Rekomendasi yang tepat termasuk berikut ini:

Menggunakan alat kerjasama, juga sebagai unsur bahwa anda mencapai tujuan

kebijakan anda di waktu yang akan datang;

Menggunakan waktu diman tujuan kebijakan dapat diperkirakan tercapai.

Menggunakan tujuan kebijakn itu sendiri. Ini digunakan rekomendasi jika

dilakukan audit, contohnya, jika tujuan kebijakan terlalu ambisius. Jika itu

terjadi, tidak ada nilai dalam kebijakan yang sama. Audit mungkin harus

memperkirakan teknik-teknik dalam pencapaian tujuan kebijakan, tetapi hanya

saat biaya yang tinggi secar ekstrim. Kemudian, tidak ada nilai dalam tujuan

kebijakan dalam hal situasi. Itu sebaiknya dirumuskan tujuan kurang ambisius

bahwa datang dengan persetujuan tingkat biaya.

Rekomendasi mungkin harus bertujuan untuk menata-ulang menanggulangi

kegagalan dalam mencapai tujuan kebijakan yang ditetapkan.

6.3. AUDIT DALAM JANGKAUAN KELOMPOK TARGET

6.3.1. Definisi Masalah

Ada dua tipe dasar dari audit untuk auditor sukses menjangkau kelompok target :

kelompok target audit dan kemudahan audit.

Bentuk tipe audit diciptakan untuk digunakan disaat dan bagaimana kelompok target

oleh kebijakan (anggota publik, institusi dan perusahaan) menjangkaunya. Pertanyaan

yang sama mungkin menjadi sikap dalam hal badan eksekutif bahwa tidak ada bagian

dari pemerintah pusat (seperti pemimpin propinsi, pemimpin lokal, orang yang

berkuasa dalam hal tugas khusus dan pemimpin otonomi administratif); itu adalah

hubungan vital dalam rantai kebijakan, dengan pemerintah pusat dalam satu akhir dan

kelompok target akhir dari semuanya.

Jenis definisi masalah dalam hubungan dengan kelompok target audit adalah :

Bagaimana menjangkau kelompok target, dalm car yang diinginkan dan

luasnya keinginan sampai periode sebelum reviu?

Jenis definisi masalah dalam hubungan dengan kemudahan audit adalah :

Melakukan perumusan tujuan oleh pemerintah pusat, dampak dalam pelaku

lain dalam rantai kebijakan?

6.3.2. Pertanyaan Audit:

Jangkauan Kelompok Target.

Masalah dalam memberikan pengertian dalam hubungan ke kelompok target audit

mungkin menjadi tergambarkan beriktu dalam empat pertanyaan audit :

1. Bagaimana kelompok target didefinisikan?

2. Benarkah kelompok target yang dipilih?

3. Bagaimanakah auditan mengharapkan jangkauan kelompok target dan apa

proporsi dari kelompok target yang auditan harapkan untuk dijangkau?

4. Proporsi yang diinginkan dari kelompok target aktualkah untuk dijangkau

dalam cara yang diinginkan?

1. Bagaimana kelompok target didefinisikan?

Sebenarnya setiap tujuan kebijakan perlu untuk dijangkau oleh campur tangan

manusia, kelompok target dari kebijakan pemerintah tidak selalu konsisten diartikan

oleh tiap orang. Kebijakan selalu berpengaruh terhadap organisasi: perusahaan

didorong untuk mengurangi konsumsi energi, instansi publik diharapkan melakukan

yang terbaik untuk mengurangi hak ketidakhadiran untuk sakit dan klub olahraga

perlu untuk menarik lebih banyak pemuda. Artinya bahwa pertanyaan audit yang

pertama akan mencari tahu bagaimana kelompok target didefinisikan.

2. Benarkah kelompok target yang dipilih?

Kapan menilai apakah kelompok target yang tepat yang dipilih, anda akan mencari

kata yang tepat menggambarkan garis bawah argumen dari kebijakan dalam

pertanyaan yang cukup dari konotasi kebijaksanaan yang dimiliki, contohnya dalam

hal desain rencana untuk penerimaan yang diterima rendah, anda mungkin berharap

mengetahui apakah rencana itu sendiri sesuai dengan kelompok target.

3. Bagaimanakah auditor mengharapkan jangkauan kelompok target dan apa

proporsi dari kelompok target yang auditan harapkan untuk dijangkau?

Sebelum anda dapat mengatakan segala sesuatu tentang tingkat yang mana kelompok

target dapat jangkau dalam praktek, anda pertama-tama perlu mengetahui bagaimana

auditan berharap untuk menjangkau kelompok target tersebut. Itu dapat diartikan

dalam perbedaan jalan yang semuanya pendek: ”datang dengan kontrak”,

”pengambilan tanggung jawab”, ”saling pengertian”, ”persetujuan”, ”pengambilan

dalam bagian” dan banyak lagi. Biasanya, syarat dalam hubungan untuk proporsi

kelompok target, auditan berharap jangkauan tersebut memberikan perentase pada

kelompok target harus memiliki jangkauan oleh waktu tertentu.

4. Proporsi yang diinginkan dari kelompok target aktualkah untuk dijangkau

dalam cara yang diinginkan?

Hanya sekarang anda dapat mengatur bagaimana menjawab pertanyaan vital tentang

apakah kelompok target itu aktual dengan jangkauannya. Dua tipe dari pertanyaan

audit yang relevan saat ini. Pertama menghubungkan urusan negara dalam pemberian

nilai saat ini. Tipe pertanyaan yang sering digunakan:

Berapa besar persentase orang yang mengetahui eksistensi dari

keuntungan perumahan yang direncanakan?

Berapa besar persentase orang yang tahu dimana dan berapa yang

mengaplikasikan untuk keuntungan perumahan?

Berapa besar persentase dari hak mereka atas keuntungan perumahan

yang mereka ketahui dari hak mereka?

Berapa besar persentase dari hak mereka atas keuntungan perumahan

yang aktual digunakan untuk perorangan?

Tipe pertanyaan kedua menghubungkan proporsional perubahan dari kelompok target

itu menjangkau setelah output spesifiknya tersalurkan. Dalam hal yang lebih,

persoalan yang dilihat saat menggunakannya adalah membuat informasi publik yang

material dalam menginformasikan orang tentang kebenarannya (seperti publikasi dari

selebaran yang berjudul ”Anda mungkin berhak atas keuntungan perumahan”) atau

mendorong mereka untuk melakukan kembali tipe praktek dari tindakan (seperti

publikasi dari selebaran yang berjudul ”Mulai m,elindungi lingkungan dari rumah”).

Dalam hal ini, kelompok target audit meliputi identifikasi perubahan dalam proporsi

dari kelompok target yang dijangkau setelah informasi dijaga hinga akhir. Berikut

adalah contoh dari pertanyaan audit yang relevan :

Apakah sudah ada sebuah peningkatan dalam persentase dibawah empat

yang teratur mengunjungi pos klinik kelahiran dalam pembangunan

informasi publik yang telah di jaga hingga akhir ini?

Berapa banyak petani yang telah menggunakan tunjangan untuk lahan

yang mereka tinggalkan kosong sejak perubahan dalam aturan yang telah

diumumkan?

Kemudahan

Dalam kasus audit kemudahan, ketentuan permasalahan mungkin diterjemahkan ke

dalam pertanyaan-pertanyaan audit berikut ini:

Pelaku yang mana, sebagian dari pemerintah pusat, yang terlibat dalam

pelaksanaan kebijakan X? Dengan kata lain, apakah sifat dari rangkaian kebijakan

dalam mematuhi kebijakan X?

Bagaimanakah pemerintah pusat mengharapkan para pelaku yang

bersangkutan untuk menyumbangkan pelaksanaan kebijakan X?

Apakah pelaku yang bersangkutan mengetahui tujuan-tujuan pemerintah

pusat dalam hubungan dengan pelaksanaan kebijakan X?

Apakah para pelaku yang bersangkutan telah mengambil tujuan-tujuan ini

kedalam laporan?

Apakah para pelaku yang bersangkutan setuju dengan tujuan-tujuan ini?

Dengan kata lain, apakah ada sekumpulan dari ketentuan permasalahan segi

pendapatan, nilai-nilai dan gagasan-gagasan tentang solusi yang potensial?

Apakah pelaku yang bersangkutan bertindak sesuai dengan tujuan-tujuan

pemerintah pusat dalam hubungannya dengan pelaksanaan kebijakan X? Dengan

kata lain, apakah tingkah laku mereka sesuai dengan tujuan-tujuan ini?

6.3.3. Kriteria

Agar supaya untuk membuat sebuah pernyataan tentang ukuran dari kelompok target

atau kepastian lanjut yang telah dicapai, atau mengenai perubahan di dalam ukuran

dari kelompok target yang telah dicapai, anda membutuhkan informasi yang rinci

menurut kriteria berikut:

1. Ukuran dari kelompok target yang diharapkan auditan untuk dijangkau, atau

perubahan dari harapan-harapan auditan untuk mencapai ukuran dari

kelompok target yang telah dicapai oleh kebijakan;

2. Jalan yang mana harapan-harapan auditan untuk mencapai kelompok target;

3. Tanggal yang mana harapan-harapan auditan di atas telah tercapai.

1. Ukuran dari kelompok target yang diharapkan auditan untuk dijangkau, atau

perubahan dari harapan-harapan auditan untuk mencapai ukuran dari

kelompok target yang telah dicapai oleh kebijakan.

Langkah pertama adalah menetapkan, dalam bentuk jumlah target yang ditetapkan

(sebagai contoh sebuah persentase atau gambaran pasti untuk ukuran dari kelompok

target atau sebuah kelompok lanjutan), atau sebagai syarat dari sebuah tren yang

diinginkan (misalnya ”lebih” atau ”kurang”), ukuran dari kelompok target atau

tingkatan perubahan harapan-harapan untuk dicapai. Ini bukanlah sebuah hal yang

sederhana atas jumlah bagian, tetapi juga penetapan sifat atas kelompok target atau

lanjutannya. Setelah semua itu, ada sebuah perbedaan yang nyata antara kelompok

target yang dipembandingkan sebagai ”semua penduduk negara Belanda” dan satu

yang ditegaskan sebagai pembanding ”semua penduduk belanda yang berumur antara

18 dan 24 tahun.

2. Jalan yang mana harapan-harapan auditan untuk mencapai kelompok target.

Tidak diragukan, auditan harus memiliki indikasi berapa harapan untuk

menjangkau kelompok target. Dalam beberapa hal, itu akan didefinisikan dalam

masa dari pengetahuan dan kebiasaan.

3. Tanggal yang mana harapan-harapan auditan di atas telah tercapai.

Pada akhirnya, auditan sebaiknya memiliki sebuah ide bersih atas tanggal yang mana

diharapkan telah mencapai kelompok target atau lanjutannya. Ini boleh melibatkan

daftar sebuah rangkaian dari yang ukuran atas kelompok target dan

lanjutannyasebaiknya telah dicapai dengan tanggal lanjutan pastinya. Jika anda

kemudian mengukur apakah ukuran yang telah dikehendaki atas kelompok target

telah dicapai pada tanggal yang telah ditetapkan, tak ada seorangpun yang dapat

menyalahkan anda untuk mulai mengukur pada titik waktu yang terlalu awal.

Pada dasarnya, informasi rinci sebaiknya tersedia dalam hubungan untuk kebijakan

bawah untuk diulang kembali, berapa yang ditetapkan dan yang mana tanggal auditan

direncanakan untuk berapa jangkauan dari kelompok target. Dalam hal tertentu,

bagaimanapun juga, anda mungkin menggunakan jangkauan sanksi dasar dalam

informasi umum yang lebih. Penggunaannya, untuk contoh, untuk menjaga informasi

publik: layanan informasi pemerintah harus diterapkan, berbicara luas, itu memuaskan

jika televisi komersial menjangkau paling sedikit 80% dari kelompok target yang

relevan (Netherlands Court of Audit,1991).

6.3.4. Desain Audit

Jika keinginan kelompok target dan/atau dampak yang diinginkan dalm masa dari

kriteria (seperti 80% atau X angka dari orang) harus menjadi perbandingan dari

memberi tanggal, pengukuran tunggal akan mencukupi. Jika, bagaimanapun juga,

anda menginginkan dalam tren pengukuran, anda akan perlu untuk menyelenggarakan

dua pengukuran, sebelum dan sesudah kebijakan diimplementasikan dalam

pertanyaan.

6.3.5. Indikator Kelompok Target

Anda dapat menggunakan indikator pemanfaatan untuk mengidentifikasi tingkat yang

mana jangkauan yang dimiliki kelompok target. Indikator pemanfaatan mengatakan

sesuatu tentang pengguna layanan (Social and Culture Planning Office of the

Netherlands, 2001,p.10) dan tingkatan yang mana layanan digunakan dalam

pertanyaan.

6.3.6. Rekomendasi

Jika jalan yang mana kelompok target jangkau tidak membandingkan rumusan

kriteria, auditor biasanya meminta auditan untuk mencoba dan memperbaiki jalan

yang mana kelompok target jangkau. Rekomendasi ini mungkin mengambil angka

dari bentuk-bentuk yang berbeda, bergantung pada situasi:

Dalm bentuk sederhana, rekomendasi terhadap kelengkapan alat yang digunakan.

Auditor mungkin menganjurkan, contahnya, auditan harus menggunakan media

lain atau lanjutannya untuk menjangkanu kelompok target (bergantung sifat dasar

dari kesimpulan audit).

Kemungkinan rekomendasi lain adalah untuk membuat definisi pembersihan dari

kelompok target pokok dan lanjutannya. Audit mungkin memberi kesan, untuk

contoh, salah satu dari kesulitan atau kesalahan definisi harus digunakan.

Rekomendasi mungkin selalu berhubunngan pada ukuran kelompok target

dan/atau jalan yang mana dijangkau. Jika masalahnya adalah identifikasi dalam

areanya, anda mungkin berharap untuk menyarankan salah satu dari auditan harus

mencari jangkauan kelompok target yang lebih pendek atau auditan haurs

mengurangi sikap ambisi dengan jalan itu mengharapkan untuk menjangkau

kelompok target. Jenis rekomendasi yang relevan diterapkan jika benar-benar

berambisi rendah dapat diwujudkan dalam biaya subtantantif yang rendah.

Anda mungkin akan memilih pendekatan kedua bila anda berencana untuk menguji

seperangkat alat kebijakan yang telah digunakan dalam hubungan tujuan kebijakan

tunggal. Dalam beberapa kasus, alat kebijakan tersebut dibuat untuk mempersulit

penilaian terhadap peran dari pelaksana kebijakan individual dalam pemenuhan tujuan

kebijakan tersebut. Yang harus anda lakukan selanjutnya adalah, menilai efektifitas

dari campuran perangkat kebijakan tersebut.

Kadangkala, bagaimanapun juga, mungkin saja untuk menilai efektifitas dari

perangkat kebijakan individu. Dalam kasus ini sebagai contoh, percobaan dalam

hubungan antara kebijakan pemerintah dengan penghematan energi.

Efektifitas dari perangkat yang digunakan dalam kebijakan penghematan energi yang

dilakukan pemerintah: suatu percobaan.

Percobaan tersebut dilakukan oleh sebuah penyedia energi yang bernama EDON pada

tahun 1993 dan 1994 (diawasi oleh B&A grup yang bekerja dibawah naungan

kementrian ekonomi) mencoba untuk menilai efektifitas dari dua perangkat yang

dapat digunakan untuk menerapkan kebijakan penghematan energi yang dilakukan

pemerintah: informasi publik dan insentif keuangan (dalam NLG 150 atau NLG 75).

Keberadaan dari enam kelompok pengguna energi yang berbeda, memungkinkan

untuk membandingkan pengaruh dari alat-alat yang digunakan dalam konsumsi

energi.

Kelompok yang hanya menerima informasi publik

Kelompok yang hanya menerima insentif keuangan berupa NLG

150

Kelompok yang hanya menerima insentif keuangan berupa NLG

75

Kelompok yang menerima kombinasi antara informasi publik dan

insentif keuangan berupa NLG 150

Kelompok yang menerima kombinasi anatara informasi publik

dan insentif keuangan berupa NLG 75

Kelompok pengawas (lihat artikel Hufen dalam kumpulan

informasi ke 8 yang diproduksi oleh focus group, 1997)

Dengan melakukan pemeriksaan sepanjang jalur ini, auditor harus lebih memilih

untuk menyusun kelompok-kelompok tersebut secara acak sebelum perangkat

kebijakan tersebut resmi digunakan. Sehingga kelompok-kelompok tersebut serupa

dengan kerakteristik yang lain ( yang dimaksud adalah bagian dari pengaruh yang

digunakan pada kelompok-kelompok tersebut dari perangkat kebijakan yang

digunakan). Bila ini tidak memungkinkan, anda juga bisa membandingkan kelompok-

kelompok tersebut seketika saat kelompok-kelompok tersebut dibentuk. Terdapat

potensi kelemahan dalam hal dimana kelompok-kelompok tersebut dapat berbeda

satu sama lain dalam hal karakteristiknya, yang membuatnya lebih sulit untuk dapat

membedakan tingkat pengaruh perangkat kebijakan yang diarahkan pada kelompok-

kelompok tersebut.

Dalam kenyataannya, EDON menemukan bahwa informasi publik dan insentif

keuangan yang paling besar diantara kesemuanya adalah perangkat kebijakan yang

paling efektif.

Mungkin saja anda ingin mengadopsi pendekatan ketiga bila anda mengharapkan

kegunaan dari perangkat kebijakan yang diberikan, yang dihubungkan dengan risiko

efektifitas tertentu. Sebagai contoh, dalam pemeriksaan lapangan mengenai peleburan

dalam air raksa yang dilakukan oleh National Centre for the Nursing Organisations

dengan Home Help Association. Pemeriksaan tersebut mencoba menetapkan dampak

dari penggabungan dalam hal: (1) beban overhead, dan (2) standar dari pelayanan

yang disediakan (dalam hal penghapusan daftar tunggu).

Pendekatan keempat adalah pendekatan yang paling lengkap dan paling cocok untuk

situasi dimana jumlah dari perangkat kebijakan tersebut banyak yang berkaitan dan

juga dapat di asosiasikan dengan resiko efektifitas dengan cakupan yang luas.

Pemeriksaan lapangan terhadap pekerja yang menerima bantuan merupakan contoh

yang bagus dalam hal penggunaan pendekatan keempat ini. Dalam pemeriksaan

tersebut, termasuk didalamnya penilaian terhadap pengaruh dari penggunaan beberapa

perangkat yang digunakan untuk melawan jumlah pengangguran dalam cakupan

tujuan kebijakan tersebut (seperti halnya penciptaan lapangan pekerjaan dan

mengurangi pencarian keuntungan yang berlebihan) dan efek sampingnya.

7.3 Kriteria

Pada umumnya, efektifitas adalah tolak ukur utama dalam hal penilaian efek. Dalam

waktu yang sama, tidak ada satupun standar mengenai efektifitas yang dibuat,

begitupun juga tidak adanya standar tetap yang dapat menilai pencapaian dari tujuan

kebijakan yang ada. Ini artinya, standar khusus perlu dibuat untuk setiap pemeriksaan

individual, tergantung dari tujuan kebijakan tersebut menurut reviu yang telah

dilakukan. Sebagai contoh, bila tujuan utama penggabungan antara National Centre

for the Nursing Organisation dengan Home Help Association adalah untuk

mengurangi beban overhead, maka dalam hal pembuatan criteria, perangkat kebijakan

tersebut harus dapat mengarah kepada pengurangan beban overhead (terutama

dengan menggunakan persentase khusus). Ini adalah hal yang logis untuk membuat

dasar dari penilaian efektifitas dari tujuan akhir dalam pencapaian tujuan kebijakan

tersebut. Pada akhirnya, pencapaian dari tujuan tersebut adalah segalanya. Dan pada

saat yang sama, anda dapat dengan mudah menyadari bahwa anda akan dihadapkan

pada suatu dilema bila anda terus berkonsentrasi pada tujuan akhir. Hal ini

disebabkan karena seringkali dalam suatu kasus:

Semakin tinggi anda menapaki pohon kebijakan, maka akan semakin sulit untuk

menentukan hubungan sebab akibat. Ini karena, semakin tinggi yang anda telusuri,

semakin besar kemungkinan faktor pengubah yang ada.

Kehadiran penghalang ini dapat mempengaruhi anda untuk fokus pada tujuan yang

lebih penting (seperti output dari otoritas lokal, yaitu orang-orang yang berwenang

dalam tugas yang berhubungan dengan undang-undang, perusahaan, dan anggota

masyarakat, dan institusi) akan lebih bermanfaat apabila anda dapat menunjukan

hubungan antara tujuan utama dan di tingkat menengah.

Bila anda juga mencari efek samping dari pemeriksaan yang anda lakukan, anda dapat

menetapkan criteria kedua mengenai efektifitas, sepanjang tidak ada efek samping

yang merugikan yang dirasa signifikan.

Kriteria tambahan yang dapat anda terapkan adalah efek berikut yang harus ada, baik

secara lengkap, maupun salah satunya:

Efek Pemberian (Gift Effect) : efek ini terlihat melalui pemberian subsidi, sebagai

contoh. Penerima subsidi akan memiliki pola tingkah laku yang sama, walaupun dia

tidak menerima subsidi tersebut, atau menerima subsidi dalam jumlah yang lebih kecil

dari yang seharusnya. Dalam hal ini, dicontohkan dalam pemberian dana tunggal

kepada setiap kepala keluarga.

Efek Mendesak (Crowding-out Effect): efek ini seringkali terlihat saat perangkat

pasar tenaga kerja digunakan. Selagi sebagian orang mencari pekerjaan yang lebih

baik untuk diri mereka pribadi, mereka melakukannya dengan membebani orang lain.

Walaupun yang dibebani adalah pengangguran ataupun pencari pekerjaan.

Manfaat Merengut (Benefit Snatching): pemasok dari suatu produk yang merupakan

subjek dari subsidi tersebut (ataupun pemasok lain dalam suatu rantai produksi)

menarik keuntungan atas rencana subsidi untuk menaikkan harga barang mereka.

Sebagai contoh, saat PCB digantikan, harga dari limbah pembuangan PCB berlipat

ganda dari periode 1985 hingga 1986. Tidak jelas apakah kenaikan harga secara

keseluruhan berhubungan dengan peningkatan biaya pembuangan limbah.

7.4 Desain Audit

Untuk menilai derajat dari keberhasilan pencapaian suatu kebijakan, bergantung pada

kebijakan itu sendiri. Anda perlu untuk membuat suatu perbandingan. Idealnya,

perbandingan tersebut harus berisi pengukuran yang diambil sebelum dan setelah

penerapan kebijakan tersebut, ditambah dengan pengukuran yang dilakukan oleh

kelompok yang tidak terpengaruh kebijakan tersebut. Namun dalam prakteknya,

seringkali menjadi hal yang sulit untuk dilakukan, dalam membuat perbandingan

sepanjang koridor tersebut, sebagian karena kurangnya data.

Desain audit dapat diatur berdasarkan derajat yang diperbandingkan dengan kondisi

sebab-akibat seperti yang diperlihatkan dalam bagian 4.2.5. Desain tersebut

dijelaskan secara detail dalam literatur. Poin utama yang harus kita titik beratkan

adalah, sangat penting untuk membuat suatu perbandingan untuk mengukur atau

memperkirakan tingkat efektifitas. Ada banyak cara untuk melakukannya. Sebagai

contoh, anda dapat membuat perbandingan :

Waktu ke waktu : pertanyaan mengenai bagaimana nilai sebelum dan sesudah

penyebaran perangkat kebijakan tersebut.

Antar kelompok: bagaimana sebuah kelompok yang terpengaruh akan perangkat

kebijakan tersebut, memiliki nilai dibandingkan dengan kelompok yang tidak

terpengaruh kebijakan tersebut.

Antar jenis yang berbeda ( menerapkan) kebijakan : pekerjaan apa dalam keadaan

bagaimana? Untuk menemukannya, anda harus memiliki keterangan mengenai

berbagai macam kebijakan, dan juga konteks yang berbeda mengenai bagaimana

kebijakan tersebut dilaksanakan.

Dengan suatu situasi hipotetis: apa jadinya bila perangkat kebijakan tersebut tidak

digunakan? Ini dapat anda temukan. Sebagai contoh, berkat penilaian subjektif,

dengan cara menanyakan pertanyaan berupa “ bila anda tidak menerima subsidi,

apakah anda akan tetap merubah kebiasaan anda sejalan dengan apa yang

dipertimbangkan oleh rencana subsidi yang dilakukan?” Metode ini sangat tidak

cocok, dimana terdapat resiko adanya jawaban yang tidak sesuai dengan alasan yang

diutarakan. Bagaimanapun juga, bila pewawancara mampu untuk melanjutkan pada

pertanyaan yang lebih lanjut, hal ini akan memberikan indikasi mengenai efektifitas,

bila digunakan dengan melakukan kombinasi dengan metode lain.

7.5 Metode Audit

Evaluasi ex post facto adalah cara yang terbaik dalam menilai, atau paling tidak

menunjukkan, tingkat kegunaan dari suatu perangkat kebijakan (seperti subsidi,

perjanjian, dan lisensi) dan telah berperan dalam pencapaian tujuan kebijakan tertentu.

Evaluasi tersebut juga memungkinkan anda untuk dapat mengidentifikasi faktor

pengganggu dan menemukan apakah faktor tersebut memiliki pengaruh dalam

masalah ini. Semakin anda dapat mengeluarkan peran dari faktor pengganggu

tersebut, maka akan lebih mudah untuk menunjukan tingkat efektifitas dari berbagai

perangkat kebijakan. Ini adalah inti sari dari modus operandi method (Bahasa latin

dari “cara kerja”) metode tersebut akan dijelaskan secara lebih detail dalam Bab 6.

Desain yang dibuat dari sudut pandang teknik audit, akan paling sulit untuk

dilaksanakan di lapangan. Sebagai contoh, biasanya akan tidak mungkin untuk

melaksanakan pengukuran pra-kebijakan karena penilai terhubung hingga kebijakan

tersebut diimplementasikan. Alternatifnya, kelompok pengawas tidak bias berperan

sebagai pembuat kebijakan untuk menjawab pertanyaan mengenai manfaat kebijakan

tertentu terhadap suatu kelompok.

Meskipun begitu, kadangkala ada juga peluang untuk memikirkan solusi kreatif :

sebagai contoh, anda dapat menggunakan kelompok orang dalam daftar tunggu untuk

pembandingan tujuan. Anda juga dapat menggunakan lebih dari satu metode - dimana

setiap metode memiliki kelemahan dan kelebihan yang berbeda– pada saat yang sama,

ide tersebut dapat menemukan apakah semua kelompok tersebut menunjukan

pengaruh yang sama. Penjelasan rinci mengenai metode dan teknik yang relevan akan

dibahas dalam Bab 4.

7.6 Indikator Efektifitas

Tidak ada satupun indikator efektifitas yang siap pakai, yang digunakan untuk

pencapaian tujuan kebijakan. Hal utama adalah bagaimana indikator efektifitas

tersebut harus dapat menjelaskan, bagaimana suatu kebijakan berkontribusi dalam

suatu outcome sosial, dan ini hanya bisa dinilai dengan bijak dengan menggunakan

evaluasi ex post facto. Dalam prakteknya, indikator yang digunakan untuk

menunjukkan apakah suatu tujuan kebijakan telah tercapai atau tidak, seringkali

menjadi dipresentasikan sebagai suatu indikator yang salah.

7.7 Rekomendasi

Bila anda menemukan suatu kebijakan yang tidak efektif, anda harus dapat

menemukan penyebabnya, dalam rangka membuat rekomendasi untuk perbaikan

suatu. Anda akan perlu untuk mengidentifikasi potensi penjelas pada langkah awal

pemeriksaann sehingga anda dapat memutuskan sepanjang pembelajaran anda

mengenai pemeriksaan, apa yang secara langsung berperan dalam ketidak efektifan

kebijakan tersebut.

Cakupan yang lebih jelas mengenai potensi penjelas terdapat dalam literatur,

termasuk didalamnya asumsi yang tidak akurat, praktek penerapan yang lemah, tujuan

kebijakan yang berlawanan, tujuan kebijakan yang terlalu tinggi, kebijakan organisasi

yang tidak mencukupi, dan badan pemerintah yang bersinggungan dengan badan

pemerintah yang lain. Tergantung kepada kemampuan penerapan dari penjelasan

diatas, dimana anda akan diminta untuk membuat satu dari beberapa rekomendasi

dibawah ini.

Melakukan evaluasi ex ante (atau, bila anda sudah melakukan

salah satunya, tingkatkan lagi kualitasnya) sebelum memilih dan

menggunakan perangkat kebijakan. Menentukan outcome yang tidak

mudah untuk dicapai, tapi juga pengaruh alternatif perangkat kebijakan

lain.

Menaksir kembali kegunaan hubungan dari setiap tujuan

kebijakan yang coba anda capai.

Menaksir kembali kegunaan dari pembuatan perangkat kebijakan

tersebut (menaikkan atau menurunkan jumlah dari subsidi yang

diberikan)

Menaksir kembali gabungan dari perangkat kebijakan yang ada.

Menyesuaikan manajemen operasional, sehingga kebijakan yang

direncanakan dapat diterapkan sesuai dengan rencana.

Melanjutkan menggunakan perangkat kebijakan dalam

pertanyaan, tetapi menggambarkan kembali tujuan kebijakan, hal seperti

ini terlalu ambisius.

Mencoba dan menghindari outcome yang kurang baik dengan

menyesuaikan kebijakan dalam pertanyaan.

8. AUDIT EFISIENSI8.1 Pendahuluan

Dalam bab 3 kami telah menjelaskan bahwa ada tiga tipe dasar audit kinerja: audit

yang disusun untuk menghitung nilai penetapan hasil sasaran atau peraihan kelompok

target, audit efektifitas, dan audit efisiensi. Bab ini akan melihat lebih dekat pada tipe

audit yang ketiga dan yang terakhir: audit efisiensi.

Bab ini diawali dengan pendiskusian dari format audit efisiensi (bagian 8.2) dan hal-

hal terkait (bagian 8.3), sebelum melanjutkan pada pembahasan mengenai empat

pertimbangan tingkatan yang meliputi sebuah audit efisiensi, sebagai berikut:

1. Penentuan materi subjek (bagian 8.4)

2. Pengumpulan data (bagian 8.5)

3. Penilaian efisiensi (bagian 8.6)

4. Pencarian fakor-faktor yang menyebabkan perbedaan efisiensi

apapun (bagian 8.6)

8.2 Format Audit Efisiensi

8.2.1 Sasaran

Sasaran dari audit efisiensi yang ditunjukkan oleh Netherlands Court of Audit bisa di

formulasikan sebagai berikut:

“Membantu untuk meningkatkan efisiensi dengan menyediakan informasi pada

tingkat efisiensi dan akuntansi untuk perbedaan dalam efisiensi”

Sebagai keuntungan tambahan, dengan menunjukkan kepada organisasi tentang

bagaimana untuk melakukan audit efisiensi, anda dapat memperbaiki cara organisasi

tersebut memonitor efisiensinya sendiri (sebagai contoh penghasilan data efisiensi).

8.2.2 Definisi Masalah dan Pertanyaan Audit

Definisi masalah berikut timbul berdasarkan sasaran yang telah diformulasikan

sebelumnya:

“Apa perbedaan dalam efisiensi yang dapat diidentifikasi antara (bagian-bagian

dari) organisasi dan/atau dari waktu ke waktu, dan apakah alasan untuk perbedaan

ini?”

Anda dapat menerjemahkan definisi masalah menjadi pertanyaan audit sebagai

berikut:

Mengukur efisiensi

Apakah jenis outcome atau output (dengan membandingkan

perbedaaan apapun dalam kualitas) yang diberikan oleh

organisasi? Apakah jenis masukan yang digunakan organisasi

dalam tujuan ini? Berapa banyakkah jumlah yang digunakan?

Apakah ada perbedaan efisiensi diantara organisasi atau tambahan

waktu kerja, dan bila iya, seberapa besarkah perbedaan ini?

Faktor apa saja yang menyebabkan perbedaan-perbedaan dalam

efisiensi?

Menjelaskan perbedaan-perbedaan dalam efisiensi

Apakah penjelasan yang mungkin menyebabkan perbedaan dalam

efisiensi?

Faktor-faktor apa yang menyebabkan perbedaan dalam efisiensi?

8.2.3 Kriteria

Seperti yang telah dijelaskan dalam Bab 1, anda dapat saja mengukur efisiensi

outcome atau output kebijakan, tanpa memperhitungkan keadaan dasar dari organisasi

atau departemen yang bertanggung jawab untuk menerbitkannya.

Bila anda mencoba untuk menentukan apakah sebuah organisasi telah menghasilkan

efisiensi output atau outcome tertentu, yang sebenarnya anda ingin cari adalah:

Apakah organisasi tersebut dapat memproduksi outcome atau

output yang sama dengan jumlah input yang lebih sedikit; atau

Apakah organisasi tersebut telah memberikan outcome atau

output yang lebih banyak dengan input yang sama (jumlah).

Seperti yang telah kita sebutkan, perbedaan yang terjadi adalah antara efisiensi dari

outcome dan efisiensi dari output.

Kriteria efisiensi dan data efisiensi

Untuk menentukan efisiensi dari outcome ataupun output, anda harus mengakses data

pada tiga bahan dibawah ini:

Data atas input. Anda harus melihat pada semua input yang

digunakan untuk mengolah output atau outcome dalam bentuk

pertanyaan.

Data atas jumlah kuantitas dari output atau outcome yang

disampaikan. Anda harus menghitung perbedaan-perbedaan dalam

kualitas antara output atau outcome yang diberikan. Kebijakan

output dan outcome haruslah dapat terukur, dan harus dalam suatu

konsekuensi logis dari tujuan kebijakan.

Data dari kualitas output dan outcome yang diberikan. Anda harus

menghitung perbedaan-perbedaan kualitas antara output atau

outcome yang diberikan berbagai macam organisasi atau pada saat

yang berbeda.

Selain itu, efisiensi bersifat relatif. Karena tidak ada standar baku untuk mengukur

tingkat efisiensi.

Kesimpulannya, untuk mengukur efisiensi dan menentukan alasan-alasan atas

perbedaan efisiensi, ada harus menggunakan teknik yang benar dengan cara yang

benar.

Kriteria tersebut didiskusikan lebih detail dalam sisa bab ini.

8.2.4 Rekomendasi

Audit efisiensi dapat menunjukkan:

Tingkatan organisasi dapat memperbaiki efisiensinya dalam

hubungan kepada titik referensi terpilih (sebagai contoh, sebuah

organisasi mungkin dapat memberikan 10% output dengan kuantitas

input yang sama). Dengan kata lain, data efisiensi mampu untuk

menjelaskan bagaimana dana yang sama dapat digunakan lebih untuk

kepentingan publik, yang adalah sasaran utama dari setiap kebijakan

pemerintah. Selain itu, audit efisiensi dapat menunjukkan apakah

akhir yang sama dapat diraih dengan sumber daya atau dana yang

lebih sedikit, dalam hal ini penghematan yang terjadi dapat

digunakan untuk kepentingan lain;

Bagaimana cara organisasi dapat meraih efisiensinya. Dengan kata

lain, sebuah efisiensi audit harus dapat memperbaiki manajemen

operasional auditan.

Kejelasan efisiensi data juga perangkat yang penting untuk melaporkan instrumen

kebijakan pemerintah dan output yang diberikan dalam proses ini, sebagai contoh

pada House of Representative.

Rekomendasi untuk memperbaiki efisiensi harus didasarkan pada faktor-faktor yang

dapat dibuktikan dalam tingkat efisiensi tersebut. Ini seharusnya lebih condong

menjadi faktor di mana organisasi yang dimasalahkan mampu untuk menggunakan

tingkatan dari beberapa pengaruh (sebagai contoh faktor internal). Faktor tersebut

menawarkan kepada organisasi kesempatan untuk menyesuaikan kebijakan-

kebijakannya. Lihat juga bagian 3.3.

8.3 Terminologi

8.3.1 Outcome, Output dan Input

Seperti yang telah kami sebutkan, 3 bahan yang terkait dengan pengukuran efisiensi:

kuantitas dan kualitas outcome atau output, dan input yang digunakan untuk memberi

hasil atau output. Lihat bagian 3.3 untuk definisi dari hasil, output dan masukan, dan

bagian 1.1.4 dan 8.2.3 untuk definisi dari efisiensi.

8.3.2 Perbandingan

Efisiensi bersifat relatif. Ini berarti bahwa outcome atau output kebijakan yang

diterima dapat lebih atau kurang efisien ketika dibandingkan dengan yang lainnya,

dengan organisasi yang sebanding atau bila dibandingkan dengan yang telah diraih di

masa lalu. Dalam kata lain, anda dapat mengatakan bahwa sebuah organisasi adalah

lebih atau kurang efisien bila dibandingkan dengan organisasi lain atau dengan

periode lain di masa lalu. Bukanlah hal yang mustahil untuk membuat penilaian yang

pasti tentang efisiensi. Sebagai contoh, apabila laporan tahunan kementerian berisi

indikator yang menunjukkan hubungan antara input di sisi satu dan output atau

outcome di sisi lain, hal itu tidak menyatakan apa-apa tentang efisiensi kementerian

kecuali apabila dibandingkan dengan poin spesifik. Penilaian tentang efisiensi harus

didasarkan atas sebuah perbandingan.

Salah satu bentuk perbandingan adalah perbandingan dengan tahun sebelumnya. Anda

juga dapat memakai perbandingan dengan bulan-bulan sebelumnya, triwulan atau

semester, walaupun hal ini lebih sulit (dan lebih memerlukan banyak dana) dalam hal

mengumpulkan data.

Apabila anda memutuskan untuk membuat perbandingan dengan organisasi lain,

adalah penting untuk mencari organisasi yang benar-benar sebanding. Dengan kata

lain, organisasi tersebut harus mengikuti kebijakan yang sama (sebagai contoh,

dorongan kebijakan wilayah atau sebuah jaringan sosial atau rumah sakit atau

sekolah) atau yang memberikan output yang sebanding (sebagai contoh sebuah

sekolah negeri atau sebuah sekolah swasta).

Kesimpulannya, ada dua tipe dasar dari perbandingan yang bisa anda gunakan:

perbandingan dengan masa lalu;

perbandingan dengan satu atau lebih, organisasi sebanding.

Anda juga bisa menggunakan kombinasi keduanya.

8.3.3 Kualitas

Ketika mengukur efisiensi, anda harus selalu mempertimbangkan setiap perbedaan

dalam kualitas antara output dan outcome yang diberikan oleh organisasi lain dan/

atau pada waktu yang lain (lihat juga bagian 3.2.1 dalam hubungan ini). Sebagai

contoh, output tertentu yang tampak homogen pada pengamatan pertama bisa saja

terbukti bersifat heterogen setelah dieksaminasi lebih dekat. Sebagai contoh, tidak

semua pajak pengembalian itu serupa, tidak juga semua aplikasi dana. Itu terjadi tanpa

ada sumber daya lebih yang diperlukan untuk memproses pengembalian pajak

kompleks dan dana aplikasi dibanding dengan diperlukan untuk proses pengembalian

standard an aplikasi. Ini akan secara nyata memberikan hasil yang berbeda dari output

organisasi.

Pengalaman juga menunjukkan bahwa perbedaan dalam kualitas sering ikut

mempengaruhi bahkan ketika anda membandingkan output yang diberikan dalam satu

tahun dengan tipe output yang sama yang diberikan pada tahun yang lain, atau ketika

anda membandingkan output yang diberikan organisasi satu dengan yang lainnya.

Anda hanya dapat menarik kesimpulan bahwa sebuah organisasi telah meraih

efisiensinya apabila ia telah memberikan output yang lebih murah dari kualitas yang

sama. Sebagai contoh, apabila biaya dari output lebih rendah daripada tahun

sebelumnya karena telah terjadi penurunan dalam kualitas, hal ini tidak menunjukkan

bahwa telah ada perbaikan dalam efisiensi. Ketika mengukur efisiensi, karena itu,

anda harus menyediakan perbedaan yang mungkin dalam kualitas antara output yang

diberikan, untuk menghindari risiko dari pembentukan risiko yang salah (lihat bagian

8.5.4).

Seringkali sulit untuk mengukur kualitas dari outcome atau output sebagai akibat dari

kebijakan yang dikeluarkan oleh pemertintah pusat atau perorangan dengan hukum

yang berdasar pada undang-undang, karena hampir semuanya memberikan output

dalam bentuk jasa. Cara umum untuk mengukur kualitas dari output adalah dengan

mengukur tingkat kepuasan pelanggan. kualitas survei yang baik sangat berarti dalam

menghasilkan data yang diperlukan. Apabila tidak memungkinkan untuk melakukan

survei tersebut, anda dapat mengestimasikan tingkat dari kepuasan pelanggan, sebagai

contoh, dengan menghitung jumlah keluhan.

8.3.4 Penjelasan

Anda dapat mengukur efisiensi tertentu dari hasil atau output kebijakan dengan

menghubungkan mereka pada input yang digunakan dalam memproduksinya, dan

membandingkan rasio hasil dengan rasio ekuivalen pada organisasi sebanding dan/

atau pada waktu yang lain. Hasil efisiensi pada organisasi saat berjalan dengan

efisiensi maksimum dan/ atau pada organisasi saat berjalan dengan baik dapat terlihat

ketika dibandingkan dengan yang lainnya.

Ketika organisasi menunjukkan kinerja yang buruk, penting untuk mencari tahu apa

yang dapat dilakukan untuk memperbaiki efisiensinya. Hal ini penting untuk

mengidentifikasi faktor-faktor yang menyebabkan perbedaan dalam efisiensi, untuk

memperjelas bagaimana sebuah organisasi dapat memperbaiki efisiensinya sendiri

(lihat juga bagian 3.3). Contoh dari faktor yang mungkin menyebabkan perbedaan

dalam efisiensi adalah komposisi dari penambahan staf (dibagi dalam kategori usia,

dan dalam staf yang kerja part-time dan full-time), pemborosan dan kualitas proses

operasional.

Mari mengambil contoh sebuah situasi dimana anda berharap untuk membandingkan

dua organisasi yang mengeluarkan kebijakan yang sama dalam hal efisiensi. Anda

menemukan bahwa nilai efisiensinya untuk slaah satu dari perusahaan tersebut lebih

tinggi dari pada lainnya. Bila anda selanjutnya menemukan organisasi yang terakhir

memperkerjakan karyawan dua kali lebih banyak sebanyak manajer dan

perndahulunya, dan ada dua departemen dalam organisasi yang bekerja pada tujuan

yang saling bertubrukan, ini adalah faktor-faktor yang dapat menjelaskan perbedaan

efisiensi antara dua organisasi.

8.4 Menentukan Batasan dari Subjek Audit

Apabila anda ingin menghasilkan data efisiensi dalam lapangan kebijakan yang

diberikan, pertama kali anda akan perlu untuk menentukan efisiensi apa yang

sebenarnya ingin anda ukur. Apakah anda ingin mengukur efisiensi dari seluruh

outcome atau output yang diberikan dari kebijakan terpisah atau badan hukum dengan

kekuatan undang-undang, atau apakah anda hanya tertarik dalam mengukur efisiensi

dari sebagian darinya? Apakah anda lebih tertarik pada hasil daripada output, atau

sebaliknya? Pertanyaan ini didiskusikan dalam bagian berikut, bersamaan dengan

proposal analisis bertahap dari efisiensi organisasi.

8.4.1 Tujuan Umum atau Operasional?

Secara nyata, sebuah analisis berawal dengan sasaran kebijakan yang keefisiensinya

akan ukur. Setelah itu, sasaran ini menggambarkan outcome atau output yang

kementerian atau perorangan cari untuk mencapainya dengan bantuan dari pertanyaan

kebijakan.

Keputusan pertama yang perlu anda ambil dalam hubungan dengan kementerian

adalah apakah anda bermaksud untuk mengukur efisiensi dalam sasaran umumnya

(sebagai contoh termasuk sebagian dari outcome dan output) atau dengan tujuan satu

atau lebih (melingkupi suatu output atau outcome). Bila anda bermaksud untuk

mencapai satu atau lebih tujuan operasional, maka anda harus menentukan untuk

berkonsentrasi pada hal yang mana. Bila terdapat beberapa tujuan operasional, dan

anda bermaksud untuk menggunakannya sebagai dasar untuk menghasilkan suatu

data, dalam rangka efisiensi dari kebijakan yang tertera dalam tujuan umum

kementrian, anda akan benar-benar perlu untuk meninjau seluruh tujuan operasional

kementrian dalam menghitung efisiensinya.

Bila tujuan kebijakan kementrian belum diformulasikan secara jelas, (dalam hal

kementrian berniat untuk mengirimkan output dan outcomenya), anda tidak akan

dapat mengukur tingkat efisiensi dari output dan outcome yang ada. Selanjutnya, anda

harus membandingkan antara output dan outcome yang ada, dengan input yang

digunakan. Dan anda tidak akan dapat melakukannya, bila anda tidak memiliki

gambaran mengenai bagaimana output dan outcome yang seharusnya. Dalam kasus

ini, maka kementrian harus terlebih dahulu mengatur tujuan kebijaknnya.

Untuk dapat mengukur tingkat efisiensi dari output dan outcome, maka tujuan

kebijakan harus diperjelas. Spesifik, dan dapat diukur. Panduan dalam hal formulasi

tujuan kebijakan yang efektif, diberikan dalam sub-bab 5.2, sama baiknya dengan

panduan dalam pembuatan tujuan kebijakan dan performa data yang diterbitkan oleh

kementrian keuangan, dan pengadilan memiliki panduan mengenai pelaporan

kebijakan.

Pengalaman di lapangan (2004) menunjukan bahwa kebanyakan dari tujuan umum

suatu kebijakan tidak ditentukan secara nyata. Ini berarti tidak jelas mengenai yang

mana

8.4.2 Output atau Outcome?

Anda dapat melakukan audit untuk mengukur efisiensi outcome atau efisiensi output.

Anda tidak akan dapat mengukur efisiensi outcome dalam hubungannya dengan

semua kebijakan sasaran. Beberapa kasus menunjukan hal tersebut akan sangat

memakan biaya. Kasus lain menunjukan bahwa anda tidak akan dapat mengukur

outcome atau menunjukan kebijaksanaan mana yang dapat memberikan sebuah

outcome. Prakteknya, lebih mudah untuk menganalisa hubungan antara input yang

digunakan dengan outputnya. Lihat bagian 3.2 untuk informasi lebih mendalam

terhadap masalah ini.

Pertanyaan kedua yang harus anda jawab adalah, apakah anda menginginkan dan

apakah anda dapat memperoleh informasi dalam hubungan antara input dan outcome

atau antara input dan output? Cara terbaik untuk hal ini adalah dengan memakai

pendekatan langkah demi langkah.

Dimulai dengan menentukan dimana terdapat banyak kesempatan

untuk menghasilkan efisiensi data, mana yang paling sesuai

dengan masa sekarang dalam hubungannya terhadap politik dan

sosial dan untuk kesempatan bagaimana paling mudah untuk

menghasilkan efisiensi data.

Bila perlu, hasilkan sebuah deskripsi yang jelas tentang tujuan

umum dan/ atau tujuan operasional dari suatu kebijaksanaan yang

dibicarakan.

Coba dan sediakan banyak waktu dan tenaga kerja pada

permulaan untuk menilai efisiensi dari output yang secara relatif

mudah untuk diukur.

Pertama hasilkan data pada kuantitas dan kualitas dari output

kebijaksanaan tersebut sebelum menghasilkan data pada pada

efisiensi output tersebut.

Sementara itu, anda dapat mulai berpikir untuk mengumpulkan

data tentang outcome dan efisiensi outcome, sejauh dapat

dilaksanakan dalam praktek dan finansial.

8.5 Pengumpulan Data

Jika anda telah menetapkan subyek yang anda kehendaki atau yang memungkinkan

anda untuk menghimpun efisiensi data, anda harus memulai untuk mengumpulkan

data yang dibutuhkan pada:

Outcome atau output, dan input yang digunakan untuk

menghasilkan outcome dan output tersebut.

Kualitas outcome atau output

Penjelasan yang mungkin terjadi terhadap setiap perbedaan dalam

efisiensi (lihat bagian 8.5.4)

Jelasnya, anda harus memastikan bahwa data tersebut mempunyai kualitas yang

cukup baik, yakni relevan, dapat dipercaya, komparabel (lihat juga bagian 5.3). Kami

akan mulai menjelaskan apa yang dimaksud tersebut.

8.5.1 Kualitas Data

Data dapat digunakan untuk mengukur efisiensi hanya jika data tersebut relevan,

dapat dipercaya, dan komparabel.

Relevan

Tidak boleh ada data yang berlebih. Jenis data yang anda kumpulkan tergantung sifat

dasar dari suatu kebijaksanaan yang dibicarakan, dan pertanyaan yang anda harus

jawab dalam hal ini. Data disebut relevan jika data-data tersebut dengan tepat

menggambarkan kebijaksanaan yang diikuti oleh kegiatan yang dilakukan oleh suatu

depaertemen atau organisasi yang dibicarakan..

Dapat Dipercaya

Sebaiknya data yang anda kumpulkan tidak terdapat ketidakakuratan atau

penghilangan data secara material.

Komparabel

Data yang anda kumpulkan seharusnya memungkinkan anda untuk membuat suatu

pembandingan pada waktu dan/atau antara organisasi yang berbeda.

Bergantung pada bagaimana anda membuat perbandingan, outcome atau output yang

anda ukur efisiensinya dan bagaimana hal-hal yang diperoleh tersebut seharusnya

dapat dijadikan pembanding bagi semua organisasi yang dibicarakan. Demikian juga

halnya indikator efisiensi menggambarkan hubungan antara input di satu sisi dan

outcome dan output di sisi yang lain sebaiknya ditetapkan dengan cara yang sama

bagi semua organisasi dan/ atau untuk semua periode waktu ketika anda ingin

membandingkan. Harus tersedia ketentuan yang seragam untuk data yang anda

perlukan untuk menghitung indikator efisiensi.

Contoh data yang dapat disebandingkan

Jika anda ingin membandingkan efisiensi berbagai pusat pekerjaan dan

penghasilan, indikator yang anda gunakan sebaiknya ditetapkan dengan

tepat untuk setiap pusat individu. Misalnya, setiap pusat sebaiknya

menetapkan, menghitung dan mencatat dengan perlakuan yang sama

terhadap biayanya dan jumlah pencari kerja bagi yang telah

mendapatkan pekerjaan.

Sebaiknya anda membandingkan efisiensi dari pusat pekerjaan dan

penghasilan dengan hal yang sama pada organisasi yang lain, anda

sebaiknya mempertimbangkan baik-baik sebelumnya apakah

organisasi yang belakangan sepenuhnya sebanding. Anda dapat

membuat suatu pembandingan yang relevan hanya jika output dan

proses pengoperasiannya dapat disebandingkan, dan hal ini tidak

berlaku secara umum.

Jika anda ingin membandingkan efisiensi berbagai pusat pekerjaan dan penghasilan,

indikator yang anda gunakan sebaiknya ditetapkan dengan tepat untuk setiap pusat

individu. Misalnya, setiap pusat sebaiknya menetapkan, menghitung dan mencatat

dengan perlakuan yang sama terhadap biayanya dan jumlah pencari kerja bagi

yang telah mendapatkan pekerjaan.

Sebaiknya anda membandingkan efisiensi dari pusat pekerjaan dan penghasilan

dengan hal yang sama pada organisasi yang lain, anda sebaiknya mempertimbangkan

baik-baik sebelumnya apakah organisasi tersebut sepenuhnya sebanding. Anda dapat

membuat suatu perbandingan yang relevan hanya jika output dan proses

pengoperasiannya dapat disebandingkan, dan hal ini tidak berlaku secara umum.

Pada permulaan, penting untuk mencurahkan banyak waktu dan tenaga untuk kualitas

data anda. Usaha ini biasanya memakan banyak waktu. Anda disarankan untuk

menggunakan suatu keahlian yang tersedia (misalnya, komisi pengawasan).

Pengumpulan data memakan waktu

Kantor Perencanaan Sosial Budaya memeriksa rumah sakit umum

dan UNIVERSITY TEACHING HOSPITAL pada 1998. Hal itu

memakan waktu setahun penuh untuk memisahkan pengumpulan

data output rumah sakit yang telah ada. Selama 2001 audit efisiensi

atas pusat pekerjaan juga memakan waktu sekitar satu tahun umtuk

pengumpulan data.

Anda selalu perlu menaksir kualitas data yang anda kumpulkan (lihat juga bagian

5.3). Tergantung pada seberapa yakin anda terhadap kualitas data, sifat analisis ini

bisa berkisar dari yang sangat umum sampai yang sangat terperinci. Bagian 8.6

menggambarkan bagaimana anda dapat menggunakan sebuah indikator analisis untuk

mengukur kualitas data yang anda rencanakan untuk digunakan.

8.5.2 Data pada Outcome atau Output

Outcome ditetapkan sebagai pengaruh dari suatu kebijaksanaan yang dirasakan oleh

pemerintah umum. Sebagian besar outcome tidak memberi suatu bentuk pengukuran

langsung. Pada beberapa kasus anda perlu untuk membuat perkiraan tentang outcome

dengan menggunakan indikator (juga dikategorikan sebagai ”PROXY

VARIABLE”). Jika anda menggunakan output sebagai indikator outcome (ini bukan

ide yang baik), anda dapat mengukur efisiensi outcome dengan mengukur efisiensi

output.

Meskipun secara umum lebih mudah untuk mengukur output, namun tidak selalu

mampu untuk melakukan pengukuran langsung. Lihat bagian 3.2 dan 4.3.2 untuk

ketentuan, contoh dan informasi lebih lanjut tentang pengukuran outcome dan output.

8.5.3 Input

Penting untuk mengetahui dengan tepat input yang mana yang telah digunakan untuk

menghasilkan outcome dan output yang dibicarakan (lihat juga bagian 3.2.4). Ada dua

hal yang anda harus pikirkan dalam hubungan ini.

Pertama, sebaiknya anda mencatat semua input yang telah digunakan untuk

menghasilkan outcome dan output yang dibicarakan. Input dapat tetap atau berubah-

ubah. Input yang berubah-ubah termasuk para pegawai dan perlengkapan, input tetap

terdiri dari sumber daya misalnya gedung pada organisasi yang dibicarakan yang

tidak memungkinkan untuk penguasaan dalam jangka pendek. Karena sulit untuk

melakukan perubahan pada input tetap, maka sewaktu-waktu diabaikan dengan tujuan

untuk menghitung nilai efisiensi. Pada situasi seperti itu, hanya input (atau biaya)

yang berubah-ubah yang dicatat.

Semua input yang relevanKementerian Pendidikan, Kebudayaan dan Ilmu Pengetahuan menyatakan ‘biaya per siswa’ sebagai indikator dalam sejumlah pasal pada kebijakan pendidikannya. Walaupun sebuah indikator dapat menjadi sarana yang berguna dalam mengidentifikasi kecenderungan mengenai efisiensi, indikator khusus ini tidak mampu mengukur efisiensi dalam kondisinya sekarang, sebagian karena indikator khusus ini tidak memperhitungkan semua input. Input-input yang termasuk dalam perhitungan adalah pembayaran-pembayaran transfer yang dilakukan oleh Kementerian kepada sekolah-sekolah. Ini berarti perhitungan tersebut tidak memasukkan perhitungan biaya-biaya yang dikeluarkan oleh sekolah yang tidak tercakup ke dalam pembayaran transfer ini. Indikator tersebut memberi kesan bahwa sebuah penurunan dalam tingkat belanja Kementerian dapat disamakan dengan sebuah peningkatan efisiensi mengajar di sekolah. Bagaimanapun juga, hal tersebut tidak terjadi jika tidak terdapat penurunan yang sesuai pada tingkat biaya yang dikeluarkan oleh sekolah. Hal ini menggambarkan pentingnya memasukkan semua input ke dalam perhitungan.

Yang kedua, walaupun seharusnya memasukkan semua input yang relevan, perhitungan tersebut tidak seharusnya memasukkan input lebih dari yang dibutuhkan untuk menghasilkan outcome atau output yang diharapkan.

Semua input dan hanya input yang digunakan untuk menghasilkan output yang diharapkan.Anggaran tahun 2003 untuk Kementerian Perumahan, Tata Ruang dan Lingkungan mengadnung sebuah pasal kebijakan (no. 12) yang berjudul ‘Manajemen resiko lingkungan terkait dengan bahan-bahan kimia,limbah, dan radiasi’. Pasal kebijakan ini berkisar pada perlunya untuk mengendalikan resiko kesehatan umum dan lingkungan terkait dengan penggunaan bahan-bahan kimia, limbah, zat-zat radioaktif dan radiasi, serta organisme yang diubah secara genetic,yang mempengaruhi factor-faktor ekonomi dan social. Anggaran tersebut memasukkan sebuah indicator efisiensi untuk impor, ekspor dan transit limbah, yaitu jumlah biaya untuk setiap pengumuman yang dikeluarkan berdasarkan Peraturan Pengiriman Limbah Uni Eropa. Bagaimanapun juga, jumlah ini tidak tidak memasukkan semua biaya terkait pengeluaran pengumuman berdasarkan Peraturan Pengiriman Limbah Uni Eropa, seperti belanja internal Kementerian (sebagian besar terdiri dari biaya pegawai). Artinya, tidak semua biaya yang dimasukkan dalam jumlah biaya terkait dengan output yang diharapkan. Dengan kata lain, tidak hanya jumlah biaya tidak memperhitungkan semua input yang relevan, tapi juga memasukkan hal-hal selain input yang diperlukan untuk menghasilkan output yang diharapkan. Kedua masalah tersebut mempengaruhi komposisi dari jumlah biaya yang terlebih dahulu harus dipecahkan untuk menghasilkan sebuah indicator yang berguna.

Seperti yang telah kami sebutkan (lihat bagian 3.2.4), baik biaya maupun belanja digunakan dalam praktek untuk menyatakan input dalam bentuk moneter. Idealnya, bagaimanapun juga, biaya seharusnya membentuk dasar untuk pengukuran efisiensi. Jika anda membuat perbandingan dari waktu ke waktu, anda seharusnya benar-benar menyatakan biaya dalam jumlah yang tetap, dengan tujuan untuk memperhitungkan efek inflasi yang berubah-ubah. Seperti yang telah kami sebutkan, anda juga bisa menggunakan biaya variabel untuk tujuan ini.(HALAMAN 111)

Perbedaan antara biaya dan belanjaJika anda membeli sejumlah computer pada suatu tahun, anda membayarnya lunas saat anda membelinya (belanja). Tapi, karena computer tersebut mempunyai masa manfaat yang berlangsung beberapa tahun, anda hanya akan menggunakan sebagian dari masa manfaatnya selama tahun tersebut (biaya). Jika terdapat perbedaan antara belanja dan biaya – seperti pada banyak kasus – setiap usaha untuk menghubungkan belanja dengan baik output maupun outcome akan membawa pada kesimpulan yang salah tentang efisiensi. Hal ini terjadi karena dapat terjadi fluktuasi yang tinggi pada belanja dari tahun ke tahun. Contohnya, belanja akan menjadi tinggi pada tahun computer tersebut dibeli. Jika jumlah belanja untuk tahun berikutnya lalu digunakan sebagai dasar pengukuran efisiensi, hal ini akan membawa pada kesimpulan yang salah bahwa telah terjadi peningkatan efisiensi pada tahun berikutnya.

Biaya, juga tidak selalu memberi kemungkinan untuk pengukuran langsung, jika biaya tersebut juga harus diukur dengan batuan sebuah indicator atau sebuah variable pengganti. Contohnya, pada system anggaran saat ini, seringkali satu-satunya informasi yang tersedia adalah data tentang belanja. Jumlah belanja tersebut dapat digunakan sebagai solusi terbaik kedua, sebagai pengganti biaya. Tapi, untuk melakukannya, anda terlebih dahulu harus menentukan apakah ada hal-hal besar mengenai belanja yang berfluktuasi dengan tinggi dari tahun ke tahun dan dapat mengubah keseluruhan gambaran. Jika ini yang terjadi, anda seharusnya mendistribusikan belanja pada tahun-tahun dimana barang atau jasa ‘dikonsumsi’ atau anda seharusnya tidak memperhitungkannya (yaitu biaya dikurangi investasi).69

8.5.4 Kualitas

Anda seharusnya menghindari menggabungkan output dan outcome yang berbeda satu sama lain (lihat juga bagian 3.2). jika anda semua pengembalian pajak yang diproses oleh Administrasi Pajak dan Bea Cukai sebagai hal yang pada sama, anda akan gagal untuk memperhitungkan fakta bahwa petugas pajak menghabiskan lebih sedikit waktu memproses pengembalian pajak standar dibandingkan ketika mereka memproses kasus yang lebih sulit. Jika terdapat perbedaan pada proporsi output yang ‘mudah’ dengan yang ‘sulit’ yang dihasilkan oleh organisasi-organisasi yang ingin anda bandingkan, atau dari tahun ke tahun, anda akan perlu untuk membedakan antara output yang mudah dengan yang sulit.

_____________________________________________

69 Lihat Aarts et al. (2002) untuk rincian perbedaan antara akuntansi berbasis kas (sistem penganggaran saat ini) dan akuntansi berbasis akrual

(yang menghasilkan informasi tetntang output dan jumlah biaya).

Output yang mudah dan sulitSalah satu kewajiban dari Pusat Pekerjaan adalah membantu mencarikan pekerjaan untuk orang-orang yang tidak bekerja (penggangguran). Asumsikan bahwa saat seorang penggangguran menandatangani sebuah kontrak kerja, hal tersebut dapat dianggap sebagai sebuah output. Menemukan pekerjaan untuk seorang pencari kerja yang mempunyai kemampuan kerja dibawah rata-rata membutuhkan lebih banyak waktu dan energi dibandingkan dengan menemukan pekerjaan untuk seseorang dengan kemampaun kerja diatas rata-rata. Dengan tujuan untuk menyusun kelompok-kelompok output yang sejenis, anda perlu membedakan kelompok pencari kerja berdasarkan tingkat kemampuan kerja mereka.

Anda juga perlu memperhitungkan perbedaan kualitas jika anda berencana untuk membandingkan outcome atau output yang ingin dihasilkan pada suatu tahun dengan outcome atau output yang ingin dihasilkan pada tahun lain.

Perbedaan kualitas

Asumsikan bahwa suatu departemen ingin menghasilkan suatu output, yaitu memproses penembalian pajak. Jika sebuah pembandingan antara dua kantor cabang dari departemen yang sama, yang keduanya memproses jenis pengembalian pajak yang sama, menunjukkan bahwa salah satu kantor cabang tersebut memproses pengembalian pajak dengan cepat tapi dengan banyak kesalahan, sementara kantor cabang yang lain lenih lambat tapi membuat lebih sedikit kesalahan, anda tidak akan menilai efisiensi dengan hanya melihat pada biaya per output. Jika anda melakukan hal tersebut, anda akan sampai pada sebuah kesimpulan yang salah bahwa kantor pertama lebih efisien daripada kantor yang kedua.

Tidak hanya saat anda mengumpulkan data, tapi juga saat anda menganalisis data dan menarik kesimpulan tentang kecenderungan mengenai efisiensi, anad perlu untuk memperhitungkan setiap perbedaan antara outcome dan output.

8.5.5 Mendapatkan dan menggunakan penjelasan

Setelah anda menganalisis tentang efisiensi sebuah kementerian atau organisasi lain (atau suatu bagian di dalam sebuah kementerian atau organisasi), langkah selanjutnya adalah mengidentifikasi faktor-faktor yang menyebabkan setiap perbedaan efisiensi. Karena anda tidak bisa mulai menganalisis peningkatan efisisensi tanpa mengidentifikasi faktor-faktor yang relevan. Lihat juga bagian 3.3.

Faktor-faktor internal dan eksternalPenjelasan mungkin berasal dari dalam kementerian dan/atau organisasi yang terlibat pada penerapan kebijakan tersebut. Hal ini disebut sebagai faktor internal atau endogen. Tetai, penjelasan juga bisa berasal dari luar organisasi, dan hal ini disebut sebagai faktor eksternal atau eksogen.

Contoh-contoh dari faktor-faktor penjelas disajikan pada tabel berikut.

Kesimpulan dari penjelasan yang dicari

Faktor internal yang mungkin

Faktor eksternal yang mungkin

Penurunan efisiensi dibandingkan dengan tahun sebelumnya

Tingginya tingkat pergantian pegawai

Reorganisasi yang baru saja dilaksanakan

Tingginya tingkat absen karena sakit

Perubahan proses produksi

Banyaknya keluhan Tujuan kebijakan

yang tidak konsisten

Proses produksi dipengaruhi oleh banyaknya permintaan sementara(interim) dari DPR

Peraturan baru mengharuskan dibuatnya perubahan pada proses produksi

Pasar tenaga kerja yang lebih ketat

Proses produksi

dipengaruhi oleh cuaca buruk

Penurunan tingkat ekonomi domestik atau internasional

Banyaknya kemacetan lalu lintas

Proses produksi dipengaruhi oleh buruknya kondisi tanah

Perubahan karakterisitik pelanggan

Tujuan kebijakan yang tidak konsisten

Organisasi A lebih efisien daripada organisasi B

Perbedaan metode operasi

Perbedaan biaya overhead

Perbedaan struktur usia pegawai

Perbedaan kualifikasi pegawai

Perbedaan gaji rata-rata

Perbedaan pengalaman pegawai

Perbedaan proporsi pekerja paruhwaktu

Perbedaan jumlah keluhan yang diterima

Perbedaan jumlah ruang per pegawai

Perbedaan jumlah tempat

Perbedaan proporsi pekerjaan yang diserahkan ke subkontraktor

Perbedaan pada pasar tenaga kerja daerah

Perbedaan pada tingkat ekonomi daerah

Perbedaan kondisi tanah

Perbedaan karakteristik pelanggan

Perbedaan pada struktur usia populasi daerah

Perbedaan pada kualifikasi populasi daerah

Secara umum dapat dikatakan bahwa faktor internal melambangkan kesempatan untuk meningkatakan efisiensi, karena kementerian atau organisasi dapat melakukan

sesuatu terhadap hal tersebut. Namun, faktor eksternal tidak secara umum dapat dipengaruhi oleh kementerian atrau organisasi. Walaupun faktor eksternal mempengaruhi tingkat efisien tidaknya suatu kementerian atau organisasi, faktor eksternal tersebut tidak melambangkan kesempatan untuk peningkatan.

Faktor eksternal sulit untuk dipengaruhiSebuah penelitian yang dilakukan oleh Goudriaan et al. tentang efisiensi fakultas-fakultas pendidikan tinggi profesional (1998) menunjukkan bahwa sebagian besar perbedaan efisiensi dipengaruhi oleh perubahan jumlah siswa, sebuah faktor yang benar-benar di luar kendali dari insitusi-inmstitusi tersebut. Walaupun penjelasan merupakan unsur penting rekomendasi untuk pengembangan, pada kasus ini tidaklah mungkin untuk membuat suatu rekomendasi terkait faktor khusus tersebut.

Saat mengumpulkan data tentang faktor penjelas, cukup penting untuk menggunakan sebanyak mungkin tenaga ahli yang ada di kementerian atau organisasi tersebut. Anda juga bisa berkonsultasi tentang literatur tau mempergunakan satu hari untuk mengawasi pegawai organisasi saat bekerja.

Menggunakan temuanJika anda mengidentifikasi temuan yang berguna untuk peningkatan, cukup masuk akal bahwa auditan menggunakan temuan tersebut untuk perkembangannya. Jika temuan tersebut terkait dengan efisiensi organisasi nonpemerintah pusat yang terlibat penerapan kebijakan pemerintah(seperti pemerintah daerah), para menteri dapat mendukung organisasi nonpemerintah pusat tersebut, misalnya dengan konsultasi dan/atau peraturan, untuk menghasilkan peningkatan yang penting.

Menghitung efisiensiSetelah anda menetapkan dan mengumpulkan data yang penting, langkah selanjutnya adalah menghitung kembali (me-review) efisiensi dari output atau outcome. Ada banyak cara untuk melakukannya, yang paling umum adalah penggunaan indikator sederhana dan teknik analsisi sebagai berikut: free disposable hull (FDH), Data envelopment analysis (DEA) dan stochastic frontier analysis (SFA).70

_______________________________70

Lihat, sebagai contoh, Coelli (1998), Blank (2000) dan New South Wales Treasury (2001).

Kami akan terlebih dahulu mendiskusikan indikator yang paling umum digunakan (bagian 8.6.1) sebelum mendeskripsikan dengan jelas penggunaan teknik-teknik yang lebih komnoleks, yaitu FDH, DEA dan SFA (bagian 8.6.2). Dalam teori, teknik-teknik yang lebih sukit tersebut sangat cocok untuk menghitung efisiensi dari sejumlah besar organisasi atau menghitung efisisnesi dari suatu organisasi pada waktu yang berbeda-beda. Bab itu disimpulkan dengan sebuah deskripsi umum tentang berbagai cara untuk mengidentifikasi penjelasan tentang perbedaan efisiensi yang bisa membantu organisasi tersebut untuk meningkatkan efisisensi (bagian 8.6.3).

PrologSaat menghitung efisisensi, anda dapat mencoba:

apakah output atau outcome kebijakan tersebut dapat dihasilkan dengan input yang lebih sedikit; atau

apalah input yang sama dapat menghasilkan lebih banyak output atau outcome.

Perspektif pertama disebut sebagai ‘berorientasi pada input’ dan yang kedua disebut ‘berorientasi pada output’.

Perspektif yang manapun yang anda gunakan untuk menghitung efisiensi organisasi, anda perlu terlebih dahulu memutuskan salah satu dari dua orientasi tersebut yang paling cocok yaitu berorientasi pada input atau output. Secara umum dapat dikatakan bahwa pilihan tersebut tergantung pada apakah manajer dari organisasi tersebut lebih mengendalikan input atau output.71 Karena hal tesebut merupakan faktor yang dapat diubah oleh tersebut. Jika inputnya tetap, anda seharusnya berorientasi pada output, artinya anda seharusnya mencoba dan melihat apakah input yang sama dapat digunakan untuk menghasilkan output yang lebih banyak.

Berorientasi pada outputSebuah contoh dari situasi dimana anda seharusnya berorientasi pada outputr adalah audit pada sebuah sekolah. Sekolah beroperasi dengan anggaran yang tetap(input).

Tapi,jika outputnya tetap, anda seharusnya berorientasi pada input, artinya anda seharusnya mencaritahu apakah output yang sama dapat dihasilkan dengan input yang lebih sedikit.72

_______________________________71

Dengan tujuan untuk memudahkan memahami manual ini, kami di sini hanya merujuk pada ‘output’ dan bukan ‘output dan outcome’.72

Untuk lebih rinci, lihat Coelli (1998), Blank (2000) dan Netherlands Court of Audit (2001).

Berorientasi pada inputSebuah contoh situasi di mana anda seharusnya berorientasi pada input adalah audit terhadap perusahaan listrik. Permintaan listrik (atau output perusahaan) merupakan hal yang tetap dan konstan, dan merupakan hal yang benar-benar tidak dapat dipengaruhi oleh perusahaan listrik. Analisa berdasarkan indikator (dan/atau analisa regresi sederhana) selalu merupakan langkah awal yang baik untuk mengukur efisiensi dan mengidentifikasi penjelasan untuk perbedaan efisiensi, bahkan jika indikator bukan merupakan sarana terbaik untuk menghitung efisiensi. Faktanya adalah jenis analisa ini menghasilkan sebuah pengaruh awal yang bagus terhadap struktur organisasi, dan juga menghasilkan sejumlah aspek terkait hubungan antara input dan output. Lihat juga bagian 8.6.2.1 dan 8.6.3.2 mengenai hal ini.

Annexe 7 memuat sebuah daftar yang bisa anda gunakan untuk memutuskan apakah anda dapat mengukur efisiensi dari suatu subyek tertentu.

8.6.1 Indikator efisiensi

8.6.1.1 Apakah indikator efisiensi itu?

Indikator efisiensi mengukur hubungan antara input dan output pada suatu periode waktu tertentu. Suatu jumlah yang menyatakan ‘biaya per bantuan’ merupakan sebuah contoh indikator. Anda dapat mengidentifikasi tingkat relatif dari efisiensi dengan membandingkan indikator dari sejumlah organisasi yang dapat dibandingkan dan/atau dengan membandingkan indikator dari sebuah organisasi dari tahun ke tahun.

Membandingkan indicator1998 1999 2000 2001 2002

Biaya per bantuan(dalam euro, sesuai jumlah saat 1 Januari 2002)

200 180 210 225 240

Kualitas: kepuasan pelanggan(dalam skala 1 sampai 10)

8 6 6 6 8

Terlihat bahwa telah terjadi peningkatan pada biaya per bantuan yang dimulai pada tahun 1999. Dilihat dari faktor kepuasan pelanggan, kualitasnya tetap sama selama periode tersebut – dengan pengecualian terhadap tahun 2002, tahun dimana terjadi sedikit peningkatan kualitas. Terlihat jelas dari kedua gambaran tersebut bahwa telah terjadi penurunan efisiensi dari tahun 1999 sampai tahun 2001. Gambaran untuk tahun 2002 tidaklah terlalu jelas karena peningkatan biaya per bantuan diimbangi oleh peningkatan kualitas.

Manfaat dari indikator adalah: mudah dihitung; dapat segera digunakan untuk mengukur efisiensi dan kecenderungan

efisiensi; dapat dihasilkan pada interval yang teratur (seperti tiap bulan atau tiap tahun)

tanpa banyak masalah atau biaya, yang berarti indikator tersebut merupakan sumber informasi yang mudah dan menawarkan kemungkinan untuk jawaban yang cepat;

pada situasi di mana melibatkan lebih dari satu outcome atau output, indikator-indikator tersebut dapat saling melengkapi.

8.6.1.2 Kapan seharusnya indikator digunakan?

Output atau outcome tunggal

Indikator berguna untuk menghitung efisiensi pada kasus-kasus di mana hanya ada satu buah output atau outcome untuk setiap pasal kebijakan atau tujuan, dan di mana

semua input dapat dihubungkan pada satu output atau outcome yang sama. Indikator seperti ini dikenal dengan nama ‘indikator tunggal’ (lihat contoh di atas).

Sejumlah output atau outcome

Pada kebanyakan kasus, tujuan kebijakan dikaitkan dengan sejumlah outcome atau output yang berbeda. Jika anda mengetahui input yang mana yang digunakan untuk menghasilkan setiap outcome atau output tertentu, anda dapat membuat sebuah indikator tunggal untuk setiap outcome atau output tersebut.

Masalah dan solusi yang potensialJika tidak mungkin untuk menentukan input yang mana yang digunakan untuk outcome atau output tertentu, anda dapat menggunakan data catatan waktu. Anda seharusnya ingat bahwa data tersebut merupakan pekerjaan pegawai yang relatif intensif. Data catatan waktu menunjukkan jumlah jam yang telah digunakan pada berbagai outcome dan output oleh pegawai yang terlibat penerapan kebijakan tersebut. Dengan menghubungkan jumlah jam kerja dengan gaji yang diterima oleh pegawai, anda dapat memperkirakan biaya per outcome atau output. Walaupun hal ini berarti mengabaikan belanja nonpegawai, anad dapat menggunakan formula alokasi untuk secara kasar mengalokasikan belanja nonpegawai tersebut ke berbagai outcome atau output.

Jika anda tidak mempunyai akses terhadap data catatan waktu, anda harus menggunakan sarana lain untuk menghasilkan indikator, seperti:

menggunakan formula alokasi untuk mengalokasikan input secara langsung ke berbagai outcome dan output;

menimbang berbagai outcome dan output untuk menghasilkan sebuah outcome atau output gabungan. Dengan menghubungkan jumlah gabungan ini denagn input, anda dapat menghasilkan sebuah indikator yang dapat anda gunakan sebagai pengukur efisiensi. Hal ini dikenal sebagai sebuah indikator gabungan.

Jangan lupa untuk memperhitungkan kualitas

Idealnya, indicator anda seharusnya mempethitungkan kualitas dari output atau outcome yang ingin dihasilkan. Namun pada prakteknya tidak seperti itu. Alternatifnya, anda dapat menyusun sebuah indikator untuk biaya per output atau outcome dan indicator lain untuk kualitas dari tiap output atau outcome.

8.6.1.3 Bagaimana anda dapat menarik kesimpulan dari indicator?

Formula alokasi atau menimbangJika anda menggunakan formula alokasi atau sebuah metode penimbang, anda tidak akan pernah yakin bahwa hal ini telah tepat. Tapi, formula atau faktor penimbang tersebut secara umum dipilih sebagai sebuah dasar yang tak bisa diubah. Resiko dari menggunakan formula atau faktor penimbang tersebut adalah

anda dengan tanpa disadari terlalu mengecilkan atau mungkin melebih-lebihkan perbedaan efisiensi. Contohnya, anda bisa saja mengalokasikan input yang tidak relevan pada outcome atau output tertentu, dan menjadikan outcome atau output terlalu berlebih sehingga kemudian disimpulkan secara salah sebagai ‘tidak efisien’.

Bahkan jika anda membuat sebuah indikator gabungan dengan bantuan faktor penimbang (misalnya anda telah menimbang berbagai oucome atau output untuk membuat sebuah outcome atau output tunggal), anda masih perlu berhati-hati, karena anda tidak tahu bagian yang mana dari proses politik untuk dinilai dengan menggunakan indikator. Kemudian menjadi sulit untuk mendapatkan kesempatan meningkatkan efisiensi, karena anda tidak dapat menjelaskan bagaimana setiap subproses individual memberi arti kepada efisiensi (atau ketidakefisienan) dari proses politik secara keseluruhan.

Interaksi antar subprosesBahkan jika ada sejumlah outcome atau output yang berbeda dan anda telah berhasil menyusun indiator efisiensi untuk tiap outcome atau output tersebut, anda masih harus menghadapi sejumlah rintangan. Walaupun seperangkat indikator ini mampu menghasilkan informasi tentang berbagai bagian dari ‘proses produksi’, anda masih belum memiliki gamabatran yang jelas tentang bagaimana berbagai subproses berinteraksi satu sama lain.

Asumsikan bahwa anda membuat perbandingan dari waktu ke waktu. Walaupun anda dapat melihat kecenderungan pada biaya dari tiap output tertentu, anda tidak tahu dengan pasti apakah proses politik yang digunakan untuk menghasilkan output berhubungan dengan proses lain. Jika subproses yang digunakan untuk menghasilkan outcome atau output tertentu tidak terpisah satu sama lain, anda harus berhati-hati karena ada resiko di mana [eningkatan yang dibuat untuk kepentingan suatu outcome atau output dapat berakibat pada berkurangnya efisiensi dari outcome atau output lain.

Subproses saling mempengaruhi satu sama lainOutput yang dihasilkan oleh universitas adalah riset dan pengajaran. Tetapi, tidak selalu jelas berapa jumlah uang yang digunakan untuk memproduksi setiap jenis output. Terlebih lagi, riset yang dilakukan oleh pegawai universitas membantu mereka meningkatkan isi dan kualitas mengajar mereka. Jadi bagaimana anda dapat menemukan indikator untuk input yang digunakan untuk menghasilkan setiap output? Anda bisa, tentu saja, menggunakan formula alokasi dan faktor penimbang untuk mengalokasikan biaya pada sebuah dasar yang terbagi rata untuk pengajaran dan riset. Asumsikan bahwa formula yang anda gunakan merupakan cerminan kenyataan yang akurat, dan menghasilkan informasi tentang kecenderungan biaya dan kualitas sebagsi berikut:

1998 1999 2000 2001 2002Biaya per unit pengajaran (dalam euro, sesuai jumlah pada 1 Januari 2002)

1000 1200 1400 1500 1600

Biaya per unit riset (dalam euro, sesuai jumlah pada 1 Januari 2002)

4950 5250 5400 5500 5600

Kualitas pengajaran (hasil reviu perbandingan, dalam skala 1 samapi 10)

5 6 7 8 9

Kualitas riset (hasil reviu perbandingan, dalam skala 1 samapi 10)

4 6 7 8 9

Terlihat bahwa telah terjadi peningkatan baik pada biaya per unit pengajaran maupun pada biaya per unit riset dari tahun 1998 sampai 2002. Kualitas (dalam hal ini diukur dari nilai yang diberikan tiap tahun oleh lembaga reviu perbandingan) juga meningkat selama periode ini. Seperangkat indikator ini memberikan anda sebuah gambaran tentang berbagai bagian dari proses produksi.

Sementara itu, berbagai bagian dari proses produksi tidak bisa dilihat secara terpisah satu sama lain. Seperti telah kami sampaikan, riset yang dilakukan oleh pegawai universitas membantu meningkatkan isi dan kualitas mengajar mereka. Asumsikan bahwa baik peningkatan biaya per unit riset dan peningkatan kualitas pengajaran disebabkan karena peningkatan kualitas riset. Yang terjadi adalah, walaupun efisensi dari riset tetap stabil, perubahan dari biaya per unit pengajaran menunjukkan penurunan tingkat efisiensi. Dalam hal ini,kesempatan peningkatan adalah pada sisi pengajaran.

Tetapi apabila kamu tidak mengetahui bahwa pengajaran dipengaruhi oleh pekerjaan

riset? Kamu kemudian mungkin berkesimpulan efisiensi riset dan pengajaran tetap

yang sama selama periode 1998 hingga 2002. Sebaliknya, kamu harus mengenal

pendasaran prosesnya sebelum kamu dapat menggambarkan kesimpulan yang tepat

dan saran yang membangun untuk perbaikan.

Indikator-indikator kontradiksiAda banyak sekali pengertian untuk menggambarkan kesimpulan yang salah ketika menginterpretasikan satu set indikator. Lagipula, indikator-indikator yang berbeda dapat dengan mudah mengetahui tanda-tanda kontradiksi. Sebaliknya, kamu seharusnya memberikan kepedulian yang besar ketika menggambarkan kesimpulan. Kesimpulan yang tidak menimbulkan kesalahpahaman dapat digambarkan hanya jika tren pada efisiensi dari seluruh indikator sama. Misalnya, jika kamu menggunakan satu indikator pada biaya per outcome atau output, kamu dapat membuat sebuah pernyataan yang jelas atas tren efisiensi hanya jika kedua poin indikator ada pada arah yang sama (contohnya, keduanya memperlihatkan baik tren turun maupun tren naik).

Dimana kamu dihadapkan pada tren yang berlawanan, sebuah solusi yang berdasarkan kenyataan – albeit second best – untuk menimbang tren dalam riset. Hal ini berarti memutuskan seberapa banyak penimbang untuk menahan satu tren relatif kepada tren lainnya (misalnya, kenaikan 2% pada biaya per output disetarakan sama dengan penurunan 1% pada kualitas). Lihat diatas untuk risiko menahan penimbang.

Penimbang tren kebalikanKembali ke contoh sebelumnya tentang output universitas, kami telah menimbang tren dalam hubungannya untuk riset. Selama tahun antara 1998 hingga 2002, biaya per unit riset meningkat kira-kira 6%, 3%, 3%, dan 3% masing-masingnya. Kualitas juga diperbaiki selama periode yang sama masing-masing 2%, 1%, 1%, dan 1%. Kenaikan 1% pada kualitas dipandang sama dengan 3% kenaikan pada biaya. Hal ini berarti efisiensi riset universitas tetap sama keseluruhan periode ini.

Sebuah contoh bagaimana tidak melakukannyaEfiensi audit yang ditampilkan oleh Bakkenst Management Consultants pada jasa perawatan rumah menampilkan contoh yang baik atas risiko yang digabungkan dengan penggunaan indikator. Studi meliputi tujuh organisasi perawataan rumah dan melibatkan penggunaan indikator.7 Jumlah yang ditemukan ditunjukkan pada tabel berikut.8

  1 2 3 4 5 6Jumlah jam perawatan disediakan oleh distrik perawat per FTE 966 1075 960 - 726 865 954Jumlah jam perawatan disediakan oleh bantuan rumah per FTE 1421 1401 1434 - 1490 1449 1477Jumlah jam perawatan per anggaran 10,000 NLG 261 212 202 225 225 213 237               Proporsi staf perawat (dalam % dari total staf) 93 88 92 91 89 91 91Proporsi staf produktif (dalam % staf perawat) 80 75 71 81 76 77 78Staf manajerial per 100 FTE staf perawat 0,92 1,06 0,67 0,85 0,39 0,91 0,56Staf administratif per 100 FTE staf perawat 1,47 2,66 2,67 2,37 2,5 2,92 2,91Staf komputer per 100 FTE staf perawat 0,76 0,97 0,84 0,52 0,76 0,65 0,71Staf pendukung per 100 FTE staf perawat 1,34 3,61 3,52 2,67 2,07 3,19 1,99Tingkat ketidakhadiran karena sakit (dalam %) 11 7 11 12 11 9 11Proporsi staf tidak tetap (dalam %) 15 2 3 19 15 4Proporsi staf part-time (dalam %) 46 57 48 44 58 42 61

Para peneliti mengambil kesimpulan praktik terbaik (best-practice) digambarkan untuk setiap indikator di dalam tabel, dan ini adalah gambaran di setiap baris yang dicetak miring dan digarisbawahi. Para peneliti memutuskan set dari gambaran praktik terbaik bersama-sama dipandang sebagai bentuk sebuah organisasi maya yang 7 Untuk diskusi kritis studi, lihat Benchmarken of de kunst van het vergelijken Benchmark, or the fine art of comparison, Blank, 1998)8 Tiga baris pertama pada tabel mengandung informasi umum efisiensi (output adalah jumlah jam perawatan tersedia, sementara input diekspresikan dalam batas FTE sebagai sebuah solusi second-best. Sementara data yang kosong tidak mengandung informasi yang berarti pada efisiensi, hal itu dapat menjelaskan perbedaan secara jelas pada level efisiensi.

dapat tersaji sebagai sebuah model untuk seluruh organisasi lainnya. Untuk kepentingan kenyamanan, mereka mengasumsikan bahwa proses yang mendasari indikator yang bervariasi seluruhnya disajikan masing-masing secara independen. Mereka tidak mencari untuk menetapkan apakah hal ini benar atau tidak. Misalnya, tidak ada alasan untuk mengasumsikan organsasi nomor 4 seharusnya dipandang sebagai trend-setter dalam batas staf proporsi sementara (membiarkannya apakah benar untuk mengasumsikan bahwa proporsi yang lebih tinggi adalah lebih baik untuk efisiensi secara keseluruhan). Apakah kesengajaan atau tidak, faktanya bahwa organisasi nomor 4 mempunyai tingkatan yang paling tinggi ketidakhadiran karena sakit. Para peneliti tidak memikirkan untuk bertanya apa alasan untuk perbedaan ini, membiarkannya secara nyata muncul dengan penjelasan.Sebaliknya, organisasi itu yang memutuskan untuk menyesuaikan proses mereka pada basis penemuan studi ini dapat mendapatkan diri mereka sendiri lebih buruk dari sebelumnya.

Contoh lain bagaimana tidak melakukannyaAnalisis oleh Taphoorn et al. tahun 1998 pada efisiensi jasa Institusi Kustodial selama periode 1994 hingga 1996 adalah contoh lain kemalangan dalam penggunaan indikator. Para peneliti pada riset memikirkan lima indikator untuk mengukur perubahan efisiensi pelayanan jasa penjara Belanda :

Harga biaya per hari; Anggaran produksi, contohnya untung atau rugi; Tingkat pekerjaan, contoh rata-rata pekerjaan dibagi dengan rata-rata

kapasitas tersedia; Rasio staf, contoh jumlah staf dibadingkan dengan jumlah narapidana; Rasio overhead, contoh pengeluaran tidak langsung dibandingkan dengan pengeluaran aggregat.

Indikator 1994 1995 1996Harga biaya per hari (1994 = 100) 100 93 91Anggaran produksi (dalam jutaan NLG) -14,3 -8,5 1Tingkat pekerjaan 100,5 100,5 88Rasio Staf (dalam %) 96 92 98,6Rasio overhead (dalam %) - 8,2 9,4

Para peneliti juga menguji perubahan pada kualitas yang sama, yang mereka ukur dalam batasan jumlah komplain setiap 100 sel yang dikerjakan. Mereka mendapatkan bahwa jumlah komplai mempengaruhi seluruh tipe institusi di dalam pelayanan penjara baik penyeimbangan maupun penurunan selama periode yang direviu. Para peneliti menyimpulkan bahwa, pada keadaan seimbang, lima indikator tersebut menunjukkan sebuah perbaikan terbatas pada efisiensi tahun 1995 dan 1996. Mereka tidak mampu mengatakan dengan tepat seberapa banyak efisiensi telah ditingkatkan, bagaimanapun. Di sata yang sama, merelka memberikan sejumlah penjelasan untuk peningkatan efisiensi, kalim yang merupakan factor utama adalah fakta bahwa institusi-institusi tersebut telah dianugerahi status agen (mengarah kepada kesempatan yang lebih besar untuk menciptakan cadangan, kesempatan untuk merealokasikan peralatan dan staf yang diinginkan, dan kebebasan yang lebih pada premis)

dipadankan peningkatan kapasitas (mengarah ke simpanan pada biaya desain dan bangunan, dan skala ekonomis).Lagi, contoh ini mengilustrasikan beberapa risiko yang berhubungan dengan penggunaan indikator.9 Walaupun tren yang belawanan pada indikator yang bervariasi, para peneliti menyimpulkan bahwa indikator itu menunjukkan pada sebuah peningkatan pada level efisiensi. Hal ini adalah selain fakta yang mendasari tren tidak selalu sama. Lagipula, para peneliti gagal memperkenalkan pentingnya indikator yang bervariasi. Misalnya apakah penurununa tingkat pekerjaan dan rasio staf dan sebuah peningkatan pada rasio overhead adalah berita baik atau buruk? Hal itu juga tidak jelas apakah seluruh indikator relevan atau tiddakk. Akhirnya, tidak ada indikasi yang jelas seperti mengapa ada peningkatan dalam anggaran produksi. Pergerakan dari garis merah dapat menjadi hasil pendanaan pemerintah lainnya, misalnya.Faktanya, indikator yang hanya dapat digunakan untuk mengukur perubahan dalam efisiensi (menampilkan kondisi yang ditunjukkan dalam seksi 8.5) adalah harga biaya per narapidana per hari. Sisa data seluruhnya penjelasan yang potensial pada perbedaan efisiensi. Sebaliknya, para peneliti melangkah terlalu cepat kepada kesimpulan mereka tentang faktor-faktor penjelas. Tidak ada bukti nyata untuk menyarankan mereka dibela kalim bahwa penganugerahan status agen dan peningkatan kapasitas adalah alasan utama untuk perubahan pada level efisiensi. Hal ini seharusnya dilihat lebih sebagai hipotesis yang membutuhkan pengetesan.8.6.2 FDH, DEA dan SFAGambaran umum teknikTiga teknik analisis diiatas, contohnya Free Disposable Hull (FDH), Data Envelopment Analysis (DEA) dan Stochastic Frontier Analysis (SFA), semua berarti perhitungan analisis dengan membuat perbandingan dengan rasio terbaik input atas output pada praktiknya. Ketiga teknik dapat digunakan untuk menghitung hubungan antara input yang digunakan dan output yang dihasilan oleh organisasi, untuk memutuskan organisasi mana yang cakap dalam perbandingan dan organisasi individual mana di dalam setiap grup organisasi yang dapat dibandingkan, dapat diklasifikasikan sebagai “kelas atas”. Yang terakhir diambil sebagai pengertian organisasi10 yang menggunakan paling sedikit input untuk memproduksi suatu kuantitas output atau yang memproduksi paling banyak output dengan suatu kuantitas input. Akhirnya, efisiensi diukur dengan membandingkan performa seluruh organisasi yang bukan kelas atas dengan kelas atas. Sebaliknya, performa organisasi terbaik diambil sebagai poin referensi, contohnya penyusunan praktik terbaik (best-practice). Mereka menghasilkan rasio output-input terbaik yang dapat diraih dalam praktiknya. Ini adalah organisasi yang efisien. Tingkatan relatif efisiensi kemudian diukur dengan menghitung jarak antara setiap organisasi dan suatu poin referensi (contohnya bagaimana suatu nilai bagian organisasi dalam perbandingan dengan organisasi yang paling efisien yang diperbandingkan?). tingkatan efisiensi dinyatakan dalam bentuk nilai efisiensi. Organisasi yang efisien memiliki nilai efisiensi 100% (atau 1), sementara nilai organisasi yang tidak efisien lebih rendah dari 100% (atau 1). Nilai yang lebih rendah, 9 Sebuah metode seperti DEA akan menjadi jalan yang lebih baik untuk mengukur efisiensi output dan input baik pada contoh ini dan sebelumnya. Lihat seksi 8.6.2 dan Blank (2003).10 Dalam peningkatan kemampuan membaca, kami lebih menyukai hanya “organisasi”. Suatu audit, bagaimanapun, terlibat pengujian efisiensi organisasi tunggal pada poin berbeda pada saatnya, atau membandingkan organisasi yang berbeda pada poin berbeda.

efisien yang kurang adalah organisasi pada riset dan kesempatan yang lebih (dalam teori) untuk meningkatkan efisiensinya.

8.6.2.1 Free Disposable HullTeknik Free Disposable Hull (FDH) digunakan untuk menghitung nilai efisiensi sejumlah organisasi dengan membandingkan performa mereka ddengan praktik terbaiknya. Modelnya hanya membuat perbandingan dengan organisasi secara nyata. Dalam mnaksir efisiensi sebuah organisasi, pokok pikirannya adalah untuk berusaha dan menemukan organisasi yang eksis ynang menghasilkan output yang sama dengan input yang lebih sedikit.11 FDH berbeda masing-masing dari DEA dan SFA, seperti dua teknik terakhir memperbolehkan perbandingan dibuat engan organisasi maya (lihat seksi 8.6.2.2 dan 8.6.2.3).FDH mudah menggunakannya. Ada sejumlah standar, paket software FDH pengguna pemula di pasaran.12

Berikut ini sebuah contoh penggunaan analisis FDH. Dewan Audit Belanda menggunakan model ketika mengaudit efisiensi job centre (sekarang dikenal sebagai Center For Work and Income) pada periode antara 1998 dan 2000.13

Job centreDewan Audit Belanda menghitung, untuk setiap 62 job centre yang termasuk di dalam audit, dengan seberapa banyak input dapat dikurangi paling tidak pada kuantitas yang sama dengan output. Input adalah biaya variable. Biaya tetap, seperti sewa, depresiasi, dan pengenaan beban terkait dengan bangunan tidak termasuk dalam biaya.14

Output yang dihasilkan oleh job centre adalah penemuan pekerjaan oleh para pencari kerja (contohnya jumlah pencari kerja yang menandatangani kontrak pegawai), kegagalan didasarkan kepada yang dipekerjakan relatif para pencari kerja pada riset (dalam batasan kategori 1, kategori 2, dan kategori 3). Kategori 1 para pencari kerja dibatasi sebagai paling banyak dipekerjakan, contoh yang mungkin paling banyak mencari pekerjaan, dan lain-lalin). Kegagalan ini didasarkan pada yang dipekerjakan dari para pencari kerja adalah rata-rata yang bermanfaat penetapan akun perbedaan atas kualitas output (lihat seksi 8.5).

11 Meskipun ini adalah orientasi input, tapi juga tentu memungkinkan untuk mengadopsi orientasi output.12 Meskipun Dewan Audit Belanda tidak memiliki software FDH pada saat penulisan (contohnya awal 2005), kamu dapat selalu merangkai suatu lisensi untuk dibeli pada saat yang baik jika kamu merencanakan untuk membawa audit yang kamu harapkan menampilkan analisis FDH.13 Dewan Audit Belanda (2001). Lihat juga Israel, Matheeuwsen, Roelofs and Roijackers (2001).14 Biaya-biaya ini sulit berpengaruh dalam jangka pendek; termasuk di dalam audit mengarahkan auditor menggambarkan kesimpulan yang salah. Jika hanya perbedaan antara dua job centre adalah bahwa biaya rumah terjadi oleh salah satunya dua kali tinggi biaya rumah yang terjadi oleh lainnya, termasuk biaya rumah pada perhitungan nilai efisiensi yang mengarahkan kepada kesimpulan bahwa satu job centre kurang efisien dari pada yang lainnya. Bagaimanapun, tidak ada yang dibutukan dalam performa suatu audit efisiensi dalam menggambarkan jenis kesimpulan ini. Lebih lagi, banyak job centre tidak memiliki banyak pilihan memperhatikan lokasi mereka seperrti mereka di bawah undang-unang obligasi untuk menyajikan suatu wilayah penangkapan.

Job centre yang efisien dianugerahi nilai efisien 100%, dimana job centre yang tidak efisien dianugerahi nilai yang lebih rendah. Nilai efisiensi 90% berarti job centre tersebut pada riset dapat mengurangi biaya-biayanya hingga 10% dan masih mencari pekerjaan untuk jumlah pencari kerja yang sama, kegagalan didasarkan pada yang dipekerjakan relatif. Gambaran diatas memperlihatkan pencarian untuk tahun 1998.Dari 62 job centre, 32 job centre dianugerahi nlai efisiensi 100%, berarti bahwa tidak ada job centre yang dapat diperbabndingkan lebih baik. 10 dari job centre yang efisien ini bertindak sebagai poin referensi untuk job centre yang tidak efisien. Ketika dibandingkan dengan job centre yang diperbandingkan, 10 job centre ini menghasilkan paling tidak sebanyak output yang dibandingkan pada level biaya paling rendah. Mereka adalah satu-satunya dengan nilai efisiensi 100% pada gambaran. Nilai efisiensi dihitung dengan membandingkan job centre yang tidak efisien dengan poin referensi mereka. Ini menghasilkan formasi 10 grup job centre yang diperbandingkan (contoh 10 kolom pada gambaran). Nilai untuk job centre yang tidak efisien berkisar dari 70% - 99%.Gambaran memperlihatkan adanya perbedaan yang sangat lebar antar nilai efisiensi yang diperbandingkan. sebagai ilustrasi, tabel berikut memperlihatkan perbedaan biaya antar grup job centre (grup 5 pada gambaran) tahun 1998.gambaran entri-entri pekerjaan adalah jumlah penempatan, sementara biaya dkuotasikan dalam jutaan Euro.

Job centre Entri pekerjaan untuk kategori 1 pencari kerja

Entri pekerjaan untuk kategori 2 pencari kerja

# penempatan fase 3 entri pekerjaan untuk kategori 1 pencari kerja

Biaya Nilai efisiensi

Nilai referensi 1.125 407 306 2,4 100%Job centre 1 924 267 302 2,6 91%Job centre 2 778 404 306 4 85%

Job centre 3 70 344 265 5,9 70%

Tabel memperlihatkan, antar job, bahwa nilai referensi telah mencatat jumlah terbesar entri pekerjaan dalam seluruh kategori pencari kerja, pada level biaya terendah. Job centre 1, misalnya, dapat meningkatkan outputnya dan pada waktu yang sama merendahkan biayanya ke level referensi job centre.

8.6.2.2 Data Envelopment AnalysisData Envelopment Analysis (DEA) digunakan untuk menggambarkan batasan efisiensi yang merepresentasikan kombinasi praktik terbaik output dan input. Gambaran berikut mengilustraskan hal ini dengan contoh sederhana.Poin-poin menyajikan berdasarkan organisasi yang bervariasi, pada kasus bagian ini, input tunggal yang mereka gunakan untuk menghasilkan output tunggal, jalurnya adalah batas yang dihitung dengan aid DEA. Gambaran tersebut menggambarkan orientasi (contohmenghasilkan kuantitas output maksimal dengan suatu kuantitas input).15 Organisasi A hingga D menghasilkan kuantitas output terbesardibandingkan dengan kuantitas input yang dibutuhkan untuk memproduksinya. Kenyataan ini, praktik terbaik organisasi ditempatkan pada jalur batas. Ditempatkan pada jalur antara organisasi nyata ini adalah organisasi maya yang tampil sebagai organisasi nyata.

DEA

Sebaliknya, DEA mempersilahkan anda untuk membendingkan organisasi baik dengan organisasi nyata maupun maya. Lihat seksi berikut untuk informasi lebih jauh pada poinnya.DEA secara relatif straightforward model matematika untuk variasi paket software yang tersedia yang mampu mengukur efisiensi pada cara16 yang relatif berbanding lurus,82 antara lain DEAP dan DEA-solver.17 DEA adalah model yang popular, dan

15 Pada skala variable. Hal ini berarti output bisameningkat kurang atau lebih dai proporsi jika ada perubahan di seluruh input (lihat seksi 8.6.2.4 untuk informasi lebih jauh).16 Lihat juga, misalnya, Blank (2003) and Eggink and Blank (2001)17 Lihat Coelli (1996) untuk informasi DEAP, dan Cooper (2000) untuk informasi DEA-solver. Lihat Blank (2003) untuk informasi paket software lainnya.

ribuan artikel dan laporan telah dipublikasikan berdasarkan produksi material pada rata-rata analisis DEA.18

Sebuah contoh penggunaan DEA disajikan di bawah ini. Modelnya digunakan dalam audit yang ditampilkan oleh National Institute of Public Health dan efisiensi dan kualitas pelayanan ambulans

Sekitar tahun 2001, subyek yang akan dibahas adalah tingkat efisiensi dan kualitas pelayanan ambulans di negara Belanda.Institut negeri Kesehatan Umum dan Sekitar telah menggunakan DEA untuk menaksir tingkat efisiensi atas pelayanan ambulans di negara Belanda.4 keluaran berbeda pelayanan ambulans di Belanda, antara lain:• Kategori Perjalanan A1– Jumlah perjalanan yang dibuat oleh sebuah ambulans untuk mencapai pasien secepat

mungkin.• Kategori Perjalanan A2– Jumlah perjalanan yang dibuat oleh sebuah ambulans yang dikehendaki agar berangkat

segera, dengan tujuan untuk mencapai pasien secepat mungkin.• Kategori Perjalanan B– Jumlah perjalanan sebelum direncanakan.• Kegunaan – Rata-rata dari indeks kegunaan untuk tiap depot ambulans, yang dititik beratkan menurut

jenis dari perjalanan-perjalanan yang dibuat.

Dari hasil analisa DEA menunjukkan bahwa 73 diluar dari jumlah 80 pelayanan ambulans di negara Belanda. Nilai efisiensi rata-rata untuk ke 73 pelayanan ambulans tersebut adalah sebesar 87%. Tabel berikut menunjukkan nilai yang telah ditetapkan untuk bermacam-macam pelayanan, yang terbagi menurut ukurannya.

Kategori Ukuran Jumlah Pelayanan

Nilai Efisiensi Rata-rata

Jumlah atas Pelayanan bernilai

100< 2.000 11 81 4

2.000 – 5.000 16 87 45.000 – 10.000 19 83 210.000 – 20.000 17 90 5

>20.000 10 95 5 TOTAL 73 87 20

Dari table di atas, dapat kita peroleh informasi bahwa nilai efisiensi terendah adalah 57%. Nilai yang telah ditetapkan pada table di atas dibagi ke dalam empat (4) kategori, mulai dari 80-84 hingga 95-99 dan kurang lebih sama. Empat pelayanan, atau 5% dari total dinilai kurang dari 60%. Ini adalah nilai yang sangat rendah untuk jenis pemeriksaan.

18 Blank (2003).

Tabel yang ditetapkan atas Pelayanan Ambulans

Stochastic Frontier Analysis (SFA)Seperti halnya DEA, SFA melibatkan penggambaran sebuah batas efisiensi, dimana

memperbolehkan/mengijinkan organisasi yang bersangkutan untuk membandingkan antara organisasi nyata dengan organisasi sesungguhnya.Perbedaan antara DEA dengan SFA terletak pada penghitungan batas efisiensi. Dalam kasus SFA ini, batas tersebut ditetapkan dengan bantuan fungsi matematika, serta menggambarkan hubungan antara masukan (input), dan keluaran (output). Dalam beberapa kasus, mungkin, sifat sesungguhnya dari hubungan tersebut tidaklah murni. Untuk alasan ini, adalah hal terburuk untuk memulainya dengan menguji coba sejumlah penurunan sederhana, sebagaimana hal tersebut dapat memberimu pengertian atas sifat potensial dari hubungan tersebut.

Sejumlah model untuk gambaran hubungan antara masukan dan keluaran telah disebutkan dalam literature. Satu hal yang penting yang mana kita sebaiknya memusatkan perhatian pada pokok permasalahan ini dalah pada fungsi produksi (yang berdasarkan pada orientasi keluaran) dan fungsi biaya (yang berdasarkan pada orientasi masukan).

SFA tidaklah mudah untuk digunakan, karena untuk memanfaatkannya dibutuhkan sebuah pengetahuan tentang metode ekonometrikal, yang mana digunakan untuk menghitung fungsi matematika. Paket-paket software standar juga dapat disediakan untuk SFA. Grafik berikut menggunakan contoh yang sederhana untuk menggambarkan DEA dan SFA. Grafik tersebut menghasilkan kembali garis batas yang diplot dengan bantuan DEA dan SFA.

Dalam waktu yang relative, organisasi A hingga D telah mengirimkan dalam jumlah terbesar keluaran apabila dibandingkan dengan jumlah masukan yang digunakan untuk memproduksi mereka (dalam hal ini adalah keluaran). DEA melibatkan pemecahan atas

masalah pemrograman linear untuk tiap-tiap organisasi, yang mana setelah semua organisasi telah diplot juga atau berada di bawah garis batas. Apabila mereka ada di atas garis, ini berarti bahwa mereka telah mengirim dalam jumlah terbesar keluaran dibandingkan dengan organisasi lain dalam masyarakat. Jika mereka ada di bawah garis, ini berarti bahwa mereka mengirim dalam jumlah yang lebih kecil atas keluaran dengan menggunakan jumlah masukan yang sama. Beberapa posisi yang jauh dari garis batas diasumsikan merupakan hasil yang tidak efisien. Dengan kata lain, model tersebut tidaklah dapat dipertanggung jawabkan penyebaran atas penyimpangan statistic, misalnya kesalahan pengukuran, ketidak akuratan atas data yang telah digaris bawahi, dan kelemahan-kelemahan yang lain.

Sekarang kita sebaiknya senang untuk memberikan sebuah contoh atas penggunaan SFA. Model tersebut digunakan dalam sebuah pendidikan yang dipromosikan oleh Kantor Perencanaan Sosial dan Budaya pada tahun 2001, dimana yang dijadikan sasaran adalah institusi kepedulian terhadap para penderita cacat mental. Institusi Kepedulian para penderita cacat mental

Kantor Perencanaan Sosial dan Budaya telah menggunakan SFA (fungsi biaya) dan DEA (fungsi produksi) untuk menaksir tingkat efisiensi atas pelayanan kepedulian institusional terhadap para penderita cacat mental. Contoh nyata ini dibatasi semata-mata untuk masyarakat umum daripada institusi khusus. Penelitian yang telah dilakukan terhadap lebih dari 100 institusi umum menunjukkan periode dari tahun 1984 hingga tahun 1994 telah diambil

sebagai dasar untuk analisis (yang mana melibatkan sebuah perbandingan sepanjang waktu dan sebuah perbandingan antar organisasi). Gambaran biaya digunakan untuk menggambarkan biaya variabel. Keluaran yang digunakan adalah jumlah dari hari-hari pasien, yang dibagi menurut derajat kecacat mentalan dari pasien baik ringan, berat, dan sangat berat. Institusi umum telah menghitung nilai rata-rata dari 86-89% pada tahun 1998. Ini berarti bahwa dalam teori, institusi-institusi ini mungkin memiliki kemampuan untuk memotong biaya-biaya mereka dengan rata-rata 10% dan masih mengirimkan keluaran yang sama.

Gambar berikut menunjukkan persentase dari institusi-institusi yang mana telah ditetapkan pada nilai efisiensi yang sama (dengan skala/perbandingan antara 0 hingga 1). Gambar pertama menunjukkan nilai yang dihitung dengan bantuan DEA.

Kesimpulan umum yang didapat dari Kantor Perencanaan Sosial dan Budaya adalah bahwa hanya ada sebuah jurang pemisah kecil antara institusi yang efisien untuk penderita cacat mental dan lainnya (institusi yang memiliki tingkat efisiensi yang sedikit). Ini berarti

bahwa kesempatan-kesempatan untuk membebaskan sumber daya dengan maksud untuk memecahkan masalah-masalah dengan mengubah kebijakan atau proses operasi perbaikan adalah dibatasi dengan kejujuran. Lalu, apa yang dapat dilakukan oleh institusi-institusi, bagaimanapun, adalah untuk meningkatkan tingkat efisiensi mereka dengan mengubah campuran masukan mereka.

Pada kasus tingkat pengembalian konstan (constant return to scale), setiap perubahan atas masukan (input) akan menghasilkan perubahan yang sebanding pada keluaran (output). Misalnya jika suatu organisasi menghasilkan output 10% lebih banyak (skalanya naik), hal ini akan mengakibatkan kenaikan sebesar 10% pada level biayanya. Ini berarti bahwa biaya rata-rata per outputnya sama, tidak tergantung pada ukuran organisasi.Pada kasus dimana tingkat pengembalian bervariasi (variabel return to scale), pada kasus lain, bila ada sedikit perubahan pada input dapat menimbulkan kenaikan maupun penurunan pada output yang dihasilkannya. Sebagai contoh jika suatu organisasi yang ditelti menghasilkan output 10% lebih banyak dari biasanya, dapat menimbulkan kenaikan biaya, kenaikan biaya tersebut bisa lebih atau kurang dari 10%. Biaya rata-rata per output pada organisasi yang berukuran kecil dan besar biasanya menduduki peringkat tinggi, sedangkan organisasi berukuran sedang biasanya memiliki biaya rata-rata rendah.19

19 Lihat Annexe 7 untuk informasi lebih lanjut serta contohnya.

Seluruh teknik yang tersedia dapat digunakan untuk menghitung baik tingkat pengembalian konstan ataupun yang bervariasi, kecuali perhitungan indikator. Indikator efisiensi seperti (biaya per output), secara mutlak merupakan asumsi yang sesuai atas tingkat pengembalian konstan, hal ini berarti bahwa biaya per output tidak dipengaruhi oleh ukuran organisasi. Meski begitu, terdapat kadaan dimana beberapa indikator dapat digunakan untuk tingkat pengembalian bervariasi, akan tetapi, ada kondisi tambahan yang harus dipenuhi, jika dibandingkan dengan tingkat pengembalian konstan. Analisis yang dilakukan harus menghasilkan kelompok-kelompok indikator untuk tiap organisasi berbeda (mis. organisasi kecil, medium, dan besar). Lihat seksi 8.6.3.2 untuk contoh.

2. Defisiensi (kekurangan) dataFaktor kedua yang mempengaruhi penentuan teknik yaitu apakah terdapat kekurangan data yang akan digunakan dalam memperhitungkan efisiensi organisasi yang diperiksa. Anda dapat mengetahui hal ini dengan melakukan suatu analisis pendahuluan, baik dengan menggunakan indikator atau analisis regresi sederhana. Jadi seluruh model sebenarnya rentan terhadap defisiensi data, kecuali jika menggunakan teknik SFA. Seperti telah dijelaskan sebelumnya, teknik SFA mampu menghilangkan perbedaan tinngkat efisiensi dan perbedaan yang dipicu oleh distorsi statistik, misalnya perbedaan yang berhubungan dengan kualitas data.Perawatan di rumah (Home Care)

PricewaterhouseCooper and Berenschot melakukan analisa DEA pada tahun 1999. Analisis ini dilakukan untuk mengetahui tingkat efisiensi dari perawatan di rumah di BelAnda. Laporan menunjukan bahwa tidak semua data yang digunakan dapat diAndalkan. Meski begitu, penulis tidak menggunakan analisis SFA, yang sebenarnya lebih sesuai untuk situasi dimana terdapat keraguan atas kualitas data.

3. Jumlah ObservasiFaktor ketiga yang mempengaruhi keputusan yaitu apakah Anda memiliki akses terhadap data tentang hasil output dan input yang digunakan. Jumlah data tersebut paling tidak mancakup 20-50 organisasi (dalam kurun waktu yang sama).20 Pada umumnya, Anda tidak butuh banyak observasi untuk menghasilkan indikator-indikator jika dibandingkan dengan jumlah observasi yang dibutuhkan dalam FDH, DEA, dan SFA. Dan Anda tidak membutuhkan banyak observasi jika menggunakan FDH dan DEA dibandingkan bila menggunakan SFA. Kasarnya, Anda dapat menghitung indikator-indikator yang dibutuhkan, meskipun data yang tersedia lebih sedikit dari 20-50 observasi, sedangkan jika menggunakan FDH dan DEA Anda harus memiliki akses terhadap 20-50 observasi. Dalam menggunakan SFA, biasanaya Anda akan membutuhkan paling tidak 50 observasi.

Meskipun Anda dapat menggunakan FDH untuk membandingkan perusahaan-perusahaan dalam jumlah yang relatif sedikit, Anda perlu untuk membagi perusahaan-perusahaan ke dalam beberapa kategori yang bisa diperbandingkan ukurannya. Seperti

20 Jumlah 20-50 dimaksudkan hanya sebagai indikasi secara kasar. Tergantung jumlah observasi dan hubungannya dengan jumlah variable (seperti jumlah output dan input), Anda harus memutuskanapakah jumlah observasi telah cukup banyak untuk memungkinkan Anda menggunakan teknik yang diinginkan. Istilah ‘cukup banyak’ disini dimaksudkan untuk memungkinkan Anda membuat laporan yang secara statistik dapat diAndalkan.

telah disebutkan sebelumnya, FDH memungkinkan Anda untuk membuat perbandingan antar organisasi aktual atau nyata, bukan organisasi virtual. Bila tidak terdapat organisasi yang layak dibandingkan, dalam hal ini informasi tentang kuantitas output yang dihasilkan dan input yang digunakannya, model akan cenderung untuk mengklasifikasikan organisasi subject Anda sebagai efficient by default (dinyatakan efisien karena keadaan di luar kendali).

Salah satu keuntungan dari digunakannya DEA dan SFA dibandingkandengan FDH yaitu mempunyai kemungkinan lebih kecil bagi organisasi subjak Anda untuk dikategorikan seagai efficient by default (karena Anda dapat membuat perbandingan dengan organisasi virtual). Masalah yang timbul dalam penggunaan FDH yaitu cenderung untukmemasukkan banyak organisasi ke dalam kategori efisien, hal ini berarti bahwateknik ini kurang baik dalam menyediakan informasi berguna dalam masalah atau perbedaan efisiensi, yaitu kurang mampu untuk membedakan efisiensi.

PilihanAnda harus mengerjakan dengan hati-hati setiap kasus yang perlu menggunakan indikator-indikator. Hal ini karena, sebagai contoh, indikator berbeda dapat dengan mudah menghasilkan tanda-tanda yang bertendangan, yang akan meyulitkan dalam membuat laporan tentang level efisiensi secara keseluruhan. Indikator tidak begitu bagus dalam menjelaskan tingkat perbedaan efisiensi. Lihat seksi 8.6.1 untuk informasi lebih lanjut mengenai penggunaan indikator.Pada umumnya, pada dua situasi dimana seluruh teknik berbeda dapat digunakan, salah satu atau lebih dari teknik-teknik tersebut biasanya lebih cocok untuk digunakan, tergantung pada kelebihan dan kekurangannya masing-masing. Sebelumnya kita telah mendiskusikan sejumlah kelebihan dan kekurangan ini. Berikut beberapa poin-poin penting yang perlu diketahui. Indikator sering kurang cocok digunakan jika Anda berkutat dengan rentang tertentu dari

output dan/atau input. Tidak seperti indikator, FDH, DEA, dan SFA memungkinkan Anda untuk menghubungkan rentang output terhadap input yang digunakan secara bersama-sama. Oleh karena itu, kita dapat memperkirakan bagaimana keduanya mempengaruhi satu sama lain. Sebuah fungsi produksi dalam SFA kurang cocok jika berhubungan dengan rentang output tertentu, seperti juga relatif sulit untuk membedakan antar output.

Seperti telah disebutkan sebelumnya, penggunaan fungsi matematik dalam SFA mengharuskan Anda untuk membuat beberapa asumsi pendahuluan tentang hubungan input terhadap output meskipun biasanya Anda kurang tahu banyak tentang sifat dasarnya secara tepat. Jika Anda tidak terlalu yakin atas fungsi yang Anda pilih, sebaiknya Anda menggunakan indikator, FDH, dan DEA daripada menggunakan SFA (hal ini karena teknik-teknik tersebut tentunya lebih cocok).21

Tabel berikut memberikan Anda indikasi secara kasar mengenai baberapa kelebihan dan kekurangan utama dari teknik-teknik berbeda.

Indikator FDH DEA SFAKemampuan dalam memperhitungkan tingkat pengembalian tetap dan bervariasi

- + + +

Kemampuan menaksir hubungan antara rentang output dan input

- ++ ++ +

Ketidakpekaan terhadap defisiensi data - - - +

21 Dalam kasus SFA, angka efisiensi juga dipengaruhi oleh jenis fungsi yang Anda pilih.

Dapat digunakan dengan jumlah observasi yang relatif sedikit

++ + + -

Mudah digunakan ++ + + -Menyediakan informasi tentang tingkat perbedaan efisiensi

-- - -+ +

Secara metodis dikenal - + + ++

8.6.2.5 Menggunakan lebih dari satu teknik dalam waktu yang samaSetiap teknik yang bebeda yang dapat digunakan untuk mengukur tingkat efisiensi mempunyai kelebikan dan kekurangan. Anda bisa menguji keandalan hasil temuan Anda dengan menggunakan beberapa metode secara bersamaan (mis. Indikator,22 FDH, DEA, dan SFA). Coba dan gunakanlah paling tidak dua teknik dalam satu waktu.Jika seluruh model menghasilkan temuan yang sama, laporan yang Anda buat menjadi lebih Andal. Lain halnya jika hasil temuannya kontradiktif atau berlawanan.Derajat kebenaran yang tinggi dibutuhkan untuk membuat rekomendasi.23 Inilah sebabnya sangat berguna (jika memungkinkan) untuk selalu menggunakan beberapa metode berbeda untuk menghitung tingkat efisiensi dan membandingkan hasilnya.

8.6.3 Akuntansi untuk perbedaan tingkat efisiensi.Bila Anda dapat mengidentifikasi “faktor penjelasan” tertentu yang diperlukan untuk mendapatkan perbedaan tingkat efisiensi, Anda dapat membuat rekomendasi yang spesifik atas organisasi subjek untuk memperbaiki tingkat efisiensinya. Dalam prakteknya, berarti menggunakan teknik statistik dan juga non-statistik.

8.6.3.1 Tektik statistikBila sebelumnya Anda telah mengguankan indikator-indikator untuk memperhitungkan tingkat efisiensi dari outcome (hasil) atau output tertentu, langkah kedua adalah untuk mencari penjelasan yang mungkin atas ketidakcocokan yang terjadi. Metode yang bisa digunakan untuk tujuan ini adalah analisis tobit dan probit, begitu juga dengan analisis regresi sederhana,24 dapat digunakan tentunya jika Anda memiliki observasi dalam jumlah yang besar. SFA, DEA, dan FDH juga sesuai untuk tujuan ini, meskipun FDH hanya bisa untuk derajat terbatas. Jika Anda menggunakan SFA, DEA, atau FDH untuk mengukur tingkat efisiensi, Anda dapat menggunakan teknik yang sama untuk mencari penjelasan atas perbedaan tingkat efisiensi atas output yang dihasilkan oleh organisasi tertentu. Dan untuk menggunakan teknik statistic (mis. SFA dan DEA sebagai contoh pertama dan analisis probit/kejujuran pada contoh kedua) untuk mengetahui penjelasan tepat atas perbedaan tingkat efisiensi. Contoh pertama berhubungan dengan rumah sakit, kedua dengan rumah perawatan (nursing homes).Rumah sakitKantor perencanaan sosial dan kebudayaan mengukur tingkat efisiensi rumah sakit BelAnda pada periode 1985 sampai 1995, dan tahun 1998. SFA (fungsi biaya) digunakan untuk untuk menghitung angka efisiensi untuk setiap rumah sakit dari skala 0 sampai 1. Temuan tersebut diperlihatkan pada gambar berikut.

22 Terkadang, Anda juga dapat menggunakan analisis regresi sederhana untuk mengukur efisiensi.23 Lihat, sebagai contoh, Israël, matheeuwsen, Roelofs and Roljackers (2001) dan Eggink dan Blank (2001).24 Untuk informasi lebih lanjut, dan pembahasan teori yang mendasari penggunaan teknik-teknik ini, sebagai contoh, Stevens (192) atau Tacq (1991).

Fungsi biaya digunakan untuk mencari penjelasan yang paling potensi alatas perbedaan tingkat efisiensi. Hal ini menunjukan bahwa efisiensi:

Mengalami penurunan 0.3% jika harga komposit dari staf perawatan naik sebesar 1% (harga komposit adalah rasio antara harga yang dibayar rumah sakit dan harga rata-rata; harga komposit tinggi jika staf yang dipekerjakan untuk rumah sakit relatif berkualitas dan berpengalaman);

Menurun sebesar 0.17% dan 0.13% jika harga komposit dari staf lain dan staf paramedik naik sebesar 1%;

Menurun sebesar 0.1% jika proporsi staf paramedik naik sebesar 1%; Menurun sebesar 0.04% jika tingkat ketidakhadiran karena sakit meningkat 1%.

Faktor penjelasan lain yang termasuk dalam analisis, seperti tingkat terisinya ruang inap dan proporsi konsultan yang dipekerjakan oleh rumah sakit lebih besar dari 10%, terbukti bahwa hal itu tidak berpengaruh material pada tingkat efisiensi rumah sakit.DEA juga digunakan untuk menghitung angka efisiensi dan untuk mengidentifikasi faktor tertentu yang memiliki efek material pada tingkat efisiensi rumah sakit. Biasanya hasil yang diperoleh sama.Rumah Perawatan Pada tahun 1996, Kantor Perencanaan Sosial dan Budaya mempublikasikan sebuah studi mengenai tingkat efisiensi dari rumah perawaran BelAnda pada tahun 1984 dan 1987-

1993.25 SFA (fungsi biaya) digunakan untuk menghitung angka efisiensi untuk setiap rumah perawatan pada skala 0 sampai 100% untuk setiap tahunnya. Gambar biaya yang diambil adalah untuk biaya variabel staf dan peralatan. Studi tersebut memeriksa keadaan dari output-output berijut ini: Jumlah pasien per hari Jumlah hari perawatan Intensitas perawatan (mis. Perawatan yang dibutuhkan pasien dan stAndar pelayanan) Aktivitas diluar perawatan

Rumah perawatan yang paling efisien dihargai dengan nilai 100%. Tingkat efisiensi rata-rata yang diperoleh dari seluruh rumah perawatan selama masa reviu adalah 93%. Hal ini berarti bahwa rumah perawatan harus mampu untuk mengurangi biayanya sebesar rata-rata 7%.Salah satu temuan studi menunjukan bahwa semakin besar suatu rumah perawatan, cenderung untuk semakin efisien. Analisis probit digunakan untuk menemukan variabel mana yang berperan dalam menentukan efisien tidaknya suatu rumah perawatan. Faktor-faktor penjelas berikut ini dibagi menjadi tiga kategori, misalnya keistimewaan produk, keistimewaan pasar, dan jenis institusi, dan keistimewaan operasional dan proses. Hasil dari probit analisis dipresentasikan dalam table berikut. TAnda plus yang mengindikasikan bahwa variabel tersebut cenderung untuk meningkatkan efisiensi rumah perawatan, sedangkan tAnda minus menunjukan variable menurunkan efisiensi. Angka nol berarti tidak mungkin untuk membuat laporan mengenai efek dari variabel tersebut.

PerkiraanProduksi-Proporsi dari perawat yand masih dalam pelatihan +-Kualitas dari perawat yang berkualifikasi --Kualitas staf lain --Modal per tempat tidur 0

- Apotek in-house +- Daftar keperluan 0- Ciri-ciri pasar dan jenis institusi- Tingkat persaingan +- Non-kepemilikan umum 0- Protestan -- Yayasan / Trust 0- Somatic 0- Psikogeriatrik 0- operasional dan proses utama- Tingkat hunian +- Ketidakhadiran karena sakit -- Penggunaan outsource +- Penggunaan insource +- Ukuran departemen -

Para peneliti menyimpulkan bahwa hanya terdapat peluang yang terbatas untuk meningkatkan efisiensi (yaitu dengan mengurangi tingkat harga). Sebagian ketidakefisienan yang teridentifikasi disebabkan oleh faktor-faktor eksternal, seperti kondisi pasar, yang sulit atau tidak mungkin 25 Lihat Blank (1996) dan Institute Penelitian Belanja Publik (1998).

mempengaruhi atau mengendalikan. Peneliti juga menyimpulkan bahwa, ketika suatu bentuk peningkatan dapat mendatangkan keuntungan efisiensi marginal bagi panti jompo kecil, pada kenyataannya akan mennyebabkan kerugian pada panti jompo yang lebih besar.

Penelitian juga menunjukkan bahwa semakin tinggi kualitas staf, semakin besar tingkat ketidakefisienannya. Bagaimanapun, kebutuhan akan pengamamanan standar pelayanan yang dipasangkan dengan pertimbangan sosial akan muncul kemungkinan terjadinya penurunan standar-standar kualitas sebagai kebijakan yang realistis. Kesimpulan lainnya adalah bahwa faktor-faktor, seperti sumber daya dari luar, sumber daya dari dalam , tingkat kepemilikan yang lebih tinggi, dan ukuran departemen yang lebih kecil, cenderung meningkatkan efisiensi panti jompo.

DEA juga digunaka untuk menghitung angka efisiensi, dan membawa kepada kesimpulan yang sama secara keseluruhan.

Kesimpulan Contoh di atas mendemonstrasikan nilai dari teknik-teknik statistik. Teknik-teknik ini bisa digunakan untuk menentukan faktor-faktor yang tepat yang memperngaruhi subyek organisasi. Dengan kata lain, teknik-teknik tersebut dapat membekali Anda dengan seperangkat faktor penjelas didahului oleh bukti statistik, yang bisa Anda gunakan kemudian untuk meningkatkan efisiensi organisasi.

Di saat yang bersamaan, contoh-contoh tersebut juga menunjukkan bahwa tidak mungkin menjelaskan semua jenis ketidakefisienan ataupun juga organisasi yang ditunjuk untik mempengaruhi semua faktor penjelas yang mungkin. Ini adalah pertimbangan yang sangat penting: jika analisis menunjukkan bahwa ketidakefisienan lebih disebabkan oleh faktor eksternal daripada oleh kekurangan subjek organisasi itu sendiri, hal ini adalah alasan yang bagus untuk menggunakan kebijakan yang sama.

8.6.3.2. Teknik Non-Statistik

Jika informasi yang tersedia untuk mencegah penggunaan teknik statistik untuk mengidentifikasi faktor-faktor yang bisa menjelaskan perbedaan-perbedaan dalam efisiensi, Anda bisa menggunakan grafik sebagai gantinya, berkonsultasi dengan para ahli, atau membuat perbandingan antara orgaisasi-organisasi. Mari kita lihat lebih dekat tiga pilihan berikut:GrafikSalah satu cara menemukan penjelasan adalah dengan menggambar grafik atau diagram persebaran (scatter diagram) di mana setiap faktor yang mungkin bisa menjelaskan perbedaan efisiensi yang diarahkan berlawanan dengan indikator efisiensi yang relevan, seperti biaya per output atau biaya per outcome. Bagaimanapun, untuk menggambarkan kesimpulan-kesimoulan yang berdasarkan gambar tersebut, Anda membutuhkan akses ke sejumlah besar observasi dengan cukup, untuk meyakinkan bahwa kesimpulan Anda tidaklah sesederhana masalah peluang.

Jika Anda membuat indikator untuk membandingkan sejumkah besar organisasi, Anda seharusnya meyakinkan bahwa, dimana mungkin dan relevan, faktor-faktor penjelas yang mungkin termasuk ukuran organisasi. Faktor ini juga bisa mempengaruhi efisiensi, yang mengapa perlu Anda perhatikan. Misalnya, organisasi-organisasi berukuran kecil, sedang, dan besar semuanya mungkin mempunyai struktur biaya yang berbeda-beda (organisasi besar cenderung lebih birokratis, menghasilkan biaya rata-rata yang lebih tinggi; lihat juga annexe 8).

Contoh kegunaan grafik berikut diambil dari Court’s audit of job centre (sekarang dikenal sebagai Centres for work and income) ke yang mana telah kita tunjuk. Umumya, para pencari kerja yang tidak mudah dipekerjakan, untuk alasan apapun, tidak mempunyai kesempatan untuk menemukan pekerjaan hingga mereka mengikuti beberapa pelatihan. Harapannya, untuk itu, bahwa biaya per pencari kerja yang mendapat pekerjaan cenderung meningkat berbanding terbalik dengan kemampuan kerja relatif dari para pencari kerja pada buku pusat kerja (segala sesuatu yang lain tetap sama). Hal ini menyebabkan pusat kerja perlu bertindak lebih dan oleh sebab itu menimbulkan biaya yang lebih besar untuk meningkatkan kemampuan kerja para pencari kerja dalam buku mereka.

Grafik berikut menunjukkan biaya per penempatan pada tahun 1998 dalam kaitannya dengan para pencari kerja yang pusat-pusat kerja mengatur untuk mendapatkan pekerjaan untuk mereka, sesuai dengan kemampuan kerja relatif para pencari kerja dalm daftar pusat. Kategori kemampuan kerja didasarkan pada komposisi portofolio para pencari kerja pada masing-masing pusat kerja. Untuk menjelaskan pengaruh perbedaan ukuran, misalnya besar, sedang, dan kecil, pusat kerja mungkin mempunyai perbedaan struktur biaya, biaya-biaya tersebut diarahkan berlawanan dengan ukuran pusat kerja, seperti yang terukur berdasarkan jumlah para pencari kerja (lihat annexe 8 untuk informasi lebih lanjut).

A: Kategori kemampuan kerja 1 (para pencari kerja dengan kemampuan kerja tinggi)

0

1000

2000

3000

4000

5000

6000

0 1000 2000 3000 4000jumlah pencari kerja

biay

a pe

r pen

empa

tan

dala

m E

uro

B: Kategori kemampuan kerja 2 (para pencari kerja dengan kemampuan kerja rata-rata)

0

1000

2000

3000

4000

5000

6000

0 1000 2000 3000 4000

jumlah pencari kerja

biay

a pe

r pen

empa

tan

dala

m E

uro

C: Kategori kemampuan kerja 3 (para pencari kerja dengan kemampuan kerja rendah)

0

500

1000

1500

2000

2500

3000

3500

4000

4500

0 500 1000 1500 2000 2500 3000 3500

jumlah pencari kerja

biay

a pe

r pen

empa

tan

dala

m E

uro

Grafik-grafik tersebut tidak menunjuk ke hubungan yang jelas antara biaya per penempatan dengan kemampuan kerja relatif para pencari kerja pada buku pusat kerja. Berdasarkan pada angka dan kemampuan kerja relatif para pencari kerja pada pusat kerja biaya per penempatan kasarnya terletak antara €1000 dan €3000.

Jelasnya, harus juga diperhatikan pengaruh pasar kerja. Pusat-pusat kerja tersebut beroperasi di wilayah di mana terdapat permintaan tenaga kerja yang relatif tinggi seharusnya lebih mudah menemukan pekerjaan untuk para pencari kerja pada buku mereka daripada pusat-pusat kerja lainnya. Bagaimanapun, bahkan jika kondisi pasar tenaga kerja diperhatikan, masih terdapat pemisah yang cukup besar dalam biaya per penempatan. Dengan kata lain, tidak ada hubungan yang jelas antara berbagai faktor penjelas dengan biaya per penempatan. Temuan tersebut tidak menawarkan cara meningkatkan efisiensi pusat kerja yang jelas.

Pendapat Para Ahli Cara lain untuk menemukan penjelasan potensial bagi perbedaan-perbedaan efisiensi adalah dengan meminta para ahli untuk meninjau temuan (misalnya, angka efisiensi; biaya per output atau outcome) dan menyrankan penjelasan-penjelasan yang mungkin bagi mereka. Meskipun pendapat mereka tidak lebih dari hasil pengalaman atau pembelajaran, mereka bisa membantu mengidentifikasi peluang-peluang potensial untuk perbaikan.

Terdapat, bagaimanapun, sejumlah resiko yang dikaitkan dengan suatu pendekatan. Disampaikan bahwa tidak ada jaminan bahwa pendapat para ahli adalah penjelasan yang pasti benar untuk setiap ketidakefisienan, dan bahwa faktor-faktor yang berbeda seringkali saling mempengaruhi satu sama lain dan sulit untuk mengetahui terlebih dahulu bagaimana mereka akan saling mempengaruhi dalam praktiknya, setiap tindakan yang diambil berdasarkan pendapat para ahli mungkin tidak akan mempunyai pengaruh apapun pada tingkatan efisiensi dan bahkan mungkin memperburuk keadaan.

Resiko Pendapat Para Ahli (contoh fiktif)Katakanlah bahwa Anda berkonsultasi dengan seorang ahli dalam hubungannya dengan audit yang Anda lakukan atas efisiensi rumah sakit. Ahli tersebut mengatakan bahwa biaya per pasien cenderung meningkat sebanding dengan persentase staf paramedis yang dipekerjakan oleh rumah sakit. Tapi apakah proporsi staf paramedis mempengaruhi komposisi harga? Semakin rendah proporsi staf paramedis, semakin tinggi komposisi harga. Katakanlah bahwa ahli Anda tidak peduli akan hal ini. Kenyataannya adalah semakin tinggi komposisi harga, semakin tinggi biaya per pasien. Jika rumah sakit saat ini mencoba mengurangi proporsi staf paramedis untuk meningkatkan efisiensi, terdapat resiko bahwa operasi akan gagal karena proporsi staf paramedis

yang rendah akan menghasilkan komposisi harga yang lebih tinggi. Hal ini, berturu-turut, akan mempunyai efek yang merugikan bagi efisiensi.

Membandingkan Organisasi-OrganisasiJika Anda telah membandingkan sejumlah organisasi yang bisa dibandingkan satu sama lain dengan maksud untuk menghitung efisiensi subjek perusahaan Anda, dan Anda menemukan bahwa terdapat perbedaan yang besar dalam tingkatan efisiensi,Anda akan menemukan bahwa sangat berguna meninjau lebih dekat kinerja – terbaik – dan terburuk – organisasi-organisasi ini.hal ini memberikan sejumkah cara yang bermanfaat di mana organisasi berkinerja buruk bisa menyesuaikan proses operasinya meniru proses operasi yang diterapkan oleh organisasi berkinerja baik.

Contohnya, contoh pusat-pusat kerja yang diberikan di seksi 8.6.2.1. (lihat gambar dan tabel) menyerankan bahwa ketidakefisienan pusat kerja bisa meningkatkan efisiensi mereka ke tingkatan yang dicapai oleh pusat kerja acan mereka (yaitu pusat kerja pembanding dengan kinerja baik). Dengan kata lain, ketidakefisienan pusat-pusat kerja bisa memperoleh periode yang baik, dan mempelajari beberapa pelajaran dari pusat kerja acuan di atas mereka dalam kolom mereka sendiri pada gambar. Jelasnya, pendekatan tipe ini paling sesuai dengan perbandingan dengan organisasi aktual (daripada virtual)Terdapat persamaan risiko antara pendekatan tipe ini dengan pendapat para ahli.

How not to d itSebuah contoh DEA berbasis pembelajaran dimana kesimpulan-kesimpulan dilontarkan tanpa kesulitan berdasarkan temuan penelitian adalah studi efisiensi dari organisasi perawatan rumah dilaksanakan oleh PricewaterhouseCoopers dan Barenschot pada tahun 1999 (ke yang mana telah kita tunjuk)Pengecualian Medical Expenses ActPemerintah Belanda memutuskan pada tahun 1990-an menjalankan standar acuan studi untuk semua organisasi ditutupi oleh Exeptional Medical Expenses Act. PricewaterhouseCoopers dan Barenschot menampilkan analisis DEA pada tahun 1999 dari organisasi yag menawarkan jasa perawatan rumah. Pemerintah menyimpulkan, berdasarkan temuan-temuan audit, bahwa alat khusus ini bisa digunakan uktuk menganalisis dan membandingkan kinerja organisasi-organisasi, dan juga untuk mengidentifikasi karakter-karakter yang mirip dari organisasi-organisasi yang efisien.De Groot (2000) menunjukkan bahwa balajar dengan keras melahirkan kesimpulan-kesimpulan ini. Para peneliti tidak mengatur bagaimana menemukan penjelasan yang cukup untuk menjelaskan perbedaan-perbedaan dalam efisiensi, dengan pengecualian hubungan yang relatif sepele antara tingkat ketidakhadiran yang tinggi karena sakit dengan tingkat efisiensi yang rendah. Terlebih lagi, tidak ada aspek khusus dari manajemen operasional yang dijalankan oleh organisasi-organisasi yang berlabel ‘organisasi dengan praktik-terbaik’ secara nyata membedakan mereka dari yang lain. Hal ini berarti bahwa studi tidak bisa digunakan untuk menghakimi rekomendasi manapun untuk meningkatkan efisiensi organisasi-organisasi yang tertarik pada tingkatan organisasi-organisasi pembanding dengan kinerja terbaik, yang mana, setelah semuanya, tujuan akhir dari tipe studi perbandingan ini.

Karena kasus dengan setiap teknik statistik, DEA dan SFA keduanya butuh digunakan dengan hati-hati. terlebih lagi, agar temuan-temuan berguna dalam prakteknya, penting untuk merumuskan penjelasan-penjelasan potensial dan untuk mengujinya untuk melihat apakah mereka memperhatikan perbedaan-perbedaan ketidakefisienan dengan sungguh-sungguh ditunjukkan

dengan analisis Anda (lihat seksi 8.6.3.). dengan kata lain, Anda butuh merumuskan penjelasan anda atas perbedaan efisiensi dengan sangat hati-hati dan meyakinkan bahwa mereka dilatarbelakangi bukti yang jelas. Jika Anda tidak yakin, anda sebaiknya melakukan tes atasnya.