2008 064 paser_sistem_monev

BAPPENAS

Pedoman Penyusunan Sistem Pedoman Penyusunan Sistem Pedoman Penyusunan Sistem Pedoman Penyusunan Sistem Monitoring dan EvaluasiMonitoring dan EvaluasiMonitoring dan EvaluasiMonitoring dan Evaluasi

Drs H Dadang Solihin MADrs. H. Dadang Solihin, MA Direktur Evaluasi Kinerja Pembangunan Daerah

Bappenas

Bintek Perencanaan, Penganggaran dan Monev Pembangunan DaerahBappeda Kabupaten Paser, Kalimantan Timur

Tanah Grogot, 28 November 2008 www.dadangsolihin.com 2

MateriMateriMateriMateri1. Isu dan Masalah Pembangunan Daerah2 Perencanaan Pembangunan Daerah2. Perencanaan Pembangunan Daerah3. Sistem Monitoring dan Evaluasi Pembangunan

3www.dadangsolihin.com

Isu dan Masalah Isu dan Masalah Pembangunan DaerahPembangunan Daerah

Bagian 1Bagian 1

Apa Tujuan Pembangunan?Apa Tujuan Pembangunan?Apa Tujuan Pembangunan?Apa Tujuan Pembangunan?Apa Tujuan Pembangunan?Apa Tujuan Pembangunan?(Todaro: the three objectives of development)

Apa Tujuan Pembangunan?Apa Tujuan Pembangunan?(Todaro: the three objectives of development)

1. Peningkatan standar hidup (levels of living) setiap orang, baik pendapatannya, tingkat konsumsi pangan, g, p p y , g p g ,sandang, papan, pelayanan kesehatan, pendidikan, dll.

2. Penciptaan berbagai kondisi yang memungkinkan tumbuhnya rasa percaya diri (self-esteem) setiap orang.

3. Peningkatan kebebasan (freedom/democracy) setiap orang.


How?How?How?How?How?How?How?How?

1 Mengurangi disparitas atau ketimpangan pembangunan1. Mengurangi disparitas atau ketimpangan pembangunanantar daerah antar sub daerahantar sub daerah antar warga masyarakat (pemerataan dan keadilan).

2 M b d k k t d t k2. Memberdayakan masyarakat dan mengentaskan kemiskinan.

3 Menciptakan atau menambah lapangan kerja3. Menciptakan atau menambah lapangan kerja.4. Meningkatkan pendapatan dan kesejahteraan

masyarakat daerahmasyarakat daerah.5. Mempertahankan atau menjaga kelestarian sumber

daya alam agar bermanfaat bagi generasi sekarang dan6

daya alam agar bermanfaat bagi generasi sekarang dan generasi masa datang (berkelanjutan).www.dadangsolihin.com

Pembangunan Daerah (1)Pembangunan Daerah (1)Pembangunan daerah pada hakekatnya adalah upaya terencana untuk meningkatkan kapasitas pemerintahan daerah sehingga tercipta suatupemerintahan daerah sehingga tercipta suatu kemampuan yang andal dan profesional dalam:• memberikan pelayanan kepada masyarakatmemberikan pelayanan kepada masyarakat, • mengelola sumber daya ekonomi daerah.


Pembangunan Daerah (2)Pembangunan Daerah (2)Pembangunan daerah juga merupakan upaya untuk memberdayakan masyarakat di seluruh daerah sehingga:sehingga: • tercipta suatu lingkungan yang memungkinkan

masyarakat untuk menikmati kualitas kehidupan yangmasyarakat untuk menikmati kualitas kehidupan yang lebih baik, maju, dan tenteram,

• memperluas pilihan yang dapat dilakukan masyarakatmemperluas pilihan yang dapat dilakukan masyarakat bagi peningkatan harkat, martabat, dan harga diri.


Pembangunan Daerah (3)Pembangunan Daerah (3)• Pembangunan daerah dilaksanakan melalui penguatan

otonomi daerah dan pengelolaan sumber daya yang mengarah pada terwujudnya tata kepemerintahan yangmengarah pada terwujudnya tata kepemerintahan yang baik (good governance).

• Pelaksanaan pembangunan daerah yang baik hanyaPelaksanaan pembangunan daerah yang baik hanya dapat dilakukan apabila terjadi keseimbangan peran dari tiga pilar, yaitu: pemerintah, dunia usaha swasta, dan masyarakat.


Pembangunan Daerah (4)Pembangunan Daerah (4)• Pemerintahan (legislatif, eksekutif, dan yudikatif)

memainkan peran yang menjalankan dan menciptakan lingkungan politik dan hukum yang kondusif bagi unsurlingkungan politik dan hukum yang kondusif bagi unsur-unsur lain.

• Peran dunia usaha swasta adalah mewujudkanPeran dunia usaha swasta adalah mewujudkan penciptaan lapangan kerja dan pendapatan.

• Masyarakat berperan dalam penciptaan interaksi sosial,Masyarakat berperan dalam penciptaan interaksi sosial, ekonomi dan politik.


Pergeseran Paradigma: Pergeseran Paradigma: FF G t t GG t t GFFrom Government to Governancerom Government to Governance

Government GovernanceMemberikan hak ekslusif bagi negara untuk mengatur hal-hal publik,

Persoalan-persoalan publik adalah urusan bersama pemerintah, civil society dan p

Aktor di luarnya hanya dapat disertakan sejauh negara mengijinkannya.

p ydunia usaha sebagai tiga aktor utama.

www.dadangsolihin.com 11

g j y

Pelaku Pembangunan: Paradigma Pelaku Pembangunan: Paradigma GovernanceGovernanceGovernanceGovernance

Interaksi antara Pemerintah, Dunia Usaha Swasta, dan M k t b dik t i k t bilitMasyarakat yang bersendikan transparansi, akuntabilitas, partisipatif, dsb.

Tenaga Kerja

Kontrol Kontrol

e aga e ja

Dunia Usaha Swasta Pemerintah Masyarakat

Nilai

Pertumbuhan

Redistibusi

Melalui PelayananPertumbuhan Melalui Pelayanan

Pasar

www.dadangsolihin.com 12Apabila sendi-sendi tersebut dipenuhi, maka Governanceakan Good.

Pelaku Pembangunan: StakeholdersPelaku Pembangunan: StakeholdersPelaku Pembangunan: StakeholdersPelaku Pembangunan: Stakeholders

Executived

organized into:C it b d i ti

STATE CITIZENS

JudiciaryLegislature

Public service

Community-based organizations Non-governmental organizations

Professional AssociationsReligious groupsMilitary

Police

Religious groupsWomen’s groups

Media

BUSINESSSmall / medium / large enterprises

Multinational Corporations

BUSINESS

Multinational CorporationsFinancial institutions

Stock exchange


Troika: Troika: Pola Hubungan Pola Hubungan aantara Pemerintah, Dunia Usaha ntara Pemerintah, Dunia Usaha

Swasta, Swasta, ddan Masyarakatan Masyarakat

MasyarakatMasyarakat, Bangsa, dan

Negara MasyarakatMasyarakat

VISIPemerintahPemerintah

yy

Dunia UsahaDunia UsahaGood Governance


Ternyata P i t h M ih Di l kPemerintah Masih Diperlukan


Permasalahan Pembangunan Daerah (1)

1.1. Pembangunan Ekonomi Pembangunan Ekonomi Meningkatnya pengangguran dan kemiskinanMenurunnya fungsi intermediasi perbankan untuk mengembangkan sektor riil P l b i t i t k PMA d PMDNPola persebaran investasi untuk PMA dan PMDN secara nasional belum merata dan menunjukkan ketimpangan yang cukup tinggi antarwilayahketimpangan yang cukup tinggi antarwilayah

2.2. Pembangunan Sosial Pembangunan Sosial Menurunnya kemampuan pemerintah dalamMenurunnya kemampuan pemerintah dalam pelayanan-pelayanan sosial dasar (pendidikan, kesehatan dan gizi).g )



3.3. Pembangunan Prasarana Wilayah Pembangunan Prasarana Wilayah Terbatasnya tingkat pelayanan jaringan transportasi

t d i t il hantar dan intra wilayah. Menurunnya kapasitas pemerintah daerah dalam pengaturan dan pengelolaan infrastrukturpengaturan dan pengelolaan infrastruktur. Menurunnya kapasitas dan ketersediaan sumberdaya tenaga listriktenaga listrik. Meningkatnya masalah kelangkaan air bersih dan air minum.minum. Menurunnya kapasitas pembiayaan untuk memenuhi kebutuhan pelayanan infrastruktur.p y



4.4. Pembangunan Sumberdaya Alam dan Lingkungan Pembangunan Sumberdaya Alam dan Lingkungan Hidup Hidup

M k lit ki (k tMenurunnya kualitas permukiman (kemacetan, kawasan kumuh, pencemaran lingkungan (air, udara, suara sampah)suara, sampah). Berkurangnya ruang publik dan ruang terbuka hijau (RTH) di wilayah perkotaan. ( ) d aya pe o aaAlih fungsi lahan pertanian produktif menjadi lahan permukiman secara signifikan.p g



Pembangunan SDA dan LH (lanjutan)Pembangunan SDA dan LH (lanjutan)Pembangunan SDA dan LH (lanjutan)Pembangunan SDA dan LH (lanjutan)Meningkatnya urbanisasi dan aglomerasi perkotaan. Rencana Tata Ruang Wilayah (RTRW) belumRencana Tata Ruang Wilayah (RTRW) belum sepenuhnya menjadi acuan dalam pemanfaatan ruang dan fokus hanya pada Perencanaan. y pPenurunan luas kawasan Hutan Tropis dan kawasan resapan air, serta meningkatnya DAS kritis. Kejadian bencana alam gempa, banjir dan longsor yang frekuensinya meningkat dan dampaknya semakin

l t t d k b f i li dmeluas, terutama pada kawasan yang berfungsi lindung.



4.4. Permasalahan Khusus Permasalahan Khusus Lemahnya daya saing investasiPembangunan daerah tertinggal belum ditangani secara terpadu antar sektor dan antara pemerintah, masyarakat dan dunia usahamasyarakat, dan dunia usahaPemekaran daerah yang belum mampu menyejahterakan masyarakatmenyejahterakan masyarakatRendahnya proses pembangunan dan penguatan stabilitas keamanan di daerah perbatasan negara.stabilitas keamanan di daerah perbatasan negara.


Perencanaan Perencanaan Pembangunan DaerahPembangunan Daerah

Bagian 2Bagian 2

Definisi PerencanaanDefinisi PerencanaanDefinisi PerencanaanDefinisi PerencanaanDefinisi PerencanaanDefinisi PerencanaanDefinisi PerencanaanDefinisi PerencanaanPerencanaan adalah suatu proses untuk menentukantindakan masa depan yang tepat melalui serangkaian pilihan pilihanpilihan-pilihan.

Menentukan : Menemukan (mengungkapkan dan meyakinkan)Menentukan : Menemukan (mengungkapkan dan meyakinkan).Tindakan : Spesifik dan berkaitan dengan persoalan pelaksanaanTepat : Dikaitkan dengan tindakanPilihan-pilihan :1. Pemilihan tujuan dan kriteria2 Identifikasi seperangkat alternatif yang konsisten dengan preskripsi2. Identifikasi seperangkat alternatif yang konsisten dengan preskripsi

dengan pemilihan alternatif yang memungkinkan3. Arahan tindakan mengenai tujuan yang telah ditentukan


Syarat PerencanaanSyarat PerencanaanSyarat PerencanaanSyarat PerencanaanSyarat PerencanaanSyarat PerencanaanSyarat PerencanaanSyarat PerencanaanHarus memiliki, mengetahui, dan memperhitungkan:g g1. Tujuan akhir yang dikehendaki.

2. Sasaran-sasaran dan prioritas untuk mewujudkannya (yang mencerminkan pemilihan dari berbagai alternatif).

3. Jangka waktu mencapai sasaran-sasaran tersebut.

4. Masalah-masalah yang dihadapi.

5. Modal atau sumber daya yang akan digunakan serta pengalokasiannyapengalokasiannya.

6. kebijakan-kebijakan untuk melaksanakannya.

7 Orang organisasi atau badan pelaksananya7. Orang, organisasi, atau badan pelaksananya.

8. Mekanisme pemantauan, evaluasi, dan pengawasan pelaksanaannya.

23

p y

www.dadangsolihin.com

Syarat PerencanaanSyarat PerencanaanSyarat Perencanaan . . .Syarat Perencanaan . . .

• Faktual dan Realistis• Logis dan Rasional• Fleksibel• Komitmen• Komprehensif atau• Komprehensif atau menyeluruh


Fungsi/Manfaat PerencanaanFungsi/Manfaat PerencanaanFungsi/Manfaat PerencanaanFungsi/Manfaat PerencanaanFungsi/Manfaat PerencanaanFungsi/Manfaat PerencanaanFungsi/Manfaat PerencanaanFungsi/Manfaat Perencanaan

Sebagai penuntun arah

Minimalisasi ketidakpastianMinimalisasi ketidakpastian

Minimalisasi inefisiensi sumberdayaMinimalisasi inefisiensi sumberdaya

Penetapan standar dan pengawasan kualitas

25www.dadangsolihin.com K l PKegagalan Perencanaan26www.dadangsolihin.com

Kegagalan Perencanaan (1)Kegagalan Perencanaan (1)Kegagalan Perencanaan (1)Kegagalan Perencanaan (1)Kegagalan Perencanaan (1)Kegagalan Perencanaan (1)Kegagalan Perencanaan (1)Kegagalan Perencanaan (1)1. Penyusunan perencanaan tidak tepat, mungkin karena:

informasinya kurang lengkap,

metodologinya belum dikuasai,

id k li iperencanaannya tidak realistis sehingga tidak mungkin pernah bisa terlaksana

pengaruh politis terlalu besar sehingga pertimbangan‐pertimbangan teknispertimbangan teknis perencanaan diabaikan.


Kegagalan Perencanaan (2)Kegagalan Perencanaan (2)Kegagalan Perencanaan (2)Kegagalan Perencanaan (2)2. Perencanaannya mungkin baik, tetapi

pelaksanaannya tidak seperti seharusnya. p y p ykegagalan terjadi karena tidak berkaitnya perencanaan dengan pelaksanaannya. aparat pelaksana tidak siap atau tidak kompeten, p p p p ,masyarakat tidak punya kesempatan berpartisipasi sehingga tidak mendukungnya.


Kegagalan Perencanaan (3)Kegagalan Perencanaan (3)Kegagalan Perencanaan (3)Kegagalan Perencanaan (3)Kegagalan Perencanaan (3)Kegagalan Perencanaan (3)Kegagalan Perencanaan (3)Kegagalan Perencanaan (3)3. Perencanaan mengikuti paradigma yang

t t tid k i d k di i dternyata tidak sesuai dengan kondisi dan perkembangan serta tidak dapat mengatasi masalah mendasar negara berkembang. g g

Misalnya, orientasi semata‐mata pada pertumbuhan yang menyebabkan makin melebarnya kesenjangan. Dengan demikian, yangDengan demikian, yang keliru bukan semata‐mata perencanaannya, tetapi falsafah atau konsep di balikfalsafah atau konsep di balik perencanaan itu.


Kegagalan Perencanaan (4)Kegagalan Perencanaan (4)Kegagalan Perencanaan (4)Kegagalan Perencanaan (4)Kegagalan Perencanaan (4)Kegagalan Perencanaan (4)Kegagalan Perencanaan (4)Kegagalan Perencanaan (4)

4. Karena perencanaan diartikan sebagai pengaturan total kehidupan manusia sampai yang paling kecil sekalipunsekalipun.

Perencanaan di sini tidak memberikan kesempatan berkembangnya prakarsa individu dan pengembangan kapasitas serta potensi masyarakat secara penuh. Sistem ini bertentangan dengan hukumSistem ini bertentangan dengan hukum penawaran dan permintaan karena pemerintah mengatur semuanya. Perencanaan seperti inilah yang disebut sebagai sistem perencanaan terpusat (centrally planned system)

30

planned system).www.dadangsolihin.com

Bias bias dalamBias‐bias dalamPerencanaan Pembangunang


BiasBias--Bias dalam Perencanaan Bias dalam Perencanaan BiasBias--Bias dalam Perencanaan Bias dalam Perencanaan Pembangunan (1)Pembangunan (1)Pembangunan (1)Pembangunan (1)

Bias pertama Adanya kecenderungan berpikir bahwa:– dimensi rasional dari pembangunan lebih penting dari

dimensi moralnya, – dimensi material lebih penting daripada dimensidimensi material lebih penting daripada dimensi

kelembagaannya, dan – dimensi ekonomi lebih penting dari dimensi sosialnya.

Akibat dari anggapan itu ialah alokasi sumberAkibat dari anggapan itu ialah alokasi sumber daya pembangunan diprioritaskan menurut jalan pikiran yang demikian.p y g



Bias keduaPendekatan pembangunan yang berasal dari atas lebih sempurna daripada pengalaman dan aspirasi pembangunan di tingkat bawah (grass-root).pembangunan di tingkat bawah (grass root). Akibatnya kebijakan pembangunan menjadi kurang efektif karena kurang mempertimbangkan kondisi yang nyata dan hidup di masyarakatkondisi yang nyata dan hidup di masyarakat.



Bias ketigaPembangunan masyarakat banyak di tingkatPembangunan masyarakat banyak di tingkat bawah lebih memerlukan bantuan material daripada keterampilan teknis dan manajerial. Anggapan ini sering mengakibatkan pemborosan sumber daya dan dana, karena:– kurang mempersiapkan keterampilan teknis dan– kurang mempersiapkan keterampilan teknis dan

manajerial dalam pengembangan sumber daya manusia, dan mengakibatkan makin tertinggalnya masyarakat di– mengakibatkan makin tertinggalnya masyarakat di lapisan bawah.



Bias keempatTeknologi yang diperkenalkan dari atas selalu jauh lebih ampuh daripada teknologi yang berasal darilebih ampuh daripada teknologi yang berasal dari masyarakat itu sendiri. Anggapan demikian dapat menyebabkan pendekatan pembangunan yang:pendekatan pembangunan yang:

terlalu memaksa dan menyamaratakan teknologi tertentu untuk seluruh kawasan pembangunan di tanah air yang sangat luas dan beragam tahap perkembangannya inisangat luas dan beragam tahap perkembangannya ini. pendekatan pembangunan terlalu mengabaikan potensi teknologi tradisional yang dengan sedikit penyempurnaan dan pembaharuan mungkin lebih efisien dan lebih efektifdan pembaharuan mungkin lebih efisien dan lebih efektif untuk dimanfaatkan dibandingkan dengan teknologi impor.



Bias kelimaLembaga-lembaga yang telah berkembang di kalangan rakyat cenderung tidak efisien dan kurang efektifrakyat cenderung tidak efisien dan kurang efektif bahkan menghambat proses pembangunan. Anggapan ini membuat lembaga-lembaga masyarakat di lapisan bawah kurang dimanfaatkan dan kurang adadi lapisan bawah kurang dimanfaatkan dan kurang ada ikhtiar untuk memperbaharui, memperkuat serta memberdayakannya. Bahkan justru terdapat kecenderungan untuk memperkenalkan lembaga-lembaga baru yang asing dan tidak selalu sejalan dengan nilai dan norma j gmasyarakat.



Bias keenamMasyarakat di lapisan bawah tidak tahu apa yang diperlukannya atau bagaimana memperbaiki nasibnyadiperlukannya atau bagaimana memperbaiki nasibnya. Oleh karena itu, mereka harus dituntun dan diberi petunjuk dan tidak perlu dilibatkan dalam perencanaan

ki k t di i di imeskipun yang menyangkut dirinya sendiri. Akibat dari anggapan ini banyak proyek-proyek pembangunan yang ditujukan untuk rakyat, tetapipembangunan yang ditujukan untuk rakyat, tetapi salah alamat, tidak memecahkan masalah, dan bahkan merugikan rakyat. Bias ini melihat masyarakat sebagai objek dan bukanBias ini melihat masyarakat sebagai objek dan bukan subjek pembangunan.


BiasBias--Bias dalam PerencanaanBias dalam PerencanaanBiasBias--Bias dalam PerencanaanBias dalam PerencanaanBiasBias Bias dalam Perencanaan Bias dalam Perencanaan Pembangunan (7)Pembangunan (7)

BiasBias Bias dalam Perencanaan Bias dalam Perencanaan Pembangunan (7)Pembangunan (7)

Bias ketujuhOrang miskin adalah miskin karena bodoh danOrang miskin adalah miskin karena bodoh dan malas. Dengan demikian, cara menanganinya haruslah bersifat paternalistik seperti

l k k b d h d l dmemperlakukan orang bodoh dan malas, dan bukan dengan memberi kepercayaan. Dengan anggapan demikian masalah kemiskinanDengan anggapan demikian masalah kemiskinan dipandang lebih sebagai usaha sosial (charity) dan bukan usaha penguatan ekonomi.



Bi k d lBias kedelapanUkuran efisiensi pembangunan yang salah diterapkan, misalnya ICOR, diartikan bahwa diterapkan, misalnya ICOR, diartikan bahwa investasi harus selalu diarahkan pada yang segera menghasilkan bagi pertumbuhan. Padahal upaya pemberdayaan masyarakat akanPadahal upaya pemberdayaan masyarakat, akan menghasilkan pertumbuhan, bahkan merupakan sumber pertumbuhan yang lebih lestari (sustainable) tetapi umumnya dalam kerangka(sustainable), tetapi umumnya dalam kerangka waktu (time frame) yang lebih panjang. Anggapan yang demikian beranjak dari konsep

b t b if t t k i d tid kpembangunan yang sangat bersifat teknis dan tidak memahami sisi-sisi sosial budaya dari pembangunan dan potensi yang ada pada rakyat

39

g y g ysebagai kekuatan pembangunan.

www.dadangsolihin.com


Bias kesembilan • Sektor pertanian dan perdesaan adalah sektor

tradisional kurang produktif dan memiliki masatradisional, kurang produktif, dan memiliki masa investasi yang panjang, karena itu kurang menarik untuk melakukan investasi modal besar-besaran di sektor itusektor itu.

• Oleh karenanya, bermitra dengan petani dan usaha kecil di sektor pertanian dan perdesaan dipandang tidak menguntungkan dan memiliki risiko tinggitidak menguntungkan dan memiliki risiko tinggi.

• Anggapan ini juga telah mengakibatkan prasangka dan menghambat upaya untuk secara sungguh-sungguh g p y gg ggmembangun usaha pertanian dan usaha kecil di perdesaan.



Bias kesepuluhKegiatan investasi makin cenderung terpusat diKegiatan investasi makin cenderung terpusat di perkotaan, di sektor industri yang justru banyak disubsidi dan diproteksi, yang akibatnya juga

d b i imendorong urbanisasi. Pengalaman Taiwan dan Jepang menunjukkan bahwa investasi di wilayah perdesaan dapatbahwa investasi di wilayah perdesaan dapat meningkatkan pertumbuhan dan sekaligus pemerataan yang menyebabkan ekonominya

j di k k hmenjadi kukuh.


Sistem Perencanaan yang BerhasilSistem Perencanaan yang BerhasilSistem Perencanaan yang BerhasilSistem Perencanaan yang BerhasilSistem Perencanaan yang BerhasilSistem Perencanaan yang BerhasilSistem Perencanaan yang BerhasilSistem Perencanaan yang Berhasil

• Sistem perencanaan yang mendorong berkembangnya mekanisme pasar dan peranberkembangnya mekanisme pasar dan peran serta masyarakat.

• Dalam sistem ini perencanaan dilakukan dengan menentukan sasaran-sasaran secara garis besar, baik di bidang sosial maupun ekonomi, dan pelaku utamanya adalah masyarakat dan usaha swastautamanya adalah masyarakat dan usaha swasta.


Perencanaan yang IdealPerencanaan yang Idealy gy g• Prinsip partisipatif: masyarakat yang akan

memperoleh manfaat dari perencanaan harus turutmemperoleh manfaat dari perencanaan harus turut serta dalam prosesnya.

• Prinsip kesinambungan: perencanaan tidak hanya berhenti pada sat tahap tetapi har s berlanj tberhenti pada satu tahap; tetapi harus berlanjut sehingga menjamin adanya kemajuan terus-menerus dalam kesejahteraan, dan jangan sampai terjadi k dkemunduran.

• Prinsip holistik: masalah dalam perencanaan dan pelaksanaannya tidak dapat hanya dilihat dari satu sisi p y p y(atau sektor) tetapi harus dilihat dari berbagai aspek, dan dalam keutuhan konsep secara keseluruhan.

• Mengandung sistem yang dapat berkembang (a• Mengandung sistem yang dapat berkembang (a learning and adaptive system).

• Terbuka dan demokratis (a pluralistic social setting).


Sistem Monitoring danSistem Monitoring danSistem Monitoring dan Sistem Monitoring dan Evaluasi Evaluasi Pembangunan Pembangunan gg

Bagian 3Bagian 3

MateriMateriMateriMateriMateriMateriMateriMateri• Pengertian Evaluasig• Jenis-jenis Evaluasi• Standar Evaluasi• Apa implikasi jika tidak ada M&E?• Pengalaman empiris: Australia dan Chili

K i K b h il M&E• Kunci Keberhasilan M&E• Prasyarat M & E• Prosedur Pelaksanaan EvaluasiProsedur Pelaksanaan Evaluasi• Kendala Pelaksanaan M&E• Mengembangkan Sistem M&Eg g


Pengertian Evaluasi (1)Pengertian Evaluasi (1)Pengertian Evaluasi (1) Pengertian Evaluasi (1) PP39/2006: Rangkaian kegiatan membandingkan realisasi masukan (input), keluaran (output), dan hasil (outcome) terhadap rencana dan standar(outcome) terhadap rencana dan standar. Proses menentukan nilai atau pentingnya suatu kegiatan kebijakan atau programkegiatan, kebijakan, atau program

• Sebuah penilaian yang seobyektif dan sesistematik mungkin terhadap sebuah intervensi yang mungkin terhadap sebuah intervensi yang direncanakan, sedang berlangsung ataupun yang telah diselesaikan.


Pengertian Evaluasi (2)Pengertian Evaluasi (2)Pengertian Evaluasi (2) Pengertian Evaluasi (2) • Ketika berbagai pembangunan, program, kegiatan,

sudah dilakukan, apakah kita tahu dampak program pembangunan tsb?pembangunan tsb?

• Pemerintah dihadapkan pada desakan untuk memiliki pengetahuan objektif tentang dampak dari berbagaipengetahuan objektif tentang dampak dari berbagai intervensi: – Mana yg berhasil vs tidak?Mana yg berhasil vs tidak?– Mana yg dilanjutkan dan/atau direplikasi vs

dihentikan? – Mana yg didukung anggaran pusat vs anggaran

daerah?


Jenis Evaluasi (1)Jenis Evaluasi (1)Jenis Evaluasi (1)Jenis Evaluasi (1)T h P T h P l k T h P P l kTahap Perencanaan

(ex-ante)Tahap Pelaksanaan

(on-going)Tahap Pasca-Pelaksanaan

(ex-post)• dilakukan sebelum • dilakukan pada saat • Dilaksanakan setelah

ditetapkannya rencana pembangunan

pelaksanaan rencana pembangunan

pelaksanaan rencana berakhir

• untuk melihat apakah pencapaian (keluaran/ hasil/

• untuk memilih dan menentukan skala prioritas dari

• untuk menentukan tingkat kemajuan pelaksanaan

pencapaian (keluaran/ hasil/dampak) program mampu mengatasi masalah pembangunan yang ingin

berbagai alternatif dan kemungkinan cara mencapai

j l h

rencana dibandingkan dengan rencana

l h di k

dipecahkan• untuk menilai efisiensi

(keluaran dan hasil dib di k k )tujuan yang telah

dirumuskan sebelumnya

yang telah ditentukansebelumnya

dibandingkan masukan), efektivitas (hasil dan dampak terhadap sasaran), ataupun manfaat (dampak terhadap


( p pkebutuhan) dari suatu program.

Jenis Evaluasi (2)Jenis Evaluasi (2)Jenis Evaluasi (2)Jenis Evaluasi (2)• Formatif

Fokus pada kinerja yang lebih baik (kegiatan, program atau kebijakan)kebijakan)

• SumatifFokus pada hasil (akibat)Fokus pada hasil (akibat)

• ProspektifMenjawab pertanyaanMenjawab pertanyaan • Apakah program/kegiatan/kebijakan ini harus dievaluasi?• Apakah hasil yang akan diperoleh sesuai dengan upaya/ p y g p g p y

sumberdaya yang dipergunakan?


Kegunaan EvaluasiKegunaan EvaluasiKegunaan EvaluasiKegunaan Evaluasi

• Memberikan umpan balik terhadap kebijakan, program dan kegiatan

• Menjadikan kebijakan, program dan kegiatan mampu mempertanggungjawabkan penggunaan dana publik

• Mambantu stakeholders belajar lebih banyak mengenai kebijakan, program dan kegiatan

• Dilaksanakan berdasarkan kebutuhan pengguna utama yang dituju oleh evaluasi.


Evaluasi Memberikan Informasi Evaluasi Memberikan Informasi mengenai:mengenai:

StrategiApakah yang dilakukan sudah benar?

OperasiApakah cara yang ditempuh sudah benar?Apakah cara yang ditempuh sudah benar?

PembelajaranPembelajaranApakah ada cara yang lebih baik?


Monitoring dan EvaluasiMonitoring dan EvaluasiMonitoring dan Evaluasi Monitoring dan Evaluasi

• Monitoring– Kegiatan rutin, sedang berjalan dan internal

Dipergunakan untuk mengumpulkan informasi terhadap– Dipergunakan untuk mengumpulkan informasi terhadap keluaran, hasil dan indikator yang dipergunakan untuk mengukur kinerja program

• Evaluasi– Periodik dan berkala

D b if i l k l i i if– Dapat bersifat internal, eksternal atau partisipatif– Umpan balik periodik kepada pemangku kepentingan utama


Kriteria EvaluasiKriteria Evaluasi• Relevansi

Sejauh mana kegiatan sejalan dengan prioritas dan kebijakanSejauh mana kegiatan sejalan dengan prioritas dan kebijakan• Efektifitas

Suatu ukuran sejauh mana sebuah kegiatan mencapai tujuanj g p j• Efisiensi

Mengukur keluaran, kualitatif dan kuantitatif, dalam hubungan d kdengan masukan.

• DampakPerubahan positif dan negatif yang dihasilkan oleh sebuahPerubahan positif dan negatif yang dihasilkan oleh sebuah intervensi pembangunan, secara langsung maupun tidak, disengaja maupun tidak Keberlanj tan• KeberlanjutanMengukur apakah manfaat suatu kegiatan dapat terus dinikmati setelah anggaran tidak diberikan lagi


Mengapa Perlu ada Standar?Mengapa Perlu ada Standar?

• Meningkatkan akuntabilitas M f ilit i k ki b di• Memfasilitasi kemungkinan pembandingan

• Meningkatkan reliabilitas dan mutu layanan yang disediakandisediakan


Standar EvaluasiStandar EvaluasiStandar EvaluasiStandar EvaluasiS d M E l i ( k f ji )• Standar Mutu Evaluasi (untuk penerapan fase pengujian)http://www.oecd.org/dataoecd/30/62/36596604.pdf

• Standar Evaluasi Program• Standar Evaluasi Programwww.eval.org/EvaluationDocuments/progeval.html

• Norma norma PBB untuk evaluasi dalam Sistim PBB www.uneval.org/docs/ACFFC9F.pdf

• Standar untuk Evaluasi dalam Sistem PBBwww.uneval.org/docs/ACFFCA1/pdf

• Prinsip Pedoman Asosiasi Evaluasi Amerikal /P bli i /G idi P i i lwww.eval.org/Publications/GuidingPrinciples.asp


Apa Output Sistem M&E?Apa Output Sistem M&E?Apa Output Sistem M&E?Apa Output Sistem M&E?

• Informasi unik tentang kinerja kebijakan, program serta kegiatan pemerintah.

Informasi ttg hasil hasil idenfitikasi: apa yang berfungsi apa– Informasi ttg hasil-hasil idenfitikasi: apa yang berfungsi, apa yang tidak berjalan, & mengapa demikian;

– Informasi ttg kinerja ”aktor”, seperti: pemerintah, kementerian, badan pemerintah, manajer dan staf, serta lembaga donor.


Apa implikasi jika tidak ada M&E?Apa implikasi jika tidak ada M&E?• Berbahaya, karena:

– penilaian kinerja pembangunan dan pengambilan keputusan terbatas pada ketersedian informasi parsial,

– mekanisme cross-check dan balance (dari masyarakat) tidak optimaloptimal

• Ide dasar sistem M&E tidak semata-mata berangkat dari tindakan melakukan atau menyediakan informasi M&E, NAMUN lebih difokuskan pada bagaimana penggunaan informasi M&Edifokuskan pada bagaimana penggunaan informasi M&E.


Kenapa M&E diperlukan?Kenapa M&E diperlukan?Kenapa M&E diperlukan?Kenapa M&E diperlukan?1 M d k b k bij k (kh k )1. Mendukung pembuatan kebijakan (khususnya keputusan anggaran)

yaitu penyusunan anggaran berbasis kinerja & perencanaan nasional.

2. Membantu pemerintah dalam: pengembangan & analisis kebijakan serta dalam pengembangan program;mengelola berbagai kegiatan pada tingkat sektor, program & kegiatan; g ;

3. Meningkatkan transparansi & akuntabilitas apakah telah mencapai sasaran.


Best Practices (MacKay 2007)Best Practices (MacKay 2007)Best Practices (MacKay 2007)Best Practices (MacKay 2007)Best Practices (MacKay, 2007)Best Practices (MacKay, 2007)Best Practices (MacKay, 2007)Best Practices (MacKay, 2007)

Chile Memiliki 1.550 indikator kinerja untuk seluruh sektor (h.25).

Colombia SINERGIA: Sistem Nasional Evaluasi Kinerja Sektor Publik (h.33)

Australia

j ( )

Government Evaluation Strategy (h 39)

M k ik

(h.39)

SEDESOL: Sekretariat Meksiko Pembangunan Sosial (h.61)


Pengalaman empiris:Pengalaman empiris: AustraliaAustraliaPengalaman empiris: Pengalaman empiris: AustraliaAustraliaSi l i i h l h ( kihi 1980 )Sistem evaluasi pemerintahan menyeluruh (akihir 1980-an) yang dikelola DepKeu

Semua kementerian wajib melakukan evaluasiSemua kementerian wajib melakukan evaluasiSemua kementrian wajib menyiapkan portofolio rencana evaluasi (detail rencana evaluasi program, program2 apa yg di l i i 2 dit k d t d l idievaluasi, isu2 yg ditanyakan, dan metode evaluasi.

Hasil (1994)Hampir 80% usulan anggaran & sekitar 2/3 penghematanHampir 80% usulan anggaran & sekitar 2/3 penghematan didasarkan hasil temuan evaluasi. Informasi hasil temuan evaluasi mempengaruhi pembuatan k k bikeputusan anggaran kabinet. Informasi M&E juga digunakan secara intensif


Pengalaman empiris:Pengalaman empiris: ChiliChiliPengalaman empiris: Pengalaman empiris: ChiliChiliM K b k i M&E P i h l hMenKeu mengembangkan sistem M&E Pemerintah menyeluruh (sejak 1994). – Sekitar 1,550 indikator kinerja, evaluasi cepat, evaluasi dampakSekitar 1,550 indikator kinerja, evaluasi cepat, evaluasi dampak – Pelaksananya pihak ketiga (perguruan tinggi & perusahaan

konsultan), dg TOR dan metode standar setiap jenis evaluasi Informasi & berbagai temuan M&E digunakan secara intensif dalam menganalisis kinerja anggaran kementerian dan badan masukan dalam pembuatan keputusan anggaran pemerintah. p p gg pBerbagai informasi M&E digunakan untuk menentukan ”target kinerja” dari setiap badan dan untuk peningkatan manajemen berbagai kementrian & badanberbagai kementrian & badan.


Kunci Keberhasilan M&EKunci Keberhasilan M&E• Keberhasilan institusionalisasi sistem M&E mencakup berbagai

upaya menciptakan kesinambungan & menjamin sistem M&E berfungsi baik bagi pemerintahberfungsi baik bagi pemerintah

• Ada tiga kunci utama yaitu:– pemanfaatan informasi M&Epemanfaatan informasi M&E– kualitas informasi M&E – Kesinambungan M&E


Prasyarat M&EPrasyarat M&EPrasyarat M&EPrasyarat M&E1 Harus ada demand1. Harus ada demand

Menjamin ketersediaan dana untuk aktivitas M&E dan penggunaan informasi M&E;

2. Harus ada insentifMenjamin berbagai temuan evaluasi digunakan.

3. Harus ada championPemimpin yg memiliki pemahaman benar ttg sistem M&E (alat & metoda) dan memiliki apresiasi tinggi terhadap berbagai manfaatmetoda) dan memiliki apresiasi tinggi terhadap berbagai manfaat informasi M&E bagi pemerintah Peran strategis dalam menciptakan keberhasilan sistem M&E

i h l h (Chili & A li )pemerintah yang menyeluruh (Chili & Australia). 4. Harus ada pelatihan

Menciptakan SDM yang memiiliki keahlian memadaiMenciptakan SDM yang memiiliki keahlian memadai. 63www.dadangsolihin.com

Evaluator Internal, Eksternal dan Evaluator Internal, Eksternal dan PartisipatifPartisipatif

•• Evaluator InternalEvaluator Internal•• Evaluator InternalEvaluator Internal– Biasanya mengetahui lebih banyak mengenai sejarah, organisasi,

budaya, problem, keberhasilan– Mungkin berada terlalu dekat dengan yang dievaluasi

•• Evaluator EksternalEvaluator Eksternal– Punya kredibilitas yang lebih tinggi dan keahlian yang lebih spesifik – Tidak terikat dengan keputusan-keputusan administratif dan keuangan

Evaluator PartisipatifEvaluator Partisipatif•• Evaluator PartisipatifEvaluator Partisipatif– Wakil dari dinas dan stakeholders (termasuk penerima manfaat)

bekerjasama merancang, melaksanakan dan menerjemahkan sebuah j g jevaluasi

– Metode partisipatif mungkin digunakan dalam evaluasi internal dan eksternaleksternal


Evaluasi PartisipatifEvaluasi Partisipatif(vs. Internal atau Eksternal)(vs. Internal atau Eksternal)

Perbedaan antara ahli dan awam peneliti dan obyek• Perbedaan antara ahli dan awam, peneliti dan obyek penelitian tidak terlalu ditekankan dan diberi arti baru

• Evaluator bertindak sebagai fasilitator dan instruktur• Evaluator bertindak sebagai fasilitator dan instruktur• Pihak lain membuat penilaian • Sebuah langkah lebih radikal keluar dari model evaluasi• Sebuah langkah lebih radikal keluar dari model evaluasi

mandiri


Yang Dilakukan oleh EvaluatorYang Dilakukan oleh EvaluatorYang Dilakukan oleh EvaluatorYang Dilakukan oleh EvaluatorBerkonsultasi dengan semua pemangku kepentingan• Berkonsultasi dengan semua pemangku kepentingan

• Memeriksa dan/atau mengembangkan teori perubahan M l i• Merancang evaluasi

• Mengelola anggaran evaluasiM l k k t j l k l i ( t• Melaksanakan atau menjalankan evaluasi (atau mempekerjakan staf untuk melaksanakan evaluasi)Mengidentifikasi standar efektifitas• Mengidentifikasi standar efektifitas

• Mengumpulkan, menganalisa, menginterpretasikan dan melaporkan data serta temuanmelaporkan data serta temuan


Pertumbuhan Asosiasi Evaluasi Pertumbuhan Asosiasi Evaluasi ProfesionalProfesional

Meningkatnya jumlah asosiasi di seluruh dunia terutama• Meningkatnya jumlah asosiasi di seluruh dunia, terutama dalam beberapa tahun terakhir, menunjukkan lebih tingginya penghargaan terhadap profesi evaluasitingginya penghargaan terhadap profesi evaluasi pembangunan

• Berbagai organisasi menciptakan sebuah sistem g g ppendukung dan memungkinkan tumbuhnya profesionalisme


Kendala Pelaksanaan M&E (1)Kendala Pelaksanaan M&E (1)Kendala Pelaksanaan M&E (1)Kendala Pelaksanaan M&E (1)1 Anggaran1. Anggaran

Apresiasi yang kurang terhadap pentingnya M&E menyebabkan anggaran yang dialokasikan kecil.

2. SDMBelum didukung oleh jumlah dan kualitas SDM yang cukup.

3 K / K hli3. Kemampuan/ Keahlian”Tour of duty” PNS, terutama di PemdaKurangnya tenaga teknis terlatihKurangnya tenaga teknis terlatih

4. Perlengkapan/ PeralatanBerkaitan dengan kondisi perekonomian dan infrastruktur wilayah yang masih tertinggal. Mis: listrik, AC, komputer, kendaraan operasional, peralatan telekomunikasi.


Kendala Pelaksanaan M&E (2)Kendala Pelaksanaan M&E (2)Kendala Pelaksanaan M&E (2)Kendala Pelaksanaan M&E (2)5 Prosedural5. Prosedural

Tidak adanya acuan kerja (Petunjuk Operasional)Tidak diterimanya laporan Monitoring pelaksanaan kegiatany p g p gTidak adanya kerangka acuan pelaksanaan evaluasiMekanisme pelaporan yang ada inter instansi pemerintah belum

iliki l j l d timemiliki pola yang jelas dan pasti. 6. Pengiriman

Kondisi geografisKondisi geografis Masih minimnya prasarana dan sarana transportasi/ komunikasi.


Masalah Potensial (1)Masalah Potensial (1)Masalah Potensial (1)Masalah Potensial (1)Tidak ada referensi indikator yang cukup dalam Laporan• Tidak ada referensi indikator yang cukup dalam Laporan Monitoring untuk dapat melakukan evaluasi seperti dimintakan pada Renja/ RKP;dimintakan pada Renja/ RKP;

• Pelaporan M&E memberikan beban tambahan kepada para penanggungjawab program/ kegiatan yang sudah p p gg gj p g g y gcukup banyak beban M&E sesuai peraturan-perundangan selama ini, khususnya di tingkat P i h K b /KPemerintah Kabupaten/Kota;

• Tidak ada mekanisme umpan balik dari laporan M&E, kala p n ada pen elenggara tidak siap melak kann akalaupun ada penyelenggara tidak siap melakukannya.


Masalah Potensial (2)Masalah Potensial (2)Masalah Potensial (2)Masalah Potensial (2)Kurangnya kemampuan dalam mengkoordinasi• Kurangnya kemampuan dalam mengkoordinasi kelembagaan terkait, dalam arti seluas-luasnya, yang disebabkan antara lain, kurangnya alokasi anggarandisebabkan antara lain, kurangnya alokasi anggaran untuk M&E;

• Kurangnya motivasi dan komitmen para g y ppenanggungjawab dan pelaksana M&E;

• Tidak cukup pelatihan yang dapat disediakan untuk M&E dan untuk menentukan indikator;

• Alokasi tenaga ahli yang tidak memadai.


Proses Membangun Sistem M&EProses Membangun Sistem M&EProses Membangun Sistem M&EProses Membangun Sistem M&E

Landasan Hukum Evaluasi Kinerja• Landasan Hukum Evaluasi Kinerja• Evaluasi terkait dengan kerangka regulasi/kebijakan

publikpublik• Collecting opinions

Seminars Workshops etc– Seminars, Workshops, etc• Pemetaan peraturan dan opini publik• Membangun kerangka kerja (framework) yang baru• Membangun kerangka kerja (framework) yang baru• Membangun Indikator


Mengembangkan Sistem M&EMengembangkan Sistem M&EMengembangkan Sistem M&EMengembangkan Sistem M&EIndicator

Resource Group

2Koord. M&E Nasional

p

12

D t b I dik t Database Indikator KinerjaKomunitas

Evaluator

5533Jadwal M&E

Baru

44


Membentuk Membentuk 11 Koord. M&E NasionalKoord. M&E NasionalFormalisasi koordinasi dalam proses pelaksanaan dan

11

• Formalisasi koordinasi dalam proses pelaksanaan dan pengembangan M&E yang selama ini berjalan di K/L secara informal.secara informal.

• Merupakan Tim Pengarah pengembangan manajemen kinerja dan indikator yang digunakan Pemerintah.j y g g

• Melaporkan mengenai arah, perkembangan dan permasalahan kepada Men. PPN.

• Terdiri dari empat anggota inti Eselon I dari Bappenas, Depkeu, Depdagri dan Menpan.

• Ditambah dua anggota tambahan akan dipilih untuk mewakili K/L, dan ini dapat berganti dari waktu ke waktu

i k b t hsesuai kebutuhan. 74www.dadangsolihin.com

Membentuk Membentuk 22 Indicator Resource GroupIndicator Resource Group

• Sebagai Tim Teknis untuk menyediakan dukungan kepada seluruh

22

• Sebagai Tim Teknis untuk menyediakan dukungan kepada seluruh K/L dalam pengembangan indikator dan proses M&E.

• Merupakan Tim Nasional Konsultasi Indikator yang akan bertugas:1. menyusun suatu standar pendekatan dan kriteria yang

digunakan dalam perumusan indikator pembangunan nasional dan daerahdan daerah,

2. menjadi tempat penyimpanan indikator yang sudah didefinisikan sebagai alat ukur program-program dan kegiatan-kegiatan.

3. Mereview umpan balik pada penggunaan indikator setelah setiap langkah besar dalam proses perencanaan dan penerapan rencana dan akan memasukkan bahan belajar dari pengalamanrencana, dan akan memasukkan bahan belajar dari pengalaman ke dalam proses.


MembangunMembangun33 Database Indikator KinerjaDatabase Indikator KinerjaBanyaknya indikator dari proses alokasi sumber daya

33

• Banyaknya indikator dari proses alokasi sumber daya dapat dikontrol.

• Perkembangan dari sebuah indikator dapat ditelusuri• Perkembangan dari sebuah indikator dapat ditelusuri sehingga perubahannya dapat menjadi bukti bagi pengguna.p gg

• Sebagai alat bagi K/L ketika menyusun indikator untuk kegiatan-kegiatan baru

• Sebagai alat untuk membantu sumber daya teknis dalam mengembangkan indikator baru

• Indikator program dan indikator kegiatan dapat diselaraskan dengan indikator perencanaan.


MenyusunMenyusun44 Jadwal M&E BaruJadwal M&E BaruDibutuhkan jadwal M&E baru seiring dengan

44

• Dibutuhkan jadwal M&E baru seiring dengan kompleksitas fungsi-fungsi manajemen K/L, Pemda dan SKPD.SKPD.

• Meningkatnya kebutuhan pelaporan yang makin rumit.• Pemilihan satu wilayah percontohan menerapkan jadwalPemilihan satu wilayah percontohan, menerapkan jadwal

M&E baru dan memanfaatkan umpan balik sebelum dilaksanakan di seluruh wilayah.


MendirikanMendirikan55 Komunitas EvaluatorKomunitas EvaluatorMendirikan Asosiasi Evaluator Indonesia yang terdiri

55

• Mendirikan Asosiasi Evaluator Indonesia, yang terdiri dari unsur-unsur:1 Pemerintah1. Pemerintah2. Dunia Usaha3. Masyarakat

• Melahirkan Jabatan Fungsional Evaluator (JFE)• Mendirikan Asosiasi Evaluator Pemerintah Indonesia

(AEPI)


Membangun Sistem Pelaporan: EMembangun Sistem Pelaporan: E--MonevMonev

go idgo id BASEBASEgo idgo id BASEBASE1. Phase Analog

M l b i dil k k t i i

go.id go.id BASEBASEgo.id go.id BASEBASE

a. Menyusun pelaporan sebagaimana yang dilakukan saat ini, tetapi tidak dikirimkan atau diantarkan ke K/L pengumpul, melainkan diupload pada website masing-masing K/L, Pemda dan SKPD pengirim.

b. Uploading berbagai indikator pada website masing-masing K/L Pemda dan SKPD pengirimK/L, Pemda dan SKPD pengirim

2. Phase DigitalData base M&EDibutuhkan password untuk mengakses data bagi kevel tertentu. Mis. Presiden, Menteri, Dirjen, dst


Terima KasihTerima Kasih

Dadang Solihin currently is Director for Regional Development

Dadang Solihin’s ProfileDadang Solihin’s ProfileDadang Solihin currently is Director for Regional Development Performance Evaluation at Indonesian National Development Planning Agency (Bappenas). He holds MA degree in Economics from University of Colorado, USA. His previous post is Director for System

Beside working as Assistant Professor at Graduate School of Asia‐Pacific Studies,

y , p p yand Reporting of Development Performance Evaluation at Bappenas.

g ,Waseda University, Tokyo, Japan, he also active as Associate Professor at University of Darma Persada, Jakarta, Indonesia.He got various training around the globe, included Shanghai International ProgramHe got various training around the globe, included Shanghai International Program for Development Evaluation Training (2008), Public Officials Capacity Building Training Program for Government Innovation, Seoul –Korea (2007), Advanced International Training Programme of Information Technology Management, at g g gy g ,Karlstad City, Sweden (2005). the Training Seminar on Land Use and Management, Taiwan (2004). Developing Multimedia Applications for Managers, Kuala Lumpur, Malaysia (2003). Applied Policy Development Training, Vancouver, Canada (2002). Local Government Administration Training Course, Hiroshima, Japan (2001). and Regional Development and Planning Training Course, Sapporo, Japan (1999). He published more than five books regarding local autonomous. You can reach Dadang Solihin by email at [email protected] or by his mobile at +62812 932 2202 81www.dadangsolihin.com

2008 064 paser_sistem_monev

Economy & Finance