Hanevi Djasri, dr, MARSDivisi Manajemen Mutu,Pusat Manajemen Pelayanan Kesehatan (PMPK) FK-UGM

hanevi_pmpk@yahoo.comMonitoring dan EvaluasiSistem Manajemen Mutu+ penelitian mutu

SISTEMATIKAPerbedaan monitoring dan evaluasiLangkah-langkah monitoring dan evaluasiMetode evaluasiArea evaluasi Balance score cardKatz & Green: proses, biaya, produktifitas dan kepuasan pelangganBerdasarkan sudut pandang pasien, profesional, dan manajemenGaris besar monitoring dan evaluasiStudi kasus

Dua elemen esensial dalam monitoring dan evaluasiMengukur kemajuan kegiatan perbaikan mutu terhadap apa yang direncanakanMengetahui mengapa ada ketidak- sesuaian kegiatan perbaikan dengan apa yang direncanakan

Monitoring vs EvaluationMenelusuri kegiatan dari hari ke hariMengukur sejauhmana kebijakan dan prosedur diterapkanBerorientasi pada targetMenekankan proses konversi input ke outputFokus pada elemen-elemen yang direncanakan programMelaporkan kemajuan programJangka waktu lebih lamaMengkaji apakah tepat kebijakan dan prosedur yang diterapkanMengukur kemajuan dan menilai apakah tepat target yg ditentukanmenekankan pencapaian thd tujuanmengkaji elemen-elemen yang direncanakanmencatat pelajaran yang didapat dari program

Kriteria evaluasiApakah kegiatan perbaikan mutu yang dilakukan relevan ?Bagaimana kemajuan kegiatan tersebut ?Apakah kegiatan perbaikan mutu dilaksanakan dengan efisien ?Apakah kegiatan tersebut efektif ?Apa dampak dari kegiatan perbaikan mutu ?Apakah perbaikan mutu memberi dampak pada perbaikan luaran klinik ?

Metoda evaluasiMengukur perubahan dan membandingkan perubahan terhadap: target, baseline, unit lain yang tidak diberi perlakuan, kegiatan QA di unit lain, atau terhadap standar yang telah ditetapkan.Dapat bersifat:Non-eksperimental, deskriptif, kros-seksionalKuasi-eksperimental, Eksperimental

Langkah-langkah monitoring & evaluasi kegiatan perbaikan mutuPelajari apa tujuan kegiatan perbaikan mutuTentukan tujuan spesifik kegiatan perbaikan mutu yang akan dievaluasiTentukan indikator, threshold, dan cara pengukurannya: baik indikator proses maupun outcome untuk pelayanan klinik, administrasi, dan pelayanan umumSusun instrumen monitoring/evaluasiSusun rencana monitoring/evaluasiLaksanakan evaluasiSusun laporan evaluasi dan berikan umpan balik

Sistem mutu:Perencanaan, Pelaksanaan, Pengorganisasian, komitmenMotivasi, Kepemimpinan,Moitoring dan Evaluasi, dsbReaksi PelangganKepuasanOutcome clinic Penerapan StandarPenerapan pende-katan timPengembanganBudaya mutuPengembanganSDM(termasuk pelatihan)Area:

Area evaluasi mutu berdasarkan Katz & Green

Empat area indikator evaluasi program mutu$$ 1. Proses 2. Cost3. Productivity4. Satisfaction

1. Process reviewApakah proses perbaikan mutu dilakukan secara efisien ?:apakah kegiatan mutu direncanakan, dilakukan secara sistematis, dan berkesinambunganapakah komprehensifapakah ada indikator yang jelasapakah dilakukan pengumpulan data secara periodikapakah hasilnya dapat mengatasi masalah yang adaapakah terintegrasi

2. CostsModel P-A-F (Prevention, Appraisal, dan Failure cost)Crosby: biaya mutu sebesar 2,5% s/d 4,5% pendapatan operasionalPrevention costs0-10%Appraisal costs15-20%Failure costs75-80%

2. Costs (Cont)Prevention cost:Employee orientation, trainingIndetification of customer needsQuality planning, developing quality systemQuality teams, quality recognition awardProcurement, etc

2. Costs (Cont)Appraisal/Inspection cost:Inspection of incoming materialsInspection of work in progressInspection of finished goodsInspection trainingQuality audits, calibration of equipmentDocumentation, etc

2. Costs (Cont)Failure cost:Internal failure cost:Rework, overtime, re-inspection, administrative costExternal failure cost:Response to complain, returns replacement, lost customers, etc

2. Costs (Cont)6 Langkah analisis biaya mutu (Kelly)Bentuk kelompok kerja mutuWawancara terhadap manager:Mengetahui & mengkatagorikan biaya mutuMenghitung hidden costKaji Financial statement dan customer recordsTentukan parameter-parameter untuk mengukur, meneliti dan memonitor komponen biaya mutuKembangkan program untuk meneliti dan memonitor biaya mutuMonitor efek TQM terhadap biaya mutu

3. ProductivityFour benefits of measuring productivity (Edwardson):Mengukur kemajuan pelayanan

Mendokumentasikan efisiensi dalam perbaikanMenjelaskan peningkatan mutu yang dikarenakandesign atau prosesMemberikan kriteria untuk distribusi sarana

4. SatisfactionIndikator-indikator kepuasan pelanggan: SERVQUAL: Reliabilitas, assurance, technical competence, empathy dan responsiveness

Area evaluasi mutu berdasarkan sudut pandang

Mutu dari sudut pandang pelangganapakah jasa pelayanan yang diberikan memenuhi selera dan kebutuhan pelanggan?Reliability: jasa/produk sesuai dengan yang dijanjikan, dpt diandalkan, akuratAssurance: kompetensi SDM: profesional, dapat dipercaya, meyakinkanTangible: wujud fisik sarana dan prasaranaEmpathy: kepedulian dan perhatian thd pelangganResponsiveness: kesediaan dan ketanggapanTimeliness: ketepatan waktu

Mutu dari sudut pandang pelanggan(cara mengukur)Analisis proses pelayananSurvei kuesionerWawancara informalDiskusi kelompok bersama konsumen

Mutu dari sudut pandang profesionalapakah pelayanan yang diberikan memenuhi kebutuhan pelanggan sesuai dengan analisis yang dilakukan oleh tenaga profesi?apakah pelayanan yang diberikan sesuai dengan tehnik dan prosedur profesional dalam memenuhi kebutuhan pelanggan?

Mutu dari sudut pandang profesional(cara mengukur)Audit medikAudit keperawatanAudit klinik

Mutu dari sudut pandang manajemenEfektifitasEfisiensi

Mutu dari sudut pandang manajemen(cara mengukur)Operational Review

Evaluasi mutu berdasarkan Balance score card

PeopleProcessCustomerSatisfactionFinancial Status

Garis besar tahapan monitoring dan evaluasi mutu untuk perbaikan pelayananTentukan quality featureFormulasikan indikator dan standarSusun instrumen pengukuran dan lakukan pengukuranLakukan analisis data yang dikumpulkanHasil analisis menjadi masukan bagi komite mutu untuk menyusun rencana perbaikanImplementasi rencanaKajian thd pelaksanaan rencanaKajian ulang

Bahan BacaanKatz, J., Green, E., Managing Quality, Mosby, 1992, Chapter 15: Evaluating Your QM ProgramKelly, J.M., Total Quality Management, Alexander Hamilton Inst, Inc, 1994. Pp 61-66.Counte, M.A., Glandon, G.L., Oleske, D.M., Hill, J.P., Improving Hospital Performance: Issues in Assessing the Impact of TQM activities, Hospital & Health Services Administration 40:1, Spring 1995Redfern, S.J., Norman, I.J., Quality assessment instruments in nursing: towards validation, Inter. Journal of Nursing Study, 32 (2), 1995Ovretveit J., Health Service Quality, Blackwell Sc Pub, Oxford, 1991.

Studi kasusSebuah RS swasta di Jakarta telah menerapkan sistem manajemen mutu sejak 2 tahun lalu dengan model yang dikembangkan dari AMCHAM dan Henry Ford Health System yang dilakukan melalui 3 fase

Studi kasus (contd)Fase Inisiasi yang meliputi kegiatan:Awareness, pengembangan: kepemimpinan mutu, visi-misi, strategi dan quality framework, infrastruktur organisasiFase Transformasi:Identifikasi prioritas, pengembangan dan pelatihan tim, kegiatan dengan siklus PDCA, evaluasiFase Integrasi:Pengembangan: komitmen, sistem informasi mutu, sistem monev dan Pelatihan karyawan

Studi kasus (contd)Hasil Evaluasi: Dinilai gagalTidak ada peningkatan produktifitasTidak ada peningkatan kepuasan pelangganBiaya mutu yang dikeluarkan melebihi standar biaya mutu

Diskusikan apa saja yang dapat menyebabkan penerapan sistem manajemen mutu tersebut gagal?

Diskusi kelompokCari 1 artikel (on-line) jurnal internasional tentang monitoring dan atau evaluasi terhadap upaya mutu di RSDiskusikan:Monitoring atau evaluasi atau keduanyaInstrumen apa yang mereka gunakan dalam monevPerspektif apa yang mereka gunakan dalam monevProdedur monev seperti apaHasil monev bagaimanahanevi_pmpk@yahoo.com jam 16:30 hari ini