3 2 18 des 2011 lm ws nas item rev osce ku gel 2

Workshop Nasional

Gelombang 1 Tahun 2011

Direktorat Jenderal Pendidikan Tinggi

Kementerian Pendidikan Nasional

Hotel Grand Sahid Jaya Jakarta, 10

LAPORAN

Workshop Nasional Item Review Kedokteran Gigi

Gelombang 1 Tahun 2011

Direktorat Akademik


Kementerian Pendidikan Nasional

Hotel Grand Sahid Jaya Jakarta, 10 11 Juli 2011

Kedokteran Gigi


Juli 2011

1. Pendahuluan

Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ

Project mensyaratkan adanya suatu proses pembuatan soal ujian yang berkualitas, komprehensif,

dan sesuai dengan tingkat kompetensi yang diharapkan. Salah satu metode ujian yang akan

digunakan adalah ujian tertulis dengan dukungan teknologi berbasiskan computer atan disebut juga

sebagai computer-based testing (CBT). Untuk itu, diperlukan suatu upaya untuk membuat suatu

Bank Soal yang sangat kredibel baik dari segi sistemnya maupun soal soal yang terkandung di

dalamnya.

Di samping pengembangan infrastruktur dan aplikasi untuk melaksanakan CBT, tentu saja di saat

yang bersamaan diperlukan upaya intensif untuk membuat dan mengisi Bank Soal Ujian Tertulis.

Mengingat kepentingan hal itu maka diperlukan serangkaian workshop pembuatan soal (Item

Development) yang diselenggarakan secara luas dan berkesinambungan. Kegiatan ini juga harus

melibatkan seluruh institusi pendidikan sebagai upaya peningkatan sumber daya manusia dalam hal

ini staf pengajar dalam pembuatan soal dengan demikian maka proses ujian di tingkat nasional dapat

diiringi dengan berkembangnya sistem ujian di setiap institusi pendidikan yang pada akhirnya

diharapkan dapat meningkatkan proses belajar peserta didik dan meningkatkan nilai capaian dari

ujian ini.

Salah satu kegiatan yang akan dilakukan oleh Proyek HPEQ Komponen 2 adalah penyusunan bank

soal. Hal ini sejalan dengan kebutuhan KDGI yang memerlukan soal (MCQ) untuk ujian Uji

Kompetensi yang bersifat nasional dan dapat digunakan sebagai instrumen untuk mengukur standar

kompetensi dokter gigi. Dalam rangka mempersiapkan bank soal (item bank), Proyek HPEQ

Komponen 2 telah menyelenggarakan dua kali workhsop item review pada tahun 2010, yaitu pada

tanggal 28-29 Juni 2010 dan 10-11 Oktober 2010. Berikut adalah output workhsop tersebut:

NO KOMPONEN/ Workshop Item Review KG Gelombang 1 Gelombang 2

1. Jumlah soal yang direview dalam workshop 1584 582

2. Jumlah soal yang memenuhi kriteria soal yang baik 437 575

3. Jumlah Peserta Item Writer 22 23

Mengingat urgensi output yang diharapkan dari program ini, maka proyek HPEQ telah memfasilitasi

kegiatan Item review kedokteran gigi pada tahun 2011 untuk menambah bank soal UKDGI.

2. Tujuan

Tujuan dilaksanakannya workshop nasional ini adalah:

1. Mengumpulkan 140 soal CBT dan OSCE (70 soal OSCE dan 70 soal CBT)

2. 200 jumlah soal yang tereview untuk masuk dalam bank soal UKDGI

3. Output Workshop

Output yang diharapkan dari workshop ini adalah tekumpul 70 soal UKDGI untuk CBT dan 70 soal

OSCE berkualitas baik yang dapat digunakan untuk ujian nasional dan mengisi bank soal di tingkat

nasional

4. Metode Pelaksanaan Workshop

Workshop nasional item review kedokteran gigi ini dilaksanakan pada tanggal 10 11 Juli 2011 di

Hotel Grand Sahid Jaya, Jakarta. Peserta workshop adalah 22 item reviewer terpilih dari 6 institusi

pendidikan dokter gigi, yaitu :

PAKAR OSCE

No. Nama Lengkap Pakar Instansi

1 Irma Ervina Periodonti Univ.Sumatra Utara

2 Edrizal Ortodonti Univ.Baiturahmah

3 Siti Rusdiana P.D. Konservasi Univ.Sriwijaya 4 Menik Priaminiarti Radiologi KG Univ.Indonesia

5 tdk hadir Prostodonti Univ.Moestopo (B) 6 Indra H. Bedah Mulut Univ.Padjajaran 7 Yulita Hendrartini IKGMP Univ.Gadjah Mada 8 Tita R. Utari Ortodonti Univ.Muh.Yogyakarta

9 Diah Savitri IPM Univ.Airlangga

10 Aprilia Konservasi Unv.Hang Tuah

11 Desi Sandra Sari Periodonti Univ.Jember

12 Rasmidar Samad IKGMP Univ.Hasanudin

13 tdk hadir Prostodonti Univ.Mahasaraswati

CBT

1 Essie Octaria Pedodonti Univ.Sumatra Utara

2 tdk hadir Periodonti Univ.Baiturahmah

3 Maya Hudiyati IKGMP Univ.Sriwijaya 4 Vera Julia Bedah Mulut Univ.Indonesia

5 Anastasia Susetyo IKGMP Univ.Moestopo (B) 6 Suhardjo Radiologi KG Univ.Padjajaran 7 Erwan Sugiatno Prostodonti Univ.Gadjah Mada 8 Sartika Puspita Biomedik Univ.Muh.Yogyakarta

9 Adi Subianto Prostodonti Univ.Airlangga

10 Dian Mulawarmanti Biomedik Unv.Hang Tuah

11 Leliana Sandra Devi Ortodonti Univ.Jember

12 Sri Oktawati Periodonti Univ.Hasanudin

13 tdk hadir IPM Univ.Mahasaraswati

Narasumber, Core team, KDGI, IT & Monev

1 Melani S. Djamil FKG USAKTI 2 Haslinda Z.Tamin FKG USU

3 Iwan Dewanto FKG UMY

4 Indri Kurniasih FKG UMY

5 Wiwiek Pudjiastuti FKG USAKTI 6 Utmi Arma FKG UNBRAH

7 Mei Syafriadi FKG UNEJ

8 Adam Malik FKG UNHAS

9 Kosterman FKG UNPAD

10 Gilang Yubliana FKG UNPAD

11 Ariadna Djais FKG UI 12 Peter Andreas PDGI

13 Boedi Roeslan KDGI

14 Beta Ahlam Gizela FK UGM

15 Santoso FK UNDIP

16 Sinta Setiadi IT FK Univ.Padjajaran 17 Elsye Tanjaya IT FK Univ.Padjajaran 18 Beny Setioko IT FK Univ.Padjajaran 19 Muhammad Ary Zucha FK Univ.Gadjah Mada

Pada pelaksanaannya, 4 orang peserta tidak dapat hadir, yang berasal dari Universitas Baiturrahmah,

Universitas Moestopo dan Universitas Mahasaraswati (2 orang). Keempat peserta tersebut telah

mengkonfirmasi kedatangan (melalui pengiriman nama wakil institusi) tetapi pada hari pelaksanaan

tidak hadir tanpa ada keterangan. Dengan demikian perwakilan dari institusi tersebut tidak

memberikan kontribusi soal untuk direview.

Untuk mengoptimalkan proses review, peserta dibagi menjadi 5 kelompok berdasarkan

peminatan/bidang keahlian.

Kelompok 1 : periodonsi dan bedah mulut

Kelompok 2 : berisi pedodonsi, konservasi, orthodonsi.

Kelompok 3 : ilmu penyakit mulut dan biologi oral

Kelompok 4 : Ilmu Kesehatan Gigi Masyarakat

Kelompok 5 : materi prosthodonsi, radiologi dan dental material

5. Hasil Kegiatan

Workshop ini diawali pengarahan dari perwakilan fasilitator mengenai hal-hal yang akan dikerjakan

selama workshop beserta penentuan target yang akan dicapai.. Target yang ditetapkan bersama

adalah penambahan soal untuk bank soal UKDGI, yaitu mereview 200 soal dan mendapatkan

setidaknya 70 soal yang dinyatakan baik untuk CBT dan 70 soal untuk OSCE.

Pada workshop kali ini, beberapa peserta yang diundang sebagai perwakilan OSCE tergabung dengan

undangan CBT dan hanya akan membahas tentang CBT. Untuk pembahasan terkait OSCE akan

dilakukan terpisah pada kesempatan lain, harapannya agar peserta dapat fokus untuk

menyelesaikan target CBT.

CBT ditargetkan dimulai pada Januari 2011. Sehingga acara kali ini untuk pematangan CBT sebelum

ujicoba akan sangat baik, mendukung pelaksanaan CBT yang diharapkan.

Untuk mengoptimalkan proses review, peserta dibagi menjadi 5 kelompok berdasarkan

peminatan/bidang keahlian.

Kelompok 1 : periodonsi dan bedah mulut

Kelompok 2 : berisi pedodonsi, konservasi, orthodonsi.

Kelompok 3 : ilmu penyakit mulut dan biologi oral

Kelompok 4 : Ilmu Kesehatan Gigi Masyarakat

Kelompok 5 : materi prosthodonsi, radiologi dan dental material

Dengan pembagian kedalam 5 kelompok tersebut maka untuk mencapai target soal yang ter-review

sejumlah 200 soal maka tiap kelompok memiliki target 40 soal. Tetapi pada pelaksanaannya, tiap

kelompok menargetkan untuk mereview semua soal yang telah terkumpul sesuai bidang di

kelompok masing-masing. Sehingga semua kelompok mereview lebih dari 40 soal.

Rekapitulasi soal yang berhasil direview menurut kelompok dapat dilihat di tabel berikut

Kelompok

Jumlah

soal yang

direview

Jumlah soal

yang diterima

(dinyatakan

baik)

Jumlah

soal yang

ditolak

Jumlah

peserta

dalam

kelompok

Jumlah

fasilitator

1 53 32 21 5 2

2 46 42 4 6 1

3 85 70 15 3 2

4 47 20 27 4 2

5 45 40 5 5 1

TOTAL 276 204 72

Untuk soal OSCE, baru terkumpul 35 soal. Padahal menurut TOR, jumlah soal yang ditargetkan untuk

OSCE adalah 70 soal yang dinyatakan baik. Dari 35 soal yang terkumpul, belum ada satupun soal

yang sempat direview.

Berikut adalah grafik yang menggambarkan perbandingan antara target dan pencapaian untuk

jumlah soal CBT yang ter-review.

Berdasarkan rekapitulasi soal yang tereview dapat dilihat bahwa semua kelompok telah mencapai

target, yaitu mereview lebih dari 40 soal.

soal terbanyak dibandingkan kelompok yang lain. Jumlah total soal yang tereview pada workshop ini

adalah 276 soal. Dari seluruh soal yang tereview, 207 di antaranya dinyatakan baik dan siap

dimasukkan ke dalam bank soal UKDGI.

dimungkinkan untuk diterima setelah revisi oleh pembuat soal (dikembalikan lagi kepada pembuat

soal) sedangkan beberapa yang lain tidak dapat diterima karena dinilai terlalu

Berdasarkan hasil tersebut, yang perlu ditingkatkan adalah proporsi jumlah soal yang dinyatakan

baik dibanding dengan soal yang ditolak. Usulan yang bisa ditindaklanjuti adalah pengiriman modul

atau panduan penyusunan soal yang baik

akan lebih berkualitas dan proporsi soal yang ditolak semakin kecil.

knowledge yang didapat dari workshop di tiap institusi sehingga soal yang dikirim oleh institusi te

melewati proses review.

6. Refleksi

Setelah dilakukan analisa hasil kegiatan, selanjutnya perlu dilakukan refleksi sebagai bentuk evaluasi

pelaksanaan workshop ditinjau dari perspektif peserta, fasilitator, dan tim monev secara umum.

Melalui refleksi ini diharapkan akan teridentifikasi

optimal dalam workshop ini. Berikut adalah refleksi pelaksanaan workshop dari beberapa perspektif

tersebut :

Gambaran Umum

Partisipasi peserta dalam workshop ini cukup baik, 4 dari 26 peerta menghadiri workshop dan

telah membawa sejumlah soal yang diharuskan untuk dibawa di workshop ini.

Peserta berpartisipasi secara aktif dalam

untuk jumlah soal CBT telah tercapai.

Dalam workshop ini belum ada review soal untuk OSCE, padahal dalam TOR telah disebutkan

salah satu targetnya adalah terpilih 70 soal yang dinyatakan baik untuk OSCE. Untuk mencapai

target tersebut, beberapa pes

Tetapi dalam pelaksanaannya workshop ini

jumlah soal untuk CBT dan OSCE sekaligus dinilai terlalu berat, sehingga dalam workshop ini


target, yaitu mereview lebih dari 40 soal. Kelompok 3 telah mereview 85 soal, menunjukkan jumlah



ke dalam bank soal UKDGI. Sisanya 72 soal ditolak, beberapa di antaranya masih


soal) sedangkan beberapa yang lain tidak dapat diterima karena dinilai terlalu dalam (di luar SKDGI).



atau panduan penyusunan soal yang baik, sehingga harapannya adalah soal yang direview kedepan

akan lebih berkualitas dan proporsi soal yang ditolak semakin kecil. Selain itu perlu ada diseminasi

knowledge yang didapat dari workshop di tiap institusi sehingga soal yang dikirim oleh institusi te



i diharapkan akan teridentifikasi root of causes dari kinerja kelompok




secara aktif dalam review soal ini sehingga target output workshop

untuk jumlah soal CBT telah tercapai.



target tersebut, beberapa peserta diundang untuk mereview soal OSCE (tertera dalam TOR).

Tetapi dalam pelaksanaannya workshop ini baru membahas soal untuk CBT saja. Pencapaian


Target minimal soal

tereview


Kelompok 3 telah mereview 85 soal, menunjukkan jumlah



Sisanya 72 soal ditolak, beberapa di antaranya masih


dalam (di luar SKDGI).



, sehingga harapannya adalah soal yang direview kedepan

Selain itu perlu ada diseminasi

knowledge yang didapat dari workshop di tiap institusi sehingga soal yang dikirim oleh institusi telah



kelompok yang kurang




sehingga target output workshop, yaitu



erta diundang untuk mereview soal OSCE (tertera dalam TOR).

baru membahas soal untuk CBT saja. Pencapaian


Target minimal soal

tereview

disepakati untuk membahas mengenai soal CBT saja, untuk itu sebaiknya ke depan target output

workshop lebih terfokus dan memeprtimbangkan waktu yang tersedia.

Jumlah soal OSCE yang dikumpulkan untuk direview juga masih sangat sedikit, yaitu 35 soal.

Jumlah ini harus ditindaklanjuti dengan mendorong peserta untuk membuat soal OSCE seperti

yang ditargetkan agar siap untuk direview jika workshop review soal OSCE diselenggarakan

nantinya.

Tim Monev menilai target dan koenten workshop kurang fokus, sehingga dapat membingungkan

peserta dan pencapaian tidak optimal. Dalam TOR disebutkan target yang ingin dicapai di

antaranya adalah pencapaian target jumlah soal CBT dan OSCE. Dalam acara juga ada materi

yang berisi overview mengenai IBA yang ternyata dari KG sendiri merasa belum siap untuk

melakukan review soal dengan menggunakan aplikasi yang disediakan oleh tim IT (review soal

dilakukan secara manual).

Fasilitator

Kemampuan dan partisipasi peserta sangat baik. Peserta juga dinilai sangat antusisas dan

bersemangat dalam mengikui workshop ini

Usulan untuk perbaikan aplikasi IBA

- Aplikasi dinilai belum maksimal, perlu ada beberapa penyesuaian untuk mempermudah

pemanfaatan di UKDGI, misalnya dengan menyusun soal per bidang keilmuan

- Pengisian data membuatuhkan waktu yang lama, perlu dipikirkan penggunaan aplikasi

sesederhana mungkin sehingga proses menjadi lebih cepat

- User interface perlu dibuat lebih mudah digunakan.

Peserta

1. Jelaskan kendala yang mungkin akan anda hadapi sebagai Item review KG! - Waktu pemberitahuan yang terlalu mendadak sehingga menjadi keterbatasan untuk

membuat soal yang baik - Kesesuaian antara bidang keilmuan reviewer dengan soal yang direview - Kesibukan dan tanggung jawab di luar sebagai item reviewer - Penyusunan soal berdasarkan kisi-kisi (blue print) memerlukan waktu lama

2. Bagaimana rencana untuk diseminasi kegiatan ini di institusi anda! - Review rutin soal MCQ di institusi - Menyiapkan soal-soal dengan format yang bak dan seragam - Sosialisasi item development kepada sejawat dosen - Mulai diterapkan segera mungkin - Menyusun proposal pelatihan item review untuk soal-soal ujian di insitusi. - sebagian soal di institusi selama ini sudah berupa kasus, tetapi kasus tersebut

ternyata masih jauh dari soal yang baik dan benar

3. Berikan komentar anda terhadap workshop Item review KG ini! - Dilanjutkan dengan penguatan lembaga dan sistem uji kompetensi perawat

- Sangat bagus untuk dapat saya sosialisasikan ke mahasiswa

- Undangan jangan mendadak

- Informasikan apa yang harus dibawa

- Target workshop terlalu banyak dan tidak fokus

- Fasilitas cukup baik

4. Penggunaan aplikasi IBA menngkatkan efektivitas dan kinerja item reviewer? Berikan

feedback anda untuk mengoptimalkan aplikasi IBA

- Perlu sosiasliasi aplikasi IBA untuk institusi

- Perlu membuat manual procedure sehingga memudahkan penguasaan aplikasi

- Oleh karena keilmuan yang terus berkembang, maka seluruh soal di bank soal perlu

direview secara periodik

- Perlu dipikirkan mengenai keamanan aplikasi, dan juga keamanan isi (soal) melalui aplikasi

tersebut. Sehingga perlu didefinisikan siapa saja

sejauh mana kemampuan mengakses soal.

Tim Monev : Feedback Peserta

Feedback form didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring

customer peserta terkait satisfaction level

dari 17 kuesioner yang kemba

bermanfaat bagi peserta. Tim Monev telah mengumpulkan persepsi peserta dan narasumber terkait

dengan pelaksanaan workshop. P

001

16REKAP FEEDBACK ITEM

tidak sesuai

kurang sesuai

sesuai

paling sesuai

Perlu membuat manual procedure sehingga memudahkan penguasaan aplikasi

Oleh karena keilmuan yang terus berkembang, maka seluruh soal di bank soal perlu

direview secara periodik

Perlu dipikirkan mengenai keamanan aplikasi, dan juga keamanan isi (soal) melalui aplikasi

tersebut. Sehingga perlu didefinisikan siapa saja yang bisa membuka aplikasi tersebut dan

sejauh mana kemampuan mengakses soal.

didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring

satisfaction level terhadap aspek-aspek pelaksanaan workshop. Dari 13

kuesioner yang kembali ke tim monev menyatakan pelaksanaan workshop ini sangat

Tim Monev telah mengumpulkan persepsi peserta dan narasumber terkait

dengan pelaksanaan workshop. Persepsi peserta digambarkan dalam grafik sebagai berikut:

0 0 01

0 0 00 0 0

6

10 0

8

43

7

4 4

9

1314

3

1213

REKAP FEEDBACK ITEM REVIEW KG

Jakarta, 10- 11 JuLi 2011

Perlu membuat manual procedure sehingga memudahkan penguasaan aplikasi tersebut

Oleh karena keilmuan yang terus berkembang, maka seluruh soal di bank soal perlu

Perlu dipikirkan mengenai keamanan aplikasi, dan juga keamanan isi (soal) melalui aplikasi

yang bisa membuka aplikasi tersebut dan

didistribusikan oleh tim monev kepada seluruh peserta untuk menjaring voice of

ek pelaksanaan workshop. Dari 13

pelaksanaan workshop ini sangat

Tim Monev telah mengumpulkan persepsi peserta dan narasumber terkait

ersepsi peserta digambarkan dalam grafik sebagai berikut:

0 00 01

45

16

1312

7. Rencana Tindak Lanjut

Berdasarkan analisa output kegiatan, evaluasi pelaksanaan workshop, refleksi dan feedback dari

peserta workshop beberapa hal yang dapat direkomendasikan sebagai bentuk improvement dan

rencana tidak lanjut untuk menjaga sustainability output dan outcome dari workshop ini adalah

sebagai berikut :

Soal yang telah direview dan dinyatakan dapat dimasukkan ke bank soal, menggunakan

aplikasi yang tersedia

Sejumlah soal yang belum dinyatakan baik dan masih memungkinkan untuk perbaikan oleh

writer perlu dikembalikan agar dapat memperkaya bank soal

Perlu penyempurnaan aplikasi IBA sesuai masukan yang didapat melalui workshop ini

Untuk soal OSCE yang belum direview diusulkan untuk dibahas secara khusus di workshop

yang berbeda

8. Penutup

Standarisasi lulusan/ dokter gigi melalui uji kompetensi merupakan bagian penting dari upaya

peningkatan kualitas lulusan/dokter gigi dan juga untuk institusi pendidikan dokter gigi. Kualitas

lulusan/ dokter gigi yang baik dan kompeten sangat menguntungkan organisasi profesi dari sisi

pembinaan, pemerintah pusat dan daerah selaku pengguna, serta untuk perlindungan masyarakat

dari segi pelayanan. Mengingat fungsi dan perannya yang sangat besar, maka dukungan semua fihak

terkait berkenaan kegiatan pada komponen sangat diperlukan

3 2 18 des 2011 lm ws nas item rev osce ku gel 2

Documents