the 8th jakarta meeting on medical education
TRANSCRIPT
i
Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR):
Suatu upaya untuk mengetahui kemampuan dosen membuat soal dan kemampuan
mahasiswa menjawab soal
Hikmah Muktamiroh
Mila Citrawati
Anisah
Dipresentasikan pada
The 8th Jakarta Meeting on Medical Education,
Fakultas Kedokteran Universitas Indonesia
14-15th Nopember 2015
Fakultas Kedokteran
Universitas Pembangunan Nasional Veteran Jakarta
2015
ii
DAFTAR ISI
Halaman
Halaman Judul .....………………………………….……........ i
Daftar Isi ..…………………………..……….…………. ii
Abstrak ……………………………………………… iii
BAB I Pendahuluan ........................................................................... 1
BAB II Teori ………………………………………………………. 3
BAB III Metode .................................................................................... 5
BAB IV Hasil dan Pembahasan ............................................................. 6
BAB V Penutup ………………………………………………………….. 9
Daftar Pustaka .......................................................................................... 9
Lampiran :
Arsip presentasi
iii
Evaluation on MCQ OSPE question analysis based on Digital Mark Reader (DMR) as
ameans to ascertain lecturer ability to create MCQ and student ability answering question
Hikmah Muktamiroh, Mila Citrawati, Anisah
Faculty of Medical Universitas Pembangunan Nasional “Veteran” Jakarta
[email protected], [email protected], [email protected]
Background: Laboratory activity (Lab Act) was done to sustain tutorial and lecture learning
methods. Those activity was done from semester 1 until semester 7 in accordance with the
running block. Assessment was done by MCQ (Multiple Choice Question) on OSPE (Objective
Srtuctured Practical Examination) which is done integrated by departement involved in the
block. On those assessment result, evaluation must be done to ascertain student ability
answering MCQ and lecturer ability to create MCQ. Lecturer ability to create MCQ and student
ability answering MCQ needed to know so lecturer could make an effort to follow up.
Objective: Knowing student ability answering MCQ on OSPE, knowing lecturer ability to
create MCQ’s distinguishing power and determine follow up from evaluation result.
Methods: Student’s MCQ answer will be evaluated using Digital Mark Reader (DMR)
software. Evaluation was done individually dan comprehensively. Based on student answer
comprehensively on a goal, item difficulty level will be known. Item difficulty level based on
DMR evaluation was compared to item difficulty level according to lecturer evaluation result.
Item difficulty level and distinguishing power evaluation result will determined learning follow
up. Evaluation carried out in the 2 nd. 4 th and 6 th semester 2014/2015.
Result: Based on DMR, there was some less distinguish power of MCQ. There was few item
with difficulty level based on DMR which has suitability with item difficulty level based on
lecturer assessment. On contrast, there was few item with difficulty level based on DMR which
has no suitability with item difficulty level based on lecturer assessment. There was effort plan
to follow up on those evaluation result
iv
Conclusion: Evaluation on analysis of MCQ OSPE question based on Digital Mark Reader
(DMR) needed to be compared with item dfficulty level based on lecturer assessment and with
distinguishing power. Evaluation by this means is further illustrate lecturer ability to create
MCQ and the end, student ability answering item.
Key words:
Assessment, evaluation, difficulty level, distinguishing power, Digital Mark Reader (DMR),
lecturer perception
v
Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR)
sebagai upaya untuk mengetahui kemampuan mahasiswa menjawab soal
Hikmah Muktamiroh, Mila Citrawati, Anisah Bahaswan
FK UPN “Veteran” Jakarta
Contact person: [email protected],
LatarBelakang:
Kegiatan Laboratorium Activity (Lab Act) dilakukan untuk menopang metode pembelajaran
tutorial dan kuliah. Kegiatan tersebut dilakukan dari semester 1 hingga semester 7, sesuai
dengan blok berjalan. Assessment kegiatan tersebut dilakukan dengan MCQ (Multiple Choice
Question) pada OSPE (Objective Structured Practical Examination) yang dilakukan secara
terintegrasi oleh departemen yang terlibat dalam blok. Terhadap hasil assessment tersebut
harus dilakukan evaluasi untuk mengetahui kemampuan mahasiswa menjawab soal MCQ.
Kemampuan mahasiswa menjawab soal MCQ perlu diketahui agar dosen dapat membuat
upaya tindak lanjut.
Tujuan:
Mengetahui kemampuan mahasiswa menjawab soal MCQ pada OSPE dan menentukan
tindak lanjut hasil evaluasi.
Metode:
Jawaban MCQ mahasiswa akan dievaluasi menggunakan soft ware Digital Mark Reader
(DMR). Evaluasi dilakukan secara individu dan secara keseluruhan. Berdasar jawaban
mahasiswa secara keseluruhan terhadap suatu soal akan diketahui tingkat kesukaran soal.
Tingkat kesukaran soal berdasar hasil evaluasi DMR dibandingkan dengan tingkat kesukaran
soal bagi mahasiswa menurut hasil evaluasi staf pengajar. Hasil Evaluasi tingkat kesukaran
soal oleh mahasiswa akan menentukan tindak lanjut pembelajaran.
Hasil:
Terdapat beberapa soal dengan tingkat kesukaran soal berdasar DMR yang memiliki
kesesuaian dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Sebaliknya,
vi
terdapat pula beberapa soal dengan tingkat kesukaran soal berdasar DMR yang tidak sesuai
dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Didapatkan rencana upaya
tindak lanjut terhadap hasil evaluasi tersebut.
Kesimpulan:
Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR) perlu
dibandingkan dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Evaluasi
dengan cara ini ini dapat lebih menggambarkan kemampuan mahasiswa menjawab soal.
Kata kunci: Assessment, evaluasi, tingkat kesukaran, Digital Mark Reader (DMR), persepsi
staf pengajar
1
BAB I
PENDAHULUAN
Sejak 2006, Fakultas Kedokteran Universitas Pembangunan Nasional telah melakukan
Kurikulum Berbasis Kompetensi. Kurikulum tersebut memuat pembelajaran ilmu kedokteran
yang terbagi dalam blok sistem yang ditunjang dengan praktikum (Laboratorium Activity/ Lab
Act) di departemen untuk memperkuat retensi pembelajaran materi ilmu dasar dan kegiatan
ketrampilan klinik untuk seawall mungkin mahasiswa memiliki ketrampilan klinis.
Pengaturan kegiatan Laboratorium Activity yang digunakan untuk menopang metode
pembelajaran tutorial dan kuliah tersebut dilakukan dari semester 1 hingga semester 7, sesuai
dengan blok berjalan. Misalnya pada blok Gastrointestinal system (Sistem pencernaan) maka:
1) Departemen Anatomi akan menyampaikan fisiologi saluran pencernaan;
2) Departemen Fisiologi akan menyampaikan fisiologi sistem pencernaan; 3) Departemen
Histologi akan menyampaikan materi jaringan sakit sistem pencernaan; 4) Departemen
Patologi Anatomi akan menyampaikan materi jaringan sakit sistem pencernaan;
5) Departemen Mikrobiologi akan menunjukkan aneka bakteri dan virus di sistem
pencernaan; 6) Departemen Parasit akan menunjukkan aneka bakteri dan virus di sistem
pencernaan; 7) Departemen Patologi Klinik akan menunjukkan beberapa pemeriksaan
laboratorium pada darah, urin dan lainnya yang berkaitan dengan gangguan pada sistem
pencernaan; 8) Departemen Farmakologi akan menunjukkan beberapa jenis obat berikut cara
metabolism dan cara kerja obat di tubuh, cara ekskresi obat, waktu mulai kerja obat (onset of
action), lama kerja obat (duration of action), cara pemberian obat efek sampingnya terhadap
tubuh dan lain sebagainya.1
Terhadap semua pembelajaran tersebut di atas, tak berbeda dengan kurikulum konvensional,
pada kurikulum berbasis kompetensi, juga dilakukan asesmen terhadap pembelajaran.
Asesmen tersebut meliputi ujian SOCA (Structural Objective Case Analyzed) yaitu ujian
lisan, OSPE (Objective Structured Practical Examination), MDE (Multiple Discipline
Examination), dan OSCE (Objective Structured Clinial Examination) yang merupakan ujian
untuk menguji ketrampilan klinis. Secara khusus, asesmen pembelajaran di lab act adalah
MDE dan OSPE, meskipun pada beberapa ujian yang lain, pembelajaran di lab act yang
berkaitan dengan ketrampilan klinik juga diujikan di OSCE. MDE (dengan soal Multiple
Choice Question – MCQ atau pilihan ganda) dan OSPE dilakukan secara terintegrasi oleh
departemen yang terlibat dalam blok. 2
2
Ujian MDE dan OSPE dilakukan berbasis paper, dengan memberikan tanda silang di lembar
kertas jawaban yang telah didesain untuk dikoreksi dengan komputer yang telah diprogram
dengan program tertentu, dengan melalui tahap scanning jawaban dahulu.
Demi terlaksananya peningkatan proses pembelajaran, asesmen yang dilakukan terhadap
mahasiswa perlu di evaluasi agar kita mengetahui valid tidaknya asesmen yang dilakukan,
untuk mengetahui kemampuan dosen membuat soal dan kemampuan mahasiswa menjawab
soal. Makalah ini merupakan makalah hasil peninjauan evaluasi terhadap analisa pertanyaan
MCQ OSPE berdasar Digital Mark Reader (DMR) sebagai upaya untuk mengetahui
kemampuan mahasiswa menjawab soal. 2
3
BAB II
TEORI
Asesmen merupakan cara untuk mendorong mahasiswa agar belajar lebih baik. Asesmen yang
baik adalah asesmen yang “drive learning.”3,4 Kegiatan evaluasi pembelajaran mahasiswa di
Lab Activity dilakukan dengan MDE dan OSPE. Baik MDE maupun OSPE, keduanya
menggunakan soal pilihan ganda (soal MCQ). Soal MCQ ini terdiri dari pokok soal (stem) dan
pilihan jawaban. Pilihan jawaban meliputi 1 option kunci jawaban dan 4 jawaban pengecoh
(distraktor).
Jawaban mahasiswa terhadap soal akan dievaluasi oleh piranti lunak Digital Mark Reader.
Evaluasi dilakukan secara individu dan secara keseluruhan. Berdasar jawaban mahasiswa
secara keseluruhan terhadap suatu soal akan diketahui tingkat kesukaran soal. Tingkat
kesukaran soal :
P = indeks kesukaran,
B = banyaknya siswa yang menjawab soal dengan benar,
Jx = jumlah seluruh siswa peserta tes.
Hasil:
P Klasifikasi Soal
0,00 – 0,30 Soal sukar
0,31 – 0,70 Soal sedang
0,71 – 1,00 Soal Mudah.
Berdasar keseluruhan jawaban mahasiswa terhadap suatu soal akan diketahui daya pembeda
soal.
Daya pembeda soal adalah kemampuan suatu soal untuk membedakan siswa yang
berkemampuan tinggi dengan siswa yang berkemampuan rendah.
P = B/Jx
4
Daya pembeda soal: 5
DB = Daya Pembeda
B a = banyaknya peserta tes kelompok atas yang menjawab soal dengan benar
Ja = banyaknya peserta tes kelompok atas
B b = banyaknya peserta tes kelompok bawah yang menjawab soal dengan benar
Jb = banyaknya peserta tes kelompok bawah
Hasil:
P Klasifikasi Soal
Negatif – 0,09 Soal Kurang
0,31 – 0,70 Soal Cukup
0,71 – 1,00 Soal Baik
Kisaran angka untuk daya pembeda mulai dari -1,00 sampai 1,00, dengan perincian sebagai
berikut:
a. Nilai minus (-) : daya pembeda sangat jelek, mahasiswa yang kurang secara akademik
dapat menjawab benar, sementara mahasiswa yang pintar menjawab salah
b. 0,00 – 0,20 : daya pembeda jelek
c. 0,21 – 0,40 : daya pembeda cukup
d. 0,41 – 0,70 : daya pembeda baik
e. 0,71 – 1,00 : daya pembeda sangat baik
Dari kedua penilaian tersebut di atas, maka soal dapat dikategorikan menjadi baik, cukup dan
kurang.
DB = (Ba/Ja )- (Bb/Jb)
5
BAB III
METODE
Penelitian ini terdiri dari 2 tahap, yaitu:
1. Tahap 1 : merupakan tahapan penelitian kualitatif, dengan pertanyaan tertutup dan terbuka
yang diberikan kepada responden.
2. Tahap 2: tahapan penelitian kuantitatif dengan analisis deskriptif, dengan melakukan
analisa terhadap jawaban MCQ mahasiwa. Jawaban MCQ mahasiswa akan dievaluasi
menggunakan piranti lunak Digital Mark Reader (DMR). Evaluasi dilakukan secara
individu dan secara keseluruhan. Berdasar jawaban mahasiswa secara keseluruhan terhadap
suatu soal akan diketahui tingkat kesukaran soal.
3. Tahap 3: Tingkat kesukaran soal berdasar hasil evaluasi DMR dibandingkan dengan tingkat
kesukaran soal bagi mahasiswa menurut hasil evaluasi staf pengajar.
Sampel pada penelitian ini meliputi semua jawaban mahasiswa pada blok dengan kelangkapan
arsip yang lengkap, yang terdiri dari: 1) Kelengkapan arsip soal dan jawaban ; 2) Kelengkapan
arsip catatan urutan soal berdasar departemen pada ujian blok tersebut; 3) Kelengkapan arsip
soal dan jawabannya; 4) Kelengkapan arsip analisa DMR. Disamping syarat tersebut di atas,
juga diperlukan kesediaan dosen pembuat soal/tim departemen dengan kesamaan penguasaan
ilmu untuk menjawab pertanyaan. Bila ada dosen/ tim departemen dengan kesamaan
penguasaan ilmu yang tidak bersedia, maka tidak dilakukan analisa terhadap soal pada
departemen yang bersangkutan.
Adapun hasil yang akan dicari berdasar tiga tahapan yang telah disebutkan , akan didapatkan:
hasil analisa DMR, hasil evaluasi soal oleh dosen sebagai responden, hasil evaluasi DMR
dibandingkan dengan tingkat kesukaran soal bagi mahasiswa menurut hasil evaluasi staf
pengajar
6
BAB IV
HASIL DAN PEMBAHASAN
Berdasar persyaratan yang telah disebutkan pada bab 3, blok yang memenuhi syarat untuk
dievaluasi adalah: Blok Spesial Sensory System (SSS), Blok Gastrointestinal System (GIS),
blok Dermatomusculosceletal System (DMS), blok blok Genitourinary System, blok
Cardiovascular system (CVS).
Tabel 1 menunjukkan bahwa berdasar hasil analisa DMR yang ditampilkan, blok CVS
merupakan blok yang memiliki tingkat kesukaran tertinggi. Sedangkan blok SSS adalah blok
dengan persentase soal yang dianggap mudah terbesar.
Tabel 1
Gambaran tingkat kesukaran soal menurut analisa DMR
Tabel 2 menunjukkan bahwa berdasar hasil analisa DMR, blok GUS merupakan blok yang
memiliki soal dengan daya pembeda baik terbanyak. 40% soal pada blok GUS dapat digunakan
untuk membedakan mahasiswa yang mengerti tentang soal yang diberikan dan mahasiswa yang
tidak mengerti. Hal sebaliknya terjadi pada soal-soal di blok SSS. Sebanyak 24 soal di blok
SSS kurang dapat membedakan mahasiswa mahasiswa yang mengerti tentang soal yang
diberikan dan mahasiswa yang tidak mengerti. Demikian pula yang terjadi pada blok SSS.
7
Tabel 2
Gambaran kriteria soal berdasar daya pembeda
Tingkat kesukaran soal menurut analisa DMR dibandingkan dengan hasil evaluasi staf pengajar
dapat dilihat pada tabel 3. Tabel ini menunjukkan bahwa soal-soal pada blok GUS dan CVS
memiliki ketidak sesuaian analisa DMR paling sedikit dibanding 3 blok yang lain.
Tabel 3
Tingkat kesesuaian antara tingkat kesukaran soal menurut analisa DMR
dibandingkan dengan hasil evaluasi staf pengajar
8
Tabel 4 menunjukkan bahwa berdasar persepsi pembuat soal/ tim di departemen yang
berkaitan, blok GUS merupakan blok yang memiliki tingkat kesukaran terendah. Sedangkan
blok GIS adalah blok dengan persentase soal yang dianggap sukar terbesar.
Tabel 4
Gambaran tingkat kesukaran soal menurut persepsi dosen pembuat soal
Tabel 5 menunjukkan bahwa menurut pembuat soal/ tim di departemen yang berkaitan, blok
SSS merupakan blok yang memiliki kebutuhan klarifikasi konsep pembelajaran yang berkaitan
dengan soal yang digunakan pada ujian OSPE. Sedangkan blok DMS adalah blok dengan
jumlah soal yang yang membutuhkan klarifikasi stem soal terbesar. Kebutuhan klarifikasi
konsep dapat dilakukan melalui kuliah review materi, sedangkan kebutuhan klarifikasi stem
soal dan item soal dilakukan dengan revisi soal.
Tabel 5
Gambaran tindak lanjut perlakuan terhadap soal
Klarifikasi
konsep
Klarifikasi
stem
Klarifikasi
item Total
SSS 8 0 7 15
GIS 2 0 4 6
DMS 1 4 5 10
GUS 1 1 21 23
CVS 7 0 9 16
9
BAB V
PENUTUP
Kesimpulan:
Evaluasi terhadap analisa pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR) perlu
dibandingkan dengan tingkat kesukaran soal berdasar penilaian staf pengajar. Evaluasi
dengan cara ini ini dapat lebih menggambarkan kemampuan mahasiswa menjawab soal.
Saran:
Dengan hasil evaluasi pertanyaan MCQ OSPE berdasar Digital Mark Reader (DMR) dan
penilaian oleh dosen, perlu dipertimbangkan penentuan batas lulus nilai tidak menggunakan
nilai patokan, tetapi berdasar review dosen. Hal ini tentu mebutuhkan daya upaya yang besar
di tahap awal, tetapi bila dilakukan secara terus menerus dan berkesinambungan akan didapat
kan kualitas evaluasi dan kualitas pembelajaran yang makin meningkat.
DAFTAR PUSTAKA
1. Kurikulum FK UPN Veteran Jakarta, MEU FK UPN Veteran Jakarta
2. Panduan Medical Assessment Unit FK UPN Veteran Jakarta
3. Amin Z, Seng CY, Eng KH, 2006. A Practical Guide to Medical Student Assessment,
World Scientific Singapore. ISBN: 978-981-256-808-3
4. Dent A, Harden RM, Practical Guide for Medical Teacher, ISBN 0702045519
5. Ramdani Y, Jurnal Penelitian Pendidikan, Vol. 13 No. 1, April 2012
10
LAMPIRAN 1
Yth. Ka Dep dan Rekan-rekan
Di Departemen......................................
FK UPN Veteran Jakarta
Assalamu’alaikum WrWb
Dengan hormat,
Bersama surat ini, tim evaluasi MCQ OSPE meminta kesediaan Bapak Ibu untuk berkenan
melakukan evaluasi soal berdasar jawaban mahasiswa yang terdokumentasikan oleh scanner.
Evaluasi ini berguna untuk:
1. Melihat kemampuan pembuat soal dalam membuat stem soal, option soal termasuk
distraktor soal.
2. Melihat kemampuan mahasiswa menjawab soal berdasar eavaluasi tingkat kesukaran
soal.
3. Menentukan tindak lanjut.
Berikut sekilas refreshing materi yang diharapkan dapat memfasilitasi Bapak Ibu saat
melakukan evaluasi.
Kegiatan evaluasi pembelajaran mahasiswa di Lab Activity dilakukan dengan soal MCQ.
Soal MCQ ini terdiri dari pokok soal (stem) dan pilihan jawaban. Pilihan jawaban meliputi 1
option kunci jawaban dan 4 jawaban pengecoh (distraktor).
Jawaban mahasiswa terhadap soal akan dievaluasi oleh software Digital Mark Reader.
Evaluasi dilakukan secara individu dan secara keseluruhan. Berdasar jawaban mahasiswa
secara keseluruhan terhadap suatu soal akan diketahui tingkat kesukaran soal. Tingkat
kesukaran soal :
P = indeks kesukaran,
B = banyaknya siswa yang menjawab soal dengan benar,
Jx = jumlah seluruh siswa peserta tes.
P = B/Jx
11
Hasil:
P Klasifikasi Soal
0,00 – 0,30 Soal sukar
0,31 – 0,70 Soal sedang
0,71 – 1,00 Soal Mudah.
Berdasar keseluruhan jawaban mahasiswa terhadap suatu soal akan diketahui daya pembeda
soal.
Daya pembeda soal adalah kemampuan suatu soal untuk membedakan siswa yang
berkemampuan tinggi dengan siswa yang berkemampuan rendah.
Daya pembeda soal:
DB = Daya Pembeda
B a = banyaknya peserta tes kelompok atas yang menjawab soal dengan benar
Ja = banyaknya peserta tes kelompok atas
B b = banyaknya peserta tes kelompok bawah yang menjawab soal dengan benar
Jb = banyaknya peserta tes kelompok bawah
Kisaran angka untuk daya pembeda mulai dari -1,00 sampai 1,00, dengan perincian sebagai
berikut:
a. Nilai minus (-) : daya pembeda sangat jelek, mahasiswa yang kurang secara
akademik dapat menjawab benar, sementara mahasiswa yang pintar menjawab
salah
b. 0,00 – 0,20 : daya pembeda jelek
c. 0,21 – 0,40 : daya pembeda cukup
d. 0,41 – 0,70 : daya pembeda baik
e. 0,71 – 1,00 : daya pembeda sangat baik
Dari kedua penilaian tersebut di atas, maka soal dapat dikategorikan menjadi baik, cukup dan
kurang (dapat dilihat pada kolom keterangan di hasil analisis soal yang kami sertakan).
Terimakasih
Tim Evaluasi OSPE
DB = (Ba/Ja )- (Bb/Jb)
12
Selanjutnya, tugas Bapak Ibu adalah sebagai berikut:
Evaluasi Departemen...............................
pada blok ................................................
UTS/UAS (Coret yg tidak perlu)
1. Evaluasi terhadap soal secara keseluruhan. Adakah soal yang tidak merupakan learning
objektif pembelajaran pada blok yang diujikan. Bila ada, soal no berapa sajakah ?
...............................................................................................................................................
2. Evaluasi terhadap soal secara satu persatu.
Adakah jawaban salah yang dominan ? Jika ada, no berapa ?
Apakah ada kekeliruan kunci ?
No
soal
Kunci Pilihan jawaban
yang dominan
Ada kekeliruan kunci/ tidak
Ada / Tidak
Ada / Tidak
Ada / Tidak
Jika pada jawaban dominan tidak ditemukan kekeliruan kunci, berarti diperlukan tindak
lanjut klarifikasi konsep, misalnya dengan kuliah panel.
3. Evaluasi terhadap soal secara satu persatu.
Adakah kriteria soal sudah sesuai dengan penilaian Bapak Ibu ?
Adakah kriteria soal sukar yang menurut Bapak Ibu tidak sukar ?
Bila ada soal yang dinilai sukar tetapi menurut bapak Ibu tidak sukar, tindak lanjut apa
yang tepat menurut Bapak Ibu, misalnya klarifikasi di lab Act ? Kuliah Panel ?
(Lihat kolom isian di halaman selanjutnya)
4. Evaluasi terhadap soal secara satu persatu.
Adakah kriteria soal “kurang” pada soal yang digunakan pada OSPE ?
Bila ada, apa tanggapan Bapak Ibu ? Misal:
1) Perlu revisi option pilihan jawaban
2) Sulit membuat distraktor (pengecoh)
(Lihat kolom isian di halaman selanjutnya)
13
LAMPIRAN 2
CONTOH HASIL ANALISA DMR
14
LAMPIRAN 3
Contoh Rekapan analisa DMR dan Dosen
15
LAMPIRAN 4
PRESENTASI
16
17
18
19
20