Pedoman Administrasi Bank Soal Uji Kompetensi Nasional

Tenaga Kesehatan Indonesia (Dokter, Dokter Gigi, Perawat, Bidan)

Health Professional Education Quality Project Direktorat Jenderal Pendidikan Tinggi

Kementrian Pendidikan Nasional Jakarta 2010

Daftar Istilah

Istilah yang digunakan pada aplikasi SIPENA

Area : pembagian wilayah kerja seperti Lokal, Regional, dan Nasional

Profesi/Bidang: kelompok profesi kesehatan seperti Medical, Dentistry, Nursery, dan midWifery

Institusi: Universitas dengan atribut terkecil, contoh Universitas Padjadjaran Fakultas Kedokteran, atau POLTEKKES KEMENKES MEDAN - Prodi Kebidanan Langsa

IBA : Item Bank Administrator / Administrator Bank Soal (ABS)

CBT : Computer based testing

OSCE : Objective Structured Clinical Examination

1. Pendahuluan Upaya peningkatan sistem ujian pada pendidikan dokter yang menjadi fokus Komponen 2 HPEQ Project mensyaratkan adanya suatu proses pelaksanaan ujian yang kredibel, efektif, dan efisien sesuai dengan tingkat kepentingan ujian yang tinggi (High Stake Exam). Salah satu metode ujian yang akan digunakan adalah ujian tertulis dengan dukungan teknologi berbasiskan computer atan disebut juga sebagai computer-based testing (CBT). Untuk itu maka diperlukan upaya untuk mempersiapkan suatu sistem pengelolaan Bank Soal yang sangat kredibel baik dari segi keamanannya, maupun kemudahan dari proses administrasinya dengan dukungan piranti perangkat lunak dan keras yang memadai.

Di samping upaya peningkatan kualitas pembuatan dan review soal, diperlukan pula sumber daya manusia pendukung yang dapat secara handal dapat mengelola Bank Soal yang kredibilitasnya sangat tinggi baik dari sisi penguasaan teknis maupun tingkat kepercayaan dalam mengemban kerahasiaanya. Mengingat kepentingan hal itu maka diperlukan serangkaian pelatihan bagi para calon pengelola atau administrator Bank Soal baik di tingkat nasional maupun regional. Dengan demikian proses ujian yang berjalan akan dapat terlaksana dengan lancar dan aman.

Untuk mendukung kelancaran mekanisme tersebut maka telah dirancang suatu sistem pengelolaan bank soal yang berbasiskan teknologi dan informasi dalam bentuk SIPENA 02.01 ss-100828. Pedoman ini dibuat untuk membantu pengelola bank soal dalam memahami mekanisme kerja sebagai pengelola bank soal baik di tingkat nasional, regional maupun lokal serta mempermudah pengenalan dan pengoperasionalan aplikasi yang digunakan.

2. Tingkatan Administrator bank soal 1. tingkat nasional, yang mengelola bank soal sesuai profesi di tingkat nasional 2. tingkat regional, yang mengelola bank soal sesuai profesi di regional/wilayah3. tingkat lokal, yang mengelola bank soal di instutusi

3. Kriteria Adminitrator Bank Soal 1. Tingkat Administrator Nasional

a. Jujur dan amanah b. Memiliki pemahaman tentang Student Assessment c. Memahami kompetensi tenaga kesehatan d. Memahami analisis soal e. Memahami software Item Bank NCE

2. Tingkat Administrator Regional a. = IBA National b. Koordinator IB Admin Regional yang dipilih mewakili Regional/wilayah masing-masing

3. Tingkat Administrator Lokal a. = IBA Nasional b. Ketua Unit/Tim Evaluasi di institusi

4. Tingkat Item Writer:

a. Dosen/Pembuat soal sesuai bidang keilmuan

4. Tugas Administrator Bank Soal 1. Mengelola Bank Soal yang menjadi tanggung jawabnya 2. Mengelola soal yang telah memenuhi format dan struktur yang ditetapkan 3. Bekerja sama dengan Koordinator Pengembang Soal menyelenggarakan review soal 4. Disarankan tidak melakukan telaah terkait materi/substansi soal 5. Melakukan proses seleksi buku soal sesuai blue print yang telah ditetapkan6. Membuat analisis soal dan memberikan feedback kepada pembuat soal 7. Melakukan sosialisasi item bank soft ware kepada pengguna 8. Bekerja sama dengan tenaga teknisi, melakukan pembaruan software dan pemeliharaan

terhadap virus/threat/spam secara berkala

5. Peran IBA dalam Koordinasi Pengembangan Soal 1. IBA bekerja sama dengan koordinator pengembangan soal untuk menyelenggarakan review soal

baik di tingkat fakultas/program studi, regional maupun nasional 2. Soal yang baik akan menjadi masuk ke dalam Item Bank 3. IBA menjalankan program pemilihan soal berdasarkan blue print yang telah ditentukan 4. IBA memberikan laporan rekapitulasi soal kepada Koordinator CBT & OSCE Center serta IBA

regional/lokal

6. PERAN DAN TANGGUNG JAWAB IBA 6.1 Institutional/lokal1. Peran:

Administrator bank soal institusi adalah tim yang bertanggung jawab terhadap pengumpulan dan penyimpanan soal di tingkat institusi

2. Tanggung jawab:a. Collecting: mengumpulkan soal dari block/modul item administrators untuk selanjutnya

memberikan soal dengan kriteria baik kepada IBA regionalb. Analyzing: meminta tim reviewer untuk melakukan item review and analysisc. Sorting: memilah soal yang sudah dianalisis, apakah akan disimpan dalam bank soal atau

didaur ulang/koreksid. Banking: menjaga/maintenance of item bank (kapasitas menguasai software dari item

bank)e. Reporting: melaporkan kepada penulis soal umpan balik dalam bentuk analisis soal

kepada pembuat soal serta melaporkan bank soal kepada pimpinan fakultas. f. Pembuatan buku soal untuk ujian di insitusi yang menggunakan bank soal

6.2 Regional1. Peran:

Administrator bank soal regional adalah tim yang bertanggung jawab terhadap pengumpulan dan penyimpanan soal di tingkat wilayah regional

2. Tanggung jawab:a. Collecting: mengumpulkan soal dari IBA lokal serta menyerahkan soal baik yang telah

direview kepada IBA nasional b. Analyzing: meminta tim reviewer regional untuk melakukan item review and analysisc. Sorting: memilah soal yang sudah dianalisis, apakah akan disimpan dalam bank soal atau

didaur ulang/koreksid. Banking: menjaga/maintenance of item bank (kapasitas menguasai software dari item

bank).e. Reporting: melaporkan kepada penulis soal umpan balik dalam bentuk analisis soal

kepada pembuat soal serta melaporkan jumlah & kriteria bank soal kepada IBA lokal di wilayahnya

f. Pembuatan buku soal untuk ujian formatif di wilayahnya 6.3 Nasional3. Peran:

Administrator bank soal nasional adalah tim yang bertanggung jawab terhadap pengumpulan dan penyimpanan soal untuk uji kompetensi nasional tenaga kesehatan

4. Tanggung jawab:a. Collecting: mengumpulkan soal dari IBA regional b. Analyzing: meminta tim reviewer nasional/peer review untuk melakukan item review

dan analysisc. Sorting: memilah soal yang sudah dianalisis, apakah akan disimpan dalam bank soal atau

didaur ulang/koreksid. Banking: menjaga/maintenance of item bank (kapasitas menguasai software dari item

bank).e. Reporting: melaporkan kepada penulis soal umpan balik dalam bentuk analisis soal

kepada pembuat soal serta melaporkan jumlah & kriteria bank soal kepada IBA lokal di wilayahnya

f. Pembuatan buku soal untuk ujian sumatif sesuai profesinya berdasarkan blue print

KETERANGAN 1. Pembuat soal membuat soal sesuai blue print dan format soal yang telah ditentukan. 2. Soal dikumpulkan kepada Lokal IB Admin 3. Lokal IB Admin bekerja sama dengan Local Item Developer menelaah soal sesuai format yang

telah ditentukan 4. Soal yang sesuai format dimasukkan ke dalam Lokal IB 5. Lokal IB bisa digunakan untuk soal masing-masing institusi baik ujian formatif maupun sumatif 6. Lokal IB Admin mengumpulkan soal dari Lokal IB kepada Regional IB Admin sesuai jumlah soal

yang diminta 7. Regional IB Admin bekerja sama dengan Coordinator Regional Item Development menelaah soal

sesuai struktur yang telah ditentukan 8. Soal yang sesuai struktur dimasukkan ke dalam Regional IB 9. Regional IB bisa digunakan masing-masing regional untuk ujian formatif/try out 10. Soal dari Regional IB Admin diserahkan kepada National IB Admin soal ini menjadi National IB 111. National IB Admin menyelenggarakan Item Review Nasional untuk menelaah NIB 1 sesuai

kompetensi 12. Soal yang baik ditelaah selanjutnya oleh Panel Expert Review13. Soal yang diterima dimasukkan ke dalam National IB 214. National IB 2 digunakan untuk NCE dalam bentuk non scored item untuk uji coba 15. Soal dari Non scored item yang secara statistik analisis baik dimasukkan ke dalam NIB 3

Writer/ Reviewer Local

IB Local IBA Local

IB Regional III

R3

IBA Regional

IB Nasional

Panel Review

Peer ReviewIBA Nasional

16. Soal untuk NCE terdiri dari 150 soal NIB 3 dan 50 soal NIB 2 17. National IB Admin memberikan umpan balik terhadap analisis soal kepada pembuat soal

Prosedur Pengkodean Pembuat dan Reviewer Soal Uji Kompetensi Dokter Indonesia

1. Kriteria Pembuat Soal- Pembuat soal adalah ahli di bidang kedokteran dan kesehatan sesuai dengan garis besar materi

ujian - Pembuat soal dapat berasal dari kalangan dosen, praktisi bidang kedokteran dan kesehatan- Pembuat soal mengetahui dan memahami kompetensi minimal yang harus dikuasai seorang

dokter umum yang akan melakukan praktik kedokteran di Indonesia (Standar Kompetensi Dokter Indonesia)

- Persyaratan di atas dibuktikan melalui ”Curriculum Vitae” (CV) dan sertifikat pelatihan dalam bidang ”student assessment”

2. Kriteria Reviewer Soal- Reviewer soal adalah ahli yang berpengalaman di bidang kedokteran dan kesehatan sesuai

dengan garis besar materi ujian- Reviewer soal bisa berasal dari kalangan dosen, praktisi bidang kedokteran dan kesehatan- Reviewer soal telah pernah mengikuti pelatihan dalam bidang “student assessment” baik dalam

maupun luar negeri- Persyaratan di atas dibuktikan melalui CV dan sertifikat pelatihan

3. Prosedur Pengkodean- Pembuat dan reviewer soal harus diberikan kode yang unik yang merupakan identitas yang

bersangkutan dalam pengadministrasi soal- Pengkodean Pembuat dan Reviewer oal dilakukan oleh Administrator Bank Soal Institusi dan

diklasifikasi berdasarkan:o Asal institusi dari pembuat dan reviewer soalo Bagian/departemen yang merupakan “homebase” dari pembuat dan reviewer soalo Nomor Urut pembuat/reviewer soal di institusi asal

- Kode institusi asal pembuat/reviewer soal adalah sebagai berikut:

Daftar Kode Institusi Pendidikan Dokter di Indonesia

Nama Institusi Kode InstitusiUniversitas Syiah Kuala 01Universitas Abulyatama 02Universitas Sumatra Utara 03Universitas Islam Sumatra Utara 04Universitas Methodist Indonesia 05

Nama Institusi Kode InstitusiUniversitas Andalas 06Universitas Baiturahmah 07Universitas Riau 08Universitas Lampung 09Universitas Malahayati 10Universitas Sriwijaya 11Universitas Jambi 12Universitas Trisakti 13Universitas Kristen Krida Wacana 14Universitas Pelita harapan 15Universitas Indonesia 16Universitas Katolik Atmajaya 17Universitas YARSI 18Universitas Muhammadiyah Jakarta 19Universitas Kristen Indonesia 20Universitas Tarumanagara 21Universitas Pembangunan Nasional Veteran 22Universitas Padjadjaran 23Universitas Kristen Maranatha 24Universitas Jenderal Achmad Yani 25Universitas Islam Bandung 26Universitas Diponegoro 27Universitas Islam Sultan Agung 28Universitas Jenderal Soedirman 29Universitas Gajah Mada 30Universitas Muhammadiyah Yogyakarta 31Universitas Sebelas Maret 32Universitas Islam Indonesia 33Universitas Muhammadiyah Surakarta 34Universitas Brawijaya 35Universitas Muhammadiyah Malang 36Universitas Islam Malang 37Universitas Jember 38Universitas Airlangga 39Universitas Hang Tuah 40Universitas Wijaya Kusuma Surabaya 41

Nama Institusi Kode InstitusiUniversitas Udayana 42Universitas Mataram 43Universitas Islam Al-Azhar Mataram 44Universitas Lambung Mangkurat 45Universitas Mulawarman 46Universitas Hasanuddin 47Universitas Muslim Indonesia 48Universitas Sam Ratulangi 49Universitas Cendrawasih 50Universitas Tanjungpura 51Universitas Syarif Hidayatullah 52Universitas Muhammadiyah Palembang 53Universitas Abdurrab 54Universitas Batam 55Universitas Bengkulu 56Universitas Swadaya Gunung Jati 57Universitas Warmadewa 58Universitas Nusa Cendana 59Universitas Pattimura 60Universitas Muhammadiyah Makassar 61Universitas Tadulako 62Universitas Muhammadiyah Semarang 63Universitas Haluoleo-kendari 64Universitas Prima Indonesia 65Universitas Muhammadiyah Sumatera Utara 66Universitas HKBP Nomensen-medan 67Universitas Malikussaleh- Lhokseumawe 68Institut Ilmu Kesehatan Bhakti Wiyata Kediri 69Universitas Al Khairaat - palu 70Universitas Indonesia Timur 71Universitas Kristen Krida Duta Wacana 72Institusi selain Institusi Pendidikan Dokter 73

- Kode bagian/depatemen “home base” asal pembuat/reviewer soal adalah sebagai berikut:

Daftar Kode Asal Bagian/Departemen Pembuat dan Revier Soal UKDI

Departemen/Bagian Kode Bagian/DepartemenKimia Medik 01Biologi Medik 02Histologi 03Anatomi 04Biokimia 05Faal 06Farmakologi 07Farmasi Medik 08Mikrobiologi 09Parasitologi 10Ilmu Kesehatan Masyarakat 11Ilmu Gizi 12Epidemiologi dan Biostatistika 13Patologi Anatomi 14Patologi Klinik 15Anestesiologi 16Ilmu Kedokteran Jiwa 17Ilmu Kesehatan Anak 18Ilmu Penyakit Dalam 19Ilmu Penyakit Kulit dan Kelamin 20Ilmu Penyakit Saraf 21Radiologi 22Ilmu Kedokteran Nuklir 23Ilmu Bedah 24Ilmu Bedah Saraf 25Ilmu Bedah Orthopaedi 26Ilmu Kebidanan dan Penyakit Kandungan 27Ilmu Penyakit Mata 28Ilmu Penyakit Gigi dan Mulut 29Ilmu Penyakit THT 30Ilmu Kedokteran Kehakiman 31Ilmu Kedokteran Fisik dan Rehab 32Bioetik dan Humaniora 33Kedokteran Keluarga 34Kardiologi dan Kedoktean Vaskuler 35

- Urutan pengkodean pada pembuat/reviewer soal adalah sebagai berikut:“Kode Institusi” – “Kode Bagian/Departemen” – “Nomor Urut”

XX – XX – XXXX

- Contoh (yang dilakukan oleh Administrator Bank Soal di Universitas Padjadjaran) :

Nama Lengkap (sesuai CV) Asal Institusi Bagian KodeArif S. Kartasasmita, dr., SpM., M.Kes Universitas Ilmu Penyakit 23-29-001

Padjadjaran MataMohammad Ghozali, dr. Universitas

PadjadjaranBiokimia 23-05-002

Sari Puspa dewi, dr., MHPE Universitas Padjadjaran

Biokimia 23-05-003

- Bagi pembuat/reviewer soal yang berasal dari institusi selain institusi pendidikan dokter, seperti praktisi kesehatan di Puskesmas, Rumah Sakit non Pendidikan, Perhimpunan, Kolegium, dan lain-lain, maka yang bersangkutan harus dapat memenuhi kriteria pembuat/reviewer soal serta menyampaikan soal ke Adminstrator Bank Soal Regional.

- Pengkodean pembuat/reviewer soal adalah sebagai berikut:o Kode asal institusi diberikan kode 73o Kode bagian/departemen disesuaikan dengan bidang ilmu/kepakaran

pembuat/reviewer soal

Prosedur Penggunaan Aplikasi Administrasi Bank Soal (Item Bank)

Log In- Fitur ini adalah gerbang awal seorang pengguna aplikasi dalam mengelola soal, dengan cara

memasukkan username dan password yang telah disediakan- Level pengguna aplikasi beserta fitur-fitur yang menyertainya adalah sebagai berikut:1. Item Bank Administrator

a. Menginput soal barub. Mengedit soalc. Menambahkan/mengubah spesifikasi soal berdasarkan tinjauan, penulis soal dan

referensid. Menghapus soale. Mencari soal yangtersimpan dalam bank sesuai dengan tinjauan yang diinginkanf. Menginput jenis/klasifikasi tinjauan soalg. Memproduksi dan mengedit Buku Ujianh. Menambahkan, mengedit dan menghapus pengguna aplikasi bank soal, seperti Penulis

dan Penelaah Soali. Melakukan “back up” pada aplikasi

2. User Biasa (Penulis Soal/Item Writer, Penelaah Soal/Reviewer Soal)a. Menginput soal barub. Mengedit soalc. Menambahkan/mengubah spesifikasi soal berdasarkan tinjauan, penulis soal dan

referensid. Menghapus soale. Mencari soal yangt ersimpan dalam bank sesuai dengan tinjauan yang diinginkan

- Item Bank Administrator memiliki kewenangan dalam menambahkan, mengedit dan menghapus pengguna aplikasi bank soal, seperti Penulis dan Penelaah Soal. Sehingga username dan password User Biasa ditentukan dan diinput oleh Item Bank Administrator.

- Masukan username dan password pada kolom yang disediakan

HomeBerikut adalah tampilan yang akan muncul di layar komputer Anda setelah sukses menginstall aplikasi dan log in:

Item Bank- Kegunaan fitur Item Bank:

o Menginput soal baruo Mereview soalo Menambahkan/mengubah spesifikasi soal berdasarkan tinjauan, penulis soal dan

referensio Menghapus soalo Mencari soal yang tersimpan dalam bank sesuai dengan tinjauan yang diinginkano Mereview soal berdasarkan formulir/cek lis review soal

- Cara menginput soal baru:1. Pada tampilan Home, pilih dan klik menu drop down box “Item Bank”2. Pilih “Data Soal”, maka

akan muncul tampilan sebagai berikut:

3. Pilih dan Klik ikon “TAMBAH” untuk menambah soal baru4. Pilih tinjauan soal sesuai dengan spesifikasi soal yang diinginkan5. Ketik/Inputkan soal pada kolom yang telah disediakan yaitu Vignette, Jawaban, Komentar

Soal, Penulis Soal dan Referensi6. Menginputkan jawaban soal degan cara memilih/mengklik kotak yangterdapat di sebelah

kanan kolom jawaban7. Kolom komentar soal disediakan bagi penulis soal untuk memberikan pernyataan yang

berkaitan dalam menentukan jawaban soal8. Pilih/klik “Save” untuk menyimpan soal yang telah diinputkan9. Anda akan kembali pada tampilan Data Soal

- Cara mencari dan mereview soal yang tersimpan dalam bank soal:1. Pilih “Data Soal”2. Pilih klasifikasi pencarian soal berdasarkan tinjauan yang disediakan atau pilih soal yang

akan diedit dengan memilih ikon tanda panah pada sudut kanan bawah pada tampilan Data Soal

3. Pilih/klik ikon Buku dan Pensil untuk memulai mengedit soal4. Pilih tinjauan soal sesuai dengan spesifikasi soal yang diinginkan5. Ketik/Inputkan soal pada kolom yang telah disediakan yaitu Vignette, Jawaban, Komentar

Soal, Penulis Soal dan Referensi6. Menginputkan jawaban soal degan cara memilih/mengklik kotak yang terdapat di sebelah

kanan kolom jawaban7. Kolom komentar soal disediakan bagi penulis soal untuk memberikan pernyataan yang

berkaitan dalam menentukan jawaban soal8. Pilih ikon review soal9. Isi dan pilih formulir review soal10. Pilih/klik “Save” untuk menyimpan soal yang telah diinputkan11. Anda akan kembali pada tampilan Data Soal

- Cara mencari dan menghapus soal yang tersimpan dalam bank soal:1. Pilih “Data Soal”

2. Pilih klasifikasi pencarian soal berdasarkan tinjauan yang disediakan atau pilih soal yang akan diedit dengan memilih ikon tanda panah pada sudut kanan bawah pada tampilan Data Soal

3. Pilih/klik ikon “Tempat Sampah” untuk menghapus

Data Soal- Fitur ini memberikan laporan/rekapitulasi dari soal yang tersimpan dalam Bank Soal

berdasarkan tinjauan soal- Contoh tampilan rekapitulasi soal adalah sebagai berikut:

Prosedur Penggunaan Aplikasi Administrasi Bank Soal (Adminsitrasi Pengguna)

Admin User- Kegunaan fitur Admin User:

1. Mengaktifkan penggunaan aplikasi2. Menambahkan dan mengaktifkan pengguna aplikasi 3. Mendaftarkan username dan password bagi para pengguna aplikasi4. Menghapus pengguna aplikasi5. Mencari dan menampilkan daftar pengguna aplikasi yang didaftarkan oleh Item Bank

Administrator berdasarkan nama

- Cara mengaktifkan aplikasi1. Pada saat pertama kali log in, ketikkan username: admin. Pasword : admin2. Pilih menu Data User dan pilih/klik Aktivasi Pengguna.3. Pilih/klik “TAMBAH”4. Masukkan data diri Item Bank Administration.5. Hal-hal yang harus diperhatikan dalam mendaftarkan username dan password:

Item Bank Administrator adalah tim atau staf pengajar yang ditunjuk/ditugaskkan oleh institusi untuk mengelola soal, baik di tingkat institusi, regional dan nasional.

Username dan password harus unik dan mudah dihapal oleh empunya Item Bank Administrator memilih tipe user dan tipe level Administrator, sehingga

memiliki kewenangan dalam menambah, menghapus dan mengedit user lain seperti Item Writer, Item Reviewer, Item Bank Admin, Exam Coordinator dan Student

Item Bank Administrator dapat dibuat lebih dari 1 orang, sesuai SOP/Kebijakan yang berlaku

6. PIlih/klik Save. Pada layar akan muncul tampilan di bawah ini:

7. Pada tampilan Home, pilih Aktifasi Pengguna8. Pilih/klik aktifkan sesuai dengan nama user yang akan diaktifkan9. Pilih/klik aktifasi instansi. Prosedur ini bertujuan untuk mengaktifkan institusi asal dari Item Bank

Adminsitrator dan pengguna lainnya10. Aktifkan institusi dengan memilih dan klik institusi untuk mengaktifkan, seperti yang muncul

pada tapilan di bawah ini:11. Pilih Log Out12. Masukkan username dan password Item bank Administrator

- Cara mendaftarkan, mengedit dan menghapus username dan password bagi para pengguna aplikasi:

1. Pilih admin user, kemudian klik aktifasi pengguna2. Pilih “TAMBAH” untuk menambah pengguna aplikasi3. Pilih ikon loupe/kaca pembesar untuk melihat detil input4. Pilih ikon pensil untuk mengedit data input pengguna5. Pilih ikon tanda silang unutk menghapus user.