psikometri bab a27

Bab 27

Bank Butir dan Perakitan Ujian

------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian

------------------------------------------------------------------------------

Bab 27

BANK BUTIR DAN PERANGKAT UJIAN

A. Pendahuluan

1. Kumpulan Butir

• Alat ukur termasuk ujian terdiri atas butir dan bahkan terdiri atas sejumlah butir

• Jika butir ini dikumpulkan maka kita memperoleh kumpulan butir

• Di dalam kumpulan butir terdapat berbagai macam kualitas butir dan pada umumnya kualitas itu tidak diketahui


------------------------------------------------------------------------------

2. Kualitas Butir

• Isi butir

Butir memiliki isi berupa materi ujian termasuk klasifikasi mereka, seperti matematika bidang persamaan kuadrat

Butir memiliki cara menjawab butir itu seperti betul-salah, pilihan ganda, dan sejenisnya

• Taraf sukar butir

Biasanya taraf sukar butir diperoleh melalui teori responsi butir yakni parameter b

• Daya beda butir

Jika diperlukan, maka daya beda butir juga diperhatikan, biasanya dalam bentuk parameter a pada teori responsi butir


------------------------------------------------------------------------------

3. Bank Butir

• Kita dapat mencatat kualitas setiap butir pada kumpulan butir termasuk keterangan pembuatan dan pemakaiannya serta bidang ilmunya

• Setelah itu kita juga dapat memilih butir yang memiliki kualitas yang memadai

• Kumpulan butir yang sudah dipilih ini beserta catatan tentang butir itu merupakan bank butir

• Jika isi bank butir ini sudah cukup banyak maka kita dapat menggunakannya untuk menyusun perangkat ujian

• Setelah butir digunakan di dalam perangkat ujian, maka catatan pada butir itu dapat ditambahkan dengan hasil dari penggunaan perangkat ujian itu


------------------------------------------------------------------------------

4. Catatan Butir pada Bank Butir

Bergantung kepada cara mencatatnya, banyak hal tentang butir dicatat di dalam catatan butir

Catatan butir mencakup hal-hal seperti

• Tanda pengenal butir berupa nomor butir

• Ciri butir seperti betul-salah, pilihan ganda, dan sebagainya

• Penulis butir serta saat pembuatannya atau revisinya

• Topik ilmu dari isi butir termasuk spesifikasinya• Tanggal penggunaan butir itu• Parameter butir pada waktu digunakan• Statistik yang berkenaan dengan butir itu• Kunci jawaban butir


------------------------------------------------------------------------------

5. Penyiapan Bank Butir

• Pertama

Menetapkan butir mana yang memadai untuk dimasukkan ke dalam bank butir

• Kedua

Perlu ada responden yang secara teratur dapat digunakan untuk menjawab butir sehingga dapat dilakukan analisis dan kalibrasi

Untuk model 1P diperlukan 100 responden sedangkan untuk model 2P dan 3P diperlukan responden lebih dari itu

• Ketiga

Perlu ditetapkan model responsi butir untuk keperluan estimasi parameter butir dan kekeliruan bakunya

Ada yang menyukai model 1P serta ada yang menyukai model 2P atau 3P


------------------------------------------------------------------------------

• Keempat

Perlu menetapkan isi paparan catatan, klasifikasi, serta kriteria penerimaan dan penolakan butir

• Untuk semua ini diperlukan organisasi yang mengurus bank butir serta peralatan yang digunakan

• Biasanya organisasi yang mengurus bank butir perlu bekerja secara purnawaktu

• Biasanya alat yang digunakan mencakup perangkat komputer serta perangkat program basis data yang sesuai

• Diperlukan juga prosedur untuk menyimpan, memutakhirkan, menambah, membuang, serta menggunakan butir pada bank butir


------------------------------------------------------------------------------

6. Perancangan Bank Butir

I. Butir

A. Pemerolehan dan Pengembangan

B. Klasifikasi

C. Pengelolaan

II. Ujian

A. Perakitan

B. Pengadministrasian, Pensekoran, dan Pelaporan

C. Evaluasi

III. SisTem

A. Pemerlolehan dan Pengembangan

B. Peranti Lunak dan Peranti Keras

C. Pemantauan dan Pelatihan

D. Pengaksesan dan Keamanan


------------------------------------------------------------------------------

IV. Penggunaan dan Penerimaan

A. Umum

B. Peningkatan instruksional

C. Pengujian Adaptif

D. Sertifikasi Kompetensi

E. Evaluasi Program dan Kurikulum

F. Keperluan Pengujian dan Pelaporan yang Ditentukan oleh Pihak Luar

V. Biaya

A. Kelayakan Biaya

B. Perbandingan Biaya


------------------------------------------------------------------------------

B. Pencatatan pada Bank Butir

1. Pendahuluan

• Perlu dirancang sistem pencatatan butir pada bank butir yang akan dibuat

• Untuk penghematan pencatatan, biasanya, sistem pencatatan menggunakan sandi yang singkat

• Perlu dibuatkan program untuk menyimpan, mengedit, mengembangkan atau menambah, membuang, serta menggunakan butir

• Di sini kita melihat tiga contoh sistem pencatatan


-----------------------------------------------------------------------------

2. Sistem Pencatatan D’costa

Contoh catatan

No. Ruas data Isi ruas data

1 Nomor butir : 008

2 Corak butir : A 25.00

3 Penulis butir, tanggal buat : Susi Setiawan

tanggal revisi terakhir : 04-89 07-92

4 Nomor topik dan subtopik : 01.00 01.10.00.00

5 Pendorong untuk belajar : Perbedaan di antara ujian, pengukuran, dan evaluasi

6 Bobot tiap pilihan, norma : 11432 11432 lulus, kelemahan, kemampu- 1010001010 an responden

7 Anjuran untuk belajar bagi : Lihat definisi tentang responden yang gagal ketiga besaran

8 Tanggal penggunaan : 11-07-92


------------------------------------------------------------------------------

Penjelasan

Butir nomor 008

Corak butir A 25.00; D’costa menggunakan 23 corak berupa A, B, C, …, V; Corak A adalah betul-salah dengan alasan; corak K adalah memilih lebih dari satu pilihan

Penulis butir, tanggal buat, dan tanggal revisi adalah Susi Setiawan 04-89 07-92

Nomor topik dan subtopik pelajaran, dalam hal ini, adalah 01.00 dan 01.10.00.00

Pendorong untuk belajar berupa perbedaan di antara ujian, pengukuran, dan evaluasi

Bobot tiap pilihan, norma batas lulus, kelemahan dan ke- mampuan responden berupa sandi 11432 11432 1010001010

Anjuran belajar bagi mereka yang gagal lihat definisi besaran

Tanggal penggunaan 11-07-92


------------------------------------------------------------------------------

3. Sistem UCLA (Universiity of California Los Angeles)

Pada suatu saat, di dalam basis data Banker.dbf, UCLA tercatat

Field Name Type Width Deci 001 idno C 005 000 002 form C 040 000 003 passage C 005 000 004 content C 008 000 005 difcal N 006 002 006 sem N 004 002 007 tfit N 006 002 008 tfitb N 006 002 009 disc N 005 002 010 pbis N 005 002 011 erim N 004 002 012 class C 001 000 013 item C 065 000 014 iteml C 145 000 015 itemo C 145 000 016 difcal2 N 006 002 017 difcal3 N 006 002 018 difcal N 006 002 019 key C 001 000


------------------------------------------------------------------------------

Keterangan

Ruas 001: nomor identifikasi

002: nomor format

003: ungkapan apakah aeda keliru dengar, baca, atau tulis pada pengujian

004: isi butir

005: edifficulty calibration

006: standard error of measurement

007: overall fit t-value

008: between group fit t-value

009: discrimanibility statistic

010: point biserial

011: index of error impact

012: classification information

013: item in short form

014: item in long form

015: item multiple choice option

016: difficulty calibration



019: key


------------------------------------------------------------------------------

4. Sistem Educo International, Inc

Sandi butir terdiri atas 8 digit

X X X X X X X X (1) (2) (3) (4) (5) (6) (7) (8)

(1) sandi pelajaran (2) bab

(3) seksi (4) tujuan instruksional (5) (6) nomor butir (7) (8) nomor versi

Misal: A2310403

A = aljabar 2 = bab 2 3 = seksi 3 1 = tujuan instruksional 1 04 = butir nomor 4 03 = versi nomor 3


------------------------------------------------------------------------------

Sandi mata pelajaran

B = matemtika dasar

D = pra-aljabar

A = aljabar mula

I = aljabar menengah tradisional

M = aljabar menengah modern

P = pra-kalkulus

R = aljabar perguruan tinggi

C = kalkulus I dan II

G = geometri

S = statistika

L = biologi

K = kimia

E = ilmu lingkungan

H = fisika


------------------------------------------------------------------------------

5. Ukuran Bank Butir

Biasanya ukuran bank butir adalah besar dengan banyak butir

Misal

• Ada 10 bab dengan rerata 5 seksi• Tiap seksi 4 tujuan instruksional• Tiap tujuan instruksional 5 butir• Setiap butir ada 4 versi

• Total = 10 x 5 x 4 x 5 x 4 = 4000 butir

Tiap pelajaran dalam bank butir mengandung ribuan butir


------------------------------------------------------------------------------

C. Seleksi Butir dan Pengembangan Bank Butir

1. Pendahuluan

• Butir yang akan dimasukkan ke dalam bank butir perlu diseleksi terlebih dahulu

• Hanya butir yang memadai yang dimasukkan ke dalam bank butir

• Butir diseleksi setelah butir itu digunakan pada uji coba dan memberikan keterangan tentang butir itu

• Ada kalanya uji coba butir dilakukan dengan menitipkan butir itu ke dalam perangkat ujian

• Butir yang terseleksi memerlukan kalibrasi untuk disesuaikan dengan metrik pada bank butir


------------------------------------------------------------------------------

2. Penggandengan (linking)

• Bank butir dapat dibentuk dari awal dengan mencari butir-butir yang memadai

• Bank butir dapat juga disusun dengan jalan menggandengkan (linking) dua atau lebih bank butir melalui kalibrasi

• Bank butir dapat juga diperluas dengan menggandengkan bank butir lain ke bank butir yang ada melalui kalibrasi

• Bank butir dapat dikembangkan dengan menggandengkan butir- butir baru ke bank butir melalui kalibrasi


------------------------------------------------------------------------------

3. Menambah Isi atau Mengganti Butir Usang pada Bank Butir

• Untuk mengembangkan bank butir, butir baru ditambahkan ke dalam bank butir

• Karena perubahan kurikulum, butir menjadi usang sehingga butir perlu diganti

• Pada penambahan atau penggantian butir, butir baru perlu dikalibrasi ke metrik butir yang ada di dalam bank butir

• Kalibrasi butir dilakukan melalui penyetaraan parameter ke metrik pada bank butir

• Jika kalibrasi dilakukan terhadap butir yang belakangan masuk, lama-lama kekeliruan kecil berakumulasi menjadi besar


------------------------------------------------------------------------------

Akumulasi kekeliruan kecil

penyetaraan

Keliru kecil

Keliru kecil

Keliru kecil

Keliru kecil

Kumulasi keliru kecil menjadi besar


------------------------------------------------------------------------------

4. Kalibrasi Gandeng Melingkar

Untuk menghindari kumulasi keliru kecil pada kalibrasi dilakukan kalibrasi gandeng melingkar

Kumulasi keliru GAB + GBC + GCA = 0

Di UCLA, gandengan ini dilingkarkan pada ujian di empat musim: musim semi, musim panas, musim gugur, dan musim dingin

•

• •

Ujian A

Ujian BUjian C

GAB

GBC

GCA


------------------------------------------------------------------------------

5. Kekeliruan pada Penyetaraan pada Model 1P

Kekeliruan baku konstanta translasi ketika penyetaraan skala dilakukan di antara ujian A dan ujian B

Kekeliruan penyetaraan adalah

dengan

M = banyaknya peserta yang mengerjakan butir gandengan

N = banykanya butir gandengan

biA = taraf sukar butir pada butir gadengan di A

biB = taraf sukar butir pada butir gandengan di B

N

bb

MNG BA iiAB

−== 53,


-----------------------------------------------------------------------------

6. Distrubusi Probabilitas Kekeliruan Penyetaraan

Kekeliruan penyetaraan membentuk distribusi probabilitas khi-kuadrat

Pada satu butir gandengan

Pada semua butir gandengan

Melalui gandengan melingkar, kekeliruan penyetaraan ini dapat dicegah

11222

−−−≈

N

NMGbb ABiii BA

)(χ

1121

22

−−−= ∑

= N

NMGbb

N

iABii BA)(χ


------------------------------------------------------------------------------

D. Perakitan Perangkat Ujian

1. Cara perakitan

• Perakitan perangkat ujian dilakukan dengan mengambil butir dari bank butir

• Dengan sasaran ukur atau ujian tertentu, pengambilan butir dari bank butir dilakukan dengan memilih butir dengan karakteristik yang memadai

• Karena itu isi bank butir harus cukup banyak sehingga pemilihan dapat dilakukan dengan bebas

• Dengan banyaknya isi bank butir peserta ujian tidak dapat mengingat semua isi bank butir


-----------------------------------------------------------------------------

2. Sasaran Ujian

• Sebelum perangkat ujian dirakit diperlukan sasaran ujian yang ditentukan

• Sasaran ujian ditentukan melalui fungsi informasi sasaran ujian

• Sasaran ujian yang berbeda memerlukan fungsi informasi sasaran ujian yang berbeda

• Selain bentuk fungsi informasi sasaran ujian, taraf sukar butir juga perlu ditentukan terlebih dahulu

• Dengan fungsi informasi sasaran ujian yang ditentukan dipilih butir dari bank butir agar fungsi informasi ujian memenuhi bentuk fungsi informasi sasaran ujian

• Dalam pelaksanaannya dapat saja butir dipasang dan dicabut sehingga mencapai bentuk yang ditentukan


------------------------------------------------------------------------------

Contoh fungsi informasi sasaran ujian

Pada suatu ujian, fungsi informasi sasaran ujian yang ditentukan adalah sebagai berikut

Sasaran: I(θ) = 4,00 KB(θ) = 0,50

– 3 ≤ θ ≤ 3

Fungsi informasi ujian

θ

1

2

3

4

5

–2 –1 0 1 2 3

sasaran


------------------------------------------------------------------------------

Contoh lain fungsi informasi sasaran ujian

Pada suatu ujian, fungsi informasi sasaran ujian yang ditentukan adalah sebagai berikut

Sasaran: I(θ) = 4,00 KB(θ) = 0,50

– 3 ≤ θ ≤ 3


θ

1

2

3

4

5

–2 –1 0 1 2 3

sasaran


------------------------------------------------------------------------------

3. Spesifikasi Ujian

• Perlu ada kejelasan tentang dimensi yang akan diukur dengan ujian

• Perlu ada ketentuan tentang panjang ujian

• Perlu ada ketentuan tentang bentuk fungsi informasi sasaran ujian

• Perakitan perangkat ujian dapat dilakukan dengan bantuan komputer berdasarkan spesifikasi ujian

• Bank butir perlu mengandung cukup banyak dan berjenis butir sehingga dapat memenuhi keperluan yang ditentukan oleh spesifikasi ujian


------------------------------------------------------------------------------

4. Pemilihan Butir

• Isi butir perlu sesuai dengan sasaran ukur yakni memenuhi syarat validitas

• Dicari butir yang sesuai yakni dari bank butir dipilih butir yang dapat mengisi wilayah fungsi informasi sasaran ujian (termasuk bagian wilayah yang susah diisi)

• Setelah menemukannya, butir ditambahkan ke dalam perangkat ujian dan hitunglah fungsi informasi ujian

• Teruskan pengisian dengan butir sehingga fungsi informasi ujian cukup memenuhi fungsi informasi sasaran ujian


------------------------------------------------------------------------------

Contoh pengisian perangkat ujian

Masih perlu dicari butir dengan parameter yang dapat mengisi wilayah fungsi informasi sasaran ujian yang masih belum terisi


1

2

3

4

5

θ–2 –1 0 1 2 3

10 butir

15 butir

20 butir


------------------------------------------------------------------------------

5. Rancangan Perangkat Ujian Optimal

Tentukan fungsi informasi sasaran ujian

Memilih butir sehingga secara aditif, fungsi informasi ujian mencapai sasaran, dengan

• Minimisasi panjang ujian

• Maksimisasi fungsi informasi ujian• Minimisasi penyimpangan dari fungsi informasi

sasaran ujian• Minimisasi waktu penyelenggaraan ujian• Kombinasi dari hal di atas

Pelaksanaannya dilakukan dengan bantuan komputer


------------------------------------------------------------------------------

6. Pengembangan Perangkat Ujian

Pengembangan perangkat ujian mencakup

Konseptualisasi Ujian

Konstruksi Ujian

Ujian Coba Ujian

Analisis Butir

Revisi Butir

• Konseptualisasi Ujian

Tujuan ujian

Kegiatan Rintisan (pilot)

• Konstruksi Ujian

Penskalaan

Penulisan Butir

Pensekoran Butir


------------------------------------------------------------------------------

• Uji Coba Ujian

Kriteria Butir Baik

Reliabilitas

Validitas

Validasi Silang

• Analisis Butir

Taraf Sukar Butir

Daya Beda Butir

Pemeriksaan Pengecoh (untuk pilihan ganda)

• Revisi Ujian

Cara Revisi

psikometri bab a27

Education