cat rrad - unismuh
TRANSCRIPT
ii
ABSTRAK
RUKLI: Pengembangan Computerized Adaptive Testing dengan Metode Futsuhilow,
Fusuhilow, dan Fumahilow. Disertasi. Yogyakarta: Program Pascasarjana
Universitas Negeri Yogyakarta, 2012.
Penelitian ini bertujuan untuk: (1) pengembangan model Computerized
Adaptive Testing (CAT) yang disebut CerdasCAT dengan metode Futsuhilow,
Fusuhilow, dan Fumahilow berdasarkan model Rasch; (2) menerapkan model CAT
untuk menghasilkan kemampuan peserta tes, panjang tes, tingkat exposure butir soal,
galat baku penaksiran parameter kemampuan, dan waktu respon butir soal; (3)
menemukan prosedur penerapan DSS dalam CAT; dan (4) menerapkan DSS dalam
model CAT untuk menghasilkan laporan kelulusan peserta tes.
Penelitian ini menggunakan model Revised of Rapid Application Development
(RRAD) melalui enam tahap yaitu pemodelan bisnis, pemodelan data, pemodelan
proses, pembentukan aplikasi, pengujian, dan diseminasi. Uji coba CerdasCAT
dilakukan secara simulasi dan pengujian secara terbatas di sekolah dasar. Uji coba
melibatkan dua sekolah dengan menggunakan purposive sampling. Peserta tes dipilih
secara acak dari dua sekolah tersebut sebanyak 90, kemudian peserta tes tersebut
dikelompokkan secara acak ke dalam tiga kelas, yaitu: kelas Futsuhilow sebanyak 30
peserta tes, kelas Fusuhilow sebanyak 30 peserta tes, dan kelas Fumahilow sebanyak 30
peserta tes. Butir soal berasal dari Ujian Nasional Sekolah Dasar. Jumlah butir soal
tersebut sebanyak 240 butir.
Hasil penelitian menunjukkan sebagai berikut. Pertama, CerdasCAT
memberikan butir soal adaptif terhadap kemampuan peserta tes dalam menghasilkan
panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan,
dan waktu respon butir soal secara optimal. Kedua, metode Fusuhilow memiliki
panjang tes yang paling pendek. Metode Fumahilow memiliki tingkat exposure butir
soal yang paling kecil. Metode Futsuhilow memiliki rerata galat baku penaksiran
parameter kemampuan yang paling kecil dan memiliki rerata waktu respon butir soal
yang paling kecil. Ketiga, CerdasCAT menghasilkan kemampuan peserta tes.
Pengolahan data tersebut menggunakan prosedur DSS, yakni pembobotan SKL,
pembobotan domain, dan pembobotan kriteria penilaian dalam batasan kuota
maksimum dan skor minimum. Keempat, penerapan DSS pada CerdasCAT
memberikan informasi yang sesuai dengan kriteria user dalam menentukan peserta tes
yang lulus ujian.
Keywords: CAT, model Rasch, Futsuhilow, Fusuhilow, Fumahilow
iii
ABSTRACT
RUKLI: The Development of Computerized Adaptive Testing by the Futsuhilow,
Fusuhilow, and Fumahilow Methods. Dissertation. Yogyakarta: Graduate School,
Yogyakarta State University, 2012.
This study aims to: (1) develop Computerized Adaptive Testing (CAT) model
called CerdasCAT by Futsuhilow, Fusuhilow, and Fumahilow methods based on
Rasch models; (2) apply the CAT model to obtain examinees’ ability, test lengths,
item exposure levels, standard errors of ability parameter estimates, and item response
time; (3) find the application procedure of DSS in the CAT; and (4) apply DSS in
CAT models to obtain graduation reports of the examinees.
This study used a model of Revised Rapid Application Development (RRAD)
through eight stages of business modeling, data modeling, process modeling,
application creation, testing, and dissemination. CerdasCAT tryouts were conducted
in simulation and testing on a limited basis in primary schools. The tryouts involved
two schools selected using the purposive sampling technique. The examinees were
randomly selected from two schools as many as 90, and then they were grouped
randomly into three classes, namely the class for Futsuhilow consisting of 30
examinees, the class for Fusuhilow consisting of 30 examinees, and the class for
Fumahilow consisting of 30 examinees. The items were taken from of the Primary
School National Examination. The total number of items was 240.
The results of the research are as follows. First, the CerdasCAT model gives
adaptive items to obtain examinees’ ability, test lengths, item exposure levels,
standard errors of ability parameter estimates, and item response time maximally.
Second, the Fusuhilow method has the shortest test length. The Fumahilow method
has the lowest item exposure level. The Futsuhilow method has the smallest mean of
standard errors of the ability parameter estimate and has the shortest item response
time. Third, CerdasCAT produces examinees’ ability. The data processing procedures
use DSS, namely the weighting of SKL, the weighting of domain, and the weighting
of assessment criteria in terms of maximum quota and minimum scores. Fourth, the
DSS implementation in CAT model provides information relevant to users’ criteria in
determining which examinees pass the exam.
Keywords: CAT, Rasch models, Futsuhilow, Fusuhilow, Fumahilow
iv
vi
KATA PENGANTAR
Alhamdulillah, penulisan disertasi dengan judul Pengembangan Computerized
Adaptive Testing dengan Metode Futsuhilow, Fusuhilow, dan Fumahilow telah
diselesaikan oleh penulis dengan melibatkan bantuan dari berbagai pihak. Oleh karena
itu, penulis menyampaikan ucapan terima kasih dan penghargaan setinggi-tingginya
kepada:
1. Orang tua, mertua, dan keluarga besar penulis di Soppeng-Makassar dan Dago-
Bandung yang telah memberikan segalanya selama perkuliahan dalam
mendampingi keluarga saya dengan bantuan, doa, dan kasih sayang.
2. Istriku tercinta sebagai belahan hatiku, Ati Dwi Septawati, Drg serta ketiga anakku
sebagai mutiaraku Moh. Adli Akbar, Moh. Habibi Akbar, dan Moh. Dliyaul Haq
yang telah memberikan segalanya baik perhatian, pengorbanan, doa, cinta, harta,
dukungan semangat, dan jiwa.
3. Tim promotor yang terdiri atas Bastari Ed.D. dan Prof. Kumaidi, Ph.D. yang telah
meluangkan banyak waktu, tenaga, dan pikiran dalam mendampingi dan
membimbing penulis dengan penuh kecermatan, ketelitian, memberi pengarahan,
koreksi, dan saran konstruktif bagi kesempurnaan penyelesaian disertasi.
4. Rektor Universitas Negeri Yogyakarta dan Direktur Program Pascasarjana UNY
beserta para dosen dan staf yang telah memberikan pelayanan dan bantuan
maksimal.
5. Prof. Djemari Mardapi, Ph. D., sebagai ketua Program Studi PEP pada PPS UNY
dan penguji proposal disertasi yang selalu memberi motivasi, semangat, dan
petunjuk agar supaya cepat selesai sejak program Magister tahun 1995 sampai
program Doktor.
6. Dewan Penguji proposal disertasi dan Dewan Penguji Ujian Tertutup yang telah
memberikan arahan dan koreksi dalam melakukan persiapan penelitian agar lebih
terarah dan lancar saat di lapangan serta mengoreksi hasil penelitian secara akurat.
7. Reviewer, Herman Dwi Surjono, Ph. D yang telah mengoreksi laporan penelitian
disertasi dan menguji coba produk cerdasCAT secara akurat dengan berbagai
masukan bagi penyempurnaan produk tersebut di masa depan.
vii
8. Validator Expert, Dra. Sri Hartati, M.Sc., Ph.D. dan Dra. Ermatita, M. Kom. yang
telah melakukan validasi produk CerdasCAT secara akurat.
9. Koordinator Kopertis Wilayah IX Sulawesi memberikan ijin melanjutkan studi
Program Doktor di Universtas Negeri Yogyakarta.
10. Ketua Yayasan Lamappapoleonro Soppeng beserta keluarga yang telah
memberikan ijin, bantuan dana, dorongan, dan doa selama kuliah.
11. Dinas Pendidikan Propinsi Sulawesi Selatan yang telah memberikan kesempatan
kepada penulis untuk mengambil data penelitian.
12. Pimpinan proyek BPPS dan Proyek Hibah Program Doktor 2011 Direktorat
Jenderal Pendidikan Tinggi Kementerian Pendidikan Nasional yang telah
memberikan bantuan beasiswa dan bantuan hibah doktor yang sangat mendukung
program S3 saya.
13. Para kepala sekolah, guru, staf (admin), murid kelas VI, dan orang tua murid yang
telah membantu terselenggaranya ujicoba produk CerdasCAT di lapangan.
14. Civitas akademika AMIK, STMIK, dan STIE Lamappapoleonro Soppeng atas
dukungan dan doanya.
15. Rekan-rekan mahasiswa Program Doktor Universitas Negeri Yogyakarta yang telah
membantu dalam mengoreksi disertasi penulis.
16. Keluarga besar Ikatan Mahasiswa Pelajar Soppeng dan Angin Mamiri Sulawesi
Selatan, khususnya Kakak Drs. Muh. Safar Natsir, M.Si. beserta keluarga yang
telah memberi bantuan, nasehat, dan doa.
17. Semua pihak yang terlibat dalam proses penyelesaian dan penulisan disertasi ini.
Semoga bantuan, arahan, bimbingan, koreksi, nasehat, dorongan, masukan,
dan doa serta perhatian yang telah diberikan selama ini bernilai ibadah disisiNya,
Amien yaa Rabbal Alamien. Wasalam.
Yogyakarta, 2012
R u k l i
ix
DAFTAR ISI
HALAMAN JUDUL ………………………………………………………….
ABSTRAK …………………………………………………………………….
ABSTRACT …………………………………………………………………..
LEMBAR PENGESAHAN ……………………………………………………
PERNYATAAN KEASLIAN ………………………………………………..
KATA PENGANTAR ………………………………………………………...
HALAMAN MOTTO ………………………………………………………..
DAFTAR ISI …………………………………………………………………..
DAFTAR TABEL ……………………………………………………………
DAFTAR GAMBAR …………………………………………………………
DAFTAR PERSAMAAN ……………………………………………………..
DAFTAR LAMPIRAN ……………………………………………………….
BAB I PENDAHULUAN ……………………………………………………..
A. Latar Belakang ………..…………………………………………….
B. Identifikasi Masalah Penelitian …………………………………......
C. Pembatasan Masalah Penelitian …………………………………….
D. Perumusan Masalah Penelitian …………………………………......
E. Tujuan Penelitian …………………………………………………...
F. Spesifikasi Produk yang Dikembangkan …………………………..
G. Manfaat Penelitian ………………………………………………….
H. Asumsi dan Keterbatasan Pengembangan Produk …………………
BAB II STUDI PUSTAKA …………………………………………………..
A. Kajian Butir Soal …..……………………………………………...
1. Teori Tes Klasik ……………………………………………...
2. Model Pengukuran Rasch ……………………………………..
B. Metode Penaksiran ……………………………………………….
1. Metode MLE dan Bayesian ……………………………………
2. Metode High Low …………………………………………….
3. Metode Heuristik ………………………………………………
4. Logika Fuzzy ………………………………………………….
5. Fuzzy pada Karakteristik Soal dan Basis Pengetahuan ………..
C. Sistem Penalaran Fuzzy ...................................................................
1. Metode Fuzzy Tsukamoto ……………………………………..
2. Metode Fuzzy Sugeno …………………………………………
3. Metode Fuzzy Mamdani ……………………………………….
D. Kriteria Pengembangan CAT ………………………………………
1. Panjang Tes …………………………………………………….
2. Tingkat Exposure Butir Soal …………………………………..
3. Galat Baku Penaksiran Parameter Kemampuan ………………
4. Waktu Respon Butir Soal ……………………………………...
E. Decision Support System (DSS) …………………………………...
Halaman
i
ii
iii
iv
v
vi
viii
ix
xii
xiii
xvi
xvii
1
1
11
13
14
14
15
17
18
20
20
22
24
33
33
35
35
36
42
46
48
49
51
54
54
54
55
55
56
x
F. Hasil-hasil Penelitian CAT yang Relevan ………………………….
G. Kerangka Berpikir …………………………………………………
H. Pertanyaan Penelitian ……………………………………………...
BAB III METODE PENELITIAN ……………………………………………
A. Model Pengembangan ……………………………………………....
B. Prosedur Pengembangan Aplikasi CerdasCAT ……………………..
1. Tahap Pemodelan Bisnis ………………………………………..
2. Tahap Pemodelan Data …………………………………………
3. Tahap Pemodelan Proses ………………………………………
4. Tahap Pembentukan Aplikasi ………………………………….
5. Pengujian ………………………………………………………
C. Uji Coba Produk …………………………………………………...
1. Desain Uji Coba …………….………………………………….
2. Subjek Uji Coba ……………………………………………….
3. Jenis Data ………………………………..…………………….
4. Instrumen ……………………………………………………......
5. Teknik Analisis Data …………………………………………...
BAB IV HASIL PENELITIAN ………………………….…………………..
A. Data Pengembangan ………………………………………………........
1. Data Karakteristik Butir Soal ………………………………………
2. Data Rancangan ……………………………………………………
3. Data Pembentukan Produk …………………………………………
4. Data Validasi Internal …………………………………………….
5. Data Expert Judgement …………………………………………….
6. Data Simulasi …………………………………………………….
7. Data Uji Coba Secara One to One …………………………………
8. Data Uji Coba Secara Terbatas …………………………………….
B. Analisis Data …………………………………………………………..
1. Analisis Butir Soal …………………………………………..……
2. Analisis Data Simulasi aplikasi CerdasCAT ………………………
3. Analisis Data Pendapat User Terhadap aplikasi CerdasCAT …….
4. Sampel Analisis Data Uji Coba Terbatas ………………………….
5. Analisis Perbandingan Ketiga Metode ……………………………..
6. Analisis Pengembangan CAT dengan Fitur DSS …………………...
C. Revisi Produk ………………………………………………………….
1. Inisialisasi Kemampuan ……………………………………….…..
2. Model Prototipe dan Full Release ………………………………….
3. Metode High Low ke Penalaran Fuzzy + High Low ………………..
4. Penambahan Tiga Metode pada Aplikasi CerdasCAT ……………...
5. Output Data menjadi Output Data Sekaligus Informasi …………..
6. Fungsi Informasi Butir ke Tingkat Kesukaran Butir ………………
59
66
70
72
72
76
76
85
88
97
97
98
98
100
101
102
102
104
104
104
104
127
133
135
137
139
147
148
148
150
152
154
163
168
173
173
175
177
179
181
182
xi
D. Kajian Produk Akhir …………………………………………………..
1. Kajian Proses Update Pengguna ………………………………….
2. Kajian Proses Domain dan SKL dalam Content Balancing ……..
3. Kajian Proses Input Butir Soal ……………………………………
4. Kajian Proses Peserta Tes Mengambil Ujian ……………………..
5. Kajian Proses Pelaporan Kelulusan ……………………………...
6. Kajian Proses Wali Peserta Tes Mencetak Hasil Ujian Walinya …
7. Kajian Sistem Pengamanan Produk ……………………………..
E. Diseminasi Hasil Penelitian …………………………………………...
BAB V SIMPULAN DAN SARAN ……………………………………….
A. Simpulan ………………………………………………………………
B. Keterbatasan Penelitian ………………………………………………..
C. Saran, Pemanfaatan, dan Pengembangan Produk Lebih Lanjut ………
D. Diseminasi …………………………………………………………….
E. Temuan Baru Hasil Penelitian ………………………………………...
DAFTAR PUSTAKA ………………………………………………………….
184
184
187
191
192
200
203
205
206
210
210
211
212
214
215
216
xii
DAFTAR TABEL
Halaman
Tabel 1. Kaidah Penelahaan Soal Pilihan Ganda ……….………………......
Tabel 2. Perbedaan Model Rasch dan Model 1PL ……….…………………...
Tabel 3. Perbandingan Aplikasi CAT …………………………………….....
Tabel 4. Ukuran Sampel Tiap Paket Soal …………………………………...
Tabel 5. Jumlah Soal Tiap SKL UN SD ……………….……………………
Tabel 6. Tabel Domain .……………………………………………………..
Tabel 7. Tabel Peserta Tes …………………………………………………...
Tabel 8. Tabel SKL ………………………………………………………..
Tabel 9. Tabel Paket Soal Tiga Butir Detail ………………………………...
Tabel 10. Tabel Paket Soal Tiga Butir ………………………..……………
Tabel 11. Tabel Soal ………………………………………………………
Tabel 12. Tabel Paket Soal Tiga Butir Jawaban ………..……………………
Tabel 13. Tabel Waktu Tempuh ……………………...……………………
Tabel 14. Tabel Peserta Tes Domain ……………………………...………..
Tabel 15. Hasil Perhitungan Hasil Tes pada CerdasCAT …………………..
Tabel 16. Hasil Perhitungan Hasil Tes pada Program Excel ………………..
Tabel 17. Data Pendapat Admin pada Aplikasi CerdasCAT ………………..
Tabel 16. Data Pendapat Pimpinan pada Aplikasi CerdasCAT ……………..
Tabel 17. Data Pendapat Pengajar pada Aplikasi CerdasCAT ………….…..
Tabel 18. Data Pendapat Wali Peserta Tes pada Aplikasi CerdasCAT ……..
Tabel 19. Jumlah Butir Soal Fit dan Tidak Fit Model Rasch ……………….
21
25
65
78
80
114
113
114
115
115
116
116
117
117
135
135
140
141
142
147
148
xiii
DAFTAR GAMBAR
Gambar 1 Perbandingan Kurva Model 1PL dan Model Rasch …..…………
Gambar 2 Representasi Himpunan Klasik ……………………………………
Gambar 3 Representasi Himpunan Fuzzy …………………………………….
Gambar 4 Posisi Fitur pada Fungsi Keanggotaan ……………………………
Gambar 5 Fungsi Keanggotaan Linier ………………………………………..
Gambar 6 Fungsi Keanggotaan Segitiga ……………………………………...
Gambar 7 Fungsi Keanggotaan Trapezium …………………………………...
Gambar 8 Fungsi Keanggotaan Bahu …………………………………………
Gambar 9 Fungsi Keanggotaan S ……………………………………………..
Gambar 10 Sistem Penalaran Fuzzy …………………………………………..
Gambar 11 Metode Fuzzy Tsukamoto ………………………………………...
Gambar 12 Metode Fuzzy Sugeno …………………………………………..
Gambar 13 Posisi Metode Defuzzy ………………………………………….
Gambar 14 Metode Fuzzy Mamdani ………………………………………...
Gambar 15 Struktur DSS dalam CAT ………………………………………...
Gambar 16. Model Kerangka Berpikir Pengembangan CAT ….……………...
Gambar 16 Model RRAD …….…………….…………………………….
Gambar 17 Desain Model Pengembangan Model CerdasCAT .……………...
Gambar 18 Hubungan Entiti Peserta Tes dan Butir Soal ……………….…...
Gambar 19 Hubungan Entiti Domain dan Pimpinan ………………………...
Gambar 20 Representasi Himpunan Fuzzy Variabel Tingkat Kesukaran ……..
Gambar 21 Basis Pengetahuan Futsuhilow dan Fumahilow ……………..……
Gambar 22 Basis Pengetahuan Fusuhilow …………………………………...
Gambar 23 Metode DSS pada Produk CerdasCAT …………………………..
Gambar 24 Rancangan Arsitektur DSS dalam CAT …………………………..
Gambar 25 Arsitektur Aplikasi CAT Berbasis Web ………..…………………..
Gambar 26 Perbandingan Antar Metode dengan Empat Kriteria …………….
Gambar 27 Model Use Case CerdasCAT ……………………………………...
Gambar 28 Diagram Kelas Peserta Tes dan Laporan Kelulusan ……………..
Gambar 29 Flowchart Pengambilan Ujian CerdasCAT ………………………
Gambar 30 Diagram Aktifitas Peserta Tes Mengambil Ujian ………………...
Gambar 31 Diagram Kolaborasi User Mencari Laporan Kelulusan …………..
Gambar 32 Diagram Sekuensial Menampilkan Halaman Ujian ………………
Gambar 33 Diagram Relasi Entitas ……………………………………………
Gambar 34 Antar Muka Utama ……………………………………………..
Gambar 34 Antar Muka Admin ……………………………………………...
Gambar 35 Antar Muka Form Sign Up ……………………………………….
Gambar 36 Antar Muka Pimpinan …………………………………………...
Halaman
27
37
37
39
40
41
41
42
43
47
49
50
51
53
59
70
73
76
89
89
90
92
93
94
95
96
103
105
106
108
110
110
111
112
118
119
120
121
xiv
Gambar 37 Antar Muka Penetapan Pembobotan SKL ……………………….
Gambar 38 Antar Muka Penetapan Pembobotan Domain ……………………..
Gambar 39 Antar Muka Penetapan Pembobotan Kriteria Penilaian ………….
Gambar 40 Antar Muka Pengajar ……………………………………………..
Gambar 41 Antar Muka Peserta Tes …………………………………………
Gambar 42 Antar Muka Ambil Ujian Adaptasi ……………………………….
Gambar 43 Antar Muka Hasil Ujian Peserta Tes ……………………………...
Gambar 44 Antar Muka Laporan Kelulusan Peserta Tes ……………………..
Gambar 45 Kode Pendaftaran Peserta Tes ……………………………………..
Gambar 47 Form Pendaftaran Peserta Tes ……………………………………
Gambar 46 Kode Log In ………..………………………...................................
Gambar 49 Form Log In ……………………………………………………...
Gambar 50 Kode Verifikasi Nomor Peserta …………………………………..
Gambar 51 Form Verifikasi Nomor Peserta Tes ……………………………...
Gambar 52 Kode Inisialisasi Kemampuan ……………………………………
Gambar 49 Kode Perhitungan Kemampuan Metode Futsuhilow …………….
Gambar 50 Kode Perhitungan Kemampuan Metode Fusuhilow ……………..
Gambar 51 Kode Perhitungan Kemampuan Metode Fumahilow …………….
Gambar 52 Kode Metode High Low …………………………………………
Gambar 53 Kode Waktu Mengerjakan Butir Soal …………………………….
Gambar 58 Konfigurasi Kelulusan ……………………………………………
Gambar 55 Pembobotan SKL ………………………………………………..
Gambar 56 Pembobotan Domain …………………………………………….
Gambar 57 Pembobotan Kriteria ……………………………………………...
Gambar 58 Laporan Kelulusan Memenuhi Kuota …………………………...
Gambar 59 Laporan Kelulusan Memenuhi Skor Minimum ………………….
Gambar 64 Inisialisasi Kemampuan Sebelum (a) dan Sesudah Revisi (b) …...
Gambar 65 Model Prototipe pada Model CAT ………………………………..
Gambar 66 Model Full Release pada Model CAT …………………………….
Gambar 67 Pencarian Butir Soal dengan Metode High Low ………………….
Gambar 68 Metode Fuzzy Diakselerasi oleh Metode High Low ……………...
Gambar 69 Model CAT Satu Metode (a) dan Tiga Metode (b) ………………
Gambar 70 Model CAT Menghasilkan Data (a) dan Informasi (b) …………...
Gambar 71 Fungsi Informasi (a) dan Tingkat Kesukaran (b) ………………...
Gambar 72 Halaman Daftar Admin …………………………………………..
Gambar 73 Halaman Form Admin ……………………………………………
Gambar 74 Halaman Daftar Pimpinan ………………………………………...
Gambar 75 Halaman Form Input Pimpinan ……………………………………
Gambar 76 Spesifikasi Bank Soal CerdasCAT ………………………………..
Gambar 77 Update Dinamis Bank Soal ……………………………………...
Gambar 78 Arsitektur Content Balancing …………………………………….
Gambar 79 Halaman Daftar Soal ……………………………………………..
Gambar 80 Form Memasukkan Butir Soal ……………………………………
Gambar 81 Halaman Data Paket Soal …………………………………………
Gambar 82 Form Paket Soal Tiga Butir ………………………………………
Gambar 83 Form Identitas Peserta Tes ………………………………………..
122
122
123
123
124
125
126
127
127
128
129
129
130
130
131
131
132
132
133
133
169
170
170
171
172
173
175
176
177
178
179
180
182
183
185
185
186
186
188
189
190
191
192
193
194
195
xv
Gambar 84 Form Penentuan Domain Bagi Peserta Tes ………………………..
Gambar 85 Form Verifikasi Nomor Tes Peserta ……………………………….
Gambar 86 Pilih Domain Soal ………………………………………………...
Gambar 87 Halaman Peserta Tes Menjawab Semua Tiga Butir Soal …………
Gambar 88 Pengerjaan Butir Soal Pertama ……………………………………
Gambar 89 Hasil Ujian pada Domain …………………………………………
Gambar 90 Halaman Konfigurasi Kelulusan …………………………………..
Gambar 91 Pembobotan SKL …………………………………………………
Gambar 92 Pembobotan Domain …………………………. …………………..
Gambar 93 Pembobotan Kriteria Penilaian …………………………………….
Gambar 94 Laporan Kelulusan ……………………………………………….
Gambar 95 Form Input Wali Peserta Tes ……………………………………..
Gambar 96 Wali Peserta Tes Melihat Hasil Ujian Peserta Tes Walinya ………
196
196
197
197
198
199
200
201
201
202
202
203
204
xvi
DAFTAR PERSAMAAN
Halaman
Persamaan 1 Model Rasch ………………………………………………..
Persamaan 2 Model 1PL …………………………………………………….
Persamaan 3 Kemampuan Peserta Tes secara Maksimum …………………..
Persamaan 4 Fungsi Informasi Butir ………………………………………...
Persamaan 5 Fungsi Informasi Tes …………………………………………..
Persamaan 6 Galat Baku Penaksiran Parameter Kemampuan ……………….
Persamaan 7 Fungsi Keanggotaan Bentuk Kurva Linier …………………….
Persamaan 8 Fungsi Keanggotaan Bentuk Kurva Segitiga ………………….
Persamaan 9 Fungsi Keanggotaan Bentuk Kurva Trapezuim ………………..
Persamaan 10 Fungsi Keanggotaan Bentuk Kurva S ……………………….
Persamaan 11 Aturan Operator AND ………………………………………
Persamaan 12 Aturan Operator OR ………………………………………….
Persamaan 13 Aturan Operator NOT ……………………………………….
Persamaan 14 Metode Penalaran Fuzzy Sugeno Orde Nol ………………….
Persamaan 15 Metode Penalaran Fuzzy Sugeno Orde Satu …………………
Persamaan 16 Centre of Gravity ………………...…………………………..
Persamaan 17 Perhitungan Simple Centre of Gravity ………………………
Persamaan 18 Perhitungan Simple Centre of Gravity Update …………….
Persamaan 19 Tranformasi Theta ke Skor ………………………………….
27
27
30
31
31
32
40
40
41
42
44
44
44
49
50
52
52
53
58
xvii
DAFTAR LAMPIRAN Halaman
LAMPIRAN A
1. Simulasi Variabel Fuzzy Tingkat Kesukaran dan Kemampuan …………….
2. Simulasi Basis Pengetahuan Metode PenalaranTsukamoto ………………….
3. Simulasi Basis Pengetahuan Metode Penalaran Sugeno …………………….
4. Simulasi Basis Pengetahuan Metode Penalaran Mamdani …………………..
LAMPIRAN B
1. Sampel Data Respon Peserta Tes pada UN SD ……………………………..
2. Desain Analisis Butir Soal Tujuh Paket Soal ………………………............
3. Nama Peserta Analisis Soal dari Guru Kelas IV ……………………………
4. Nama Peserta Analisis Soal dari Guru Kelas V …………………….............
5. Nama Peserta Analisis Soal dari Guru Kelas VI ……………………............
6. Tingkat Kesukaran Butir Soal Tujuh Paket Soal …………………………….
7. Kunci Jawaban Butir Soal Tujuh Paket Soal ………………………………..
LAMPIRAN C
1. Identitas Peserta Tes yang Mengikuti Ujian pada Metoda Futsuhilow ……….
2. Identitas Peserta Tes yang Mengikuti Ujian pada Metoda Fusuhilow ………..
3. Identitas Peserta Tes yang Mengikuti Ujian pada Metoda Fumahilow …......
LAMPIRAN D
1. Sampel Hasil Simulasi Peserta Tes pada Metode Futsuhilow ………............
2. Sampel Hasil Simulasi Peserta Tes pada Metode Fusuhilow ………............
3. Sampel Hasil Simulasi Peserta Tes pada Metode Fumahilow ……………...
4. Hasil Simulasi Empat Pola Respon pada Metode Futsuhilow ……………...
5. Hasil Simulasi Empat Pola Respon pada Metode Fusuhilow ………............
6. Hasil Simulasi Empat Pola Respon pada Metode Fumahilow ……………..
7. Panjang Tes, Galat Baku, dan Waktu Respon pada Metode Futsuhilow………
8. Panjang Tes, Galat Baku, dan Waktu Respon pada Metode Fusuhilow ………
9. Panjang Tes, Galat Baku, dan Waktu Respon pada Metode Fumahilow………
10. Data Tingkat Exposure Butir Soal pada Metode Futsuhilow ………………..
11. Data Tingkat Exposure Butir Soal pada Metode Fusuhilow ………………..
12. Data Tingkat Exposure Butir Soal pada Metode Fumahilow ………............
13. Data Uji Coba Secara One to One pada Metode Futsuhilow ……………….
14. Data Uji Coba Secara One to One pada Metode Fusuhilow ………………..
15. Data Uji Coba Secara One to One pada Metode Fumahilow ……………….
16. Data Validasi Expert Judgment Pertama …………………………………...
17. Data Validasi Expert Judgment Kedua ……………………………………..
18. Kuesioner Validasi Expert Terhadap Model CAT …………………………..
19. Data Prosentase Hasil Validasi Expert Judgment …………………………..
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
250
254
257
258
259
260
262
264
266
xviii
LAMPIRAN E
1. Panjang Tes Tiap Peserta Tes Ketiga Metode ……………………………..
2. Skor Tiap Peserta Tes Ketiga Metode ……………………………………..
3. Statistik Deskriptif dan Uji Homogenitas Ketiga Metode …………………
4. Panjang Tes, Galat Baku, dan Waktu Respon Ketiga Metode …………….
LAMPIRAN F
1. Statistik Deskriptif Tingkat Exposure Butir pada Metode Futsuhilow …….
2. Korelasi Tingkat Exposure Butir Tes pada Metode Futsuhilow ……...........
3. Statistik Deskriptif Tingkat Exposure Butir pada Metode Fusuhilow ……..
4. Korelasi Tingkat Exposure Butir Tes pada Metode Fusuhilow …………….
5. Statistik Deskriptif Tingkat Exposure Butir pada Metode Fumahilow ……..
6. Korelasi Tingkat Exposure Butir Tes pada Metode Fumahilow …………….
7. Statistik Deskriptift Exposure Butir Sampel Peserta Tes Ketiga Metode…….
8. Korelasi Tingkat Exposure Butir Sampel Peserta Tes Ketiga Metode ............
LAMPIRAN G
1. Format Verifikasi Internal Komponen Aplikasi CerdasCAT ………………..
2. Hasil Verifikasi Internal Komponen Aplikasi CerdasCAT ………………….
3. Contoh Verifikasi Internal Kompoen Komputasi Hasil Ujian ……………..
LAMPIRAN H
1. Galat Baku Penaksiran Parameter Kemampuan Metode Futsuhilow ……….
2. Galat Baku Penaksiran Parameter Kemampuan Metode Fusuhilow …............
3. Galat Baku Penaksiran Parameter Kemampuan Metode Fumahilow ……….
4. Statistik Deskriptif Galat Baku Penaksiran pada Metode Futsuhilow ……….
5. Statistik Deskriptif Galat Baku Penaksiran pada Metode Fusuhilow ………...
6. Statistik Deskriptif Galat Baku Penaksiran pada Metode Fumahilow ………..
LAMPIRAN I
1. Waktu Respon Tiap Butir Soal pada Metode Futsuhilow …………………..
2. Waktu Respon Tiap Butir Soal pada Metode Fusuhilow …………………..
3. Waktu Respon Tiap Butir Soal pada Metode Fumahilow …………………..
4. Statistik Deskriptif Waktu Respon Peserta Tes Metode Futsuhilow ………...
5. Statistik Deskriptif Waktu Respon Peserta Tes Metode Fusuhilow ………….
6. Statistik Deskriptif Waktu Respon Peserta Tes Metode Fumahilow ………..
LAMPIRAN J
1. Sampel Hasil Ujian Peserta Tes pada Metode Futsuhilow ………………….
2. Sampel Hasil Ujian Peserta Tes pada Metode Fusuhilow …………………..
3. Sampel Hasil Ujian Peserta Tes pada Metode Fumahilow …………………
4. Pendapat Peserta Tes Uji Coba One to One dengan Metode Futsuhilow…….
5. Pendapat Peserta Tes Uji Coba One to One dengan Metode Fusuhilow……..
6. Pendapat Peserta Tes Uji Coba One to One dengan Metode Fumahilow……..
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
xix
LAMPIRAN K
1. Kuesioner Pendapat Peserta Tes Terhadap Aplikasi CerdasCAT ………….
2. Kuesioner Pendapat Pimpinan Terhadap Aplikasi CerdasCAT …………..
3. Kuesioner Pendapat Pengajar Terhadap Aplikasi CerdasCAT …………….
4. Kuesioner Wali Peserta Tes Terhadap Aplikasi CerdasCAT ………...........
5. Kuesioner Pendapat Administrator Terhadap Aplikasi CerdasCAT ……….
LAMPIRAN L
1. User’s Guide Aplikasi CerdasCAT ………………………………………...
2. Foto Kegiatan Pelatihan Analisis Soal Program Bilog-MG ………………...
3. Foto Hasil Uji Coba One to One Aplikasi CerdasCAT ……………………...
4. Foto Hasil Uji Coba Terbatas Aplikasi CerdasCAT …………………...........
LAMPIRAN M
1. Surat Ijin dari Pasca Sarjana UNY ………………………………………….
2. Surat Ijin dari Dinas Pendidikan Propinsi Sulawesi Selatan ………………...
3. Surat Keterangan dari Kepala SDN 1 Lamappoloware …………………….
4. Surat Keterangan dari Kepala SDN 161 Karya …………………………..
300
302
303
304
305
306
327
328
329
330
331
332
333
viii
HALAMAN MOTTO
So far as the laws of mathematics refer to reality, they are not certain. And so
far as they are certain, they do not refer to reality.
_@Albert Einstein
As complexity rises, precise statements lose meaning and meaningful
statements lose precision.
_@Lotfi Zadeh
Bacalah dan tulislah sebab bagaimanapun dengan menuliskannya berarti telah
mengikat, menyebarluaskan, dan mengamalkan sehingga akan berbuah amal
ibadah disisi Allah SWT jika dilakukan secara ikhlas
_@Rukli
1
BAB I
PENDAHULUAN
A. Latar Belakang Masalah
Pada Modern Test Theory (MTT), skala kemampuan peserta tes yang merespon
butir soal berada pada rentang antara negatif tak terhingga dengan positif tak terhingga.
Untuk mengukur kemampuan tersebut membutuhkan tes yang cakupan jumlah butir
soal besar disertai dengan tingkat kesukaran butir soal yang tinggi pula. Jika rentang
tingkat kemampuan peserta tes besar maka diperlukan lebih banyak butir soal dalam
tes namun akan ada banyak butir soal yang tidak optimal mengukur kemampuan
peserta tes. Jika panjang tes pendek maka kemungkinan tidak akurat dalam mengukur
variasi kemampuan peserta tes yang tinggi.
Tingkat kemampuan peserta tes berada pada skala yang sama dengan tingkat
kesukaran butir soal. Jika rentang tingkat kesukaran butir soal besar dalam suatu tes
maka tidak akurat mengukur kemampuan peserta tes yang bervariasi, sebaliknya jika
rentang tingkat kesukaran butir soal kecil misalnya di sekitar rata-rata tingkat kesukaran
butir soal maka butir soal tersebut sesuai dengan peserta tes berkemampuan sedang.
Oleh karena itu, dibutuhkan suatu mekanisme penyajian butir soal dimana tingkat
kesukaran butir soal adaptif terhadap variasi tingkat kemampuan peserta tes yang tinggi
namun hasilnya tetap adil bagi peserta tes. Menurut Hambleton, et al. (1991: 145)
secara umum kemampuan peserta tes berbeda, sehingga tingkat kesukaran butir soal
perlu dipadankan dengan tingkat kemampuan peserta tes, yakni peserta tes
berkemampuan tinggi diberikan butir soal yang lebih sukar, sebaliknya peserta tes yang
berkemampuan rendah diberikan butir soal yang lebih mudah. Implikasinya, agar
supaya semua butir soal akurat mengukur kemampuan peserta tes maka setiap peserta
tes menempuh butir soal yang unik sesuai dengan keunikan kemampuannya secara
2
adaptif sehingga kemampuan tersebut terungkap secara maksimum. Mekanisme tes
adaptif berbasis komputer dikenal sebagai Computerized Adaptive Testing (CAT).
Menurut Hambleton, et al. (1991: 146) MTT mempunyai karakteristik butir soal
independen terhadap kelompok uji sehingga cocok dengan tes adaptif. Karakteristik
butir soal tergambar pada kurva karakteristik butir soal dimana butir soal dikaitkan
dengan kemampuan peserta tes dalam bentuk model logistik. Jika tingkat kesukaran
butir soal dikaitkan dengan kemampuan peserta tes maka modelnya adalah logistik satu
parameter (1PL), jika daya beda butir soal dan tingkat kesukaran butir soal dikaitkan
dengan kemampuan peserta tes maka modelnya adalah logistik dua parameter (2PL),
dan jika daya beda butir soal, tingkat kesukaran butir soal, dan peluang tebakan butir
soal dikaitkan dengan kemampuan peserta tes maka modelnya adalah logistik tiga
parameter (3PL). Menurut Linacre (2005), ketiga model tersebut merupakan model
statistik yang ukuran metriknya normal atau model normal ogive dengan nilai D = 1,7.
Disamping ketiga model tersebut, terdapat model lain yang mirip namun tak sama
dengan 1PL yakni model Rasch dengan nilai D = 1.
Model Rasch merupakan model pengukuran bukan model statistik. Model
Rasch secara filosofi psikometri menetapkan bahwa data yang cocok dengan model
bukan model yang cocok dengan data. Model Rasch mempunyai unit skala logistik
(logits) bukan probits. Oleh karena itu, model Rasch merupakan model mapan terhadap
ukuran sampel kecil dan cukup dimana tingkat kesukaran butir soal menjadi ukuran
dalam mengukur kemampuan sedangkan daya beda butir soal sama dan peluang
tebakan butir soal sama dengan nol. Karakteristik butir soal bentuk tes pilihan ganda
dalam CAT diadaptasikan dengan kemampuan peserta tes sehingga peluang tebakan
kurang signifikan dan daya beda kurang memberi sumbangsih pada kemampuan
maksimal peserta tes secara individu. Lebih lanjut, model pengukuran Rasch tidak
3
memperhatikan (rejected) variasi daya beda yang dianggap sebagai gejala (symptom)
butir soal bias dan multidimensi. Berdasarkan hal tersebut, model Rasch lebih cocok
digunakan dalam pengembangan CAT.
Mekanisme pengembangan CAT membutuhkan beberapa aturan pokok.
Pertama, inisialisasi kemampuan peserta tes atau butir soal pertama yang direspon
peserta tes. Inisialisasi tersebut merupakan titik awal dalam pencarian butir soal
selanjutnya. Jumlah perbedaan aturan inisialisasi kemampuan yang ditetapkan dalam
pengembangan CAT cukup banyak. Misalnya, Peserta tes merespon tiga butir soal
sebagai inisialisasi awal kemampuan. Aturan tersebut memetakan kemampuan awal
dalam kategori kemampuan sangat rendah, rendah, sedang, tinggi, dan sangat tinggi.
Kedua, aturan pemberhentian penyajian butir soal pada CAT juga bervariasi. Misalnya,
peserta tes merespon satu butir soal untuk mendapatkan galat baku penaksiran
parameter kemampuan lebih kecil atau sama dengan 0,43 (Reshetar dalam Hambleton,
et al, 1991: 149) atau lebih kecil atau sama dengan 0,3 (Gustha, 2003: 10). Aturan
lain, peserta tes merespon dua butir soal untuk mendapatkan selisih galat baku
penaksiran parameter kemampuan lebih kecil atau sama dengan 0,01. Aturan
pemberhentian menggunakan satu butir soal dan dua butir soal mirip namun aturan
kedua lebih mapan karena menggunakan selisih dua galat baku penaksiran parameter
kemampuan peserta tes secara berturut-turut. Aturan pemberhentian lain, penetapan
sejumlah butir soal berdasarkan alokasi waktu tertentu seperti Paper and Pencil Test
(P&P), misalnya 25 butir soal (Gustha, 2003) atau 40 butir soal dengan waktu 120
menit dimana setiap butir soal dikerjakan rata-rata selama tiga menit.
Ketiga, pemilihan metode dalam menyajikan butir soal adaptif terhadap
kemampuan peserta. Swaminathan (1983: 24) dan Hambleton, et al. (1991: 46)
mengemukakan bahwa ada beberapa metode penaksiran parameter kemampuan bila
4
parameter butir soal tes diketahui, antara lain: Maximum Likelihood Estimation (MLE),
bayesian, heuristik, dan analisis faktor non linier. Metode heuristik memiliki banyak
variasi prosedur. Selanjutnya metode tersebut dapat digunakan pada tingkatan diskrit
atau kontinu, misalnya clustering, pelacakan, dan kontrol.
Metode heuristik mencakup metode pencarian, pengontrolan, dan penalaran
sehingga banyak digunakan dalam sistem inteligen, sistem pakar, atau sistem
pendukung keputusan dimana asumsinya tidak ketat. Misalnya, jaringan syaraf tiruan,
algoritma genetika, dan logika fuzzy tidak memerlukan asumsi ketat sehingga
penarapannya semakin luas dalam berbagai pengontrolan dan optimasi baik dalam
rekayasa teknik, kedokteran, maupun psikometri. Salah satu metode heuristik, yakni
logika fuzzy tidak memerlukan pelatihan dan tidak memerlukan aturan logika tinggi
namun dapat diandalkan pada pemecahan masalah ketidakpastian.
Logika fuzzy mempunyai kelebihan jika dibandingkan dengan logika boolean.
Logika boolean mempunyai tingkat ketelitian diskrit sehingga pada penalaran yang
tinggi kurang tepat. Menurut Siler & Buckley (2005) dan user’s guide MATLAB
versi_2 (2004) logika fuzzy menawarkan beberapa karakteristik spesifik sehingga salah
satu pilihan yang baik pada masalah kontrol. Konsep logika fuzzy mudah dimengerti
karena konsep matematis mendasari penalaran fuzzy sangat sederhana dan mudah.
Penerapan logika fuzzy adalah fleksibel dan memiliki toleransi terhadap data-data yang
memerlukan penafsiran lebih lanjut, misalnya pemodelan fungsi-fungsi nonlinear yang
sangat kompleks. Logika fuzzy dapat membangun dan menerapkan pengalaman pakar
dalam bentuk basis pengetahuan secara langsung tanpa harus melalui proses pelatihan.
Basis pengetahuan (aturan fuzzy) sebagai dasar penalaran fuzzy dapat
mengontrol sistem fuzzy sehingga dapat mengoptimalkan ouput sesuai metode fuzzy.
Metode fuzzy terbagi tiga yakni Tsukamoto, Sugeno, dan Mamdani. Ketiga metode
5
tersebut mempunyai prosedur pencarian yang tidak sama dalam menentukan output
sehingga walaupun bentuk input (anteseden) serupa akan menghasilkan bentuk output
(konsekuen) yang berbeda. Metode fuzzy Tsukamoto mempunyai konsekuensi dari
setiap basis pengetahuan. Setiap basis pengetahuan menggunakan aturan IF-THEN.
Selanjutnya aturan tersebut direpresentasikan dengan suatu himpunan fuzzy ke fungsi
keanggotaan monoton sehingga tidak ada proses defuzifikasi. Metode fuzzy Sugeno
mempunyai konsekuensi berupa konstanta atau fungsi matematika. Bila basis
pengetahuan dikomposisikan maka defuzifikasi dilakukan dengan mencari nilai rerata
berbobot. Metode fuzzy Mamdani menggunakan himpunan fuzzy, baik variabel
masukan maupun variabel keluaran dibagi menjadi satu atau lebih himpunan fuzzy.
Operasi komposisi basis pengetahuan menggunakan aturan MIN. Selanjutnya,
komposisi korelasi basis pengetahuan menggunakan penalaran max, additive, atau
probabilistik OR. Agregasi keluaran semua aturan menggunakan metode defuzzifikasi.
Ketiga metode fuzzy tersebut mempunyai kelebihan dan kekurangan masing-masing.
Metode fuzzy Mamdani lebih intuitif memberikan keluaran dan lebih sesuai
dengan pola pikir namun perhitungan mendapatkan keluaran lebih komplit jika
dibandingkan dengan metode fuzzy Sugeno. Metode fuzzy Sugeno lebih sederhana
namun kurang mengikuti pola pikir. Keduanya mempunyai metode defuzzifikasi dan
keluaran yang berbeda, sedangkan metode fuzzy Tsukamoto tidak melakukan proses
defuzifikasi dalam menghasikan keluaran sehingga paling sederhana namun
mempunyai kesamaan basis pengetahuan metode fuzzy Mamdani walaupun
keluarannya berbeda. Ketiga metode tersebut sama-sama dapat memecahkan masalah
ketidakpastian berupa pengelolaan input menggunakan metode fuzzy dan basis
pengetahuan untuk menghasilkan output. Berdasarkan hal tersebut, ketiga metode
dapat mengontrol butir soal yang terlalu sukar atau terlalu mudah bagi peserta tes
6
menjadi lebih adaptif terhadap kemampuan peserta tes dengan bantuan suatu metode
pencarian. Ketiga metode fuzzy tersebut dioptimalisasi dengan metode high low.
Metode high low merupakan metode pencarian yang sederhana, yakni jika
respon benar maka tingkat kesulitan butir soal dinaikkan sekitar 0,1 sebaliknya jika
respon salah maka tingkat kesulitan butir soal akan diturunkan sekitar 0,2 (Lord dalam
Hulin, et al. 1983: 217). Metode high low menggunakan tingkat kesukaran butir soal
sebagai kriteria dalam memilih butir soal selanjutnya sehingga lebih cepat proses
retriavel pada saat melakukan query pada basis data jika dibandingkan metode MLE
menggunakan fungsi informasi butir soal.
Perpaduan antara metode fuzzy dan metode high low pada pengembangan CAT
menghasilkan model metode baru, yakni: (1) perpaduan metode fuzzy Tsukamoto
dengan metode high-low menghasilkan metode Futsuhilow, (2) perpaduan metode
fuzzy Sugeno dengan metode high-low menghasilkan metode Fusuhilow, dan (3)
perpaduan metode fuzzy Mamdani dengan metode high-low menghasilkan metode
Fumahilow. Ketiga metode tersebut memiliki mekanisme berlainan dalam
pengembangan CAT.
Pengembangan CAT dapat menggunakan perbandingan antar metode sehingga
diperoleh data panjang tes, tingkat exposure butir soal, galat baku penaksiran
kemampuan peserta tes, dan jumlah waktu respon soal. Informasi tersebut dapat
menjadi pilihan bagi user sesuai preferensinya.
Panjang tes menyangkut jumlah butir soal yang direspon peserta tes sampai
penaksiran kemampuan peserta tes konvergen. Metode yang menyajikan jumlah butir
soal jumlah kecil akan menghemat jumlah butir soal dalam bank soal dan dapat
mencerminkan tingkat kecocokan kemampuan peserta tes dengan butir soal yang
direspon. Tingkat exposure mengungkapkan jumlah butir soal direspon selama ujian
7
berlangsung yang keluar dari domain himpunan fuzzy inisialisasi kemampuan peserta
tes. Metode yang mempunyai tingkat exposure yang besar menunjukkan metode
tersebut memberikan butir soal kepada peserta tes berada di luar rentang inisialisasi
kemampuan peserta tes. Jika hal tersebut terjadi, kerahasiaan butir soal semakin
menurun sehingga butir soal tidak bisa berfungsi sebagaimana mestinya. Metode yang
dapat menekan tingkat exposure butir soal sekecil mungkin merupakan mekanisme
pemberian soal yang baik terutama dalam menyajikan butir soal yang mempunyai
karakteristik butir soal yang ekstrim walaupun secara statistik hal tersebut sesuatu yang
bisa dipahami secara logika. Galat baku penaksiran parameter kemampuan peserta tes
memberikan informasi sejauh mana metode tersebut menyajikan butir soal yang adaptif
terhadap kemampuan peserta secara akurat. Metode yang menyajikan butir soal yang
lebih adaptif terhadap kemampuan peserta tes akan memiliki galat baku penaksiran
parameter kecil. Jumlah waktu respon bagi peserta tes dalam menjawab butir soal
memberikan informasi tentang kecepatan query-retrival pada basis data. Hal-hal
tersebut merupakan faktor yang perlu diperhatikan dalam pengembangan CAT dengan
dukungan teknologi informasi global jika produk berbasis web.
Perkembangan teknologi informasi dengan dukungan rekayasa produk
perangkat keras dan lunak komputer dapat mempercepat akses user sebagai stakeholder
yang berada di daerah yang berlainan. Pengembangan CAT berbasis web memberi
keuntungan bagi user yakni peserta tes sebagai aktor yang merespon butir tes, pengajar
sebagai aktor memasukkan butir soal, dan pimpinan serta user lain sebagai aktor
mencari data dan informasi jika dibandingkan sistem desktop atau client server bila
tingkat ketepatan, kekinian, dan kerelevanan informasi diprioritaskan.
Beberapa produk CAT berbasis web di beberapa negara telah diaplikasikan
secara online. Misalnya, J-CAT dikembangkan di Jepang (Shinggo Imai, 2008),
8
SIETTE dikembangkan di Spanyol (Guzman, 2005), CAAS dikembangkan di Malaysia
(Sie, et al. 2005), dan OAVTS dikembangkan di Taiwan (Wen-shuenn Wu, 2004).
Walaupun produk tersebut berbasis web namun user bersifat pasif. Pengembangan CAT
berbasis web memerlukan Decision Support System (DSS) agar user lebih mudah
menerima dan mencari informasi secara aktif sesuai dengan preferensinya.
Pengembangan CAT sebagai media pengujian berbasiskan komputer tak lepas
dari peningkatan kebutuhan user sebagai pemakai produk berupa pendukung
keputusan. CAT sebagai produk dapat menghasilkan informasi sesuai kebutuhan bukan
hanya data sehingga perlu penambahan sistem cerdas berupa DSS. Menurut Turban
(2001) DSS merupakan sistem informasi berbasis komputer yang interaktif, fleksibel,
dan adaptif. DSS dibangun secara khusus untuk mendukung pemecahan masalah
manajemen yang tidak terstruktur dalam meningkatkan kualitas pengambilan
keputusan sesuai dengan preferensi. User dapat melakukan pembobotan terhadap
domain (mata pelajaran) dan memberikan kriteria kelulusan. Penelitian Rukli (2010)
dalam menerapkan DSS menunjukkan bahwa user dapat melakukan pembobotan dan
penetapan kriteria penerimaan sesuai preferensinya. Beberapa hasil penelitian
mengenai model CAT tidak memperhatikan hal tersebut, misalnya penelitian Agus
Santoso (2009) dan Haryanto (2009).
Penerapan CAT dapat dilakukan di Sekolah Dasar (SD) dimana setiap tahun
Pemerintah menyelenggarakan Ujian Nasional (UN). Hasil observasi dilakukan di
Provinsi Sulawesi Selatan tahun 2008 dan 2010 menunjukkan beberapa hal terkait
penyelengaraan UN sebagai berikut. (1) Ada beberapa sekolah menganggap
penyelengaraan UN SD hanya seremonial belaka jika dibandingkan dengan Ujian
Nasional di tingkat Sekolah Menengah Pertama (SMP) dan Sekolah Menengah Atas
(SMA) karena menganggap SMP merupakan kelanjutan SD dalam bingkai pendidikan
9
dasar sembilan tahun. Akibatnya UN SD tidak terlalu diperhatikan oleh user (peserta
tes, pengajar, wali peserta tes, dan pimpinan). Oleh karena SD merupakan pintu
pertama dan utama dalam mengembangkan potensi peserta tes secara dini dan secara
formal sehingga sistem evaluasi yang ada perlu diperbaiki dan ditingkatkan, misalnya
menggunakan CAT. (2) Tingkat kebocoran butir soal berpeluang terjadi karena dua
guru dari setiap kabupaten/kota membuat butir soal UN di provinsi sehingga menjadi
kendala dalam mengukur kemampuan peserta tes secara jujur, adil, dan akurat. (3)
Penilaian kelulusan diserahkan sepenuhnya kepada sekolah sehingga setiap sekolah
mempuyai standar kelulusan yang berbeda-beda. Keempat, pengawasan ujian
dilakukan secara silang antar sekolah, namun masih terbatas antar sekolah dalam satu
gugus atau kelurahan/desa sehingga tingkat kejujuran kurang terjamin.
Disamping hal tersebut, beberapa hasil observasi terkait perkembangan
teknologi komputer sebagai berikut. (1) Keberadaan teknologi komputer di SD
misalnya pada SD Unggulan mengalami kemajuan pada rentang waktu tersebut,
misalnya fasilitas laboratorium kemputer dan perpustakaan berbasis informasi
teknologi. Data deskriptif menunjukkan keberadaan komputer di sekolah inti dan
unggulan sudah memiliki komputer walaupun jumlahnya tidak sama. Misalnya, SDN
1 Lamappapoloware dan SDN 161 Karya mempunyai komputer cukup memadai bagi
peserta tes kelas empat, lima, dan enam dalam kegiatan praktek komputer. (2) Dana
pembelian dan perawatan komputer berasal dari berbagai sumber. Misalnya, United
States Agency For International Development (USAID) dalam bentuk program
Desentralised Basic Education (DBE) bidang pendidikan dasar sejak tahun 2005, dana
Sekolah Standar Nasional (SSN), Bantuan Operasi Sekolah (BOS), Dana Alokasi
Umum (DAU), Anggaran Pendapatan Belanja Daerah (APBD), dan bantuan dari
anggota komite sekolah. (3) Jumlah SD semakin banyak yang tersebar di beberapa
10
pulau terpencil memerlukan model CAT berbasis web agar ketimpangan sistem
pengujian dapat diminimalisasi. (4) Kemampuan dan kebiasaan peserta tes SD dalam
menggunakan komputer cukup memadai dimana peserta tes kelas IV sudah belajar dan
praktek komputer berupa latihan menggambar, mewarnai bunga, dan membuat
bagunan sederhana. (5) Jumlah guru SD unggulan dan inti yang memiliki laptop pribadi
sekitar 80%.
Hasil observasi tersebut memberikan informasi bagaimana rentangnya
kerahasian butir soal dan hasil ujian di SD yang perlu dibenahi. Demikian halnya,
memberikan informasi bahwa perkembangan dan penguasaan teknologi komputer di
SD sudah cukup maju. Walaupun bukan solusi mutlak yang dapat menanggulangi
semua permasalahan tersebut namun penerapan model CAT di SD diharapkan akurasi
informasi kemampuan peserta dapat di tingkatkan berdasarkan dukungan teknologi
komputer di daerah dan beberapa manfaat lain bagi user. Adapun hal-hal yang dapat
diperoleh user dengan pengembangan model CAT sebagai berikut. (1) Butir soal yang
dikerjakan sesuai dengan keunikan kemampuan tiap peserta tes. (2) Kerjasama antar
peserta tes (cheating) selama ujian dapat dibatasi karena setiap peserta tes mengerjakan
tes yang berbeda. (3) Waktu pelaporan hasil ujian lebih cepat. (4) Jika terjadi kebocoran
butir soal maka tebakan jawaban soal dalam waktu singkat dapat dibatasi sebab jumlah
butir soal dalam bank soal ratusan bahkan ribuan. (5) Peserta tes dapat mencetak secara
langsung hasil ujian saat ini sehingga kemungkinan rekayasa nilai yang dapat
merugikan peserta tes dapat dihindari secara maksimal. Berdasarkan hal tersebut, perlu
dikembangkan model CAT dengan metode Futsuhilow, Fusuhilow, dan Fumahilow di
SD unggulan dan inti sehingga informasi diperoleh user cepat, akurat, dan relevan
terutama dalam pengujian peserta tes SD masuk SMP.
11
B. Identifikasi Masalah
Berdasarkan latar belakang masalah yang telah dipaparkan, maka diidentifikasi
beberapa masalah sebagai berikut.
1. User (peserta tes, pengajar, wali peserta tes, dan pimpinan) menganggap kegiatan
ujian UN hanya seremonial belaka pada hal SD pintu utama dan pertama dalam
meningkatkan kemampuan peserta tes sehingga perlu diperbaiki dan ditingkatkan
secara dini.
2. Pemilihan tingkat kesukaran butir soal dalam membuat tes belum memperhatikan
tingkat kemampuan peserta tes secara unik.
3. Penerapan teknologi komputer semakin pesat dalam berbagai bidang ilmu namun
belum digunakan secara optimal dalam sistem pengujian.
4. Butir soal yang diberikan kepada peserta secara adaptif belum menggunakan
metode tanpa persyaratan yang ketat.
5. Panjang tes yang terdapat pada P&P sama bagi semua peserta tes pada hal setiap
peserta tes mempunyai kemampuan yang unik.
6. Waktu respon yang terdapat pada P&P sama bagi semua peserta tes pada hal setiap
peserta tes mempunyai kecepatan dan kemampuan yang tidak sama dalam
merespon butir soal.
7. Tingkat kemunculan butir soal dalam suatu ujian pada P&P sama bagi semua
peserta tes jika terjadi kebocoran butir soal maka tebakan kunci jawaban sangat
tinggi.
8. Galat baku penaksiran kemampuan peserta tes pada P&P besar karena setiap
peserta tes merespon butir soal dengan karakteristik yang sama sedangkan
karakteristik kemampuan peserta tes tidak sama.
12
9. Belum adanya penilaian standar kelulusan kepada sekolah sehingga setiap sekolah
mempunyai standar kelulusan sendiri.
10. Belum ada sistem pengujian yang menggunakan tiga metode fuzzy berdasarkan
model Rasch dalam satu produk.
11. Bank soal yang ada di sekolah belum optimal menggunakan teknologi komputer.
12. Walaupun sudah beberapa kali diperbaiki namun setiap tahun masih banyak peserta
tes bekerjama selama ujian dan masih terjadi kebocoran butir soal ujian.
13. Belum ada keseragaman waktu pelaporan hasil ujian Nilai Ebtanas Murni (NEM)
di sekolah.
14. Model CAT sudah diaplikasikan di beberapa negara namun keluaran yang diterima
user masih sebatas data hasil ujian belum ada informasi laporan kelulusan.
15. Belum ada kajian sistem ujian adaptif yang memperhatikan panjang tes, tingkat
exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu
respon butir soal dalam satu model CAT terutama di Indonesia.
C. Pembatasan Masalah
Berdasarkan latar belakang dan identifikasi masalah, maka penelitian dibatasi
pada masalah sebagai berikut.
1. Model CAT dikembangkan dengan metode Futsuhilow, Fusuhilow, dan
Fumahilow. Ketiga metode tersebut mempunyai konsep logika sederhana, mudah,
dan fleksibel sehingga memiliki toleransi terhadap data-data yang memerlukan
penafsiran lebih lanjut, misalnya pemodelan fungsi nonlinear yang sangat
kompleks. Selanjutnya, logika fuzzy dapat membangun dan menerapkan
pengalaman pakar dalan basis pengetahuan secara langsung tanpa proses pelatihan.
13
2. Ketiga metode tersebut mempunyai kelebihan dan kekurangan karena berbeda
dalam mengelola basis pengetahuan dan proses defuzifikasi walaupun mempunyai
input, starting point, dan stoping rule yang sama. Oleh karena itu, metode tersebut
memerlukan kriteria yang diharapkan dapat menjadi acuan pembanding dalam
kaitan penaksiran parameter kemampuan peserta tes secara unik yang tidak
dipenuhi oleh P&P. Misalnya, jumlah butir soal direspon peserta tes sampai
penaksiran kemampuan konvergen (panjang tes), tingkat exposure butir soal, galat
baku penaksiran parameter kemampuan, dan waktu respon butir soal.
3. Model CAT memerlukan syarat unidimensi agar pengukuran kemampuan peserta
tes tidak dipengaruhi oleh dimensi lain. Oleh karena itu diperlukan suatu tes yang
mempunyai daya beda sama dimana tidak adanya gejala bias (differential item
functioning non_uniform) dan tidak multidimensi. Tes demikian lebih dipenuhi oleh
model Rasch. Lebih lanjut, model Rasch merupakan model pengukuran bukan
model statistik dimana model tersebut lebih mendekati model pengukuran skala
Gutman yang menekankan pada syarat unidimensi suatu tes. Oleh karena itu,
berdasarkan karakteristik tersebut model Rasch lebih memenuhi syarat dalam
pengembangan model CAT.
4. Model CAT di beberapa negara hanya memberikan data kepada user. Hal tersebut
membuat user bersifat pasif terhadap data sehingga kurang adaptif terhadap
kebutuhan user yang lebih spesifik sesuai dengan preferensinya. DSS merupakan
sistem informasi berbasis komputer dimana memberikan informasi kepada user
sesuai dengan preferensinya. Pimpinan mengelola data hasil ujian tiap peserta tes
berupa pembobotan skl, domain, dan kriteria penilaian kemudian menetapkan
kriteria kelulusan dalam suatu ujian untuk menghasilkan informasi laporan
14
kelulusan. Laporan tersebut dapat diakses oleh peserta tes, wali peserta tes, dan
pengajar. Hal tersebut dapat dilakukan jika DSS diterapkan dalam model CAT.
D. Rumusan Masalah
Berdasarkan identifikasi dan pembatasan masalah yang telah dijelaskan maka
rumusan masalah penelitian sebagai berikut.
1. Bagaimanakah karakteristik model CAT dengan metode Futsuhilow, Fusuhilow,
dan Fumahilow berdasarkan model Rasch untuk menghasilkan kemampuan peserta
tes, panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter
kemampuan, dan waktu respon butir soal?
2. Bagaimanakah prosedur penerapan DSS dalam model CAT untuk menghasilkan
laporan kelulusan?
E. Tujuan Penelitian
Tujuan penelitian ini adalah untuk mengetahui hal-hal sebagai berikut. (1)
Menemukan model CAT dengan metode Futsuhilow, Fusuhilow, dan Fumahilow
berdasarkan model Rasch. (2) Menerapkan model CAT untuk menghasilkan
kemampuan peserta tes, panjang tes, tingkat exposure butir soal, galat baku penaksiran
parameter kemampuan, dan waktu respon butir soal. (3) Menemukan prosedur
penerapan DSS dalam model CAT. (4) Menerapkan DSS dalam model CAT untuk
menghasilkan laporan kelulusan peserta tes.
F. Spesifikasi Produk yang Dikembangkan
Model CAT dikembangkan dengan Futsuhilow, Fusuhilow, dan Fumahilow.
Model tersebut menggunakan model pengukuran Rasch dalam menghasilkan
15
kemampuan peserta tes, panjang tes, tingkat exposure butir soal, galat baku penaksiran
parameter kemampuan, dan waktu respon butir soal. Selanjutnya, DSS sebagai sistem
cerdas mengolah data kemampuan peserta tes dan referensi user berupa pembobotan
dan penetapan kriteria dalam menghasilkan informasi laporan kelulusan. Oleh karena
itu, produk yang dihasilkan disebut CerdasCAT dengan spesifikasi sebagai berikut.
1. Butir soal diadaptasikan terhadap kemampuan peserta tes dengan metode
Futsuhilow, Fusuhilow, dan Fumahilow.
2. CerdasCAT menggunakan model pengukuran Rasch dimana daya beda tidak
diperhatikan dan peluang tebakan ditetapkan nol.
3. CerdasCAT menghasilkan keluaran tingkat kemampuan peserta tes, panjang tes,
tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan
waktu respon.butir soal.
4. Semesta pembicaraan variabel fuzzy tingkat kesukaran butir soal sama dengan
semesta pembicaraan variabel fuzzy tingkat kemampuan peserta tes yakni [-4,4].
5. Variabel fuzzy tingkat kesukaran butir soal dibagi menjadi lima himpunan fuzzy
yakni himpuan fuzzy sangat tinggi dengan domain [2,4], himpunan fuzzy tinggi
dengan domain [0,4], himpunan fuzzy sedang dengan domain [-2,2], himpunan fuzzy
rendah dengan domain [-4,0], himpunan fuzzy sangat rendah dengan domain [-4,-
2]. Himpunan fuzzy variabel tingkat kemampuan peserta tes sama dengan
himpunan fuzzy variabel tingkat kesukaran butir soal.
6. CerdasCAT menghasilkan keluaran data kemampuan peserta tes. Pengolahan data
menggunakan DSS dengan tahapan pembobotan SKL, pembobotan domain, dan
pembobotan kriteria penilaian sehingga menghasilkan informasi laporan kelulusan
sesuai preferensi user dalam batasan kuota maksimum dan skor minimum.
16
7. Pemrograman CerdasCAT menggunakan program java sehingga produk tersebut
dapat berbasis web, client server, atau localhost selanjutnya sistem pengamanan
lebih tinggi serta fleksibel antar sistem operasi dan browser.
8. Ada lima aktor yang terlibat dalam CerdasCAT yakni administrator, peserta tes,
pimpinan, wali peserta tes, dan pengajar. Kelima aktor tersebut mempunyai peran
yang berbeda terhadap sistem.
9. Modul panduan CerdasCAT merupakan buku petunjuk berisi spesifikasi
kemampuan komputer, penginstalan, dan pengoperasian.
10. Keluaran CerdasCAT berupa hasil ujian dan laporan kelulusan dapat dibaca dan
dicetak oleh user.
11. Peserta tes telah mengikuti ujian domain matematika pada produk CerdasCAT
sedangkan domain lain tidak dilakukan karena data respon butir soal tidak cukup
tersedia di lapangan.
12. CerdasCAT membutuhkan spesifikasi minimal perangkat keras dan lunak
komputer. Perangkat keras yang dibutuhkan, yakni: microprosesor berupa intel
pentium III, kecepatan clock sebesar 1,2 GHz, RAM sebesar 1 gigabyte, hardisk
sebesar 50 gigabyte, tipe layar berupa tube atau flat screen, dan sistem warna berupa
color RGB 24 bit. Perangkat lunak yang dibutuhkan, yakni: semua sistem operasi,
semua browser, database mysql in XAMPP, program server dan client berupa JRE
1.6 dan JavaScript, platform dan desktop, client server atau web, java web server
berupa tomcat apache, web server berupa XAMPP, dan MySQL GUI Tools berupa
MySQL GUI Tools 5.0.
G. Manfaat Penelitian
17
Model CAT dengan metode Futsuhilow, Fusuhilow, dan Fumahilow
berdasarkan model pengukuran Rasch menghasilkan kemampuan peserta tes, panjang
tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan
waktu respon butir soal. Selanjutnya, DSS dalam CAT dapat menghasilkan informasi
laporan kelulusan peserta tes. Oleh karena itu, penelitian ini mempunyai beberapa
manfaat teoritis dan praktik. Manfaat teoritis model CAT yaitu: 1) temuan hasil
penelitian dapat menambah ragam konsep model CAT terutama pada model
pengukuran Rasch sehingga menghasilkan kemampuan peserta tes, panjang tes, tingkat
exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon
butir soal, serta informasi laporan kelulusan peserta tes; 2) menjadi referensi dalam
melakukan penelitian pengembangan selanjutnya; dan 3) menjadi sumbangan
pemikiran dalam melakukan simulasi perbandingan metode pemilihan butir soal.
Manfaat praktik model CAT yaitu: 1) pelaksanaan pengujian lebih sederhana
dan lebih terjamin keamanan dengan tingkat kebocoran butir soal dapat diperkecil jika
database dirancang secara maksimal sesuai dengan kondisi setempat; 2) dapat lebih
menghemat tenaga dan dana dalam melaksanakan ujian sekolah, daerah, dan nasional
jika perangkat keras dan perangkat lunak jaringan komputer telah tersedia; 3) ujian
dilaksanakan lebih efisien dan efektif serta informasi yang diperoleh user lebih relevan,
akurat, dan cepat; 4) produk CAT dikembangkan berbasis web namun produk tersebut
dapat berbasis client server dan desktop sehingga dapat digunakan pada sekolah yang
belum tersedia jaringan internet; 5) penambahan DSS pada CAT membuat user lebih
aktif mencari dan menerima informasi sesuai dengan preferensinya dalam
menghasilkan informasi laporan kelulusan peserta tes; dan 6) produk CAT dapat
digunakan dalam ujian lisensi atau sertifikasi masuk perusahaan atau instansi dengan
menambah domain pengujian sesuai dengan materi ujian.
18
H. Asumsi dan Keterbatasan Pengembangan Produk
1. Kemampuan setiap peserta tes unik sehingga setiap peserta tes merespon tes yang
unik secara adaptif dengan metode Futsuhilow, Fusuhilow, dan Fumahilow.
2. Pengajar meng_input soal bentuk image dalam bank soal model CAT sedangkan
soal dalam bentuk teks belum tersedia.
3. Model CAT menggunakan model pengukuran Rasch dimana daya beda butir soal
ditetapkan sama, dan peluang tebakan butir soal ditetapkan nol serta D = 1.
4. Butir soal yang tidak memenuhi model direvisi secara kualitatif. Butir soal yang
telah direvisi tersebut, nilai karakteristiknya diasumsikan tidak berubah secara
signifikan.
5. Semesta pembicaraan variabel fuzzy tingkat kesukaran butir soal dan variabel fuzzy
tingkat kemampuan peserta tes dibatasi dalam rentang [-4,4].
6. Variabel fuzzy tingkat kesukaran butir soal dan tingkat kemampuan peserta tes
dibatasi dalam lima himpunan fuzzy yakni sangat tinggi, tinggi, sedang, rendah, dan
sangat rendah.
7. Inisialisasi kemampuan peserta tes menggunakan tiga butir soal.
8. Butir soal menggunakan media tambahan seperti audio, video, games, atau animasi
misalnya soal tes percakapan dalam bahasa Inggris belum tersedia dalam model
CAT.
20
BAB II
KAJIAN PUSTAKA
A. Kajian Butir Soal
Analisis butir soal terbagi dua yakni kualitatif dan kuantitatif. Analisis
kualitatif (teoritik) mencakup isi (konten), bahasa, dan konstruksi. Cakupan tiap
analisis butir soal secara kualitatif tersebut memerlukan keahlian spesifik, yaitu
penelaahan isi (materi) membutuhkan keahlian bidang studi, penelaahan bahasa
membutuhkan keahlian bahasa, dan penelaahan konstruksi membutuhkan keahlian
psikometri. Spesifikasi keahlian tersebut akan lebih bermakna bila ada pengalaman
dalam menganalisis butir soal. Kemampuan tersebut dibutuhkan dalam pengembangan
butir soal yaitu jika terdapat butir soal yang tidak memenuhi model maka butir soal
tersebut ditelaah lebih lanjut untuk direvisi atau dibuang termasuk butir soal pilihan
ganda. Butir soal bentuk pilihan ganda terdiri atas stem dan option dimana option
terdiri atas key dan distractors memerlukan kaidah-kaidah penelaahan dari segi materi,
konstruksi, dan bahasa (Puspendik, 2007). Kaidah penelaahan butir soal pilihan ganda
yang terdiri atas materi, konstruksi, dan bahasa pada Tabel 1.
Analisis kuantitatif mencakup penelaahan lanjutan dari analisis kualitatif
(empiris). Analisis kuantitatif dapat dilakukan secara manual atau komputer. Misalnya,
analisis kuantitatif menghitung validitas konstruk dengan analisis faktor, reliabilitas
tes dengan analisis alpha, atau karakteristik butir soal berupa daya beda, tingkat
kesukaran, dan peluang tebakan dengan program excel. Untuk data respon butir soal
yang berskala besar lebih mudah menggunakan program komputer. Misalnya, jumlah
data respon sebesar 500 atau lebih dapat menggunakan program Bilog-MG.
21
Tabel 1.
Kaidah Penelahaan Butir Soal Tes Pilihan Ganda
1 Materi
a. Butir soal harus sesuai dengan indikator.
b. Pilihan jawaban harus homogen.
c. Logis ditinjau dari segi materi.
d. Setiap butir soal harus mempunyai satu jawaban yang benar atau yang
paling benar.
2 Konstruksi
e. Pokok butir soal harus dirumuskan secara jelas dan tegas.
f. Rumusan pokok butir soal dan pilihan jawaban harus merupakan
pernyataan yang diperlukan saja.
g. Pokok butir soal jangan memberi petunjuk ke arah jawaban benar.
h. Pokok butir soal jangan mengandung pernyataan yang bersifat negatif
ganda.
i. Panjang rumusan pilihan jawaban harus relatif sama.
j. Pilihan jawaban jangan mengandung pernyataan, "Semua pilihan jawaban
di atas salah", atau "Semua pilihan jawaban di atas benar". Pilihan jawaban
yang berbentuk angka atau waktu harus disusun berdasarkan urutan besar
kecilnya nilai angka tersebut, atau kronologisnya.
k. Gambar, grafik, tabel, diagram, dan sejenisnya yang terdapat pada butir
soal harus jelas dan berfungsi.
l. Butir soal jangan bergantung pada jawaban butir soal sebelumnya.
3 Bahasa
m. Setiap butir soal harus menggunakan bahasa yang sesuai dengan kaidah
bahasa Indonesia.
n. Jangan menggunakan bahasa yang berlaku setempat, jika butir soal akan
digunakan untuk daerah lain atau nasional.
o. Setiap butir soal harus menggunakan bahasa yang komunikatif.
p. Pilihan jawaban jangan mengulang kata atau frase yang bukan merupakan
satu kesatuan pengertian.
Sumber: Pusat Penilaian Pendidikan, 2007.
Jika analisis kualitatif sudah dilakukan sesuai dengan kaidah Tabel 1 maka
diharapkan analisis kuantitatif menghasilkan karakteristik butir soal dan tes yang
memenuhi kriteria sebagai tes yang baik. Data statistik berupa karakteristik butir soal
tersebut merupakan informasi atau menjadi pertimbangan memasukkan butir soal
tersebut di bank soal walaupun bukan syarat mutlak. Menurut Sumadi Suryabata
(1987) data statistik tersebut bukan semata-mata menjadi rujukan butir soal untuk
22
dibuang atau diganti namun perlu diperhatikan dari segi lain, misalnya validitas konten.
Oleh karena itu, karakteristik butir soal yang tidak memenuhi data statistik, misalnya
tidak memenuhi model dianalisis secara kualitatif atau ditelaah pola jawaban peserta
tes yang merespon butir tersebut.
1. Teori Tes Klasik
Untuk mengetahui kemampuan peserta tes dan karakteristik butir soal atau tes
dapat menggunakan pendekatan Teori Tes Klasik (TTK), Modern Test Theory (MTT),
dan Cognitive Diagnostics Model (CDM). Setiap pendekatan tersebut mempunyai
asumsi tidak sama sehingga pengaplikasiannya juga tidak sama.
Ada beberapa asumsi melandasi TTK. Pertama, skor amatan (X) tidak pernah
sama dengan skor sebenarnya (T) karena selalu ada kesalahan pengukuran (E) yang
dirumuskan ETX . Kedua, jika tes dilakukan secara berulang pada peserta tes
yang sama dan independen maka nilai harapan skor amatan akan mendekati skor
sebenarnya, yakni TX )( . Ketiga, skor sebenarnya dan galat pengukuran tidak
pernah berkorelasi, yakni 0TE . Keempat, jika dua tes mengukur hal yang sama,
maka galat baku pengukuran kedua tes tersebut tidak berkorelasi, yakni 021 EE .
Kelima, jika dua tes direspon oleh dua kelompok yang sama, maka skor sebenarnya tes
pertama tidak berkorelasi dengan galat baku pengukuran tes kedua, yakni 021 ET .
Berdasarkan asumsi tersebut didefinisikan sebagai berikut. (1) Jika dua tes
mempunyai skor amatan X dan X’. Selanjutnya memenuhi asumsi 1 sampai 5 dan jika
tiap populasi peserta tes memenuhi 'TT dan '22 EE maka kedua tes tersebut
paralel. (2) Jika dua tes mempunyai skor amatan X1 dan X2. Selanjutnya, memenuhi
23
asumsi 1 sampai 5 dan memenuhi 1221 CTT untuk C12 adalah konstan, maka kedua
tes ekuivalen (Allen& Yen, 1979: 57) dan Feldt & Brennan (1989: 108-110). (3). Jika
dua tes mempunyai skor amatan Xt dan Xt’ dan memenuhi asumsi 1 dan 5. Selanjutnya,
memenuhi 1212 ' CXBX untuk B12 dan C12 konstan dan tidak sama dengan
nol maka kedua tes tersebut konjenerik (Feldt & Brennan dalam Linn, 1989: 110).
Menurut Hambleton & Swaminathan (1985: 2-3), asumsi TTK memiliki
beberapa kelemahan mengenai informasi keadaan tes dan peserta tes sebagai berikut.
(1) Statistik butir tes bergantung pada karakteristik subjek yang di tes. (2)
Penaksiran kemampuan peserta tes bergantung pada butir tes ujian. (3) Galat
baku penaksiran skor berlaku untuk semua peserta tes sehingga galat baku
pengukuran tiap peserta tes tidak ada. (4) Informasi terbatas menjawab benar
atau salah saja namun tidak memperhatikan pola jawaban peserta tes. (5) Asumsi
tes paralel susah dipenuhi.
Ciri butir pada TTK, yang dikenal dengan parameter bergantung pada kelompok
uji, jika kelompok uji berbeda, maka ciri butir soal juga beda, artinya ciri butir soal
bergantung pada kelompok uji sehingga skor yang merupakan cermin kemampuan
peserta tes yang didapat juga bergantung pada kelompok butir.
Berdasarkan asumsi dan ciri TTK tersebut maka para ahli psikometri
mencari model alternatif. Hambleton et al. (1991) dan Hulin et al. (1983)
mengemukakan bahwa model MTT memiliki ciri yakni sekali parameter butir
terkalibrasi maka parameter tersebut invarian, artinya ciri butir tidak berubah
sekalipun dilakukan pada kelompok uji lain, begitu juga kemampuan peserta tes tetap
sekalipun mengerjakan butir yang beda dengan asumsi bahwa distribusi kemampuan
kelompok setara sehingga skor yang merupakan cermin kemampuan peserta tes tidak
bergantung pada kelompok butir. Walaupun TTK dan MTT berbeda asumsi, namun
dalam satu software kadangkala kedua pendekatan tersebut saling melengkapi.
24
Misalnya, program Bilog-MG keluaran Ph1 dengan pendekatan TTK akan membantu
sekaligus memahami keluaran Ph2 dan Ph3 dengan pendekatan MTT.
Ciri-ciri MTT memiliki kemiripan dengan model Rasch. Model MTT
merupakan model statistik sedangkan model Rasch merupakan model pengukuran
walaupun kurva fungsinya sama-sama monotonik. Artinya semakin tinggi kemampuan
peserta tes maka peluang untuk menjawab benar suatu butir soal semakin tinggi tanpa
memperhatikan daya beda dan peluang tebakan.
2. Model Pengukuran Rasch
a. Asumsi Item Characteristic Curva (ICC)
Model ICC pada MTT mempunyai tiga model, yakni model logistik tiga
parameter (3PL), model logistik dua parameter (2PL), dan model logistik satu parameter
(1PL). Model Rasch atau model pengukuran Rasch ditemukan oleh George Rasch.
Hambleton, et al. (1991: 14) mengemukakan bahwa model Rasch berbeda dengan model
pendekatan MTT walaupun secara matematik bentuknya equivalen dengan IPL. Model
tersebut mempunyai ICC yang beda dengan model 1PL yakni model 1PL mempunyai
nilai D =1,7 sehingga lebih bentuknya lebih curam sedangkan model Rasch mempunyai
nilai D = 1 sehingga bentuknya lebih landai. Haley dalam Hambleton & Swaminathan
(1985: 37) dan Kolen & Brennan (2004: 158) mengemukakan bahwa hubungan antara
fungsi normal kumulatif dengan model logistik dilakukan dengan penambahan faktor D
= 1,7 pada model logistik sehingga selisih nilai absolut )(iP pada kedua model untuk
semua peserta tes lebih kecil dari 0,01 sehingga dianggap sama. Walaupun demikian
Linacre (2005) menguraikan bahwa perbedaan antara keduanya bukan hanya aspek
kuantitatif yakni selisih 0,01 namun juga berbeda pada beberapa aspek antara lain seperti
pada Tabel 2.
25
Tabel 2.
Perbedaan Model Rasch dan Model 1PL
No
Aspek
Model Dikotomi Rasch
Model Satu Parameter
1 Singkatan Rasch 1PL
2 Alasan (Dasar)
Preskriptif: Taksiran
kemampuan dan butir soal
distribusinya bebas
Deskriptif: Lebih mendekati
model Ogive Normal
3 Peserta Tes
n kemampuan peserta tes Bn
atau ν kemampuan peserta
tes v di dalam logits
Sampel peserta tes
berdistribusi normal dari
distribusi kemampuan theta
(θ). Dikonseptualisasikan
sebagai N(0,1).
4 Butir soal
Tingkat kesukaran butir ke-i
Di atau tingkat kesukaran
butir ke ι di dalam logits
Butir ke-i dari tingkat
kesukaran bi di dalam
probits
5
Formula:Bentuk
exponensial
e = 2.71828 in
in
DB
DB
nie
eP
1
)(7,1
)(7,1
1 i
i
b
b
nie
eP
6
Formula:Bentuk
logit-linear
loge = natural
logarithm in
ni
nie DB
P
P
1log )(7,1
)(1
)(log i
i
ie b
P
P
7
Daerah asal
skala: titik nol
taksiran
parameter
Rerata tingkat kesukaran
butir atau tingkat kesukaran
butir soal yang dispesifikkan
(acuan kriteria)
Rerata kemampuan peserta
tes (acuan norma)
8 Daya beda butir
Kurva karakteristik butir
dimodelkan menjadi paralel
dengan nilai slop 1 (Ogif
logistik alam (natural)
Kurva karakteristiknya
paralel dengan slope 1,7
(mendekati slop ogif normal
kumulatif)
9
Mising data
yang diijinkan
Bergantung pada metode
penaksiran
Bergantung pada metode
penaksiran
10
Fixed
(anchored) nilai
parameter untuk
peserta tes dan
butir soal Bergantung pada software
Butir: bergantung pada
software dan peserta tes
hanya bergantung pada
bentuk distribusi
11
Evaluasi
Kecocokan (fit)
Kecocokan data pada model.
Local, satu parameter pada
satu waktu
Kecocokan model pada
data. Global, menerima atau
menolak model
12
Ketidakcocokan
data dan model
Data cacat tidak mendukung
pemisahan parameter
didalam kerangka kerja
aditif. Pertimbangkan
mengedit data
Data cacat tidak cukup
mendekripsikan data.
Pertimbangkan menjumlah
parameter daya beda (2-PL),
peluang tebakan (3PL)
26
Sambungan Tabel 2
No Aspek Model Dikotomi Rasch Model Satu Parameter
13
Pertama
menampilkan
Rasch, George (1960).
Model probabilistik untuk
beberapa tes inteligensi dan
prestasi (attainment).
Kopenhagen: Danish
Institute for Educational
Research
Birnbaum, Allan (1968).
Beberapa model
kemampuan laten. Dalam
F.M. Lord &M.R. Novick,
(Eds), Statistical theories of
mental; test scores. Reading,
MA: Addison-Wesley.
14
Pendukung
Pertama
Benjamin D. Wright,
University of Chicago
Frederic M. Lord,
Educatioal Testing Service
15
Otoritas aktif
yang
berwewenang
secara langsung
David Andrich,University of
Western Australia, Perth,
Australia
Ronald Hambleton,
University of Massachusetts
16
Buku teks yang
memperkenalkan
Applying the Rasch Model.
T.G. Bond and C.M. Fox
Fundamentals of Item
Response Theory. R.K.
Hambleton, H.
Swaminathan, and H.J.
Rogers.
17
Software yang
digunakan
secara luas
Winsteps, RUMM,
ConQuest
Logist, BILOG
Tabel 2 menggambarkan perbedaan antara kedua model dimana model Rasch
lebih banyak digunakan pada tes prestasi dan digunakan pada acuan kriteria (patokan).
Jika data tidak cocok dengan model maka model dapat dipertimbangkan dan diganti
dengan model lain. Pergantian model tersebut tetap memperhatikan distribusinya. Oleh
karena itu, penaksiran kemampuan peserta tes dan butir soal tidak bergantung pada
distribusi normal namun bebas. Lebih lanjut, model Rasch merupakan model
pengukuran bukan merupakan model statistik sehingga bagaimana proses data tersebut
diperoleh lebih diperhatikan dibandingkan bagaimana data tersebut dianalisis.
Model Rasch menghubungkan setiap peserta tes sebagai individu (Bn) sebagai
suatu logistik ogive dengan tingkat kesukaran butir soal sedangkan model 1PL
27
menghubungkan theta (θ) sebagai sebuah distribusi normal ogive dengan tingkat
kesukaran soal. Adapun formula model Rasch dan model 1PL masing-masing sebagai
berikut:
in
in
DB
DB
nie
eP
1 ……….………………………. (1)
)(7,1
)(7,1
1 i
i
b
b
nie
eP
……….…...……………........... (2)
dimana e = 2.71828 dan Pni merupakan peluang peserta tes menjawab butir ke-i benar.
Kurva kedua model pada range kemampuan [-4,4] seperti pada Gambar 1.
Gambar 1.
Perbandingan Kurva Model 1PL dan Model Rasch
Gambar 1 menunjukkan bahwa kurva model 1PL lebih tajam daripada kurva
model Rasch karena mempunyai perbedaan nilai D dimana model 1PL mempunyai nilai
D = 1,7 sedangkan model Rasch mempunyai nilai D = 1. Hal tersebut menunjukkan
perbedaan antara model logistik ogive dan model normal ogive.
Model 1 PL
Model Rasch
28
b. Asumsi Independensi Lokal
Independensi lokal diartikan sebagai ketidakbergantungan suatu butir soal
dengan butir soal yang lain dalam pengukuran kemampuan peserta tes. Artinya, butir
soal yang satu tidak sama dengan butir soal yang lain dalam mengukur suatu trait
(kemampuan). Secara analogi matematik, tidak ada irisan objek kemampuan yang
diukur. Selanjutnya, secara statistik dapat dikatakan tidak ada korelasi signifikan antara
butir soal yang satu dengan butir soal lain dalam rentang kemampuan.
Independensi menurut Hulin et al. (1983: 43) dan Hambleton (1989: 151)
bahwa pada tingkatan kemampuan dan sikap, sebarang dua butir soal tidak berkorelasi
pada sub populasi yang homogen. Sebaliknya, pada sub populasi yang heterogen
dengan kemampuan yang bervariasi, respon dua butir berkorelasi. Hal tersebut tidak
berarti bahwa respon pada sebarang dua butir tidak berkorelasi secara umum.
Berdasarkan hal tersebut, subjek pada penelitian ini mempunyai sarana dan prasarana
pendidikan yang relatif sama sehingga kemampuan peserta tes dianggap setara.
Implikasinya, pada penelitian ini sebarang respon dua butir soal tidak berkorelasi.
c. Asumsi Unidimensi
Unidimensi mengacu satu dimensi suatu tes dimana domain yang akan
diukur. Jika butir soal tes mengukur kemampuan matematika, maka butir soal yang
ada pada tes tersebut mengacu pada kemampuan mengukur matematika, sedangkan
pada analisis faktor sering disebut sebagai komponen dominan. Menurut Hambleton,
et al. (1991: 9-10) pada pengukuran psikologi, karakteristik butir soal yang
membentuk tes tidak tepat secara eksak berdimensi satu (unidimensi) tetapi hanya
dominan terhadap suatu unjuk kerja. Jadi bila tes mengukur lebih dari satu dimensi
atau tidak dominan maka jawaban peserta tes terhadap butir soal akan merupakan
29
kombinasi dari berbagai kemampuan, sehingga sulit untuk mengetahui kontribusi dari
setiap butir soal terhadap kemampuan peserta tes. Kalau hal tersebut terjadi maka
dikatakan tes berdimensi dua atau lebih (multidimensi) sehingga perlu diketahui
dimensi suatu tes. Dimensi suatu tes dapat diketahui dengan metode fuzzy c-means.
Metode tersebut sederhana dan tidak memerlukan asumsi yang ketat dalam menentukan
dimensi suatu tes (Rukli, 2011).
Ada beberapa mekanisme untuk mengukur kemampuan peserta tes kalau tes
multidimensi. Misalnya, dimensi dalam tes tersebut dipisahkan dengan suatu
persamaan linier yang mewakili setiap dimensi dalam hal ini variabel sedangkan
parameternya merupakan pembobotan sehingga diperoleh informasi secara
keseluruhan dari kemampuan peserta tes yang diukur oleh tes tersebut. Unidimensi
atau multidimensi suatu tes dipengaruhi oleh kisi-kisi yang membangun tes tersebut.
Djemari Mardapi (1996: 15-19) mengemukakan bahwa pembuatan kisi-kisi tes
mengacu pada konsep bahwa materi pokok bahasan pada materi tes bisa tidak sama,
namun memiliki substansi pokok yang sama, dan penilaian pada ranah kognitif
cenderung berdimansi satu. Oleh karena hanya satu dimensi yang diukur yaitu pada
ranah kognitif sehingga tes UN SD adalah merupakan tes yang dominan dimana kisi-
kisi UN SD pada mata pelajaran matematika dibuat oleh Pusat Penilaian Pendidikan
(Puspendik). Walaupun demikian, butir soal UN SD menggunakan kisi-kisi yang
spesifik bukan pada tingkatan mata pelajaran namun pada tingkatan Standar
Kompetensi Lulusan (SKL) sehingga informasi berapa banyak butir soal yang
direspon peserta tes selama ujian per SKL memerlukan kajian lebih dalam. Seberapa
besar prosentase butir soal diharapakan muncul dalam setiap SKL perlu diperhatikan
prioritasnya dengan tetap memperhatikan faktor lain yakni tingkat kesukaran butir soal
yang paling adaptif terhadap kemampuan peserta tes saat ini. Jadi pembuatan
30
kisi-kisi butir soal tes yang meliputi pokok bahasan pada hakekatnya mengacu pada
substansi pokok yang sama namun materi tes tidak sama dimana mengungkapkan satu
kemampuan umum sehingga pokok bahasan, SKL, atau content area perlu
diperhatikan dan ditegaskan dimana komponen dominan mengacu pada analisis faktor.
Berdasarkan uraian ciri butir soal yang dependen dan asumsi yang melandasi
konsep TTK jika dibandingkan dengan ciri butir soal dan asumsi yang melandasi
konsep model Rasch maka konsep model Rasch lebih cocok dalam pengembangan
CAT dibandingkan dengan konsep TTK. Begitu juga konsep 1PL merupakan model
statistik bergantung pada distribusi sampel yang berdistribusi normal dibandingkan
model Rasch berdistribusi bebas lebih cocok dalam pengembangan CAT.
d. Fungsi Informasi Butir
Birnbaun dalam Hambleton et al. (1991: 92) mengemukakan bahwa
kemampuan peserta tes secara maksimum pada model 3PL dapat dihitung dengan
formula sebagai berikut:
))81(1(5.0ln1
i
i
i cDa
b ..…………...……… (3)
Jika peluang tebakan 0ic maka ib . Secara umum, jika 0ic maka fungsi
informasi butir soal mempunyai tingkatan kemampuan lebih tinggi daripada tingkat
kesukaran butir. Implikasinya, pemberian butir soal pada tahap awal proses pengujian
selayaknya menggunakan tingkat kesukaran butir lebih rendah dibandingkan dengan
tingkat kemampuan peserta tes agar supaya secara psikologis peserta tes mendapat butir
ransangan untuk menjawab butir yang lebih tinggi tingkat kesukarannya.
31
Pada model 2PL ditetapkan c = 0 dan 1PL ditetapkan c = 0 dan a = konstan,
sedangkan model Rasch ditetapkan c = 0 dan a = 1. Bila model Rasch diterapkan pada
persamaan (3) maka kemampuan peserta tes sama dengan tingkat kesukaran butir soal
tanpa memperhatikan variasi nilai a dan psikologis peserta tes. Oleh karena itu,
pembentukan basis pengetahuan pada model tersebut menggunakan pendekatan
adjustment bahwa bagaimanapun dalam merespon butir soal berpeluang munculnya
kendala-kendala sehingga kemampuan peserta tes tetap lebih tinggi jika dibandingkan
dengan tingkat kesukaran butir soal bila diharapkan peserta tes merespon secara benar
suatu butir soal. Gambaran tersebut lebih dijelaskan pada persamaan fungsi informasi
butir soal.
Fungsi informasi butir soal maksimum menurut Lord dalam Hambleton dan
Swaminathan (1985:107) bahwa model 2 PL dan 1PL masing-masing mempunyai nilai
22
4
1aD dan 2
4
1D . Jika D = 1 sesuai dengan model Rasch maka fungsi informasi
maksimum mempunyai nilai 4
1. Fungsi informasi butir soal pada model Rasch
mempunyai nilai yang sama yakni 0,25 dan bergerak ke kanan dan ke kiri searah
dengan tingkat kesukaran butir dan kemampuan peserta tes. Fungsi informasi butir soal
jika peserta tes merespon butir soal ke-i sebagai berikut:
)]}(1)[({
)]([)(
2'
ii
ii
PP
PI
………….…………………… (4)
Fungsi informasi tes merupakan penjumlahan fungsi informasi butir soal yang terjadi
secara independen. Fungsi informasi tes terdapat pada persamaan (5).
n
i
iII1
)()( ……………………………………….. (5)
32
e. Galat Baku Penaksiran Parameter Kemampuan
Parameter kemampuan peserta tes tidak dapat diketahui secara pasti sehingga
perlu dilakukan penaksiran. Penaksiran kemampuan menggunakan metode tertentu
tidak lepas dari galat sehingga penaksiran tersebut menghasilkan nilai pendekatan.
Artinya, jika nilai penaksiran semakin mendekati nilai kemampuan peserta tes maka
penaksiran semakin akurat dimana galat baku penaksiran parameter kemampuan
semakin kecil. Kedekatan tersebut tercermin dari nilai galat baku penaksiran parameter
kemampuan yang semakin kecil.
Penaksiran parameter butir soal terhadap parameter kemampuan peserta tes
dapat menggunakan hasil respon peserta tes. Menurut Hambleton et al. (1991: 95)
besarnya kesalahan baku bergantung beberapa hal. Pertama, jumlah butir soal yakni
semakin panjang tes semakin kecil galat baku. Kedua, kualitas butir tes yakni semakin
tinggi daya beda butir soal maka jawaban peserta tes secara benar tidak dapat diperoleh
dengan menebak. Ketiga, pemadanan antara kesukaran butir soal dengan kemampuan
peserta tes.
Galat baku penaksiran parameter kemampuan peserta tes adalah perbandingan
terbalik akar dari jumlah informasi parameter butir soal yang direspon peserta tes.
Berdasarkan hal tersebut, galat baku penaksiran parameter kemampuan dirumuskan
sebagai berikut:
)(
1)(
ISE
………………………………………… (6)
dimana )(
SE adalah galat baku penaksiran parameter kemampuan sedangkan )(I
adalah jumlah fungsi informasi butir yang direspon peserta tes atau sama dengan
persamaan (5). Galat baku parameter kemampuan peserta tes bergantung pada
keakuratan penaksiran parameter butir dan keakuratan parameter butir menaksir
33
parameter kemampuan peserta tes. Hasil penaksiran parameter butir pada penelitian ini
dilakukan dengan program Bilog-MG. Ukurann sampel model Rasch adalah sekitar
500 respon butir soal.
Penaksiran parameter kemampuan peserta tes terkait dengan penaksiran
parameter butir soal. Penaksiran parameter butir soal bergantung pada metode yang
dipakai. Misalnya, metode penaksiran kebolehjadian maksimum, semakin besar ukuran
sampel menaksir parameter butir maka galat baku penaksiran semakin kecil. Penaksiran
parameter butir soal pada penelitian ini tidak diuraikan lebih lanjut, namun penelitian
Rukli (1998: 77) menggunakan program ASCAL dengan ukuran sampel 2000
menemukan bahwa penaksiran parameter butir pada bagian akhir tes kurang akurat
karena tingkat kesukaran butir soal lebih besar jika dibandingkan dengan tingkat
kemampuan peserta tes. Hal tersebut disebabkan peluang tebakan butir soal cukup
tinggi disamping penaksiran daya beda butir soal dan tingkat kesukaran butir soal
kurang akurat serta waktu respon tes terbatas.
B. Metode Penaksiran
1. Metode Maximum Likelihood Estimation (MLE) dan Bayesian
Penaksiran kemampuan peserta tes dapat dilakukan secara simultan, yakni
melakukan penaksiran kemampuan peserta tes sekaligus penaksiran parameter butir
soal jika kedua parameter tersebut diketahui. Jika hanya mengetahui parameter butir
soal atau parameter kemampuan saja maka penaksiran parameter dilakukan secara
parsial. Metode penaksiran MLE atau Bayesian dapat digunakan untuk menaksir
parameter kemampuan jika parameter butir soal diketahui.
Hambleton, et al. (1991) mengemukakan bahwa ada dua metode yang sering
dipakai pada penaksiran parameter kemampuan bila parameter butir tes diketahui,
34
yaitu metode MLE dan metode Bayesian. Metode MLE termasuk metode statistik
parametrik. Hasil taksiran dapat digeneralisasikan jika asumsi tersebut memenuhi
syarat, namun jika asumsi tidak memenuhi syarat maka penaksiran parameter akan
bias. Sedangkan metode Bayesian merupakan probabilitas bersyarat. Kedua metode
tersebut memiliki kelemahan dan keunggulan sebagai berikut. Pertama, metode
Bayesian cocok digunakan bila informasi kemampuan peserta tes tersedia terkait
variabel laten, sebaliknya bila tidak tersedia maka MLE cocok dipakai. Kedua, nilai
penaksiran metode Bayesian tidak memperhatikan pola jawaban sebaliknya metode
MLE memperhatikan pola jawaban namun jika selama jawabannya benar semua atau
salah semua maka nilai penaksiran tak terhingga, akibatnya bila pola tersebut
berlangsung pada beberapa butir soal dapat menggurangi jumlah butir soal pada bank
butir soal. Ketiga, nilai penaksiran metode Bayesian tidak konsisten seiring dengan
bertambah besarnya ukuran sampel sebaliknya metode MLE konsisten seiring dengan
bertambahnya ukuran sampel. Menurut Hambleton et al. (1985:85) untuk memperoleh
penaksiran dengan metode MLE dapat menggunakan prosedur Newton-Raphson.
Perhitungan tersebut amat rumit, namun dapat dilakukan dengan pendekatan iterasi
dengan komputer.
Kedua metode tersebut telah dipakai pada beberapa produk CAT. Misalnya,
Agus Santoso (2009) menggunakan metode MLE dalam menaksir parameter
kemampuan peserta tes. MATHCAT yaitu sistem CAT yang dikembangkan di Belanda
menggunakan MLE dalam menaksir karakteristik butir dan peserta tes (Verschoor, et
al. 2000). Imai (2008) melaporkan bahwa J-CAT menggunakan metode Bayesian dalam
memilih butir soal adaptif terhadap kemampuan peserta tes. Penelitian Chen, et al.
(2007) melakukan perbandingan empat metode penaksiran kemampuan peserta tes,
yakni dua dari kelompok Bayesian yakni OWEN dan EAP, dan yang lainnya MLE
35
dan WLE menunjukkan OWEN dan EAP lebih lambat konvergen dibandingkan dengan
MLE dan WLE.
2. Metode High Low
Metode high low menggunakan sistem percabangan secara adaptif sesuai
dengan pilihan aturan yang ada. Jika peserta tes menjawab suatu butir soal dengan salah
maka butir soal selanjutnya adalah butir soal tingkat kesukaran lebih rendah sebaliknya
jika peserta tes menjawab butir soal dengan benar maka butir soal selanjutnya adalah
butir soal tingkat kesukaran yang lebih tinggi. Nilai naik dan turun bergantung pada
algoritma.
Pada aturan algoritma metode high low, tingkat kesukaran butir soal dipadankan
dengan tingkat kemampuan peserta tes. Jika respon benar maka tingkat kesulitan butir
soal akan dinaikkan 0,1 atau lebih sebaliknya jika respon salah maka tingkat kesulitan
butir soal akan diturunkan 0,2 atau lebih. Lord dalam Hulin, et al. (1983: 215-217)
menyebut metode tersebut sebagai prosedur percabangan high low, yakni jika benar
dinaikkan 1,01 jj bb dan jika salah diturunkan 2,01 jj bb . Aturan tersebut
dapat mengatasi kekurangan metode MLE yang membutuhkan waktu lama dalam
pencarian butir soal selanjutnya secara iterasi. Metode high low dapat digunakan dalam
pelacakan butir soal tertentu secara adaptif.
3. Metode Heuristik
Metode heuristik dan metode analisis faktor non linier mempunyai perbedaan
dengan metode MLE dan Bayesian. Metode heuristik dan metode analisis factor non
linier tidak termasuk statistik parametrik sehingga tidak memerlukan persyaratan atau
asumsi. Menurut Urry (1974, 1978) metode heuristik dapat diaplikasikan pada model
36
logistik dua dan tiga parameter, sedangkan metode analisis faktor non linier menurut
McDonald (1967, 1989) dapat diaplikasikan pada model dua parameter, namun pada
model tiga parameter, parameter peluang tebakan di-fixed-kan (Hambleton, et al.
1991:46). Metode heuristik mempunyai berbagai prosedur dan dapat digunakan dalam
berbagai tingkatan pengukuran. Menurut Corne, et al. (2000: 3) perbedaan antara
metode heuristik dengan metode lain terletak pada kemudahan dalam penaplikasiannya,
misalnya jika masalah terlalu kompleks maka program linier sulit diaplikasikan.
Ada beberapa metode heuristik yang sering dipakai yakni metode fuzzy ,
algoritma genetika, dan jaringan syaraf tiruan. Ketiga metode tersebut mempunyai
kelebihan dan perkembangan dalam berbagai bidang. Metode fuzzy misalnya,
memahami logikanya lebih mudah, menggunakan bahasa matematika, dan memiliki
aturan logika sederhana sehingga pengaplikasian pada bidang teknik dan rekayasa
sangat tinggi disamping tidak membutuhkan pelatihan pada variabel input sebagaimana
metode jaringan syarat tiruan. Sebaliknya, metode algoritma genetika membutuhkan
node-node dalam fungsinya sehingga metode tersebut membutuhkan operasi
perhitungan matematika yang tinggi. Berdasarkan hal tersebut, metode fuzzy lebih
memberikan beberapa keuntungan jika dibandingkan dengan metode lain. Misalnya,
keakuratan dalam memilih butir soal yang adaptif tanpa perlu adanya pelatihan node.
4. Logika Fuzzy
Logika fuzzy (fuzzy logic) diperkenalkan oleh Zadeh dari Universitas
California di Berkeley Tahun 1965. Zadeh mempresentasikan logika fuzzy bukan
sebagai suatu metodologi kontrol namun suatu cara pemrosesan data dengan
37
penerapan partial set membership dibanding crisp set membership atau non-
membership. Logika fuzzy mempunyai karakteristik sebagai berikut.
a. Logika klasik (crisp) dan logika Fuzzy
Logika klasik dan logika fuzzy mempunyai perbedaan dalam menyatakan
tingkat suatu himpunan variabel. Gambar 2 menunjukkan logika klasik yang
mempunyai nilai kebenaran 0 atau 1, sedangkan Gambar 3 menunjukkan logika
fuzzy mempunyai nilai kebenaran antara 0 dan satu, dimana satu titik domain pada
himpunan variabel fuzzy mempunyai dua nilai derajat keanggotaan berbeda.
Gambar 2.
Representasi Himpunan Klasik
Gambar 3.
Representasi Himpunan Fuzzy
Gambar 3 menunjukkan himpunan fuzzy mudah, sedang, dan sukar pada
suatu domain dimana satu titik pada domain menghasilkan dua nilai tertentu yakni
38
tingkat keanggotaan. Misalnya 1b mempunyai dua nilai keanggotaan sebesar 0,25
pada himpunan fuzzy mudah dan 0,75 pada himpunan fuzzy sedang. Gambaran
tersebut lebih mendekati bahasa alami dibandingkan dengan himpunan tegas
sehingga himpunan fuzzy lebih cocok digunakan dalam metode pencarian yang
tidak pasti. Misalnya, pemilihan butir soal yang adaptif dengan kemampuan peserta
tes dimana satu diantara butir soal tersebut lebih mendekati kemampuan peserta tes
bukan dengan penentuan secara pasti.
Logika fuzzy sebagaimana dengan logika klasik mempunyai aturan operator
penggambungan terhadap dua atau lebih himpunan. Penggabungan dua atau lebih
himpunan logika fuzzy digunakan metode fuzzy yakni mencari butir soal adaptif
terhadap karakteristik kemampuan peserta sesuai dengan ruang lingkup basis
pengetahuan yang telah ditetapkan. Menurut Corne et al. (2000: 11) kekuatan
utama logika fuzzy bergantung pada fungsi keanggotaan secara intuisi sesuai
pikiran.
b. Fungsi Keanggotaan
Fungsi keanggotaan menunjukkan suatu kurva dimana terjadi hubungan
fungsional titik input data sesuai bentangan domain himpunan fuzzy yakni nilai
domain himpunan fuzzy sebagai sumbu mendatar ke dalam nilai keanggotan
sebagai sumbu vertikal. Tingkat keanggotaan fuzzy berbeda dengan istilah
probabilitas walaupun nilai bentangan sama yakni bergerak dari 0 sampai dengan
satu. Tingkat keanggotaan fuzzy berada pada bentangan tertinggi yakni 1, artinya
semakin mendekati 1 semakin besar tingkat keanggotaannya, sedangkan semakin
mendekati 0 berarti semakin kecil tingkat keanggotannya. Interpretasi nilai pada
tingkat keanggotaan fuzzy memberikan ukuran terhadap suatu pendapat atau
39
keputusan sedangkan probabilitas secara statistik menunjukkan tingkat frekuensi
terjadinya sesuatu hal yang dibicarakan. Walaupun kurva dari fungsi tersebut tidak
sama bergantung objek kajian namun fungsi keanggotaan mempunyai fitur sama.
Fitur fungsi keanggotaan kurva yakni: Pertama, core merupakan daerah
dalam himpunan fuzzy yang mempunyai nilai keanggotaan sama dengan 1 dimana
1)( xA . Kedua, support merupakan daerah dalam himpunan fuzzy dengan nilai
keanggotaan tidak nol dimana 0)( xA . Ketiga, boundary merupakan daerah
dalam himpunan fuzzy yang mempunyai nilai keanggotaan tidak nol dan tidak core
dimana 1)(0 xA . Posisi ketiga fitur fungsi keanggotaan terdapat pada Gambar
4.
Gambar 4.
Posisi Fitur pada Fungsi Keanggotaan
Ada beberapa bentuk kurva fungsi keanggotaan fuzzy yang sering
digunakan, yaitu representasi bentuk kurva linier, bentuk kurva segitga, bentuk
kurva trapezium, bentuk kurva bahu, bentuk kurva S, dan bentuk kurva lonceng
(phi, beta, dan gauss). Uraian bentuk kurva fungsi keanggotaan fuzzy sebagai
berikut. Pertama, bentuk input derajat keanggotaan menggunakan garis lurus
dalam mengaitkan dengan tingkat keanggotaan suatu variabel fuzzy. Bentuk
40
kurva linear terdapat pada Gambar 5 sedangkan fungsi keanggotaannya terdapat
pada persamaan (7).
bx
bxaabax
ax
xA
;1
);(:)(
;0
)(
……………………………. (7)
Gambar 5.
Fungsi Keanggotaan Bentuk Kurva Linear
Kedua, fungsi keanggotaan bentuk kurva segitiga mempunyai fungsi
keanggotaan gabungan tiga fungsi keanggotaan linear. Gambar 6 menunjukkan
fungsi keanggotaan kurva segitiga sedangkan fungsi keanggotaannya ( )(xA )
terdapat pada persamaan (8).
cx
cxbbcxc
bxaabax
ax
xA
,0
);(:)(
);(:)(
;0
)(
…………………………… (8)
Menurut Bojadziev & Bojadziev (2007:22-23) fungsi keanggotaan bentuk
segitiga amat sering digunakan dalam aplikasi kontrol dan sistem keputusan
manajerial, bisnis, dan pemasaran.
41
Gambar 6.
Fungsi Keanggotaan Bentuk Kurva Segitiga
Ketiga, fungsi keanggotaan bentuk kurva trapezium merupakan modifikasi
dari bentuk segitiga dimana terdapat lebih dari satu titik yang mempunyai nilai
keanggotaan 1. Bentuk trapezium terdapat pada Gambar 7 sedangkan fungsi
keanggotaan terdapat pada persamaan (9).
dxccdxd
cxb
bxaabax
dxax
xA
);(:)(
;1
);(:)(
;0
)(
………………………..… (9)
Gambar 7.
Fungsi Keanggotaan Bentuk Kurva Trapezium
Keempat, fungsi keanggotaan bentuk kurva bahu merupakan penggabungan
bentuk segitiga dan bentuk trapezium. Kurva bagian tengah menyatakan variabel
dalam bentuk segitiga sedangkan bagian sisi awal dan akhir yakni kanan dan kiri
merepresentasikan suatu variabel dalam bentuk trapezium. Bentuk bahu terdapat
pada Gambar 8.
42
Gambar 8.
Fungsi Keanggotaan Bentuk Kurva Bahu
Kelima, bentuk kurva S merupakan bentuk kurva sigmoid yang bergerak
dari kiri dengan nilai keanggotaannya nol kearah kanan dalam bentuk S dengan
nilai keanggotannya paling kanan mendekati satu. Bentuk S mempunyai tiga
parameter, yaitu: nilai keanggotaan nol ( ), nilai keanggotaan lengkap ( ), dan
nilai keanggotaan titik infeksi ( ) dimana memiliki domain 50% benar. Kurva S
serupa dengan kurva ICC namun keduanya berbeda makna di sumbu Y dimana
sumbu Y pada kurva ICC menyatakan probabilitas sedangkan sumbu Y pada kurva
S menyatakan tingkat keanggotaan. Selanjutnya, bentuk kurva S terdapat pada
Gambar 9 sedangkan fungsi keanggotaan bentuk S terdapat pada persamaan (10).
x
xx
xx
x
xA
;1
];)(:)(2[1
;)(:)(2
;0
)(2
2
……………………. (10)
Berdasarkan hal tersebut, bentuk kurva segitiga mendeskripsikan
kedudukan titik tertentu dua himpunan fuzzy dengan satu nilai keanggotaan
tertentu jika hanya satu bentuk kurva segitiga. Satu titik himpunan fuzzy
menghasilkan dua nilai keanggotaan fuzzy jika dua atau lebih bentuk kurva
43
segitiga. Secara praktik, dua atau lebih bentuk kurva segitiga yang digunakan dan
dibandingkan sesuai dengan variabel fuzzy . Hal tersebut terjadi karena variabel
fuzzy selalu dibagi dalam beberapa himpunan fuzzy . Berdasarkan hal tersebut,
fungsi informasi butir pada setiap titik kurva menghasilkan fungsi satu-satu antara
tingkat kesukaran dan tingkat kemampuan dan hanya satu titik mempunyai nilai
maksimum sesuai dengan logika penafsiran bentuk kurva segitiga. Jumlah
himpunan fuzzy pada suatu variabel fuzzy bergantung pada objek kajian yang dapat
diperoleh lewat simulasi, kajian teori, atau pakar. Oleh karena itu, fungsi
keanggotaan bentuk kurva segitiga lebih sesuai objek penelitian ini.
Gambar 9.
Fungsi Keanggotaan Bentuk Kurva S
c. Operator Dasar Logika Fuzzy
Operator dasar logika fuzzy mempunyai tiga bentuk, yaitu: AND, OR,
dan NOT. Ketiga operator tersebut dikenal juga dalam operator logika boolean
atau teori himpunan namun mempunyai aturan yang tidak sama sehingga
mempunyai penafsiran tidak sama juga kecuali NOT. Operator AND dalam teori
himpunan klasik merupakan hasil irisan antara kedua himpunan, namun pada
operator AND pada fuzzy merupakan nilai terkecil dari nilai keanggotaan
44
himpunan. Aturan operator AND pada fuzzy dengan dua himpunan keanggotaan A
dan B pada persamaan (11).
])[],[min( yx BABA …………………………… (11)
Operator OR dalam teori himpunan klasik merupakan hasil gabungan antara
kedua himpunan, namun operator OR dalam pada fuzzy merupakan nilai terbesar
dari nilai keanggotaan himpunan. Aturan operator OR pada fuzzy dengan dua
himpunan keanggotaan A dan B pada persamaan (12).
])[],[( yxmaks BABA …………………………… (12)
Operator NOT dalam logika boolean merupakan hasil negasi atau
komplemen suatu himpunan sama dengan operator NOT pada fuzzy yakni satu
dikurangkan dengan nilai keanggotaan himpunan yang dikomplemenkan. Aturan
operator NOT pada fuzzy dengan himpunan keanggotaan A pada persamaan (13).
][1][1 xx AA
……………………………………. (13)
Ketiga operator tersebut mempunyai aturan logika sederhana dan fleksibel
untuk menentukan butir soal adaptif terhadap kemampuan peserta tes. Oleh karena
itu, pengembangan model CAT dengan metode fuzzy mempunyai beberapa
keuntungan, yakni: (1) memiliki performa sederhana, murah, mudah, dan
fleksibel, (2) memiliki toleransi terhadap data-data yang tidak tepat, (3) mampu
memodelkan fungsi-fungsi tidak linear, (4) membangun dan mengaplikasikan
pengalaman pakar secara langsung tanpa melewati proses pelatihan, dan (5)
menggunakan bahasa alami sehingga pengaplikasinnya semakin luas dalam
bidang teknik, rekayasa jaringan, dan sistem cerdas. Walaupun demikian, logika
fuzzy mempunyai keterbatasan disebabkan menggunakan penalaran deduktif
45
dalam membangun basis pengetahuan namun dengan pendalaman teori,
pengalaman para pakar atau simulasi maka aturan if then akan lebih akurat.
Metode fuzzy sudah diterapkan dalam bidang psikometri. Misalnya,
penelitian Haryanto (2009) menggunakan empat basis pengetahuan pada metode
fuzzy Tsukamoto dalam memilih butir soal adaptif terhadap kemampuan peserta tes
dengan memadukan model TTK. Sen-Chi Yu & Berlin Wu (2006) memadukan
antara logika fuzzy dengan Partial Credit Model (PCM) dalam mereduksi
klasifikasi penskoran.
d. Fuzzy Karakteristik Butir Soal dan Basis Pengetahuan
Logika fuzzy memiliki beberapa aturan yang terkait dengan karakteristik
butir soal sebagai berikut. Pertama, variabel fuzzy menyangkut variasi nilai yang
diperhatikan dalam suatu sistem fuzzy. Dalam kaitan karakteristik butir soal,
variabel fuzzy adalah daya beda, tingkat kesukaran, dan peluang tebakan,
sedangkan kaitan karakteristik peserta tes, variabel fuzzy adalah kemampuan
peserta tes. Kedua, himpunan fuzzy adalah kondisi atau keadaan tertentu dari
variabel fuzzy . Misalnya, variabel fuzzy tingkat kesukaran butir soal ada lima
himpunan fuzzy , yakni: sangat rendah, rendah, sedang, tinggi, dan sangat tinggi.
Ketiga, semesta pembicaraan adalah keseluruhan nilai yang masuk dalam rentang
variabel fuzzy yang bisa dioperasikan pada rentang bilangan riil. Misalnya, secara
teori kemampuan peserta tes pada skala logit mempunyai semesta pembicaran
),( . Keempat, domain merupakan bagian dari semesta pembicaraan yang
dapat mengacu pada rentang himpunan fuzzy . Misalnya, semesta pembicaraan
variabel fuzzy tingkat kesukaran butir soal [-4,4] mempunyai domain himpunan
fuzzy sangat tinggi [3,4]. Kelima, fungsi keanggotaan adalah kurva yang
46
menunjukkan pemetaan titik masukan data ke dalam nilai keanggotannya (derajat
keanggotaannya) yang mempunyai nilai keanggotaan antara 0 dan 1. Aturan
tersebut perlu diperhatikan dalam perancangan basis pengetahuan.
Sistem penalaran fuzzy membutuhkan basis pengetahuan tentang
karaktersitik butir soal. Basis pengetahuan tersebut berlandaskan hubungan
fungsional antara kemampuan peserta tes dalam merespon butir soal yang
tergambar pada kurva ICC. Birnbaun dalam Hambleton et al. (1991: 91)
mengemukakan bahwa fungsi informasi maksimum suatu butir soal terjadi jika
butir soal memiliki karakteristik peluang tebakan sekecil mungkin, daya beda
paling besar, dan tingkat kesukaran butir soal cocok kemampuan peserta tes.
Berdasarkan hal tersebut, persamaan (3) sebagai data preferensi dalam melakukan
simulasi pada model Rasch.
Pada basis pengetahuan model Rasch, variabel fuzzy tingkat kesukaran
butir soal dan variabel fuzzy tingkat kemampuan peserta mempunyai hubungan
adaptif. Misalnya, jika tingkat kemampuan peserta tes tinggi maka butir soal yang
cocok adalah butir soal yang mempunyai tingkat kesukaran sedang atau tinggi, dan
sebaliknya. Aturan tersebut digunakan dalam membangun basis pengetahuan
metode Futsuhilow, Fusuhilow, dan Fumahilow.
C. Sistem Penalaran Fuzzy (Fuzzy Inference Sistems)
Sistem penalaran fuzzy mempunyai tiga bagian yakni masukan, proses, dan
keluaran. Masukan dan keluaran mempunyai nilai tegas sedangkan proses adalah
mengubah nilai tegas ke nilai fuzzy (fuzzifikasi) lalu nilai fuzzy ke nilai tegas
(defuzzifikasi). Gambar 10 menunjukkan tiga proses eksekusi sebagai berikut.
Pertama, fuzzifikasi (komposisi) variabel input yaitu definisi dari himpunan fuzzy
47
dan penentuan derajat keanggotaan crisp input ke sebuah himpunan fuzzy atau
mengubah masukan crisp ke sebuah variabel linguistik menggunakan fungsi
keanggotaan. Kedua, metode fuzzy merupakan evaluasi aturan fuzzy dalam
menghasilkan keluaran dari tiap aturan. Tiap aturan menggunakan aturan fuzzy jika
maka (if then) atau mengubah masukan fuzzy ke keluaran fuzzy berdasarkan aturan
basis pengetahuan. Ketiga, defuzifikasi (dekomposisi) merupakan perhitungan crisp
output dengan cara mengubah keluaran fuzzy dari mesin metode ke crisp dengan
analogi fungsi keanggotaan yang telah digunakan pada proses pertama. Proses
defuzifikasi yang membedakan ketiga mesin inferensi.
FuzifikasiMetode
(Tsukamoto, Sugeno,
dan Mamdani)
Defuzifikasi
Basis Pengetahuan
Masukan
(a,b,c)Keluaran
(θ)
Gambar 10.
Sistem penalaran Fuzzy
Ada tiga bagian yang perlu diperhatikan pada sistem metode fuzzy Gambar
10. Pertama, basis pengetahuan menyangkut karakteristik butir soal terhadap
kemampuan peserta tes pada model Rasch. Basis pengetahuan tersebut diperoleh dari
kajian teori, simulasi dengan program Microsoft Excel atau pakar. Kedua, komposisi
menyangkut agregasi atau kombinasi dari keluaran semua aturan. Ketiga, pemetaan
tidak linier, yakni sebuah sistem penalaran fuzzy mengimplementasikan pemetaan
tidak linier dari ruang masukan ke ruang keluaran. Secara umum pedoman tersebut
diperlukan pada sistem penalaran fuzzy dengan memperhatikan metode fuzzy yang
terpilih. Metode fuzzy terdiri atas metode fuzzy Tsukamoto, Sugeno, dan Mamdani.
48
Ketiga metode tersebut mempunyai input serupa namun mempunyai keluaran yang
berbeda karena mempunyai sistem metode berbeda mengelola basis pengetahuan,
fuzzifikasi, dan defuzzifikasi (Jang, et al. (1995) dan Ross (2004).
1. Metode Fuzzy Tsukamoto
Karakteristik metode fuzzy Tsukamoto adalah konsekuensi dari setiap aturan
fuzzy IF-THEN yakni IF x adalah Y THEN z adalah W atau z = f ((x, Y),W) sehingga
tidak ketat mengikuti aturan komposisi atau tidak ada proses defuzifikasi. Mekanisme
demikian disebut direpresentasikan dengan fungsi keanggotaan monotonik (fungsi
bahu), yakni pengambilan keputusan output tiap aturan didefinisikan sebagai nilai tegas
disebabkan oleh nilai keanggotaannya berasal dari anteseden aturan tersebut. Misalkan,
jika tingkat kesukaran adalah sangat tinggi yang ditandai dengan tingkat keanggotaan
adalah tinggi maka tingkat kemampuan adalah sangat tinggi yang ditandai dengan
tingkat keanggotaan adalah tinggi. Operasi nilai tegas ke nilai fuzzy menggunakan
tingkat keanggotaan tiap himpunan fuzzy pada masing-masing variabel fuzzy yang
dibicarakan. Hasil akhir keseluruhan menggunakan rerata berbobot (Z).
Metode fuzzy Tsukamoto dipadukan dengan metode high low disebut metode
Futsuhilow. Metode Futsuhilow merupakan suatu teknik pencarian kemampuan
peserta jika butir soal diketahui. Karakteristik butir soal selanjutnya menggunakan
metode high low, yakni jika respon sebelumnya benar maka dinaikkan 0,1 atau lebih
namun jika salah maka diturunkan 0,2 atau lebih. Gambar 11 menunjukkan model
metode fuzzy Tsukamoto.
49
Gambar 11.
Metode Fuzzy Tsukamoto
2. Metode fuzzy Sugeno
Metode fuzzy Sugeno menggunakan konstanta atau fungsi matematika sebagai
konsekuensi. Jika metode fuzzy Sugeno menggunakan konstanta sebagai konsekuensi
dikatakan model Sugeno orde nol, jika metode fuzzy Sugeno menggunakan fungsi
matematika sebagai konsekuensi dikatakan model Sugeno orde satu. Jadi konsekuensi
metode fuzzy Sugeno bukan merupakan himpunan fuzzy melainkan konstanta atau
fungsi matematika. Metode fuzzy Sugeno orde nol mempunyai aturan logika pada
persamaan (14).
IF x is A AND y is B THEN z is k ................................ (14)
dimana x, y, dan z adalah variabel linguistik, A dan B himpunan fuzzy untuk X dan Y,
dan k adalah konstanta. Sedangkan metode fuzzy Sugeno orde satu mempunyai aturan
logika pada persamaan (15).
50
IF x is A AND y is B THEN z is px + qy + r ................ (15)
dimana x, y, dan z adalah variabel linguistik, A dan B himpunan fuzzy untuk X dan Y
serta p, q, dan r adalah konstanta. Proses defuzifikasi menggunakan rerata berbobot
dari nilai konstanta atau fungsi dari tiap himpunan fuzzy . Hal tersebut sebagai cara
mencari output fuzzy . Gambar 12 menunjukkan model metode fuzzy Sugeno orde satu
Gambar 12.
Metode Fuzzy Sugeno Orde Satu
Metode fuzzy Sugeno yang dipadukan dengan metode high low disebut
metode Fusuhilow. Metode Fusuhilow merupakan suatu teknik pencarian butir tes yang
adaptif terhadap kemampuan peserta tes dimana metode fuzzy Sugeno
digunakan dalam menentukan kemampuan peserta yang cocok dengan karakteristik
butir. Pencarian butir selanjutnya menggunakan metode high low yakni jika respon
51
sebelumnya benar maka dinaikkan 0,1 atau lebih namun jika salah maka diturunkan 0,2
atau lebih.
3. Metode fuzzy Mamdani
Ada empat tahapan metode fuzzy Mamdani, yakni: (1) Pembentukan himpunan
fuzzy , yakni variabel masukan dan variabel keluaran dibagi menjadi satu atau lebih
himpunan fuzzy . Misalnya variabel fuzzy daya beda, maka himpunan fuzzy dapat
terdiri atas rendah, sedang, dan tinggi. (2) Produk fungsi aturan menggunakan AND,
OR, atau NOT. (3) Komposisi aturan, bila terdiri dari beberapa aturan sehingga inferensi
diperoleh dari kumpulan dan korelasi antar aturan. Ada tiga metode dalam melakukan
inferensi yakni max, additive, atau probabilistik OR. (4) Defuzzifikasi adalah konversi
dari himpunan fuzzy yang dihasilkan dari komposisi ke dalam nilai crisp dengan
metode defuzzy . Metode defuzzy yakni metode yang digunakan dalam
mengkomposisikan aturan Mamdani dalam menghasilkan solusi crisp, yakni: centroid,
bisektor, mean of maximum, largest of masimum, dan smallest of maximum.
Perbandingan posisi kelima metode tersebut dalam domain fuzzy dapat dilihat pada
Gambar 13.
Gambar 13.
Posisi Metode Defuzzy
52
Gambar 13 menunjukkan smallest of max menunjukkan nilai yang paling kecil
berada pada ujung paling kiri, sedangkan largest of max terjadi sebaliknya, yakni
menunjukkan nilai paling besar yang berada pada ujung paling kanan. Mean of max
adalah titik tengah dari nilai µ yang paling tinggi, bisector of area adalah berada pada
pertengahan daerah yang diarsir, dan centorid of area adalah titik pusat dari daerah.
Metode centroid technique mempunyai keunggulan sebagai berikut. (1) Kontinu
(continuity), artinya jika perubahan masukan kecil maka tidak menghasilkan perubahan
keluaran yang besar. (2) Tidak rancu (disambiguity), yakni selalu menghasilkan nilai
yang unik. (3) Logis (plausibility) yakni berada pada daerah pendukung dan tingkat
keanggotaanya tinggi, dan (4) Perhitungan sederhana (computational simplicity).
Rumus menghitung nilai defuzzikasi dengan cara centre of gravity (COG) secara
umum dirumuskan pada persamaan (16).
b
a
A
b
a
A
xdxx
xdxxx
COG
)(
)(
................................................................. (16)
Perhitungan persamaan (16) amat rumit sehingga menggunakan program
Matlab atau pendekatan lain. Rumus pendekatan dalam menghitung COG bervariasi.
Misalnya, Wang dan Luoh (2000) menghitung COG dengan fungsi keanggotaan
bentuk segitiga pada persamaan (17).
)(3
1max
_
bxax .................................................................... (17)
dimana a dan b batas bawah dan batas atas rentang variabel fuzzy yang dihitung
sedangkan maxx adalah puncak paling tinggi tingkat keanggotaan bentuk segitiga.
53
Antonio dan Gustavo (2010) melakukan update terhadap persamaan 17 sehingga
diperoleh persamaan (18).
)(3
1max
_
LR bbxx ............................................................... (18)
dimana maxx nilai maksimal Rb titik sebelah kanan pada kurva segitiga dan
Lb titik
sebelah kiri pada kurva segitiga. Model metode fuzzy Mamdani terdapat pada Gambar
14.
Gambar 14.
Metode Fuzzy Mamdani
Metode fuzzy Mamdani yang dipadukan dengan metode high low disebut
metode Fumahilow. Metode Fumahilow merupakan suatu teknik pencarian butir tes
yang adaptif terhadap kemampuan peserta tes. Metode fuzzy Mamdani digunakan
untuk menentukan karakteristik kemampuan peserta tes berdasarkan karakteristik
butir soal. Selanjutnya, mencari karakteristik butir soal yang cocok dengan
karakteristik kamampuan peserta dengan menggunakan metode high low. Aturannya,
54
jika respon sebelumnya benar maka dinaikkan 0,1 atau lebih namun jika salah maka
diturunkan 0,2 atau lebih.
Ketiga metode tersebut mempunyai perbedaan pada bagian defuzifikasi
sedangkan basis pengetahuan yang digunakan hampir sama. Metoda Mamdani
menggunakan himpunan fuzzy sebagai konsekuensi rule dan komputasi lebih
kompleks, namun human-like inference. Metoda Sugeno menggunakan fungsi
matematik atau konstanta, dan mempunyai komputasi lebih efisien tetapi kehilangan
interpretabilitas linguistik. Model metode fuzzy Tsukamoto lebih sederhana karena
tidak melakukan defuzifikasi.
D. Kriteria Pengembangan Model CAT
1. Panjang Tes
Panjang tes dimaksudkan untuk menghitung keterkaitan jumlah butir soal
terhadap pemilihan metode. Jumlah butir soal yang direspon setiap peserta tes
kemungkinan besar berbeda karena aturan pemberhentian pemberian butir soal tidak
menggunakan jumlah butir soal melainkan selisih galat baku penaksiran parameter
kemampuan secara terurut. Beberapa penelitian telah mengkaji perbedaan antara
panjang tes dengan berbagai metode dan model namun kajian panjang tes kaitan
dengan CAT belum pernah dilakukan dengan metode fuzzy .
2. Tingkat Exposure Butir Soal
Exposure butir soal adalah seberapa besar munculnya butir soal yang direspon
peserta tes dimana karakteristik butir soal tidak keluar dari rentang inisialisasi
kemampuan peserta tes. Pengontrolan tingkat exposure butir soal dalam beberapa
hasil penelitian mengkaji dari perspektif bahwa tingkat exposure butir soal
55
dimaksudkan sebagai tingkat kemunculan butir tersebut selama ujian. Pola berpikir
demikian terlalu dipaksakan karena secara statistik dan logika butir soal yang diberikan
disesuaikan dengan kemampuan peserta tes. Kemampuan peserta tes merespon butir
soal dalam suatu kelompok peserta tes cenderung distribusi kurva normal dimana
kemampuan ekstrim jumlah kecil dan kemampuan sedang jumlah besar sehingga suatu
kewajaran jika butir soal yang mempunyai tingkat kesukaran sedang sering muncul
sedangkan butir soal yang mempunyai tingkat kesukaran sangat tinggi dan sangat
rendah tidak sering muncul.
Pada penelitian ini, inisialisasi kemampuan peserta tes sudah di_setting yakni
peserta tes merespon tiga butir soal. Butir soal yang keluar dari bentangan himpunan
fuzzy inisialisasi kemampuan tersebut dikatakan bahwa butir tersebut sebagai butir
exposure sedangkan tingkat esposure butir soal menunjukkan jumlah butir soal yang
muncul selama ujian berlangsung yang keluar dari bentangan kemampuan tersebut
sampai penaksiran konvergen.
3. Galat Baku Penaksiran Parameter Kemampuan Peserta Tes
Tiap peserta tes merespon butir soal yang berlainan sesuai dengan kemampuan
masing-masing sehingga galat baku penaksiran parameter kemampuan berbeda.
Perbedaan tersebut mengacu pada pengertian bahwa setiap butir soal mengukur
kemampuan laten peserta tes berlainan. Penelitian yang terkait dengan galat baku
penaksiran parameter kemampuan pada model Rasch belum pernah menggunakan
metode fuzzy .
4. Waktu Respon Butir Soal
Waktu respon butir soal merupakan rerata waktu yang dibutuhkan peserta tes
dalam merespon suatu butir soal selama ujian. Waktu respon peserta tes menjadi
56
kriteria dalam pengembangan produk CAT karena setiap peserta tes menempuh jumlah
waktu yang berbeda-beda baik dalam menjawab butir soal dalam menyelesaikan suatu
ujian. Oleh karena itu, jumlah waktu respon merupakan kriteria yang diperlukan dalam
membandingkan metode fuzzy .
E. Decision Support System (DSS)
DSS adalah sistem informasi berbasis komputer yang menyediakan dukungan
informasi interaktif bagi manajer dan praktisi bisnis dalam proses pengambilan
keputusan. Scoot-Morton (Turban, et al. 2001) mengemukakan bahwa DSS
merupakan sistem interaktif berbasis komputer dengan memanfaatkan data dan model
untuk meenyelesaikan masalah tidak terstruktur. McLeod dan Schell (2007)
mengemukakan kegunaan DSS yakni membantu manajer dalam menyelesaikan
masalah semi terstruktur dan mendukung penilaian manajer. Lebih lanjut dikatakan
bahwa DSS bukan mencoba menggantikan manajer namun lebih meningkatkan
efektifitas daripada efisiensi pengambilan keputusan. Berdasarkan hal tersebut, DSS
merupakan sistem pemodelan berbasis komputer yang interaktif untuk mendukung
pembuatan keputusan bisnis yang semiterstruktur.
DSS menggunakan model analitis, database khusus, penilaian, dan pandangan
pembuat keputusan dalam proses pengambilan keputusan. Hal tersebut berguna untuk
mendukung keputusan manajer dalam melaksanakan pekerjaan yang bersifat analitis,
dalam situasi yang kurang terstruktur dengan kriteria yang kurang jelas. Walaupun
DSS bukan untuk mengotomatisasi pengambilan keputusan namun memberikan
perangkat interaktif yang memungkinkan pengambil keputusan dapat melakukan
57
berbagai analisis dengan model yang tersedia. Pengambilan keputusan tersebut
memerlukan suatu model dalam mengkaitkan dengan komponen-komponen lain.
Menurut McLeod & Schell (2007) model adalah penyederhanaan dari sesuatu,
sedangkan menurut Turban, et al. (2001) model adalah representasi atau abstraksi
realitas yang disederhanakan. Representasi sistem dan masalah berdasarkan model
dapat dilakukan dengan berbagai tingkatan, yaitu: 1) model ikonik, yakni model
abstraksi paling terkecil yang merupakan refleksi fisik dan sebuah sistem, biasanya
berdasarkan skala dimana model ikonik dapat muncul dengan wujud tiga dimensi
(miniatur), 2) model analog adalah model menyerupai apa adanya atau sistem riil
namun model tersebut lebih abstrak dibandingkan dengan model ikonik yang
merupakan representasi simbolik dan realitas serta biasanya bervariasi baik dalam
bentuk bagan maupun bentuk diagram dua dimensi, dan 3) model matematika
(kuantitatif), yakni model yang lebih kompleks yang berhubungan sistem organisasi
yang tidak dapat disajikan dalam model ikonik dan analog dimana model ini sering
dipakai analisis DSS yang dilakukan secara numerik atau kuantitatif yang lain. Model
Rasch dan metode fuzzy memerlukan analisis kuantitatif sehingga diantara ketiga
model tersebut model matematika lebih memenuhi syarat.
Komponen yang membangun model matematika, yakni model Rasch, metode
Futsuhilow, Fusuhilow, dan Fumahilow, transformasi theta ke skor, model himpunan
fuzzy , dan model pembobotan. Selanjutnya, struktur model matematika DSS
melibatkan beberapa variabel. Pertama, variabel keputusan berupa variabel input
yakni tingkat kesukaran butir. Kedua, variabel kontrol yakni pengaruh lingkungan,
misalnya tingkat kecemasan dan kemampuan komputer. Ketiga, variabel antara
(intervening) yakni kemampuan peserta tes berupa skor yang telah ditranformasikan.
Kemampuan peserta tes pada skala logit ditrasformasikan ke dalam bentuk skor
58
dengan beberapa ketentuan. Menurut Field (2000: 4-7) untuk mentrasformasikan data
statistik dilakukan dengan tidak mengubah substansi dasar sebaran data baik variannya
maupun tendensi sentralnya. Beberapa model menggunakan bilangan dasar 9 atau
algoritma bilangan e sebesar 0,455. Cara lain menggunakan perbandingan nilai terbesar
dan terkecil dari dua skala. Skala kemampuan peserta tes theta adalah [-4,4]
ditransformasikan pada skala [0,100] sehingga didapat persamaan (19).
508
100 X …………………………………………. (19)
Keempat, variabel hasil merupakan tingkatan efektifitas sistem berupa variasi
nilai. Nilai pembobotan terhadap skor tiap peserta tes dan komponen lain yang
dilakukan oleh user menghasilkan urutan kemampuan peserta tes.
Keempat tahapan tersebut menghasilkan suatu sistem cerdas. Turban, et al.
(2001) mengemukakan bahwa kecerdasan bisnis adalah sekumpulan inovasi teknis
dan proses data yang berfokus pada akselerasi pengambilan keputusan,
mengidentifikasi, mengkalkulasi, dan mendistribusikan informasi mission-critical
terkini sesuai kriteria (preferensi) user.
F. Struktur DSS pada CAT
DSS sebagai sistem informasi tambahan dalam CAT dimana DSS
menghasilkan informasi laporan kelulusan peserta tes. Setiap peserta tes yang telah
mengikuti ujian pada CAT memiliki hasil ujian pada tiap domain. Selanjutnya, hasil
ujian tersebut diproses lebih lanjut dalam mekanisme DSS berupa pembobotan yang
dilakukan oleh pimpinan. Pembobotan tersebut menyangkut SKL, domain, dan
kriteria penilaian dengan proporsi tiap komponen tersebut berbeda-beda sesuai
dengan preferensi pimpinan. Hasil pembobotan tersebut ditindaklanjuti dengan
59
penetapan jumlah dan kemampuan minimal peserta tes sesuai dengan kuota yang ada.
Hasil penetapan tersebut menghasilkan informasi kelulusan bagi peserta tes yang dapat
diakses oleh user. Struktur DSS dalam CAT terdapat pada Gambar 15.
Gambar 15.
. Struktur DSS dalam CAT
G. Hasil-hasil Penelitian CAT yang Relevan
Hasil penelitian mengenai produk CAT sudah banyak diaplikasikan secara
online (van der Linden & Glass, 2010). Beberapa produk CAT tersebut memiliki
spesifikasi pengembangan yang berbeda-beda sebagai berikut.
1. Produk J-CAT
Shingo Imai (2008) mengemukakan rancangan properti CAT di Jepang dengan
nama J-CAT. Produk tersebut menggunakan model 3PL dengan spesifikasi tertentu,
yakni versi tes testlet, batasan waktu ditetapkan 30 detik sampai lima menit tiap butir,
dan setiap seksi memuat 60 butir. CAT tersebut menggunakan bahasa Jepang dan
Inggris. Sistem operasi menggunakan sistem operasi XP atau Vista. Proses awal ujian
ditetapkan nilai max dan min sama dengan nol. Hasil tiap seksi ditampilkan serta rerata
keempat seksi ditampilkan di screen pada akhir tes.
60
2. Produk OAVTS.
Wen-shuenn Wu (2004) mengemukakan rancangan properti CAT di Taiwan
dengan nama OAVTS. CAT berbasis online memiliki tiga antar muka yakni peserta tes
mengambil ujian, guru atau pembuat tes menyajikan, mengedit dan meng-upload butir
soal, dan administrator yang menangani sistem dan semua butir soal. Klasifikasi
tingkat kesukaran tatabahasa terbagi enam tingkatan. Tatabahasa tersebut mengacu
pada tiga sumber kamus Inggris yakni Collins COBUILD English Dictionary for
Advanced Learner, Macmillan English Dictionary for Advanced Learner American
English, dan Longman Dictionary of Contemprorary English. Pendefinisian kode butir
soal terdiri 10 tahap dan aturan pemberhentian tes bergantung pada level. Untuk level
tiga diberi waktu 15 menit, level empat diberi waktu 15 menit untuk tiga butir soal
menjawab benar, dan 15 menit untuk tiga butir bagi peserta tes yang menjawab salah.
Jika menjawab 3 butir secara benar, maka naik ke level 4, namun jika gagal maka
diberikan butir yang lebih mudah pada level 2 dan akan dibatasi oleh waktu selama 15
menit. Butir yang pertama kali diberikan pada peserta tes adalah level tingkat kesukaran
menengah dari bank butir soal dengan tiga aturan pemberhentian, yakni target tingkatan
akurasi pengukuran tercapai, butir soal yang tersedia tidak ada lagi, dan jumlah waktu
yang telah ditetapkan telah habis. Model pengukuran menggunakan IRT. Pengamanan
ujian menggunakan beberapa tahap, yakni tampilan soal dalam bentuk full screen, fitur
klik kanan pada mouse dikunci, fungsi backspace dikunci agar tidak kembali ke butir
soal sebelumnya, dan Uniform Resource Locator (URL) ujian hanya akan valid selama
batasan waktu ujian.
3. Produk SIETTE
Guzman (2005) mengemukakan pengembangan property CAT di Spanyol
dengan nama SIETTE. Walaupun CAT tersebut berbasis web namun dapat standalone
61
atau berbasis lain. CAT tersebut sebagai alat diagnosis. SIETTE menggunakan
bahasa Inggris dan Spanyol namun terbuka untuk bahasa lain. Arsitekturnya terbagi
tiga, yakni interface untuk siswa yang disebut sebagai ruang siswa, interface untuk guru
yang disebut sebagai lingkungan penulisan. Diantara keduanya ada penyimpanan
model peserta tes (history) dan basis pengetahuan. Guru melakukan login dengan
password yang diberikan oleh admin. Selanjutnya, interface ketiga yang terbagi dua
sebagai interface Admin, sebelah kiri mengenai kurikulum sedangkan sebelah kanan
seleksi elemen untuk update. Topik yang sama dapat diakses oleh guru yang berbeda.
Kriteria seleksi butir terbagi dua, yakni kriteria adaptive Owen yaitu butir yang
terseleksi mengecilkan distribusi variance posterior pengetahuan peserta tes dan
kriteria berdasarkan tingkat kesukaran (ICC). Teknik penilaian menggunakan
mekanisme diskret Bayesian. Definisi bentuk butir soal terdiri dari bentuk tes benar
salah, pilihan ganda, jawaban bertingkat, dan butir soal koreksi sendiri (kunci jawaban
sudah ada di basis data).
4. Produk Computer-Adaptive Multiple Choice Assessment (CAAS)
Sie Hoe, Lau, et al. (2005) mengemukakan Computer-Adaptive Multiple
Choice Assessment (CAAS) dikembangkan di Malaysia. CAT tersebut menggunakan
butir soal bentuk tes pilihan ganda dan menggunakan teknik penskoran Number Right
Elimination Testing (NRET) yakni sebuah metode hybrid memadukan antara Number
Right (NR) dan Elimination Testing (ET). Sistem penskoran NRET menutut peserta
tes mencari jawaban dengan tiga alternatif yakni benar, salah dan tidak yakin untuk
tiap pilihan pada tiap butir. Jika ada 4 pilihan untuk tiap butir maka ada 12
kemungkinan untuk menjawab pada butir tersebut. Bentuk respon NRET menetapkan
62
empat basis pengetahuan, yakni 1) pengetahuan penuh, yakni menjawab benar dan
tiga lainnya diidentifikasi sebagai tidak benar, 2) pengetahuan sebagian, yakni ada
lima kemungkinan dimana tiga jawaban benar dan dua jawaban salah, 3) tidak ada
pengetahuan, yakni jawaban salah, dan tidak ada pilihan dianggap salah, 4)
Ketidakmengertian sebagian yakni jawaban diidentifikasi tidak benar dan
diidentifikasi 2 pilihan sebagai tidak benar dan 1 pilihan yang tidak benar, dan 5)
Ketidakmengertian penuh yakni identifikasi hanya jawaban sebagai
pengindentifikasin tidak benar. Penetapan skor masing-masing tingkatan bergerak
dari [-3,4], dimana -3 artinya ketidakmengertian sama sekali, dan 4 pengertian penuh.
Semua hasil aturan penskoran tersebut dijadikan unpan balik bagi peserta tes dengan
mereviu pertanyaan pada tiap level pengetahuan.
5. Produk Graduate General Examination (GRE)
Graduate General Examination (GRE) CAT yaitu produk pengujian yang
dikembangkan pada tahun 1993 di Amerika Serikat dengan fokus pada ujian akhir
(kelulusan). GRE memuat tes kemampuan umum dan tes prestasi belajar khusus
pada mata pelajaran teknik rekayasa dan psikologi. Produk tersebut dikelola langsung
oleh Educational Testing Service (ETS) dengan tujuan membantu lulusan sekolah
dalam mengidentifikasi dan menyeleksi siswa yang lulus dengan layanan program
pengujian penuh. Walaupun telah dipakai bertahun-tahun namun produk GRE masih
terus disempurnakan. Mills, C. N & Steffen, M. (1999) mengemukakan kondisi GRE,
yakni: butir soal pada GRE tumpang tindih antar butir soal pada level kemampuan
peserta tes, kelangsungan kualitas butir yang sudah kadaluarsa (over time), dan
penskoran yang tidak lengkap.
63
6. Produk MATHCAT
MATHCAT yaitu produk CAT yang dikembangkan di Belanda pada awalnya
untuk pendidikan orang dewasa. MATHCAT menggunakan bank butir soal khusus
materi matematika dengan empat domain kognitif, yaitu berbasis konsep dan
keterampilan, geometri, statistik, dan aljabar. Butir-butir yang digunakan pada
umumnya butir soal jawaban pendek sedangkan yang lainnya pilihan ganda dengan
format yang sama. Kemudian MATHCAT diperluas pada tes penempatan dan tes
prestasi belajar. Fitur-fitur MATHCAT sebagai berikut. Pertama, MATHCAT
menggunakan model logistik dua parameter dimana nilai daya beda butir dan tingkat
kesukaran butir. Butir soal dianalisis dengan metode penaksiran kebolehjadian
maksimum kondisional, sedangkan penaksiran kemampuan dianalisis dengan metode
kebolehjadian maksimum dimana kedua metode tersebut menggunakan software
OPLM. Butir soal yang tidak terkalibrasi tidak dimasukkan dalam tes adaptif. Kedua,
cut score melalui tiga prosedur, yaitu: (1) membagi konten tiga bagian dengan label
tingkat 1, tingkat 2, dan tingkat 3 sesuai dengan tingkatan kursus, (2) melakukan
perhitungan rata-rata tingkat kesukaran butir pada tiap tingkatan, dan (3)
menggunakan persamaan dasar model OPLM.
Hasil-hasil penelitian lain yang relevan dengan tema penelitian sebagai berikut.
Pertama, hasil penelitian Triantafillou, et al. (2006) memperluas CAT pada
mobile devices. Selanjutnya, CAT tersebut menggunakan model Rasch dan
inisialisasi awal kemampuan sama dengan satu. Kedua, tes adaptif berbasis komputer
dalam proses pembelajaran menggunakan web service dikaji Phankokkruad, et al.
(2008) di Bangkok. Tes adaptif tersebut mengintegrasikan basisdata yang berbeda
platform baik dan segi basis data maupun dan segi sistem operasinya. Ketiga,
Anastasions (2005) mengemukakan daerah orientasi informasi pada butir tes adalah
64
konten, waktu, tingkat kesukaran, skor, perbandingan antar peserta tes, presentasi,
media dan format, komunikasi dan kolaborasi, umpanbalik, kontrol pada tes,
karakteristik peserta tes, dan bentuknya serta dampak pada pendidikan.
Selanjutnya, hasil penelitian CAT di Indonesia baru pada tahap pengembangan
dan belum diaplikasikan secara online. Penelitian Agus Santoso (2009) melakukan
pengembangan CAT dengan model logistik tiga parameter pada ujian Universitas
Terbuka. Produk CAT tersebut berbasis desktop. Penelitian Rukli (2010) melakukan
pengembangan CAT dengan model 1PL serta dilengkapi DSS. CAT tersebut melibatkan
tiga aktor yakni admin, peserta tes, dan PT, serta menggunakan butir soal UN SMA
pada mata pelajaran matematika, bahasa Indonesia, dan bahasa Inggris. Aturan
pemberhentian menggunakan selisih dua galat baku penaksiran butir berturut-turut
lebih kecil atau sama dengan 0,01.
Lebih lanjut, Haryanto (2009) mengembangkan CAT dengan metode
Tsukamoto berdasarkan model pengukuran TTK dalam memilih butir soal bentuk tes
pilihan ganda dengan beberapa spesifikasi. Berdasarkan hal tersebut, CerdasCAT
mempunyai rancangan spesifikasi-spesifikasi tertentu yang membedakan dengan
produk lainnya, misalnya model CAT hasil penelitian Haryanto (2009). Spesifikasi
tersebut berbeda dengan spesifikasi CAT yang dikembangkan dengan rincian sebagai
berikut. (1) Metode model CAT menggunakan metode fuzzy Tsukamoto, Sugeno, dan
Mamdani yang dipadukan dengan metode high low dalam memilih butir soal yang
adaptif sedangkan Haryanto hanya menggunakan metode fuzzy Tsukamoto.
Pengembangan CAT dengan satu metode menghasilkan data satu sisi saja namun
pengembangan CAT dengan tiga metode secara terpisah akan memberikan data lebih
lengkap, misalnya perbandingan tingkat keakuratan penaksiran butir terhadap
kemampuan peserta tes. (2) Pengembangan CAT menggunakan model Rasch dengan
65
membandingkan panjang tes, tingkat exposure butir soal, galat baku penaksiran
kemampuan peserta tes, dan waktu respon butir soal sedangkan Haryanto
menggunakan TTK tanpa perbandingan. Model Rasch dibandingkan TTK memberi
argumentasi yang lebih kokoh terutama karakteristik butir soal dan penafsirannya. (3)
Karakteristik tingkat kesukaran butir soal dipadukan dengan tingkat kemampuan
dalam konsep model Rasch sedangkan Haryanto daya beda dan tingkat kesukaran
dipadukan dengan skor peserta tes dalam konsep TTK.
Tabel 3.
Perbandingan Produk CAT
No Nama/Nama CAT Metode Model DSS Aturan
Keberhentian
1 Singo Imai / J_CAT Statistik 3 PL Tidak ada )max( msMdm
)min( mfMum
2 Wen-shuenn Wu/
OAVTS
Statistik IRT Tidak
Ada
Bergantung pada
waktu
3 Guzman /SIETTE Kriteria adaptive
Owen’s dan b
IRT Tidak
Ada
Kecukupan materi
4 Sie Hoe Lau, et al. /
CAAS
Hybrid - Tidak
Ada
Selisih SE < 0,01
5 Mills, C. N &
Steffen /GRE
Statistik IRT Tidak
Ada
Alokasi Materi
6 Agus/CAT Statistik 3PL Tidak
Ada
SE = 0,30 dan
jumlah butir soal
7 Haryanto/CAT Fuzzy
Tsukamoto
Tes
Klasik
Tidak
Ada
Alokasi Materi
8 Rukli/UniversiCAT Statistik 1PL Ada Selisih SE < 0,01
9 Rukli/CerdasCAT Futsuhilow
Fusuhilow
Fumahilow
Rasch Ada Selisih SE < 0,01
Selanjutnya, (4) jumlah pengklasifikasian variabel fuzzy tingkat kesukaran
butir soal yakni sangat rendah, rendah, sedang, tinggi, dan sangat tinggi sehingga lebih
halus memberikan butir soal sedangkan Haryanto melakukan klasifikasi tingkat
kesukaran rendah, sedang, dan tinggi. Penambahan kriteria tersebut akan lebih
66
memperhalus pemilihan butir soal adaptif terhadap kemampuan peserta tes. (5)
Penambahan DSS memberikan informasi kepada user bukan hanya data kemampuan
peserta tes namun informasi pelaporan kelulusan sedangkan Haryanto tidak tersedia.
Penambahan DSS memberi kesempatan kepada user untuk melakukan pembobotan
dan menentukan kriteria kelulusan sesuai preferensinya.
Adapun perbandingan nama, metode, model, DSS, dan aturan keberhentian
produk CAT terdapat pada Tabel 3.
H. Kerangka Berpikir
Berdasarkan kajian teori dan hasil penelitian relevan, maka kerangka berpikir
penelitian ini mempunyai tiga tahapan, yakni analisis butir soal, karakteristik model
CAT, dan prosedur DSS dalam model CAT. Adapun rincian uraian tiap tahapan
sebagai berikut.
1. Analisis Butir Soal
Data respon peserta tes dan butir soal diambil dari hasil ujian UN SD. Data
tersebut diolah dengan program Bilog-MG untuk menentukan tingkat kesukaran
butir soal dan nilai sig Kai_Kuadrat. Nilai sig Kai_Kuadrat untuk mengetahui butir soal
yang cocok dan tidak cocok dengan model Rasch. Butir soal yang cocok dengan
model di masukkan ke bank butir soal, sedangkan yang tidak memenuhi model
dianalisis secara kualitatif dengan asumsi bahwa tingkat kesukaran butir soal tidak
berubah secara signifikan jika butir soal tersebut dianalisis secara kualitatif.
Selanjutnya butir tersebut dimasukkan dalam bank soal CAT.
2. Pemodelan Karakteristik CAT
Inisialisasi kemampuan peserta tes menggunakan tiga butir soal dari bank butir
soal. Butir soal tersebut dipilih oleh admin dalam satu kali ujian. Ketiga butir
67
soal diurutkan oleh sistem dari atas ke bawah berdasarkan tingkat kesukarannya,
yakni dari mudah ke sukar. Misalkan, admin memilih tiga butir 1, 2, dan 3. Jika
butir soal (1,2,3) dijawab benar maka tingkat kemampuan sama dengan tiga,
selanjutnya diberikan butir soal pada kategori sangat sukar (tiga atau lebih kecil tiga),
jika butir soal (1), (1,2) atau (1,3) dijawab benar maka tingkat kemampuan sama
dengan dua, selanjutnya diberikan butir soal pada kategori sukar (dua atau lebih kecil
dua), jika hanya butir soal (1,2) atau (2) dijawab benar maka tingkat kemampuan
sama dengan nol, selanjutnya diberikan butir soal pada kategori sedang (nol atau lebih
kecil nol), jika hanya butir soal (3) dijawab benar maka tingkat kemampuan sama
dengan -dua, selanjutnya diberikan butir soal pada kategori mudah (-dua atau lebih
kecil -dua), dan jika tidak ada butir soal dijawab benar maka tingkat kemampuan sama
dengan –tiga, selanjutnya diberikan butir soal pada kategori sangat mudah (-tiga atau
lebih kecil -tiga). Jadi butir tes pertama yang diberikan oleh sistem ke peserta tes
selalu lebih kecil atau sama dengan nilai inisialisasi kemampuan.
Pemilihan butir soal selanjutnya menggunakan aturan fuzzy dari tiap metode
fuzzy . Metode tersebut mentransformasikan tingkat kesukaran butir soal ke tingkat
kemampuan peserta tes sesuai dengan mekanisme tiap metode. Metode tersebut
dioptimalisasi dengan metode high low. Jika respon benar maka tingkat kesulitan
butir soal dinaikkan 0,1 atau lebih, sebaliknya jika respon salah maka tingkat
kesulitan butir soal diturunkan 0,2 atau lebih. Selanjutnya, menghitung galat baku
penaksiran kemampuan peserta tes, selisih galat baku penaksiran kemampuan
peserta tes, kemampuan peserta tes, skor, dan waktu respon butir soal. Jika selisih
galat baku penaksiran kemampuan peserta tes dari hasil respon dua butir soal
berturut-turut dengan nilai lebih kecil atau sama dengan 0,01 maka pengujian
diberhentikan oleh sistem. Artinya, jika diberikan butir soal tambahan maka
68
kemampuan peserta tes tidak berubah secara signifikan. Jika masih ada domain yang
diujikan maka dilanjutkan proses sebagaimana langkah-langkah sebelumnya.
Pelaksanaan ujian peserta tes pada model CAT melalui beberapa tahapan
sebagai berikut. Peserta tes memasukkan username dan password kemudian
melakukan verifikasi nomor tes. Jika ketiga hal tersebut di-entry secara benar maka
peserta tes baru dapat menempuh ujian dengan metode dan domain yang ada. Peserta
tes memilih domain tersebut, selanjutnya mengerjakan tiga butir soal sebagai
inisialisasi kemampuan. Peserta tes merespon ketiga butir tersebut dengan alokasi
waktu sembilan menit. Hasil respon ketiga butir tersebut menentukan butir
selanjutnya. Selanjutmya, peserta tes merespon butir demi butir selama tiga menit
setiap butir. Jika selama tiga menit tidak menjawab maka dianggap salah sehingga
diberikan soal selanjutnya yang lebih mudah yakni diturunkan 0,2 atau lebih, dan jika
benar maka dinaikkan 0,1 atau lebih. Selama ujian berlangsung, kemampuan peserta
tes, galat baku penaksiran kemampuan peserta tes, selisih galat baku penaksiran
kemampuan peserta tes dan waktu respon peserta tes terus di_update oleh sistem. Jika
penaksiran kemampuan peserta tes konvergen maka pemberian butir soal selesai,
selanjutnya dilaporkan skor peserta tes tersebut pada domain tadi. Hal tersebut
dilakukan dengan cara yang sama pada domain yang lain sampai semua domain yang
telah ditetapkan.
Hasil ujian peserta tes langsung dapat dilihat dan dicetak berupa identitas
peserta tes (nomor peserta tes, nama lengkap, metode, inisialisasi, model, penyajian
soal, nama sekolah, dan foto peserta tes), nilai kuantitatif (id_soal, SKL dari mana
butir soal berasal, tingkat kesukaran butir soal, nilai respon (1 atau 0), galat baku,
selisih galat baku, theta akhir, skor, dan waktu respon butir masing-masing saat ini)
serta kurva kecenderungan pergerakan butir soal terhadap kemampuan peserta tes.
69
Hal tersebut diharapkan bermanfaat dalam mendiagnosis peserta tes secara dini.
Laporan hasil respon peserta tes untuk tiap domain dan kurva trace kemampuan
peserta baik secara kuantitatif berupa skor maupun secara grafik. Informasi tersebut
bermanfaat bagi peserta tes, tergambar butir soal yang respon salah dan benar
sehingga lebih informatif sebagai bahan remedial selanjutnya. Hasil ujian tersebut
dapat dilihat dan dicetak secara langsung saat setelah ujian baik peserta tes maupun
wali peserta tes.
3. Prosedur DSS dalam CAT
Skor yang diperoleh peserta tes pada saat ujian di CerdasCAT kemudian
diolah kembali sesuai konsep DSS. Pimpinan sebagai aktor melakukan pembobotan
terhadap butir soal secara tidak langsung melalui SKL. Nilai pembobotan tiap SKL
dalam domain tersebut menjadi referensi bagi pimpinan sesuai dengan kebutuhan
institusinya. Jumlah pembobotan tiap SKL di tambah nilai yang diperoleh peserta tes
menjadi nilai tiap domain. Domain yang ada kemudian dibobot sesuai dengan
preferensi kebutuhan pimpinan. Jumlah bobot domain menjadi nilai ujian pada
CerdasCAT tiap peserta tes bersangkutan. Disamping nilai ujian tersebut, pimpinan
juga mempertimbangkan nilai lain, misalnya nilai ujian sekolah, pengamatan sehari-
hari, dan lainnya sebagai syarat kelulusan bagi setiap peserta tes. Nilai-nilai tersebut
kemudian dibobot sesuai dengan preferensi kebutuhan pimpinan. Jumlah nilai bobot
tersebut menjadi nilai akhir peserta tes bersangkutan dalam bersaing dengan peserta
lain. Nilai akhir tiap peserta tes tersebut kemudian disaring dengan dua kriteria yakni
skor minimum dan kuota maksimum. Hasil penjaringan tersebut kemudian diurut
secara ascending sehingga didapat informasi peseta tes yang lulus saringan. Hasil
kelulusan tersebut kemudian dapat diakses oleh peserta tes, pengajar, dan wali peserta
70
tes untuk dilihat atau dicetak. Adapun skema kerangka berpikir model CAT terdapat
pada Gambar 16. Selanjutnya, kerangka berpikir tersebut dioperasionalkan di Bab III
dengan model RRAD dalam menjawab pertanyaan penelitian.
Bank Butir Soal
Proses Ujian pada Aplikasi CAT
Persiapan
Anaisis
Secara
Kualitatif
Analisis
Data Data Uasbn
Analisis Data Informasi Butir Butir Soal Baik
Peserta Tes
Pilih Domain
Pengerjaan Output
Respon Butir Soal
Sesuai Metode
Update
Karakteristik
Peseta Tes
Konvergen
Jumlah Butir
Username, Password
Verifikasi Nonor Ujian
Inisialisasi
Kemampuan
Trace
Kemampuan
Waktu Respon
Tingkat
Exposure
Galat baku
Bobot SKL Bobot KriteriaBobot DomainHasil Kelulusan
Kemampuan
Gambar 16.
Pola Kerangka Berpikir Model CAT
I. Pertanyaan Penelitian
1. Apakah hasil simulasi CerdasCAT sesuai rancangan metode Futsuhilow,
Fusuhilow, dan Fumahilow dengan memperhatikan tingkat kemampuan peserta
tes, panjang tes, tingkat exposure soal, dan galat baku penaksiran parameter
kemampuan dalam berbagai pola respon?
71
2. Apakah hasil uji coba CerdasCAT secara one to one dengan metode Futsuhilow,
Fusuhilow, Fumahilow sesuai peran user?
3. Apakah hasil uji coba CerdasCAT secara one to one dengan metode Futsuhilow,
Fusuhilow, Fumahilow sesuai tingkat ketersediaan butir soal di bank butir soal?
4. Bagaimanakah hasil uji coba terbatas CerdasCAT dengan metode Futsuhilow,
Fusuhilow, dan Fumahilow berdasarkan panjang tes?
5. Bagaimanakah hasil uji coba terbatas CerdasCAT dengan metode Fumahilow,
Fusuhilow, dan Fumahilow berdasarkan tingkat exposure butir soal?
6. Bagaimanakah hasil uji coba terbatas CerdasCAT dengan metode Futsuhilow,
Fusuhilow, dan Fumahilow berdasarkan galat baku penaksiran parameter
kemampuan peserta tes?
7. Bagaimanakah hasil uji coba terbatas CerdasCAT dengan metode Futsuhilow,
Fusuhilow, dan Fumahilow berdasarkan waktu respon butir soal?
8. Bagaimanakah prosedur penerapan DSS dalam CerdasCAT menghasilkan informasi
laporan kelulusan sesuai dengan kriteria user?
72
BAB III
METODE PENELITIAN
A. Pengembangan model
Penelitian ini termasuk jenis penelitian Research and Development (R & D)
dengan model Revised of Rapid Application Development (RRAD ) dalam
mengembangkan model CAT. Model RRAD merupakan model revisi dari model RAD
sedangkan model RAD merupakan metode hybrid dari model System Development Life
Cycle (SDLC) dan model prototipe. Martin, et al., (2005: 400) membagi model RAD
dalam empat tahap yakni requirements planning, user design, construction, dan
cutover. Tahapan tersebut dapat terjadi secara siklus bilamana keinginan user belum
terakomodasi secara optimal. Sedangkan O’Brien (2005: 344) membagi RAD menjadi
empat tahapan juga namun mempunyai spesfikasi yang berbeda dengan penekanan
pengguna akhir, yakni identify an end user’s businees requirements, develop businees
system prototypes, revise the prototypes to better meet end user requirements, dan use
and maintain the accepted business system.
Jika diperhatikan keempat tahapan model RAD dari dua pendapat tersebut
maka keempat tahapan dapat dibagi dalam lima tahapan yakni pemodelan bisnis,
pemodelan data, pemodelan proses, pembentukan aplikasi, dan pengujian. Kelima
tahapan tersebut merupakan tahapan pengembangan model CAT. Model CAT yang
telah menjadi produk CerdasCAT disebarluaskan dalam kegiatan kajian ilmiah baik
menyangkut teori, metode, maupun dari segi kemanfaatan serta prosedur pemakaian
produk. Kegiatan tersebut merupakan bagian integral dalam meyankinkan user
terhadap produk. Kegiatan tersebut merupakan tahapan diseminasi hasil penelitian.
Jadi, diseminasi produk dimaksudkan untuk melakukan penyebaran informasi produk
73
lewat suatu kajian atau pertemuan ilmiah baik menyangkut teori, metode, maupun
produk yang dihasilkan sehingga menambah tingkat kepercayaan user terhadap
produk. Oleh karena itu, kelima tahapan tadi ditambah menjadi enam tahapan yang
diberi nama Revised of Rapid Application Development (RRAD ).Model RRAD terdapat
pada Gambar 16.
Berdasarkan hal tersebut, pengembangan model mempunyai beberapa
keuntungan, yakni lebih cepat rampung, lebih fokus pada syarat sistem, dan lebih
fleksibel dalam desain sistem, serta user lebih percaya terhadap produk.
Gambar 16.
Model Revised of Rapid Application Development
Sedangkan keterbatasan model tersebut yakni standar kualitas kadang
diabaikan dan sangat bergantung pada keterlibatan user jika diterapkan pada proyek
74
besar, namun keterbatasan tersebut semakin kurang dengan melakukan observasi,
melakukan analisis kebutuhan, dan memberikan user kuesioner pada saat uji coba
secara one to one. Oleh karena itu, model RRAD tersebut lebih cocok dalam
pengembangan CAT.
Berdasarkan hal tersebut, pengembangan CerdasCAT menggunakan enam
tahapan sebagai berikut. Pertama, pemodelan bisnis yakni mencari informasi yang
mengendalikan proses bisnis, informasi yang dimunculkan, siapa yang memunculkan,
kemana informasi itu diarahkan, dan siapa yang memprosesnya. Kegiatan pada
tahapan tersebut menyangkut data survey, definisi operasional, dan aturan bisinis.
Kedua, pemodelan data yakni data yang dibutuhkan dalam aturan bisnis, karakteristik
atau atribut masing-masing objek dan hubungannya yang telah diidentifikasi pada
kegiatan pemodelan bisnis. Kegiatan pada tahapan tersebut menyangkut objek,
atribut, perilaku , dan rancangan model UML yang berkaitan langsung dengan
pengembangan CAT.
Ketiga, pemodelan proses yaitu menyangkut data yang ada pada pemodelan
data. Data tersebut ditransformasikan untuk mendapatkan aliran informasi bagi
implementasi sistem. Hal tersebut dimaksudkan untuk menambah, memodifikasi,
menghapus atau mendapatkan kembali objek data. Kegiatan tersebut melibatkan
rancangan diagram entitas relasional, rancangan tabel, rancangan antarmuka dan
rancangan basis pengetahuan, rancangan DSS, dan rancangan web. Keempat,
pembentukan aplikasi, yaitu kaitan dengan tahapan ketiga berupa implementasi
rancangan yang telah dilakukan oleh pengembang yakni melakukan koding
antarmuka, basis data, dan aplikasi terhadap komponen pembangun aplikasi CAT.
Selanjutnya, melakukan verifikasi terhadap aplikasi CAT secara internal.
75
Kelima, pengujian atau testing yakni melatih antarmuka, mengecek aturan
logika ketiga metode, dan mengecek perhitungan dengan program excel, dan menguji
penyebaran karakteristik butir soal dan jumlahnya di dalam bank butir soal. Tahapan
pengujian dimulai dengan validasi internal, validasi expert, simulasi aplikasi, validasi
eksternal, uji coba secara one to one, lalu uji coba terbatas pada sekolah SD unggulan
dan inti. Validasi internal dimaksudkan untuk mengecek kesalahan pemrograman saat
maupun setelah komponen di-run yang dilakukan oleh peneliti. Validasi expert
dimaksudkan untuk mengecek tingkat validitas produk oleh ahli teknologi informasi
dan komputer. Tahap simulasi menggunakan data rill bukan data bangkitan dengan
berbagai variasi pola jawaban. Hal tersebut dimaksudkan untuk mengetahui
kesesuaian aplikasi CAT beserta komponen-komponen kaitan kriteria pengembangan.
Uji coba one to one dilakukan secara perorangan pada setiap user. Validasi eksternal
dimaksudkan untuk mengecek kesalahan setelah komponen di-run yang dilakukan
oleh user sesuai perannya. Uji coba terbatas dilakukan di SD Unggulan atau inti
Kabupaten Soppeng Provinsi Sulawesi Selatan untuk mendapatkan data tingkat
kemampuan peserta tes dan nilai kriteria pengembangan. Keenam, diseminasi hasil
penelitian yakni penyebarluasan produk yang telah dihasilkan kepada user dalam
suatu pertemuan ilmiah.
Berdasarkan hal tersebut, langkah pertama sampai langkah kelima berakhir
pada tahapan pengujian walaupun demikian untuk memeriksa kembali aplikasi yang
telah dibuat dapat dilanjutkan ketahapan sebelumnya secara siklus sampai akhirnya
diperoleh hasil sesuai dengan kebutuhan user yakni produk CerdasCAT. Sedangkan
langkah keenam merupakan tahapan diseminasi hasil penelitian sebagai kegiatan
penyebarluasan produk dalam kegiatan ilmiah. Adapun disain pengembangan model
produk CerdasCAT dengan model RRAD pada Gambar 17.
76
Pemodelan ProsesPembentukan
AplikasiPengujian
Rancangan
Antarmuka
Koding Antarmuka
Simulasi
One to One
Rancangan Web
Rancangan DSS
Rancangan Fuzzy
& Basis
Pengetahuan
Koding Basis Data
Koding Aplikasi
Terbatas
CerdasCAT
Verifikasi Internal
Validasi Internal
Validasi
Eksternal
Diagram Relasi
Entiti
Rancangan Tabel
Object Atribut
Use Case
Diagram Class
Diagram
Colaborasi
Diagram
Sequensal
Flow Chart
Diagram Aktifitas
Data UASBN
Definisi
Operasional
Aturan Bisnis
Pemodelan DataPemodelan Proses
Diseminasi
Gambar 17.
Disain Pengembangan CerdasCAT dengan RRAD
B. Prosedur Pengembangan CerdasCAT
1. Tahap Pemodelan Bisnis
Kegiatan survey dilakukan bulan November 2008 dan bulan April–Juli
Desember 2010 di dua tempat, yakni Kabupaten Soppeng dan Kota Makassar Provinsi
Sulawesi Selatan. Kegiatan tersebut dilakukan untuk mengetahui kebutuhan sistem,
yakni: 1) data hasil respon peserta tes dan butir soal yang telah dipakai (data
UN SD); 2) kelayakan perangkat keras dan lunak komputer di SD, kemampuan, dan
pengalaman awal siswa dan pengajar terhadap komputer, disamping sarana dan
prasarana pendukung web di daerah baik perangkat keras maupun lunak, kecepatan
akses, pengamanan data, dan data pendukung lainnya; dan 3) objek-objek beserta
77
atribut dan perilaku nya dalam berinteraksi dengan sistem. Disamping kegiatan survey
juga melakukan simulasi pembentukan himpunan fuzzy termasuk pendefinisian
variabel penelitian. Hasil observasi menunjukkan data respon UN Sekolah Dasar
sudah ada di beberapa kabupaten/kota, begitu juga butir soal sudah ada di sekolah.
a. Data UN Sekolah Dasar (SD)
Jumlah paket UN SD yang digunakan sebanyak tujuh, yakni enam paket
pada domain (mata pelajaran) matematika berasal dari Dinas Pendidikan
Kabupaten/Kota di Provinsi Sulawesi Selatan dan satu paket lagi berasal dari
Kabupaten Sidoarjo Provinsi Jawa Timur. Ketujuh paket tersebut terdiri atas tiga
paket tahun 2008/2009 dengan sepuluh butir soal anchor, tiga paket tahun
2009/2010 dengan sepuluh butir soal anchor, dan satu paket tahun 2007/2008.
Tiap paket tersebut mempunyai 40 butir soal sehingga jumlah butir soal
keseluruhan sebanyak 240. Disamping data respon tersebut, juga terdapat data
teks butir soal beserta kunci jawaban. Adapun ukuran sampel, paket UN SD, dan
nama kabupeten/kota tempat pengambilan data pada Tabel 4. Data mentah hasil
respon peserta tes yang diperoleh tersebut selanjutnya diolah dengan program
Bilog_MG untuk membangkitkan parameter butir soal.
Butir soal tersebut dimasukkan pada bank butir soal dengan
memperhatikan Standar Kompetensi Lulusan (SKL) pada setiap domain.
Persentase jumlah butir soal per SKL menggunakan persentase jumlah butir soal
per SKL pada UN SD Tahun 2008 sampai 2010. Persentase jumlah butir soal per
SKL pada UN SD 2008 sampai 2010 sebagai berikut. (1) Memahami konsep
bilangan bulat dan pecahan, operasi hitung, dan sifat-sifatnya, serta
menggunakannya dalam pemecahan masalah kehidupan sehari-hari sebesar 43%.
78
(2) Memahami bangun datar dan bangun ruang sederhana, unsur-unsur, dan sifat-
sifatnya, serta menerapkannya dalam pemecahan masalah kehidupan sehari-hari
sebesar 14%. (3) Memahami konsep ukuran dan pengukuran berat, panjang, luas,
volume, sudut, waktu, kecepatan, debit, serta mengaplikasikannya dalam
pemecahan masalah kehidupan sehari-hari sebesar 29%. (4) Memahami konsep
koordinat untuk menentukan letak benda dan menggunakannya dalam pemecahan
masalah kehidupan sehari-hari sebesar 3%. (5) Memahami konsep pengumpulan
data, penyajian data dengan tabel, gambar dan grafik, mengurutkan data,
rentangan data, rerata hitung, modus, serta menerapkannya dalam pemecahan
masalah kehidupan sehari-hari sebesar 11%.
Tabel 4.
Nama Kabupaten/Kota dan Ukuran Sampel Tiap Paket
No. Nama Kabupaten/Kota Paket UN SD Ukuran
Sampel
1. Dinas Pendidikan Kota Pare-
Pare, Wajo, dan Maros
Paket 1 Tahun
2009/2010
500
2. Dinas Pendidikan Kota Makassar,
Sinjai, Soppeng
Paket 2 Tahun
2009/2010
500
3. Dinas Pendidikan Kabupaten
Bone, Sidrap, dan Barru
Paket 3 Tahun
2009/2010
500
4. Dinas Pendidikan Kabupaten
Soppeng
Paket 1 Tahun
2008/2009
500
5. Dinas Pendidikan Kabupaten
Sidoarjo
Paket 2 Tahun
2008/2009
500
6. Dinas Pendidikan Kota Makassar Paket 3 Tahun
2008/2009
500
7. Dinas Pendidikan Kabupaten
Soppeng
Paket 1 Tahun
2007/2008
500
79
Rancangan aplikasi CAT menggunakan tes yang tidak fixed dan jumlah
butir soal yang direpon setiap peserta tes berbeda sehingga keterwakilan materi
perlu dipertimbangkan. Oleh karena itu, persentase butir soal setiap SKL
digunakan untuk menentukan urutan SKL yang direspon peserta tes setelah butir
pertama dan urutan SKL selanjutnya dengan CATatan bahwa selisih SE dari dua
respon butir berturut-turut tidak lebih kecil atau sama dengan 0,01. Berdasarkan
Tabel 5 diperoleh informasi, yaitu: 1) jumlah SKL dan indikator yang digunakan
dalam membuat butir soal sama walaupun tahun 2008 memakai istilah uraian
bukan indiaktor, 2) persentase jumlah butir soal dan urutan SKL perlu
diperhatikan dalam memilih butir soal agar terwakili secara proporsional pada saat
ujian berlangsung, dan 3) jika jumlah SKL dan alokasi jumlah butir soal tiap SKL
mengalami perubahan maka sistem yang dibangun mengalami perubahan secara
dinamis.
Analisis butir soal UN SD dilakukan secara simultan terhadap tujuh paket
dengan 500 data respon tiap paket. Pengkalibrasian dilakukan secara simultan
untuk menempatkan butir tersebut pada satu skala yakni skala kemampuan pada
model Rasch. Analisis butir tersebut menghasilkan butir soal yang memenuhi
model Rasch dan butir soal yang tidak memenuhi model Rasch. Butir soal yang
tidak memenuhi model Rasch dianalisis lebih lanjut secara kualitatif. Analisis
secara kuantitatif menggunakan program Bilog-MG dengan desain Group-Wise
Adaptive Testing berdasarkan kondisi data respon peserta tes yang ada di
lapangan.
80
Tabel 5.
Jumlah Butir Soal Tiap SKL UN SD
No Standar Kompetensi Lulusan (SKL) Jumlah Butir Soal Jumlah
Butir
soal
%
2008 2009 2010
1 Memahami konsep bilangan bulat
dan pecahan, operasi hitung dan
sifat-sifatnya, serta menggunakannya
dalam pemecahan masalah
kehidupan sehari-hari
15
18
18
51
43%
2 Memahami bangun datar dan bangun
ruang sederhana, unsur-unsur dan
sifatsifatnya, serta menerapkannya
dalam pemecahan masalah
kehidupan sehari-hari
5
6
6
17
14%
3 Memahami konsep ukuran dan
pengukuran berat, panjang, luas,
volume, sudut, waktu, kecepatan,
debit, serta mengaplikasikannya
dalam pemecahan masalah
kehidupan sehari-hari
13
11
11
35
29%
4 Memahami konsep koordinat untuk
menentukan letak benda dan
menggunakannya dalam pemecahan
masalah kehidupan sehari-hari
2
1
1
4
3%
5 Memahami konsep pengumpulan
data, penyajian data dengan tabel,
gambar dan grafik (diagram),
mengurutkan data, rentangan data,
rerata hitung, modus, serta
menerapkannya dalam pemecahan
masalah kehidupan sehari-hari
5
4
4
13
11%
∑ - 40 40 40 120 100%
Analisis data UN SD menghasilkan dua putaran, yakni: Pertama, output
Ph1 memuat informasi nilai statistik butir tiap kelompok butir. Nilai statistik
tersebut berupa nilai korelasi butir terhadap tes menggunakan Pearson dan
korelasi biserial. Jika nilai kedua statistik pada suatu butir soal kurang dari -0,15
maka butir soal tersebut dihilangkan pada output Ph2 yang diasumsikan kunci
soal tersebut salah. Analisis menunjukkan bahwa tidak ada nilai-nilai statistik
pada butir lebih kecil dari -0,15. Oleh karena itu, semua butir di analisis lebih
lanjut. Output Ph2 memuat informasi parameter butir tingkat kesukaran dan nilai
81
Kai_Kuadrat yang menginformasikan tingkat kecocokan data dengan model
Rasch. Butir yang tidak memenuhi model didrop. Khusus butir soal anchor yang
terdiri sepuluh butir jika ada yang tidak memenuhi model salah satu dari
kelompok tes maka butir tersebut didrop, sedangkan nilai parameter tingkat
kesukaran butir tersebut memperhatikan nilai signifikansi dari Kai Kuadrat butir
tersebut yang paling besar. Butir soal yang tidak memenuhi model pada tahap
putaran pertama dianalisis secara kualitatif untuk dimasukkan di bank butir soal.
Kedua, setelah butir soal yang tidak fit model dikeluarkan maka dilakukan
analisis putaran kedua. Output Ph1 memuat informasi nilai statistik butir tiap
kelompok butir yakni korelasi butir soal terhadap skor total menggunakan
Pearson dan korelasi biserial. Analisis menunjukkan bahwa tidak ada nilai-nilai
statistik pada butir lebih kecil dari -0,15. Output Ph2 memuat informasi
parameter butir tingkat kesukaran dan nilai Kai_Kuadrat yang menginformasikan
tingkat kecocokan data dengan model Rasch. Butir soal anchor memenuhi model
jika butir soal tersebut memenuhi model pada semua kelompok respon pada paket
tersebut. Sedangkan butir soal anchor yang tidak memenuhi model terjadi jika
ada salah satu kelompok pada butir tersebut yang tidak memenuhi model.
Karakteristik butir soal memenuhi model maupun tidak memenuhi model
ditetapkan pada butir yang mempunyai nilai sig Kai Kuadrat yang paling besar.
Selanjutnya, butir yang tidak memenuhi model dianalisis secara kualitatif.
Analisis kualitatif dilakukan dengan asumsi bahwa karakteristik butir soal
tidak berubah secara signifikan bila dilakukan analisis lebih lanjut terhadap butir
tersebut dengan memperhatikan materi, konstruksi, dan bahasa serta pola respon
peserta tes. Analisis butir soal secara kualitatif dan pola respon peserta tes
82
dilakukan oleh guru kelas IV, V, dan VI. Guru kelas IV melakukan analisis
pertama menggunakan pedoman analisis yang telah disediakan, kemudian
dilanjutkan guru kelas V dan terakhir guru kelas VI. Walaupun ketiga kelompok
guru tersebut sudah biasa dalam membuat butir soal namun ketiga kelompok guru
tersebut mengikuti pelatihan analisis butir soal dengan program Bilog-MG pada
tanggal 27 Januari 2011 di Kampus I Lamappapoleonro Watansoppeng. Pelatihan
dimaksudkan untuk melatih menganalisis butir soal menggunakan Program
Bilog_MG dan menganalisis butir soal secara kualitatif agar ada kesamaan
persepsi dalam melakukan analisis soal secara kualitatif. Jumlah guru diundang
pada pelatihan analisis butir soal tersebut sebanyak 10 guru tiap kelas, namun
guru yang datang untuk kelas IV berjumlah 10 orang, kelas V berjumlah 8 orang,
dan kelas VI berjumlah 9 orang. Nama guru dan asal sekolah tiap kelas terdapat
pada Lampiran B_3, B_4, dan B_5.
Pelatihan tersebut dilakukan oleh peneliti dan satu guru Bahasa Indonesia
yang mendalami psikometri. Ketiga kelompok guru tersebut kemudian
menganalisis butir soal secara kualitatif dengan memperhatikan aspek materi,
konstruksi, dan bahasa. Jika aspek materi, konstruksi, dan bahasa berfungsi
secara baik maka aspek pola respon peserta tes terhadap butir soal diperiksa.
Misalnya, butir soal 1 2009/2010 secara materi, konstruksi, dan bahasa berfungsi
secara baik namun tidak memenuhi model sehingga diperiksa pola respon
peserta tes. Hasil menunjukkan lebih dari 93% peserta tes merespon benar butir
soal tersebut. Secara teori, butir soal tersebut sangat mudah bagi peserta tes,
namun hasil investigasi dari guru kelas IV, V, dan IV menyimpulkan butir soal
tersebut bukan termasuk butir soal mudah namun disebabkan masalah lain.
83
Misalnya, sistem penjagaan ruang ujian kurang berfungsi pada saat ujian
berlangsung. Oleh karena itu, butir soal tersebut tidak direvisi dan selanjutnya
dimasukkan di bank butir soal.
b. Definisi operasional variabel
Pengembangan CAT melibatkan dua variabel utama yakni variabel input
dan variabel hasil. Produk CerdasCAT memproses variabel input sehingga
menghasilkan variabel hasil. Variabel input terdiri atas tingkat kesukaran butir.
Variabel hasil terdiri atas kemampuan peserta tes, panjang tes, tingkat exposure,
galat baku penaksiran parameter kemampuan peserta tes, dan jumlah waktu
respon butir soal serta informasi kelulusan peserta tes.
Definisi operasional variabel yakni: (1) tingkat kesukaran butir soal
merupakan titik belok pada skala kemampuan kurva model Rasch atau titik yang
terjadi dimana probabilitas sebuah respon benar sebesar 0,5 dalam kurva ICC
yang diperoleh dari hasil analisis data respon peserta tes menggunakan program
Bilog-MG. (2) Tingkat kemampuan peserta tes merupakan hasil respon peserta tes
terhadap butir soal yang adaptif terhadap kemampuan sampai penaksiran
konvergen setelah mengikuti ujian pada aplikasi CAT. (3) Panjang tes merupakan
jumlah butir soal yang ditempuh peserta tes sampai galat baku penaksiran
parameter kemampuan peserta tes terhadap dua butir soal berturut-turut lebih kecil
atau sama dengan 0,01. (4) Tingkat exposure butir soal merupakan tingkat
kemunculan butir soal yang berada di luar rentang inisialisasi kemampuan. (5)
Galat baku penaksiran parameter kemampuan peserta tes merupakan nilai galat
yang diperoleh dari hasil penaksiran parameter kemampuan menggunakan butir
soal tes saat ini secara adaptif. (6) Jumlah waktu respon butir soal merupakan
84
rerata jumlah waktu yang dibutuhkan peserta tes dalam merespon butir soal
selama ujian berlangsung pada aplikasi CAT. (7) Kelulusan peserta tes merupakan
hasil pengolahan kemampuan peserta menggunakan konsep DSS.
c. Aturan bisnis sistem CAT
Kebutuhan sistem melibatkan berbagai fakta riil di lapangan, misalnya
objek, kejadian, atau interaksi keduanya. Fakta objek berupa lembaran jawaban
peserta tes, butir soal, peserta tes, pengajar, dan pimpinan serta pihak terkait
misalnya wali peserta tes. Setiap objek mempunyai perilaku dalam berhubungan
sistim. Misalnya, peserta tes mengerjakan butir soal. Kata ’mengerjakan’ adalah
perilaku objek peserta tes terhadap sistim dalam berinteraksi dengan objek butir
soal. Informasi tersebut berguna dalam merancang diagram alur sistem CAT
sehingga tahap pembentukan aplikasi (implementasi) dan uji coba tidak banyak
mengalami kendala dan perubahan.
Hasil analisis kebutuhan menunjukkan ada lima aktor yang terlibat secara
langsung dalam proses pengujian terutama pelaksanaan UN SD, yakni pimpinan
(kepala sekolah), pengajar (guru), peserta tes (siswa), wali peserta tes (orang tua
siswa), ditambah satu yakni admin. Kelima aktor tersebut mempunyai aksi yang
berbeda-beda. Pimpinan melakukan login, konfigurasi kelulusan, pembobotan
SKL, pembobotan domain, pembobotan kriteria penilaian, dan melihat laporan
kelulusan. Pengajar melakukan login, membuat butir soal dan memasukkan butir
soal pada bank butir soal, menetapkan nilai sekolah, pengamatan, dan nilai
lainnya, mencari hasil ujian model, dan melihat laporan kelulusan. Peserta tes
melakukan login, melakukan verifikasi nomor ujian, mengerjakan butir soal,
mencari hasil ujian, dan laporan kelulusan. Wali peserta tes melakukan login,
85
mencari laporan hasil ujian walinya, dan laporan kelulusan. Admin melakukan
login, mengelola data user dan sistem aplikasi.
Berdasarkan hal tersebut, ada beberapa hubungan yang terjadi antar aktor
dalam membentuk suatu aturan bisnis sistim. Admin memasukkan identitas
Peserta Tes. Pengajar memasukkan butir soal dalam suatu domain tertentu yang
telah ditetapkan Admin. Peserta Tes menjawab butir soal yang dimasukkan
Pengajar berdasarkan identitas yang telah dimasukkan Admin. Peserta Tes
merespon tiga butir soal sebagai inisialsasi kemampuan yang ditetapkan Admin.
Hasil ujian peserta tes tersebut dapat dicetak pada saat ini atau digunakan sebagai
data dalam proses kelulusan. Pengajar menetapkan nilai sekolah, nilai observasi,
dan nilai lainnya yang. Pimpinan melakukan pembobotan terhadap SKL dan
doman yang telah dikerjakan Peserta Tes. Selanjutnya, Pimpinan melakukan
pembobotan nilai ujian peserta tes saat ini dan nilai yang telah ditetapkan Pengajar
sebagai penetapan konfigurasi kelulusan. Hasil pembobotan tersebut
menghasilkan pelaporan kelulusan sehingga menjadi informasi bagi Peserta Tes,
Pengajar, Wali Peserta Tes, dan Pimpinan sendiri, selanjutnya informasi tersebut
dapat dicari atau dicetak jika dianggap perlu.
2. Tahap Pemodelan Data
a. Objek, Atribut dan Relasi
Objek mempunyai atribut atau metode yang berbeda-beda. Perbedaan
metode menyebabkan hubungan antara dua objek atau lebih juga beda. Ada lima
objek sebagai aktor yang terkait dengan sistim CAT sebagai berikut. Pertama,
peserta tes mempunyai atribut username, password, metode, model, inisialisasi
kemampuan, penyajian butir soal, paket tiga butir soal, nomor peserta, nama
86
lengkap, asal sekolah, tempat lahir, tanggal lahir, dan foto. Selanjutnya peserta tes
mempunyai metode yakni melakukan login, memverifikasi nomor ujian,
mengambil ujian, mencari atau mencetak hasil ujian, dan mencari atau mencetak
laporan kelulusan. Kedua, admin mempunyai atribut username dan password,
selanjutnya admin metode mengelola user, domain, skl, dan paket soal.
Ketiga, pimpinan mempunyai atribut username dan password, selanjutnya
mempunyai metode melakukan login, melakukan konfigurasi kelulusan, melakukan
pembobotan SKL, melakukan pembobotan domain, melakukan pembobotan
kriteria kelulusan, dan mencari atau mencetak laporan kelulusan.
Keempat, pengajar mempunyai atribut username dan password, selanjutnya
mempunyai metode melakukan login, menetapkan nilai sekolah, pengamatan, dan
hasil lainnya, melihat hasil ujian model, dan mencari atau mencetak laporan
kelulusan.
Kelima, wali peserta tes mempunyai atribut username, password, dan
nama walinya, selanjutnya mempunyai metode melalukan login, mencari atau
mencetak hasil ujian walinya, dan mencari atau mencetak laporan kelulusan.
Disamping kelima objek tersebut terdapat objek yang lain, misalnya butir soal,
SKL, domain, pembobotan, dan laporan kelulusan.
b. Diagram Use Case
Diagram use case menggambarkan fungsi-fungsi yang dari sebuah sistem.
Diagram tersebut dirancang dengan penekanan apa yang diperbuat oleh actor
terhadap sistem. Diagram use case mempunyai notasi dasar yakni use case, actor,
dan association. Disamping itu, diagram use case memiliki model khusus yang
terbatas untuk kondisi tertentu yakni <<extend>> dan <<include>>. Model
87
<<extend>> menunjukkan bahwa satu use case merupakan tambahan fungsional dari
use case yang lain jika kondisi atau syarat tertentu dipenuhi, sebaliknya <<include>>
digunakan untuk menggambarkan bahwa suatu use case seluruhnya merupakan
fungsionalitas dari use case lainnya.
c. Diagram Class
Diagram class menunjukkan struktur statis dari beberapa class dalam
sebuah sistem, dimana class tersebut merepresentasikan satu keadaan
(atribut/property) dan mengerjakan suatu sistem (metode/fungsi). Class memiliki
tiga bagian, yakni nama, atribut, dan metode, sedangkan atribut dan metode
memiliki salah satu sifat sebagai private (hanya dapat diakses oleh class itu
sendiri), protected (hanya dapat diakses oleh class itu sendiri dan turunan dari class
tersebut), dan public (dapat diakses oleh class selain class bersangkutan). Class
dapat mempresentasikan sebuah antarmuka atau sebaliknya merupakan
implementasi sebuah antarmuka yang berupa class abstrak. Class abstrak tidak
memiliki atribut namun hanya memiliki metode.
d. Flow Chart
Sebuah diagram aktivitas menunjukkan alur kegiatan secara berurutan,
dimana mendeskripsikan kegiatan-kegiatan dalam sebuah operasi meskipun juga
dapat digunakan mendekskripsikan alur kegiatan lain seperti use case atau suatu
interaksi.
e. Diagram Aktivitas
Sebuah diagram aktivitas mirip dengan flow chart yakni menunjukkan alur
kegiatan secara urutan, dimana mendeskripsikan kegiatan-kegiatan dalam sebuah
88
operasi meskipun dapat mendekskripsikan alur kegiatan lain seperti use case atau
suatu interaksi, disamping itu diagram aktivitas dapat mendukung perilaku parallel
sedangkan flow chart tidak dapat.
f. Diagram Kolaborasi
Diagram kolaborasi menggambarkan sebuah objek diagram dimana
sejumlah objek ditunjukkan di sekitarnya dengan hubungan-hubungannya dalam
menghasilkan suatu informasi.
g. Diagram Sekuensial
Diagram sekuensial merupakan diagram kolaborasi dinamis antara objek
satu dengan lainnya secara berurutan. Diagram sekuensial umumnya
menggambarkan suatu skenario atau urutan langkah-langkah yang dilakukan oleh
aktor maupun kelas dari sebuah kejadian untuk mendapatkan hasil atau ouput.
Oleh karena itu, kelas, aktor, atau objek diletakkan dibagian atas diagram dengan
urutan dari kiri ke kanan terhadap garis tegak lifeline.
3. Tahap pemodelan proses
a. Diagram Relasi Entitas
Diagram relasi entitas menggambarkan relasi antara dua objek atau lebih
secara many to many, many to one atau one to one. Misalnya, hubungan antara
peserta tes dengan butir soal dimana peserta tes mengerjakan butir soal pada
Gambar 18 menunjukkan hubungan many to many. Artinya, beberapa peserta tes
mengerjakan beberapa butir yang sama. Hubungan antar domain dengan
pimpinan dimana domain dibobot oleh pimpinan. Gambar 19 menunjukkan
89
hubungan banyak domain dibobot oleh satu pimpinan. Hubungan antar dua entitas
harus mempunyai hubungan satu-satu dimana bilangan kardinal sama dengan 1-1.
Mengerjakan
Peserta_Tes
mm
Butir_Soal
Gambar 18.
Hubungan Entitas Peserta Tes dan Butir Soal
Dibobot oleh 1m
PimpinanDomain
Gambar 19.
Hubungan Entitas Domain dan Pimpinan
b. Rancangan Tabel
Rancangan tabel disesuaikan dengan diagram relasi entitas yang terkait
dengan foreign key dan primary key serta atirbut-atribut lain yang ada pada setiap
entitas. Jumlah tabel disesuaikan dengan keperluan aplikasi.
c. Rancangan Antarmuka
Rancangan antarmuka model CAT disesuaikan kebutuhan sistem.
Rancangan tersebut memperhatikan peran setiap aktor dan faktor pendukung
dalam melakukan aksi terhadap sistem sehingga proses yang terjadi lebih
akomodatif dan aplikatif terhadap tujuan. Rancangan utama dalam sistem CAT
adalah antarmuka halaman utama, antarmuka sign up, antarmuka login, dan
antarmuka pengguna. Antarmuka pengguna terdiri atas antarmuka admin,
antarmuka pimpinan, antarmuka peserta tes, antarmuka pengajar, dan antarmuka
wali peserta tes.
90
d. Rancangan Himpunan Fuzzy dan Basis Pengetahuan
Simulasi tingkat kesukaran butir soal dan tingkat kemampuan untuk
menentukan himpunan fuzzy dan basis pengetahuan berpedoman pada persamaan
(3). Simulasi tersebut menggunakan program Microsoft Office Excel 2007. Hasil
simulasi pola hubungan antara a, b, dan c terhadap theta menjadi rujukan dalam
menetapkan variabel fuzzy tingkat kesukaran butir soal dan variabel fuzzy tingkat
kemampuan peserta tes. Jika a = 3 dan c = 0,25 maka perbedaan b dan theta
sebesar 0,061, jika a = 2 dan c = 0,25 maka perbedaan b dan theta sebesar 0,092,
dan jika a = 1 dan c = 0,25 maka perbedaan b dan theta sebesar 0,183. Artinya,
perbedaan b dan theta dipengaruhi oleh nilai a. Semakin besar nilai a maka
perbedaan theta dan b semakin kecil. Jadi, jika a dan c tetap maka nilai
perbedaan theta dan b tidak berubah. Jika hal tersebut disimulasikan pada model
Rasch dimana a = 1 dan c = 0 maka tidak ada perbedaan theta dan b.
Gambar 20.
Representasi Himpunan Fuzzy Variabel Tingkat Kesukaran
Berdasarkan hal tersebut, penetapan kategori variabel fuzzy tingkat
kesukaran yang dikaitkan dengan variabel fuzzy tingkat kemampuan tidak
mengalami pergeseran, artinya pembagian himpunan fuzzy pada variabel fuzzy
tingkat kemampuan sama dengan pembagian himpunan fuzzy pada variabel fuzzy
tingkat kesukaran. Variabel fuzzy tingkat kesukaran butir soal pada kurva segitiga
91
dibagi dalam lima himpunan fuzzy, yakni sangat tinggi, tinggi, sedang, rendah, dan
sangat rendah dengan domain masing-masing terdapat pada Gambar 20.
Berdasarkan representasi himpunan fuzzy tingkat kesukaran butir soal
tersebut maka keanggotaan himpunan fuzzy sangat tinggi, tinggi, sedang, rendah,
dan sangat rendah dirumuskan sebagai berikut:
4;1
42;24
2
2;0
][
b
bb
b
bgiSangatTingtk ………………………….. (20)
0;0
20;2
42;24
4
4;0
][
b
bb
bb
b
bTinggitk ………………………………….... (21)
2;0
02;)2(0
)2(
20;2
2
2;0
][
b
bb
bb
b
bSedangtk …………………………….. (22)
4;0
02;)2(0
0
24;)4(2
)4(
0;0
][R
b
bb
bb
b
bendahtk …………………………. (23)
4;1
24;)4(2
2
2;0
][Re
b
bb
b
xndahSangattk ……………….….. (24)
92
Himpunan fuzzy yang telah terbentuk tersebut menjadi dasar dalam
merancang basis pengetahuan. Berdasarkan batasan aturan himpunan fuzzy
tersebut, basis pengetahuan pada model Rasch menggunakan aturan IF THEN
sebagai berikut.
Gambar 21.
Basis Pengetahuan Futsuhilow dan Fumahilow
Basis pengetahuan pada Gambar 21 diterapkan pada metode Futsuhilow
dan Fumahilow dimana hasil simulasi pada Lampiran A_2 dan A_4. Basis
pengetahuan pada metode Fusuhilow mengalami perubahan dengan menetapkan
nilai theta dengan suatu bilangan tertentu tidak menggunakan tingkatan himpunan
fuzzy dimana hasil simulasi pada Lampiran A_3. Walaupun rancangan himpunan
fuzzy tingkat kemampuan dan himpunan fuzzy tingkat kesukaran sama namun jika
dikaitkan dengan gangguan konsentrasi selama ujian dan terbuka peluang
menebak jawaban pada butir soal pilihan ganda sehingga perlu
mempertimbangkan hubungan antara tingkat kesukaran butir dengan tingkat
kemampuan peserta tes yakni tingkat kemampuan lebih tinggi atau sama dengan
nilai tingkat kesukaran butir untuk menjawab benar suatu butir. Oleh karena itu,
dalam rentang [-4,4] tingkat kemampuan sama atau lebih tinggi daripada tingkat
1. Jika b sangat tinggi maka theta sangat tinggi
2. Jika b tinggi maka theta tinggi
3. Jika b sedang maka theta sedang
4. Jika b rendah maka theta rendah
5. Jika b sangat rendah maka theta sangat rendah
93
kesukaran. Hal tersebut searah dengan basis pengetahuan metode Fusuhilow
terdapat pada Gambar 22.
Gambar 22.
Basis Pengetahuan Fusuhilow
e. Rancangan Disicion Support Sistem (DSS)
Rancangan DSS pada produk CerdasCAT melibatkan beberapa model
matematika, yakni model Rasch, metode Futsuhilow, metode Fusuhilow,
metode Fumahilow, model tranformasi theta ke skor, model pembobotan (SKL,
domain, dan kriteria penilaian), dan kriteria kelulusan (skor minumum dan kuota
maksimal). Pengelolaan karakteristik butir soal dan kemampuan peserta tes
menggunakan model Rasch dengan membandingkan ketiga metode. Theta
mempunyai bentangan [-4,4] ditransformasikan ke dalam bentuk skor dengan
bentangan [0,100]. Skor tersebut digunakan oleh pimpinan untuk melakukan
aktivitas secara terurut yakni pembobotan SKL, pembobotan domain, kemudian
pembobotan kriteria penilaian.
Hasil tersebut dilanjutkan dengan penetapan kriteria kelulusan yakni skor
minimal dan kuota maksimal sebagai preferensi kelulusan menjaring preferensi
sebelumnya sebagai pilihan keputusan. Artinya, sistem komputer mengolah
1. Jika b sangat tinggi maka theta sama dengan 4,000
2. Jika b tinggi maka theta sama dengan 2,001
3. Jika b sedang maka theta sama dengan 0,001
4. Jika b rendah maka theta sama dengan -1,999
5. Jika b sangat rendah maka sama dengan -3,999
94
request menjadi respons berupa urutan kriteria kelulusan sehingga dapat
ditetapkan pilihan diantara pilihan yang ada sesuai dengan preferensinya dalam
menghasilkan informasi kelulusan peserta tes. Adapun model DSS terdapat pada
Gambar 23.
Futsuhilow
Fusuhilow
Fumahilow
Krite
ria K
elu
lusa
n
Skor
KelulusanT
ran
form
asi N
ilai
SKL
Domain
Penilaian
Pe
mb
ob
ota
n
Pilihan
Keputusan θ Skor
Tingkat
Kesukaran
Gambar 23.
Model DSS pada produk CerdasCAT
f. Rancangan Arsitektur DSS pada CAT
Rancangan arsitektur DSS pada CAT merupakan bagian dari arsitektur
CAT. Sistem mula-mula menerima input domain, SKL, dan paket soal dari Admin,
kemudian butir soal di_input oleh pengajar ke SKL dengan memperhatikan
domain. Hasil aksi tersebut disimpan oleh sistem ke database server lewat proses
request-respon secara asynchronous sebagai bagian teknologi
JavaScript+HTML+JSP. Demikian halnya, Admin memasukkan nama user dan
menetapkan username dan password, dan khusus peserta tes ada tambahan
nomor peserta. Soal yang di_input pengajar tersebut direspon peserta tes dengan
terlebih dulu login dan verifikasi nomor soal. Hasil respon peserta tes
menghasilkan hasil ujian yang dapat diperoleh peserta tes dan walinya.
Kemampuan peserta tes berupa hasil ujian tersebut kemudian di kelola lebih
95
lanjut dalam sistem DSS. Adapun rancangan arsitektur DSS pada CAT terdapat
pada Gambar 24.
Gambar 24.
Rancangan Arsitektur DSS pada CAT
Setiap peserta tes mempunyai hasil ujian sehingga data tersebut dapat menjadi
informasi kelulusan. Data tersebut dikelola dengan sistem DSS. Pimpinan melakukan
pembobotan SKL, domain, dan kriteria kelulusan sebagai bagian dari konfigurasi
kelulusan. Selanjutnya, pimpinan melakukan penetapan penjaringan berdasarkan
konsep standar setting namun bersifat dinamis yakni jumlah kuota diterima dan
tingkat kemampuan minimal yang diterima. Hasil aksi pimpinan tersebut tersimpan di
database server sehingga informasi tersebut dapat diperoleh user termasuk wali
peserta tes, pengajar, peserta tes, dan pimpinan.
96
g. Rancangan CAT berbasis web
Pengembangan CAT berbasis web terbagi tiga bagian sebagai berikut. (1)
User (peserta tes, admin, pengajar, pimpinan, dan wali peserta tes) melakukan
browsing lewat aplikasi, misalnya mozilla firefox. (2) Produk CerdasCAT yang
dirancang sebagai basis logic. (3) Basis data sebagai bank butir soal. Adapun
arsitektur produk CerdasCAT berbasis web pada Gambar 25 dimana peserta tes
merupakan aktor yang mengikuti ujian, pimpinan merupakan kepala sekolah yang
menjadi pimpinan di SD, pengajar adalah guru mengajar di SD, wali peserta tes
adalah orang tua peserta tes, dan admin adalah pengelola aplilkasi.
Peserta Test
Tomcat Web Server
MySQL Database Server
Pendidik
Admin
AJAX Engine
Web Container
Java
Web Browser
JavaScript HTML
Internet
Pimpinan Wali Peserta Tes
Gambar 25.
Arsitektur Aplikasi CAT Berbasis Web
97
4. Tahap Pembentukan Aplikasi
Setelah tahap rancangan dalam pemodelan proses selesai, selanjutnya
melakukan pembentukan aplikasi rancangan dengan membuat koding setiap
komponen yang ada yakni koding antarmuka, koding basis data, koding aplikasi, dan
verifikasi internal.
5. Pengujian
Proses pengujian produk CerdasCAT melalui lima tahapan, yakni: Pertama,
validasi internal mengenai kesalahan terjadi saat atau sesudah komponen atau
pembentukan aplikasi. Kedua, expert judgment dilakukan oleh dua validator yakni
Dra. Sri Hartati, M.Sc., Ph.D. sebagai dosen pada jurusan ilmu komputer, MIPA
Universitas Gadjah Mada dan Dra. Ermatita, M. Kom sebagai dosen pada jurusan
sistem informasi, Fasikom Universitas Sriwijaya. Ketiga, simulasi produk
CerdasCAT dengan empat pola respon dimaksudkan untuk mengetahui aplikasi yang
telah dibuat serta komponen-komponen sesuai prosedur pengembangan. Variasi pola
jawaban menggunakan pola benar semua, salah semua, salah-benar, dan normal. Jika
variasi pola jawaban tersebut sudah memenuhi syarat secara maksimal dengan
memperhatikan logika setiap metode, antarmuka, dan ketersediaan jumlah butir soal
di bank butir soal maka aplikasi diujicobakan secara one to one. Keempat, tahap uji
coba one to one menggunakan sampel kecil pada semua kelompok user. Semua
kelompok user tersebut melakukan validasi eksternal dengan mengisi kuesioner skala
sikap setelah menguji coba produk CerdasCAT. Kelima, uji coba produk CerdasCAT
secara terbatas di SD. Setiap tahapan tersebut, diuraikan lebih lanjut pada bagian uji
coba produk.
98
C. Uji Coba Produk
1. Desain Uji Coba
Sebagaimana telah dijelaskan pada bagian pengujian, uji coba produk
CerdasCAT melalui empat tahap yakni tahap validasi internal, validasi expert
judgement, simulasi, tahap uji coba one to one, validasi eksternal, dan tahap uji coba
terbatas. Validasi internal menyangkut kesalahan yang terjadi selama pengembangan
aplikasi CAT yakni kesalahan bank soal, kesalahan antarmuka, kesalahan komputasi,
dan kesalahan input output. Pemeriksaan kesalahan-kesalahan tersebut dirinci dalam
satu pedoman validasi internal pada Lampiran G_1. Validasi expert judgement
dilakukan setelah validasi internal namun sebelum simulasi. Validasi tersebut
dilakukan secara terpisah dan terbuka oleh kedua validator sehingga independensi
penilaian tetap akurat. Sedangkan desain simulasi memperhatikan inisialisasi
kemampuan peserta tes menggunakan tiga butir soal dengan kategori 1 (mudah), 2
(sedang), dan 3 (tinggi). Berdasarkan kategori tersebut, kegiatan simulasi
memperhatikan pola penyajian butir soal yakni pola respon benar semua, respon salah
semua, respon salah-benar, dan respon normal.
Desain uji coba one to one dilakukan setelah tahap simulasi. Uji coba
dilaksanakan di SDN Kabupaten Soppeng terdiri tujuh sekolah. Jumlah user
sebanyak 39 orang terdiri sembilan siswa sebagai peserta tes, sembilan orang tua
siswa sebagai wali peserta tes, tujuh kepala sekolah sebagai pimpinan, tujuh pegawai
tata usaha/operator komputer sebagai admin, dan tujuh guru sebagai pengajar. Uji
coba tersebut menggunakan lima laptop dimana laptop tersebut sudah diinstal produk
CerdasCAT. Selanjutnya, user yang sudah menguji coba produk CerdasCAT,
diberikan kuesioner sesuai dengan perannya masing-masing.
99
Desain uji coba terbatas didasarkan data observasi sebelumnya. Hasil
observasi menunjukkan peralatan komputer SDN sudah mencukupi walaupun masih
bervariasi. Misalnya, Kabupaten Soppeng mempunyai satu sekolah unggulan yakni
SDN 1 Lamappoloware dan tujuh sekolah inti. Sekolah unggulan mempunyai
laboratorium komputer yang lengkap sedangkan sekolah inti memiliki laboratorium
komputer namun belum difungsikan secara maksimal dengan sarana dan prasarana
masih minim walaupun sudah beberapa yang mempunyai fasilitas jaringan internet
yang memadai misalnya SDN 161 Karya. Kedua SDN tersebut memiliki jumlah
komputer yang berbeda dimana SDN 1 Lamappoloware mempunyai 40 komputer
namun yang layak hanya 35 komputer sedangkan SDN 161 Karya mempunyai 20
komputer namun yang layak hanya 15 komputer sudah termasuk laptop. SDN 1
Lamappoloware mempunyai 3 kelas VI yang paralel sebagai kelas ungggulan
sedangkan SDN 161 Karya hanya mempunyai satu kelas unggulan. Pengambilan
keempat kelas tersebut sebagai tempat uji coba menggunakan teknik pengambilan
sampel secara purposive sampling berdasarkan tingkat kelayakan perangkat keras dan
lunak komputer. Oleh karena itu, tempat uji coba produk CerdasCAT secara terbatas
di SDN 1 Lamappoloware dan SDN 161 Karya.
Desain uji coba terbatas melalui tiga tahap, yakni: Pertama, tahap persiapan
terdiri atas pengelolaan ruangan, pemeriksaan komputer termasuk hardware dan
software, penginstalan produk CerdasCAT, sosialisasi produk CerdasCAT kepada
peserta tes, dan uji coba produk CerdasCAT oleh peneliti. Peneliti dibantu oleh Admin
laboratorium komputer sekolah bersangkutan dan tiga mahasiswa STMIK
Lamappapopleonro Soppeng. Kedua, pelaksanaan uji coba produk CerdasCAT selama
dua hari. Hari Senin tanggal 16 Mei 2011 di SD 1 Lamappoloware dan hari
100
Rabu tanggal 18 Mei 2011 di SDN 161 Karya dengan masing-masing dua
gelombang ujian. Gelombang I jam 08.00-10.00 WITA dan gelombang II jam 10.00-
12 WITA. Sebelum ujian dimulai, pengawas ujian membagikan username, password,
dan nomor peserta kepada peserta tes. Pengawasan ujian dilakukan oleh peneliti dan
Admin sekolah bersangkutan. Ketiga, pengumpulan data dilakukan saat setelah
semua ujian selesai. Data yang sudah tersimpan pada tabel peserta_test_jawaban_
dengan_model dapat dipanggil lagi menggunakan query atau login menggunakan
username dan password peserta tes tersebut. Data tersebut kemudian di_ copy paste ke
program Microsoft Excel pada format yang telah tersedia untuk masing-masing
metode.
2. Subjek Uji Coba
Subjek ujicoba produk CerdasCAT secara one to one melibatkan admin,
pimpinan, peserta tes, pengajar, dan wali peserta tes. Jumlah subjek ujicoba one to one
untuk peserta tes sebanyak sembilan orang, pimpinan sebanyak tujuh orang, wali
peserta tes sebanyak sembilan orang, pengajar sebanyak tujuh orang, dan admin
sebanyak tujuh orang. Jumlah sekolah sebagai sampel uji coba one to one sebanyak
tujuh sekolah. Uji coba berlangsung selama satu hari untuk tiap sekolah.
Jumlah peserta tes sebagai subjek uji coba terbatas sebanyak 90 orang dengan
prosedur pemilihan sebagai berikut. Jumlah peserta tes SDN 1 Lamappoloware kelas
A dipilih secara acak 23 dari 25 orang, kelas B dipilih secara acak 23 dari 27 orang,
dan kelas C dipilih semua karena jumlahnya hanya 23 orang. Jadi, jumlah peserta tes
berasal dari SDN 1 Lamappoloware sebanyak 69 orang. Selanjutnya, jumlah peserta
tes SDN 161 Karya kelas VI dipilih secara acak 21 dari 27 orang.
101
Selanjutnya, penetapan siswa sebagai peserta tes pada tiap metode dilakukan
secara acak pada tiap sekolah. Demikian halnya, penamaan tiap kelas tersebut sebagai
kelas uji coba dilakukan secara acak dimana nama kelas disesuaikan dengan nama
metode yang digunakan dalam kelas tersebut. Jadi ada kelas Futsuhilow, kelas
Fusuhilow, dan kelas Fumahilow. Daftar nama peserta tes yang ikut uji coba produk
CerdasCAT untuk tiap metode pada Lampiran C_1, C_2, dan C_3.
3. Jenis Data
Data pengembangan produk CerdasCAT termasuk jenis data kuantitatif,
yakni data UN SD, data rancangan, data simulasi, data validasi internal, data expert
judgement, data sikap user terhadap produk CerdasCAT, data hasil uji coba one to
one, dan data hasil uji coba terbatas. Data UN SD merupakan data UN SD tahun
2007-2009. Data rancangan merupakan data perancangan aplikasi CAT. Data simulasi
merupakan data pola respon untuk tiap metode dengan memperhatikan inisialisasi
kemampuan. Data validasi internal merupakan data pengecekan komponen aplikasi.
Disamping data tersebut, terdapat data expert judgement merupakan data
validasi ahli komputer dan database terhadap produk CerdasCAT. Data sikap user
merupakan data hasil respon user terhadap produk CerdasCAT. Data sikap user
berasal dari kuesioner skala sikap yang direspon peserta tes, pengajar, wali peserta tes,
pimpinan, dan administrator pada saat uji coba one to one. Selanjutnya, data hasil
uji coba terbatas berupa data ujian peserta tes terdiri dari kemampuan peserta tes
ditambah empat data kriteria pengembangan produk CerdasCAT pada setiap metode
102
yakni panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter
kemampuan, dan waktu respon butir soal.
4. Instrumen
Instrumen pengumpulan data menggunakan kuesioner skala sikap. Setiap
pernyaatan mempunyai empat pilihan yakni sangat setuju, setuju, tidak setuju, dan
sangat tidak setuju dengan skor masing-masing 4, 3, 2, dan 1 untuk pernyataan positif
sedangkan skor masing-masing 1, 2, 3, dan 4 untuk pernyataan negatif. Pembuatan
instrumen mengacu pada aksi aktor pada sistem model CAT dimana aksi tersebut
tergambar pada setiap use case. Oleh karena itu, jumlah kuesioner skala sikap pada
penelitian ini terbagi lima bagian sesuai dengan jumlah aktor dalam diagram use case.
Instrumen peserta tes, pengajar, wali peserta tes, pimpinan, dan admin masing-
masing terdapat pada Lampiran K1_, K_2, K_3, K_4, dan K_5. Pilihan setiap
responden terhadap setiap penyataan dihitung lalu dinyatakan secara persentase.
Penentuan sikap user diambil dari persentase yang paling tinggi dari pilihan yang ada.
Instrumen validasi expert model CAT terdiri tiga komponen, yakni komponen
aksi user terhadap produk pada pernyataan 1-24, komponen kemampuan produk pada
pernyataan 25-28, dan komponen pelengkap produk pada pernyataan 29-30.
Instrumen validasi expert judgment model CAT terdapat pada Lampiran D_18.
5. Teknik Analisis Data
Data panjang tes, galat baku penaksiran parameter kemampuan, dan jumlah
waktu respon butir soal dianalisis secara deskriptif dan secara inferensial dengan uji t
kecuali data tingkat exposure butir soal dianalisis dengan uji korelasi, sedangkan data
sikap aktor terhadap produk CerdasCAT dianalisis secara deskriptif. Analisis data
103
secara deskriptif dan inferensial menggunakan program SPSS. Perbandingan ketiga
metode tersebut terdapat pada Gambar 26.
Model
Rasch
Futsuhilow
Fusuhilow
Fumahilow
Panjang Tes,
Tingkat Exposure
Butir Soal, Galat
Baku Penaksiran
Parameter
Kemampuan
Peserta Tes, dan
Jumlah Waktu
Respon Butir
Soal
b
θ
Karakteristik Butir
Soal dan
Kemampuan Model ICC Metode Kriteria
Gambar 26.
Perbandingan Metode dengan Empat Kriteria
Gambar 26 menunjukkan perbandingan ketiga metode dengan memperhatikan
panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter kemampuan,
dan rerata jumlah waktu respon butir soal. Perbandingan tersebut menggunakan dua
parameter input yakni tingkat kesukaran butir soal dan tingkat kemampuan peserta tes
sesuai model ICC dari model pengukuran Rasch.
104
BAB IV
HASIL PENELITIAN
A. Data Pengembangan
1. Data Karateristik Butir Soal
Data UN SD berasal dari tujuh paket dimana enam paket dari Provinsi Sulawesi
Selatan dan satu paket dari Provinsi Jawa Timur. Tiap butir soal untuk paket tersebut
diambil secara acak 500. Pengambilan acak tersebut memperhatikan sub rayon dan
sekolah untuk tiap paket sehingga jumlah keseluruhan data respon sebanyak 3500.
Cuplikan data UN SD terdapat pada Lampiran B_1, sedangkan desain analisis butir soal
tiap paket tersebut terdapat pada Lampiran B_2. Selanjutnya, setiap paket
mempunyai 40 butir soal sehingga jumlah keseluruhan butir soal 280 butir. Namun,
terdapat 10 butir anchor pada tahun yang sama kecuali tahun 2007/2008 hanya satu
paket sehingga jumlah butir soal 240 butir. Analisis secara kuantitatif dan kualitatif
butir soal tersebut diuraikan lebih lanjut pada bagian B.1.
2. Data Rancangan
a. Diagram use case
Diagram use case menggambarkan kegiatan aktor terhadap sistem.
Gambar 27 menunjukkan ada lima aktor untuk sistem produk CerdasCAT sebagai
berikut. (1) Admin mempunyai use case, yaitu: melakukan Log In, men_update
data user (Admin, peserta tes, pengajar , pimpinan, dan wali peserta tes),
menetapkan tiga butir soal, menetapkan SKL, menetapkan domain, dan
menetapkan pendaftaran. (2) Peserta tes mempunyai use case, yaitu: melakukan
Log In, melakukan verifikasi nomor ujian, mengambil ujian, mencari atau
mencetak hasil kelulusan, dan mencari atau mencetak hasil ujian. (3) Pimpinan
105
mempunyai use case, yaitu: melakukan Log In, melakukan konfigurasi kelulusan,
melakukan pembobotan SKL, melakukan pembobotan domain, melakukan
pembobotan kriteria kelulusan, dan memcari atau mencetak hasil kelulusan. (4)
Pengajar mempunyai use case, yaitu: melakukan Log In dan mencari atau
mencetak hasil kelulusan, melakukan input penilaian, mengelola soal, dan
melihat hasil ujian model. (5) Wali peserta tes mempunyai use case, yaitu:
melakukan Log In, mencari atau mencetak hasil kelulusan, dan mencari atau
mencetak hasil ujian walinya.
Gambar 27.
Model UML Produk CerdasCAT
b. Diagram kelas
Kelas mempunyai satu atau lebih objek. Setiap kelas mempunyai nama,
atribut, dan metode. Misalnya, kelas peserta tes mempunyai beberapa atribut dan
metode dalam berhubungan dengan kelas lain, misalnya Laporan Kelulusan.
106
Kedua kelas tersebut dihubungkan dengan kata ’mencari’ dalam membentuk
diagram kelas seperti pada Gambar 28.
Gambar 28.
Diagram Kelas Peserta Tes dan Laporan Kelulusan
c. Flowchart
Flowchart produk CerdasCAT dapat dirancang secara implisit maupun
eksplisit. Secara eksplisit, flowchart produk CerdasCAT dimana peserta tes
mengambil ujian seperti pada Gambar 29 dengan tahapan sebagai berikut.
Pertama, peserta tes memasukkan username dan password lalu melakukan
verifikasi nomor peserta ujian. Kedua, peserta tes memilih domain, misalnya
matematika, bahasa Indonesia, dan IPA. Jumlah domain ditetapkan oleh Admin
dalam satu kali ujian untuk semua peserta tes.
107
Ketiga, peserta tes mengerjakan tiga butir soal sebaga inisialisasi
kemampuan. Butir soal tersebut ditetapkan oleh Admin untuk semua peserta tes
dalam satu kali ujian. Butir soal tersebut diurutkan dari atas ke bawah dengan
tingkat kesukaran semakin tinggi. Jika butir soal (1,2,3) di jawab benar maka
diberikan butir soal pada kategori sangat sukar (3 atau lebih kecil 3), jika hanya
butir soal (1), (1,2) atau (1,3) dijawab benar maka diberikan butir soal pada
kategori sukar (2 atau lebih kecil 2), jika hanya butir soal (2,3) atau (2) dijawab
benar maka diberikan butir soal pada kategori sedang (0 atau lebih kecil 0), jika
hanya butir soal (3) dijawab benar maka diberikan butir soal pada kategori mudah
(-2 atau lebih kecil -2), dan jika tidak ada butir soal dijawab benar maka diberikan
butir soal pada kategori sangat mudah (-3 atau lebih kecil -3). Jadi, butir soal
pertama diberikan berdasarkan kategori kemampuan yang dimiliki masing-
masing peserta tes dengan memperhatikan mekanisme ketiga.
Keempat, peserta tes mengerjakan butir soal selanjutnya dengan
menggunakan metode fuzzy dan metode high low. Jika respon benar maka tingkat
kesulitan butir soal dinaikkan, sebaliknya jika respon salah maka tingkat
kesulitan butir soal diturunkan. Sistem menghitung kemampuan peserta tes
dengan metode yang terpilih (Futsuhilow, Fusuhilow, atau Fumahilow). Kelima,
sistem menghitung galat baku penaksiran kemampuan peserta tes dan
menghitung selisih galat baku penaksiran kemampuan peserta tes berdasarkan
hasil respon pada dua butir soal berturut-turut dengan nilai lebih kecil atau
sama dengan 0,01. Artinya jika diberikan butir soal tambahan maka kemampuan
peserta tes tidak berubah secara signifikan.
108
Mulai
Input UserName,
Password, Nomor
Peserta
Pilih
Domain
Y
Bank
Soal
Respon Soal
u=1
Soal
Lebih Sukar
Sesuai Metode
Soal
Lebih Mudah
Sesuai Metode
Cetak θ
Pindah
Domain
Cetak Hasil
UjianAkhir
TY
Y
T
T
Y
Hitung θ
Selisih SE(θ)<=0,01
Transformasi θ ke Skor
Hitung SE(θ)
Ketegori
Kemampuan
Inisialisasi
Kemampuan Awal
(3 butir)
Rerata Kategori
Kemampuan
Gambar 29.
Flowchart Peserta Tes Mengambil Ujian
Keenam, hasil theta ditransformasikan ke skor nol sampai 100, selanjutnya
peserta tes mencetak hasil ujian untuk domain saat ini (optional) jika hanya satu
domain. Ketujuh, domain dipilih oleh peserta tes jika masih diperlukan dan
dilanjutkan proses sebagaimana langkah-langkah sebelumnya sampai semua
domain ditetapkan oleh Admin. Kedelapan, peserta tes dapat melihat atau
mencetak hasil ujian baik secara kuantitatif maupun secara grafik. Informasi
109
tersebut bermanfaat bagi peserta tes untuk menggambarkan butir soal mana
respon salah dan benar sehingga lebih informatif sebagai bahan remedial
selanjutnya.
d. Diagram Aktifitas
Diagram aktifitas peserta tes mengambil ujian dimana peserta tes
melakukan log in dan verifikasi nomor. Admin menetapkan tiga butir soal sebagai
inisialisasi kemampuan. Peserta tes mengerjakan tiga butir soal tersebut sebagai
awal mengerjakan butir soal yang lain secara adaptif. Selanjutnya, peserta tes
merespon butir soal tersebut, lalu sistem melakukan perhitungan selisih SE di
objek AmbilUjian.java. Jika selisih SE lebih kecil atau sama dengan 0,01 maka
ujian dihentikan sebaliknya peserta tes mengerjakan butir soal adaptif yang lain
sampai selisih SE lebih kecil atau sama dengan 0,01. Diagram aktifitas peserta tes
mengambil ujian pada Gambar 30.
e. Diagram Kolaborasi
Diagram kolaborasi mencari informasi laporan kelulusan pada produk
CedasCAT. Peserta tes mengerjakan soal saat ini sehingga menghasilkan hasil ujian
saat ini. Pimpinan menerima hasil ujian tersebut. Pengajar mencari identitas
peserta tes tersebut untuk memberikan nilai kelulusan sekolah (nilai sekolah,
pengamatan, dan lainnya). Pimpinan menerima nilai tersebut. Pimpinan
melakukan pembobotan data-data tersebut sehingga menghasilkan nama-nama
peserta tes yang lulus beserta atributnya. Laporan_Kelulusan menyimpan
informasi tersebut. Laporan kelulusan tersebut menjadi informasi bagi peserta tes,
pengajar, dan pimpinan. Diagram kolaborasi peserta tes mencari laporan kelulusan
pada Gambar 31.
110
Gambar 30.
Diagram Aktifitas Peserta Tes Mengambil Ujian
Gambar 31.
Diagram Kolaborasi User Mencari Laporan Kelulusan
111
f. Diagram sekuensial
Diagram sekuensial menampilkan halaman ujian peserta tes. Peserta tes
mempunyai data diri yang dimasukkan Admin dalam Objek SignUp.jsp, Peserta
tes menerima username, password , dan nomor peserta kemudian memasukkan
username, password , dan nomor peserta yang sesuai sehingga Log In.jsp
menampilkan halaman ujian pada Gambar 32.
Gambar 32.
Diagram Sekuensial Menampilkan Halaman Ujian
g. Diagram Relasi Entitas
CerdasCAT memiliki beberapa entitas. Ada sembilan entitas dalam kaitan
peserta tes mengambil ujian, yakni peserta tes, paket tes tiga butir, paket tes tiga
butir detail, paket soal tiga butir jawaban, soal, domain, skl, waktu tempuh, dan
112
peserta tes domain. Relasi entitas dalam kaitan peserta tes mengambil ujian pada
Gambar 33.
Peserta_Tes
PK Idpeserta_tes
username
password
peran
nomor_peserta_tes
metode
mode_logistik
metode_penyajian
nama_lengkap
asal
tempat_lahir
tanggal_lahir
jenis_kelamin
foto
skor_akhir
idpaket_soal_tiga_butir
tingkat_kesukaran
verified
skor_domain
Paket_Soal Tiga Butir
PK idpaket_soal_tiga_butir
tanggal
keterangan
waktu_maksimal
Paket_Tiga_Soal_Tiga_Butir_Detail
PK idpaket_soal_tiga_butir_detail
FK1 idsoal
FK2 idpaket_soal_tiga_butir
Soal
PK idsoal
soal
gambar
jawaban
rasch_b
FK1 idskl
FK2 iddomain
Domain
PK iddomain
domain SKL
PK idskl
nama_skl
prioritas
FK1 iddomain
Paket Soal Tiga Butir Jawaban
PK idpaket_soal_tiga_butir_jawaban
jawaban
FK1 idpaket_soal_tiga_butir
FK2 idsoal
FK3 idpeserta_tes
Waktu Tempuh
PK idwaktu_tempuh
FK1 iddomain
waktu_tempuh
FK2 Idpeserta_tesPeserta Tes Domain
PK idpeserta_tes_domain
FK2 iddomain
FK1 Idpeserta_tes
Gambar 33.
Diagram Relasi Entitas
h. Data rancangan tabel
Berdasarkan diagram relasi entitas pada Gambar 28 maka rancangan tabel
yang kaitan langsung peserta tes mengambil ujian sebagai berikut.
1. Tabel Domain
Tabel Domain berfungsi untuk menyimpan domain soal tertentu yang
terdiri dua field yakni iddomain dan domain. Pimpinan melakukan pembobotan
terhadap domain tersebut pada Tabel 6.
113
Tabel 7.
Tabel Peserta_Tes
No Field Tipe Data Constraint Keterangan
1. Idpeserta_tes Integer Unique ,
Not Null
Auto Number PK
2. username Varchar(45) Not Null Nama user
3. password Varchar(45) Not Null Sandi Setiap User
4. Peran Varchar(45) Not Null Sesuai Peran User
5. Nomor_Peserta Varchar(45) Not Null Nomor ujian
6. Metode Varchar(45) Not Null Metode yang
digunakan ujian
7. Model_logistik Varchar(45) Not Null Model yang
digunakan ujian
8. Metode_penyajian Varchar(45) Not Null Metode penyajian
9. NamaLengkap Varchar(45) Not Null Nama lengkap
peserta test
10. Asal Varchar(45) Not Null Asal SD peserta es
11. Tempat_lahir Varchar(45) Not Null Tempat lahir
pesertat tes
12. Tanggal_lahir DATE Not Null Tanggal lahir
peserta
13. Jenis_kelamin Byte Not Null Jenis kelamin
pesertat tes
14. Foto Varchar(45) Not Null Foto peserta tes
15. Skor_akhir Double Not Null Skor setelah ujian
16. Id_paket_soal _
tiga_butir
Int(10) Not Null Foreign key ke
tabel paket soal
tiga butir
17. Tingkat_kesukaran Double Not Null Himpunan fuzzy
tingkat kesukaran
18. Verified Tinyint Not Null Verifikasi nomor
peserta
19. Skor_domain Double Not Null Skor ujian domain
114
\
2. Tabel Peserta_Tes
Tabel Peserta_Test menyimpan informasi peserta tes dengan hak akses
username, password , dan peran serta nomor peserta pada Tabel 7.
Tabel 6.
Tabel Domain
No Field Tipe Data Constraint Keterangan
1 Iddomain Integer Unique , Not Null Auto Number PK
2 Domain Varchar(45) Not Null Nama domain ini
3. Tabel SKL
Tabel SKL menyimpan soal tertentu yang terdiri empat field yakni
idskl, nama_skl, iddomain, dan prioritas seperti pada Tabel 8. Prioritas SKL
ditentukan oleh Admin sedangkan pembobotan SKL ditentukan oleh
Pimpinan.
Tabel 8.
Tabel SKL
No Field Tipe Data Constraint Keterangan
1. Idskl Integer(10) Unique , Not Null Auto Number PK
2. Nama_skl Varchar(45) Not Null Nama skl diujikan
3. Iddomain Integer(10) Not Null Foreign key ke tabel
domain
4. Prioritas Integer(10) Not Null Prioritas SKL dalam
domain tertentu
115
4. Tabel Paket Soal Tiga Butir Detail
Tabel Paket Soal Tiga Butir Detail menyimpan informasi kaitan dengan butir
soal yakni butir soal yang dikerjakan peserta tes setelah inisialisasi
kemampuan seperti pada Tabel 9.
Tabel 9.
Paket Soal Tiga Butir Detail
No Field Tipe Data Constraint Keterangan
1 Idpaket_soal
tiga_butir_detail
Int(10) Unique , Not
Null
Auto Number PK
2 Idpaket_soal
tiga_butir
Int(10) Not Null Foreign key ke tabel
soal tiga butir
3 Idsoal Int(10) Not Null Foreign key ke tabel
soal
5. Tabel Paket Soal Tiga Butir
Tabel Paket Soal Tiga Butir menyimpan tiga butir soal untuk inisialisasi
kemampuan peserta test yang meliputi tanggal, keterangan, dan batasan waktu
maksimal seperti pada Tabel 10.
Tabel 10.
Paket Soal Tiga Butir
No Field Tipe Data Constraint Keterangan
1 Idpaket_soal
tiga_butir
Int(10) Unique , Not
Null
Auto Number PK
2 Tanggal DATE Not Null Hari diambilnya test
3 Keterangan Text Not Null Keterangan ujian
4. Waktu_maksimal Time Not Null Batasan waktu ujian
116
6. Tabel Soal
Tabel soal menyimpan soal SKL tertentu pada suatu domain tertentu yang
meliputi idsoal, iddomain, gambar, jawaban, rasch_b, dan idskl seperti pada
Tabel 11.
. Tabel 11.
Tabel Soal
No Field Tipe Data Constraint Keterangan
1. Idsoal Integer Unique , Not
Null
Auto Number PK
2. Iddomain Integer Not Null Foreign Key ke tabel
domain
3. Gambar Image Not Null Soal ujian image
4. Jawaban Enum Not Null Pilihan jawaban benar
5. Rasch_b Double Not Null Tingkat kesukaran soal ini
6. Id_skl Int(10) Not Null Foreign Key ke tabel skl
7. Tabel Paket Soal Tiga Butir Jawaban
Tabel Paket Soal Tiga Butir Jawaban menyimpan jawaban peserta tes pada
saat inisialisasi kemampuan seperti pada Tabel 12.
Tabel 12.
Tabel Paket Soal Tiga Butir Jawaban
No Field Tipe Data Constraint Keterangan
1. IdPaket_soal_
tiga_butir_jawaban
Int(10) Unique , Not
Null
Auto Number PK
2. Idpaket_soal
tiga_butir
Int(10) Unique , Not
Null
Foreign key ke tabel
soal tiga butir
3. Id_soal Int(10) Unique , Not
Null
Foreign key ke tabel
soal
4. Idpeserta_test Integer Not Null Foreign Key ke tabel
peserta test
5. Jawaban Enum Not Null Pilihan (A,B,C,D)
117
8. Tabel Waktu Tempuh
Tabel Waktu Tempuh menyimpan waktu peserta tes saat ujian pada suatu
domain tertentu seperti pada Tabel 13.
. Tabel 13.
Tabel Waktu Tempuh
No Field Tipe Data Constraint Keterangan
1 Idwaktu_
tempuh
Int(10) Unique ,
Not Null
Auto Number PK
2 Idpeserta_tes Int(10) Not Null Foreign key ke tabel
peserta tes
3 Iddomain Int(10) Not Null Foreign key ke tabel
domain
4. Waktu_tempuh Varchar Not Null Waktu yang digunakan
peserta test untuk ujian
domain
9. Tabel Peserta Ujian Domain
Tabel Peserta Ujian Domain menyimpan domain yakni domain yang telah
dikerjakan peserta tes seperti pada Tabel 14.
Tabel 14.
Tabel Peserta Tes Domain
No Field Tipe Data Constraint Keterangan
1, Idpeserta_tes_
domain
Int(10) Unique , Not
Null
Auto Number PK
2. Idpeserta_tes Int(10) Not Null Foreign key ke tabel
peserta tes
3. iddomain Int(10) Not Null Foreign key ke tabel
domain
118
i. Data rancangan antarmuka (interface)
Ada beberapa produk CAT yang sudah online menggunakan antarmuka
dinamis. Produk CerdasCAT mempunyai antarmuka, antara lain antarmuka
utama, antarmuka Admin, antarmuka pimpinan, antarmuka peserta tes,
antarmuka pengajar, dan antarmuka wali peserta tes. Adapun antarmuka
utama produk CerdasCAT terdapat pada Gambar 34.
Gambar 34.
Antarmuka Utama Produk
Bagian antarmuka utama terdiri atas bantuan help, about, dan log in.
Help memuat buku panduan (user’s guide) dari produk CerdasCAT. About
memuat nama pengembang (penemu), versi dan tahun penemu, copyright,
promotor, penguji serta ucapan terima kasih. Log in merupakan pintu masuk
bagi user (Admin, pimpinan, pengajar, peserta tes, dan wali peserta tes) dalam
melakukan kegiatan pada produk dengan memasukkan username dan
password, serta memilih peran yang sesuai. Penampilan antarmuka
selanjutnya ditentukan oleh siapa yang melakukan Log In dan apa yang
dikerjakan. Kegiatan tersebut mempengaruhi pilihan halaman selanjutnya.
119
Bagian antarmuka Admin terdiri atas home, kelola pengguna, kelola
domain, kelola SKL, kelola paket soal, dan log out pada Gambar 35. Admin
sebagai aktor yang mengelola sistem produk. Kelola pengguna menyangkut
mengupdate data Admin, pimpinan, pengajar, peserta tes, dan wali peserta tes.
Kelola domain menyangkut update domain terdiri nama domain dan aksi.
Kelola SKL menyangkut update SKL dalam domain terdiri nama domain,
nama SKL, prioritas, dan aksi. Kelola paket soal menyangkut penentuan paket
tiga butir soal untuk inisialisasi dan penetuan domain soal bagi peserta tes.
Log out menyangkut aksi Admin kembali ke halaman utama.
Gambar 35.
Antarmuka Admin
Pendaftaran merupakan persyaratan bagi user untuk Log In yang terdiri
atas username, password , dan peran. Pendaftaran juga merupakan kegiatan
Admin dalam memasukkan identitas peserta tes seperti pada Gambar 36.
120
Gambar 36.
Antarmuka Sign Up
Bagian model, metode, inisialisasi, penyajian butir soal, nomor
peserta, nama lengkap, asal, tempat lahir, tanggal lahir, jenis kelamin, dan
foto. Atribut tersebut dientri oleh Admin ke tabel pendaftaran (sign up) .
Khusus bagian nomor peserta tes yang telah dientri oleh Admin, setiap peserta
tes wajib memasukkan nomor peserta tes pada form verifikasi. Peserta tes
harus memasukkan nomor peserta dengan tepat agar supaya peserta tes dapat
mengambil ujian. Nomor peserta terdiri 14 digit dimana nomor provinsi,
nomor kabupaten/kota, nomor kecamatan, nomor desa/kelurahan, dan nomor
sekolah masing-masing terdiri dua digit lalu underscot terdiri satu digit
kemudian nomor urut peserta tes terdiri tiga digit.
Bagian antarmuka pimpinan terdiri atas home, konfigurasi kelulusan,
pembobotan SKL, pembobotan domain, pembobotan kriteria penilaian,
laporan kelulusan, dan logout pada Gambar 37. Pimpinan adalah kepala
institusi, misalnya kepala sekolah. Home dimaksudkan untuk kembali ke
halaman pimpinan. Kriteria penilaian terdiri ujian akhir nasional, nilai ujian
sekolah, nilai amatan, dan nilai lain. Nilai ujian akhir nasional diperoleh dari
121
ujian lewat produk CerdasCAT, nilai ujian sekolah diperoleh dari ujian yang
sekolah, dan nilai amatan merupakan nilai yang diperoleh dari amatan tingkah
laku peserta tes di sekolah, dan kriteria lain. Laporan kelulusan menggunakan
dua kriteria yakni jumlah alokasi maksimal dan skor minimal peserta tes yang
diterima yang terdapat pada konfigurasi kelulusan. Pimpinan mengklik
laporan kelulusan maka sistem memberikan laporan yang sesuai dengan aksi
sebelumnya. Log out dimaksudkan untuk kembali kehalaman utama pimpinan.
Gambar 37.
Antarmuka Pimpinan
Bagian antarmuka penetapan pembobotan SKL berisi jumlah SKL pada
mata pelajaran yang diikuti oleh peserta tes, nama SKL beserta
persentase pembobotannya dengan jumlah pembobotan sama dengan 100%
pada Gambar 38. Jika pembobotan yang ditetapkan lebih atau kurang dari 100%
maka sistem memberikan konfirmasi pembobotan tidak sama dengan 100%.
122
Gambar 38.
Antarmuka Penetapan Pembobotan SKL
Bagian antarmuka penetapan pembobotan domain berisi jumlah mata
pelajaran. Nama mata pelajaran beserta persentase pembobotan terdapat pada
Gambar 39. Jika penetapan persentase yang ditetapkan lebih atau kurang 100%
maka ada konfirmasi yang ditampilkan pembobotan tidak sama dengan 100%.
Gambar 39.
Antarmuka Penetapan Pembobotan Domain
Bagian antarmuka penetapan pembobotan kriteria penilaian berisi nilai
pembobotan domain, nilai ujian sekolah, pengamatan, dan kriteria lain. Jumlah
persentase pembobotan sama dengan 100% terdapat pada Gambar 40. Jika lebih
atau kurang maka ada konfirmasi bahwa pembobotan tidak sama dengan 100%.
123
Gambar 40.
Antarmuka Penetapan Pembobotan Kriteria Penilaian
Bagian antarmuka pengajar terdiri atas home, kelola soal, input
penilaian, hasil ujian model, laporam kelulusan, dan logout pada Gambar 41.
Home menyangkut aksi pengajar untuk kembali ke halaman pengajar. Kelola
soal yakni kegiatan pengajar untuk menambah data soal yang terdiri domain,
skl, soal dalam bentuk image, jawaban, dan tingkat kesukaran butir serta save
dan batal. Input penilaian menyangkut nilai ujian peserta tes, nilai amatan, dan
nilai lainnya. Hasil ujian model menyangkut hasil ujian peserta tes secara
detail untuk diagnosis. Laporan Kelulusan menyangkut laporan kelulusan
peserta. Laporan tersebut dapat dilihat atau diprint oleh pengajar. Logout
dimaksudkan untuk kembali kehalaman utama.
Gambar 41.
Antarmuka Pengajar
124
Bagian antarmuka peserta tes terdiri atas home, ambil ujian, hasil ujian,
laporan kelulusan, dan logout pada Gambar 42. Home berguna untuk kembali
ke halaman peserta tes. Ambil ujian menyangkut peserta tes ambil ujian domain.
Hasil ujian menyangkut hasil ujian yang telah ditempuh oleh peserta
tes saat ini. Laporan kelulusan merupakan informasi kelulusan peserta tes.
Logout dimaksudkan untuk kembali ke halaman utama.
Gambar 42.
Antarmuka Peserta Tes
Bagian antarmuka ambil ujian terdiri atas waktu ujian (timer), butir soal
dan pilihan jawaban pada Gambar 43. Waktu ujian ditetapkan 3 menit
setiap butir soal. Ada pemberitahuan waktu lima detik terakhir dari tiga menit
tersebut yang menunjukkan waktu ujian tinggal lima detik. Jika tidak memilih
dalam waktu tersebut maka peserta tes dianggap tidak tahu sehingga dapat
nilai nol selanjutnya peserta tes merespon butir soal berikutnya sesuai dengan
tingkat kemampuan saat ini. Butir soal ujian berupa tes pilihan ganda yang
terdiri atas stem dan empat pilihan. Jawaban terdiri atas empat pilihan dan
125
harus dipilih salah satunya. Alokasi jumlah waktu ujian adalah sebanyak 120
menit dengan total jumlah butir soal sebanyak 40 butir soal.
Gambar 43.
Antarmuka Ambil Ujian Adaptasi
Bagian antarmuka hasil ujian memuat identitas peserta tes, domain,
nilai statistik, dan kurva. Identitas peserta tes terdiri atas nomor ujian , nama
lengkap, metode, inisialisasi, model, dan cara penyajian serta foto diri pada
Gambar 44. Domain terdiri atas mata pelajaran yang diujikan yang terdiri atas
id_soal, skl, theta_awal kemampuan peserta tes, nilai b yang sesuai, nilai
benar (1) salah (0), galat baku penaksiran parameter kemampuan, selisih galat
baku tersebut, nilai theta akhir untuk butir soal saat ini, skor yang nilainya
bergerak 0 sampai 100, dan waktu respon tiap butir soal. Kurva merupakan
gambaran trace dari pola jawaban peserta tes untuk tiap domain.
126
Gambar 44.
Hasil Ujian Peserta Tes
Bagian antarmuka laporan kelulusan memuat kemampuan minimum
dan jumlah kuota maksimun yang lulus. Laporam tersebut terdiri atas nomor
urut kelulusan, nomor peserta, nama lengkap, asal, nilai pembobotan domain,
nilai kriteria penilain, dan skor akhir dari kriteria kelulusan pada Gambar 45.
127
Gambar 45.
Laporan Kelulusan Peserta Tes
3. Data Pembentukan Produk
a. Pendaftaran peserta tes
Pendaftaran user dilakukan oleh Admin termasuk peserta tes. Khusus atribut
nomor peserta, peserta tes melakukan validasi nomor peserta tersebut sebelum
ujian. Kode pendaftaran peserta tes pada Gambar 46.
public class SignUp extends Controller {
public SignUp() {
modelForm = new PesertaTestModel();
controllerName = "SignUp";
viewPage = "peserta_test/signup.jsp";
validationAddRule("nomor_peserta", "required");
validationAddRule("nama_lengkap", "required");
validationAddRule("asal", "required");
validationAddRule("tempat_lahir", "required");
validationAddRule("tanggal_lahir", "required");
}
public void index() {
String id = ((PesertaTestModel)
request.getSession().getAttribute("user_credential")).getId();
PesertaTestModel model = (PesertaTestModel)
Db.getById("peserta_test", "id", PesertaTestModel.class.getName(), id);
request.setAttribute("model", model);
index(viewPage);
}
Gambar 46.
Kode Pendaftaran Peserta Tes
Berdasarkan kode tersebut, form pendaftaran peserta tes dipaparkan seperti
pada Gambar 47.
128
Gambar 47.
Form Pendaftaran Peserta Tes
b. Log In
Peserta tes log in dengan username dan password sesuai peran. Jika
peserta tes memasukkan username, password , atau peran terjadi kesalahan maka
ada konfirmasi kesalahan log in. Kode log in terdapat pada Gambar 48.
129
String data[][] = Db.getDataSet("select " + pkFieldName + " from " +
table + " where username='"+ username + "' and password ='" + password +
"'");
if(data.length>0){
Object user_credential = Db.getById(table, pkFieldName, fqn,
data[0][0]);
request.getSession().setAttribute("user_credential",
user_credential);
request.getSession().removeAttribute("flash_error_message");
ServletUtil.redirect(Config.base_url +"index/home",request,
response);
}else{
request.getSession().setAttribute("flash_error_message", "Maaf,
informasi Log In Anda tidak dikenali");
ServletUtil.redirect(Config.base_url, request, response);
}
}else{
request.getSession().setAttribute("flash_error_message", "Pilih
jenis Log In Anda terlebih dahulu");
ServletUtil.redirect(Config.base_url, request, response);
}
}
public void logout() throws IOException
{
request.getSession().invalidate();
ServletUtil.redirect(Config.base_url, request, response);
Gambar 48.
Kode Log In
Berdasarkan kode tersebut, form log in user terdapat pada Gambar 49.
Gambar 49.
Form Log In User
c. Verifikasi nomor peserta tes
Peserta tes melakukan log in dengan sukses, selanjutnya peserta tes
melakukan verifikasi nomor peserta sebelum ujian. Peserta tes memasukkan
nomor peserta selanjutnya ada konfirmasi kesuksesan atau kegagalan. Kode
verifikasi nomor peserta tes pada Gambar 50.
130
.
out = response.getWriter();
String nomorPeserta = (String)
request.getParameter("txtNomorPeserta");
PesertaTestModel user_credential;// = session.
user_credential = (PesertaTestModel)
request.getSession().getAttribute("user_credential");
if (user_credential.getNomor_peserta().equals(nomorPeserta))
{
Db.executeQuery("update peserta_test set verified=1 where
id="+user_credential.getId());
user_credential.setVerified("1");
request.getSession().removeAttribute("user_credential");
user_credential);
request.setAttribute("verifiCATion_error", "Verifikasi
nomor peserta berhasil!");
index();
}else{
request.setAttribute("verifiCATion_error", "Verifikasi
nomor peserta salah");
index();
CATch (IOException ex) {
Logger.getLogger(SignUp.class.getName()).log(Level.SEVERE,
null, ex);
} finally }
out.print(nomorPeserta + " = " +
user_credential.getNomor_peserta());
}
Gambar 50.
Kode Verifikasi Nomor Peserta
Berdasarkan kode tersebut, form verifikasi nomor peserta tes terdapat pada
Gambar 51.
Gambar 51.
Form Verifikasi Nomor Peserta Tes
d. Tahap inisialisasi kemampuan
Inisialiasi kemampuan peserta tes menggunakan tiga butir soal. Setiap
peserta tes mengerjakan tiga butir tersebut sebelum ujian. Kemampuan peserta tes
131
tersebut dibagi dalam lima kategori sesuai dengan tingkat kesukaran butir soal
jawaban benar, yakni sangat tinggi, tinggi, sedang, rendah, dan sangat rendah.
Kode inisialisasi kemampuan terdapat pada Gambar 52.
if (isSoal1Benar && isSoal2Benar && isSoal3Benar) {
tingkat_kesukaran = "Sangat Tinggi";
thetaAwal = 3;
} else if ((isSoal1Benar && isSoal3Benar) || isSoal3Benar ||
(isSoal2Benar && isSoal3Benar)) {
tingkat_kesukaran = "Tinggi";
thetaAwal = 2;
} else if ((isSoal1Benar && isSoal2Benar) || isSoal2Benar) {
tingkat_kesukaran = "Sedang";
thetaAwal = 0;
} else if (isSoal1Benar) {
tingkat_kesukaran = "Rendah";
thetaAwal = -2;
} else {
tingkat_kesukaran = "Sangat Rendah";
thetaAwal = -3;}
Gambar 52.
Kode Inisialisasi Kemampuan
e. Perhitungan kemampuan dengan metode Futsuhilow
Perhitungan kemampuan peserta menggunakan metode Futsuhilow.
Peserta tes merespon butir pertama sesuai theta awal. Nilai theta awal menetukan
posisi kategori kemampuan. Peserta tes merespon tiap butir soal, selanjutnya
sistem menghitung kemampuan peserta tes sesuai metode Futsuhilow. Kode
perhitungan kemampuan dengan metode Futsuhilow terdapat pada Gambar 53.
if ("Futsuhilow".equals(userCredential.getMetode())) {
……………….
sum_alpha += alpha;
sum_theta_x_alpha += alpha *
thetaAwalTigaSoal;
} else if (thetaSoal >= 2 && thetaSoal <= 4) {
u_sangat_tinggi = (thetaSoal - 2.0) / (4.0 -
2.0);
alpha = u_sangat_tinggi;
thetaAwalTigaSoal = (alpha * 2) + 2;
-------
thetaHasilPerhitunganModel = sum_theta_x_alpha /
sum_alpha;
Gambar 53.
Kode Perhitungan Kemampuan dengan Metode Futsuhilow
132
f. Perhitungan theta dengan metode Fusuhilow
Proses perhitungan theta dengan metode Fusuhilow sama dengan metode
Futsuhilow, kecuali basis pengetahuan dan defuzifikasi. Kode perhitungan
kemampuan dengan metode Fusuhilow terdapat pada Gambar 54.
if ("Fusuhilow".equals(userCredential.getMetode())) {
//Sangat Tinggi
double st_a = 0, st_b = 0, st_c = 0;
if (thetaSoal >= 2 && thetaSoal <= 4) {
st_b = (thetaSoal - 2) / (4 - 2);
}
if (thetaSoal >= 4) {
st_b = 1;
}
…………………….
thetaHasilPerhitunganModel = sumUxtheta / sumU;
Gambar 54.
Kode Perhitungan Kemampuan dengan Metode Fusuhilow
g. Perhitungan theta dengan metode Fumahilow
Proses perhitungan theta dengan metode Fumahilow sama dengan metode
Futsuhilow, kecuali konsekuensi tiap aturan dan defuzifikasi. Kode perhitungan
kemampuan dengan metode Fumahilow terdapat pada Gambar 55.
if ("Fumahilow".equals(userCredential.getMetode())) {
double st_b = 0, st_c = 0, t_b = 0, t_c = 0, s_b = 0,
s_c = 0, r_b = 0, r_c = 0, sr_b = 0, sr_c = 0;
//sangat tinggi
if (thetaSoal >= 2 && thetaSoal <= 4) {
st_b = (thetaSoal - 2) / 2;
}
if (thetaSoal >= 4) {
st_c = 1;
}
………………………………………
double sumTheta = theta_st_b + theta_st_c + theta_t_b
+ theta_t_c + theta_s_b + theta_s_c + theta_r_b + theta_r_c + theta_sr_b
+ theta_sr_c;
double sumU = (st_b + st_c) * 1 + (t_b + t_c) * 2 +
(s_b + s_c) * 2 + (r_b + r_c) * 2 + (sr_b + sr_c) * 2;
thetaHasilPerhitunganModel = sumTheta / sumU;
Gambar 55.
Kode Perhitungan Kemampuan dengan Metode Fumahilow
133
h. Metode high low
Metode high low merupakan metode percabangan dengan aturan, jika butir
soal direspon salah oleh peserta tes maka tingkat kesukaran butir soal diturunkan
0,2, atau lebih dan jika butir soal direspon benar oleh peserta tes maka tingkat
kesukaran butir soal dinaikkan 0,1 atau lebih. Kode metode high low terdapat pada
Gambar 56.
boolean jawaban_benar = soal.getJawaban().equals(jawaban);
if (!jawaban_benar) {
thetaSoal -= 0.2;
} else {
thetaSoal += 0.1;
}
Gambar 56.
Kode Metode High Low
i. Waktu mengerjakan tiap butir soal
Peserta tes merespon setiap butir soal selama tiga menit. Batas waktu tiga
menit berkurang sampai batas waktu tersebut habis untuk memberikan soal
berikutnya. Jika peserta tes tidak menjawab selama batas waktu tersebut maka peserta
tes dianggap salah. Kode waktu mengerjakan tiap butir soal pada Gambar 57.
String waktu = request.getParameter("waktu");
DateFormat df = new SimpleDateFormat("mm:ss");
Date date2 = df.parse("03:00");
Date date1 = df.parse(waktu);
long remainder = date2.getTime() - date1.getTime();
Gambar 57.
Kode Waktu Mengerjakan Butir Soal
4. Data Validasi Internal
Validasi internal kesalahan pengembangan CerdasCAT dilakukan pada
komponen bank butir soal, antarmuka, komputasi, dan input output. Data hasil validasi
internal komponen tersebut pada Lampiran G_2. Salah satu contoh validasi internal
134
pada komponen komputasi hasil ujian peserta tes dengan metode Futsuhilow pada
Lampiran G_3. Validasi hasil perhitungan dengan pola jawaban, input u, dan input b
sama menghasilkan nilai theta awal, SE, selisih SE, theta akhir, dan skor yang sama
pada setiap butir menggunakan program Microsoft Excel 2007.
Validasi internal bank soal dalam mengidentifikasi kesalahan bank soal terkait
dengan input domain dan SKL oleh Admin sudah valid. Input tingkat kesukaran, kunci
jawaban serta kesesuaian kunci jawaban dan butir soal sudah valid. Selanjutnya,
jumlah butir soal setiap himpunan fuzzy dan tingkat ketersediaan butir soal dalam
rentang theta serta jumlah butir soal sudah valid. Butir soal yang telah digunakan
inisialisasi tidak muncul lagi saat ujian selanjutnya dengan perintah query in not telah
valid. Selanjutnya, antarmuka halaman user beserta fungsi-fungsinya telah valid.
Kesesuaian ukuran huruf, warna tiap halaman, dan kejelasan kalimat telah valid.
Logout tiap halaman dan sub halaman ke halaman awal telah valid demikian halnya
tampilan form secara proporsional telah divalidasi.
Validasi komputasi perhitungan hasil ujian telah dilakukan dengan
menggunakan program excel. Hasil validasi terhadap perhitungan pembobotan
pimpinan, waktu respon, tranformasi theta ke skor, laporan kelulusan, dan, hasil
perhitungan ketiga metode telah divalidasi secara akurat. Jika hasil komputasi output
produk CerdasCAT berbeda dengan program excel maka dilakukan pengecekan ulang
terhadap syntax atau melakukan perhitungan mekanik dengan kalkulator. Hal yang
sama juga dilakukan terhadap komponen input-ouput telah valid. Misalnya, hasil ujian
peserta tes terhadap tiga butir soal pertama pada CerdasCAT menghasilkan hasil
perhitungan pada Tabel 15.
135
Tabel 15.
Hasil Perhitungan Hasil Tes pada CerdasiCAT
No. ID
Soal SKL
Theta Awal
b u SE Selisih
SE Theta Akhir
Skor Waktu
1 407 Ukuran -2 -2.091 0 2.002 -2.091 23.862 1:07
2 375 Bangun -2.091 -2.324 1 1.42 0.58 -2.324 20.95 1:14
3 221 Data -2.324 -1.672 1 1.177 0.24 -1.672 29.1 1:39
Validasi hasil Tabel 12 menggunakan persamaan (1), (4), dan (5) dalam
menghitung theta awal -2,091 dan b -2,091. Hasilnya diperoleh galat baku 2,012,
sedangkan validasi hasil theta akhir -2,091 menggunakan metode Futsuhilow.
Selanjutnya theta akhir sebesar -2,091 ditransformasikan menjadi skor sebesar 23,862
menggunakan persamaan (19). Hasil pengecekan dua butir selanjutnya terdapat pada
Tabel 16 dengan prosedur pengecekan yang sama.
Tabel 16.
Hasil Perhitungan Hasil Tes pada Program Excel
No
Theta Awal b u P Q PQ SE
Selisih SE
Theta Akhir Skor
1 -2.000 -2.091 0 0.523 0.477 0.249 2.002 -2.091 23.863
2 -2.091 -2.324 1 0.558 0.442 0.247 1.420 0.58 -2.324 20.950
3 -2.324 -1.672 1 0.343 0.657 0.225 1.177 0.24 -1.672 29.100
Berdasarkan validasi internal menunjukkan bahwa produk CerdasCAT dapat
ujicoba di lapangan namun sebelumnya perlu dilakukan penilaian dari expert
judgment agar tidak bias.
5. Data Expert Judgment
Data validasi expert pertama terhadap komponen model CAT terdapat pada
Lampiran D_16 sedangkan data validasi expert kedua terhadap komponen model
CAT terdapat pada Lampiran D_17.
136
Persentase hasil validasi expert judgment pada produk model CAT sebagai
berikut. (1) Validator pertama menyatakan 33% sangat baik dan 67% baik sedangkan
validator kedua menyatakan 67% sangat baik dan 33% baik pada komponen aksi user
terhadap produk. (2) Validator pertama menyatakan 75% sangat baik dan 25% baik
sedangkan validator kedua menyatakan 100% sangat baik pada komponen
kemampuan produk. (3) Validator pertama maupun validator kedua menyatakan
100% baik pada komponen pelengkap produk. Persentase hasil validasi expert pada
produk model CAT terdapat pada Lampiran D_19. Berdasarkan hal tersebut, produk
model CAT dapat diujicobakan di lapangan dengan memperhatikan saran-saran dari
para validasi expert.
Di samping data tersebut, terdapat beberapa saran yang diberikan oleh
validator pertama, yakni: (1) inisialisasi kemampuan disesuaikan kemampuan awal
masing-masing peserta tes; (2) produk full release lebih mudah diaplikasikan lebih
lanjut daripada prototipe; (3) metode fuzzy sebagai metode pencarian butir soal
selanjutnya dapat dipadukan metode high low; (4) metode pencarian butir soal adaptif
dalam CAT dengan starting poin dan stopping rule yang sama menjadi pilihan bagi
user berdasarkan beberapa kriteria; (5) informasi yang dihasilkan konsep DSS lebih
akomodatif bila pembobotan dilakukan secara detail; dan (6) pencarian butir soal
menggunakan tingkat kesukaran agar lebih cepat namun akurat. Sedangkan validator
kedua menyatakan model CAT berjalan baik. Berdasarkan saran-saran dari validator
tersebut, produk model CAT mengalami revisi sebagaimana pada bagian revisi produk.
137
6. Data Simulasi
Data simulasi menggunakan empat pola respon, yakni benar semua, salah
semua, salah-benar, dan normal untuk semua inisialisasi kemampuan. Keempat pola
tersebut diterapkan ketiga metode dengan memperhatikan panjang tes, tingkat
exposure butir soal, galat baku penaksiran parameter kemampuan, dan waktu respon
butir soal. Selanjutnya, data tersebut menjadi acuan melihat kesesuaian rancangan
produk CAT dengan aturan logika ketiga metode, antarmuka, dan kemampuan bank
butir soal.
a. Metode Futsuhilow
Data simulasi pola respon benar-semua menunjukkan tingkat exposure
paling tinggi 9 dengan inisialisasi -3, panjang tes paling tinggi 18 dengan
inisialisasi -2 dan -3, rerata galat baku paling kecil 0,802 dengan inisialisasi -2,
dan jumlah penaksiran konvergen sebanyak 3 dengan inisialisasi 0, -2, dan -3.
Data simulasi pola respon salah-semua nmenunjukkan tingkat exposure paling
tinggi 9 dengan inisialisasi 3, panjang tes paling tinggi 15 dengan inisialisasi 3,
rerata galat baku paling kecil 0,873 dengan inisialisasi 3, dan jumlah penaksiran
konvergen nol.
Data simulasi pola respon salah-benar menunjukkan tingkat exposure
paling tinggi 4 dengan inisialisasi 3, panjang tes paling tinggi 18 dengan
inisialisasi 3, 2 dan 0, rerata galat baku paling kecil 0,803 dengan inisialisasi 0,
dan jumlah penaksiran konvergen sebanyak 4 dengan inisialisasi 3, 2, 0, dan -2.
Data simulasi pola respon normal menunjukkan tingkat exposure paling tinggi 3
dengan inisialisasi 0, panjang tes paling tinggi 18 dengan inisialisasi 2 dan -2,
rerata galat baku paling kecil 0,802 dengan inisialisasi -2, dan jumlah penaksiran
138
konvergen sebanyak 3 dengan inisialisasi 2, 0, dan -2. Hasil simulasi metode
Futsuhilow pada Lampiran D_4.
b. Metode Fusuhilow
Data simulasi pola respon benar-semua menunjukkan tingkat exposure paling tinggi
13 dengan inisialisasi -3, panjang tes paling tinggi 18 dengan inisialisasi -2,
rerata galat baku paling kecil 0,802 dengan inisialisasi -2, dan jumlah penaksiran
konvergen sebanyak 3 dengan inisialisasi 0,-2, dan -3. Data simulasi pola respon
salah-semua menunjukkan tingkat exposure paling tinggi 9 dengan inisialisasi 3,
panjang tes paling tinggi 15 dengan inisialisasi 3, rerata galat baku terkecil 0,874
dengan inisialisasi 3, dan jumlah penaksiran konvergen nol.
Data simulasi pola respon salah-benar menunjukkan tingkat exposure
paling tinggi 4 dengan inisialisasi 3, panjang tes paling tinggi 18 dengan
inisialisasi 2 dan 0, rerata galat baku paling kecil 0,805 dengan inisialisasi 0, dan
jumlah penaksiran konvergen sebanyak 4 dengan inisialisasi ,3 , 2, 0, dan -2. Data
simulasi pola respon normal menunjukkan tingkat exposure paling tinggi 1 dengan
inisialisasi 0, panjang tes paling tinggi 18 dengan inisialisasi 2 dan -2, rerata galat
baku paling kecil 0,802 dengan inisialisasi -2, dan jumlah penaksiran konvergen
sebanyak 3 dengan inisialisasi 0, -2, dan -3. Hasil simulasi metode Fusuhilow pada
Lampiran D_5.
c. Metode Fumahilow
Data simulasi pola respon benar-semua menunjukkan tingkat exposure
paling tinggi 12 dengan inisialisasi -3, panjang tes paling tinggi 18 dengan
inisialisasi 0 dan -3, rerata galat baku paling kecil 0,799 dengan inisialisasi 0 dan
-3, dan jumlah penaksiran konvergen sebanyak 3 dengan inisialisasi 0, -2, dan -3.
139
Data simulasi pola respon salah-semua menunjukkan tingkat exposure paling
tinggi 8 dengan inisialisasi 3, panjang tes paling tinggi 15 dengan inisialisasi 3,
rerata galat baku paling kecil 0,903 dengan inisialisasi 3, dan jumlah penaksiran
konvergen nol.
Data simulasi pola respon salah-benar menunjukkan tidak ada tingkat
exposure paling tinggi, panjang tes paling tinggi 18 dengan semua inisialisasi
kecuali -3, rerata galat baku terkecil 0,816 dengan inisialisasi 0, dan jumlah
penaksiran konvergen sebanyak 4 dengan semua inisialisasi kecuali -3. Data
simulasi pola respon normal menunjukkan tingkat exposure tidak ada, panjang tes
paling tinggi 18 dengan inisialisasi 0, rerata galat baku paling kecil 0,812
dengan inisialisasi 0, dan jumlah penaksiran konvergen sebanyak 3 dengan
inisialisasi 2, 0, dan -2. Hasil simulasi metode Fumahilow pada Lampiran D_6.
7. Data Uji Coba Produk CerdasCAT Secara One to One
Hasil uji coba secara one to one menghasilkan data respon peserta tes dan
data verifikasi eksternal produk CerdasCAT. Data respon peserta tes ketiga metode
terdapat pada Lampiran D_13, D_14, dan D_15. Sedangkan data verifikasi eksternal
merupakan respon user terhadap kuesioner setelah mencoba produk CerdasCAT.
Data pendapat setiap user terhadap produk CerdasCAT sebagai berikut.
a. Data pendapat Admin
Kuesioner pendapat Admin terhadap produk CerdasCAT terdiri 10
pernyataan. Jumlah Admin merespon pernyataan tersebut sebanyak 7. Data
pendapat Admin terhadap produk CerdasCAT terdapat pada Tabel 17.
140
Tabel 17.
Data Pendapat Admin Terhadap Produk CerdasCAT
No Pernyataan %
A B
1 Proses instalisasi produk CerdasCAT 57 43
2 Tampilan antarmuka utama CerdasCAT 43 57
3 Proses Log In di CerdasCAT 71 29
4 Form pendaftaran data user 86 14
5 Form update data user 71 29
6 Form update data SKL 57 43
7 Form update data domain 57 43
8 Form update tiga butir soal 29 71
9 Fungsi navigasi logout 57 43
10 Ujian peserta tes dengan CerdasCAT 43 57
Tabel 17 menunjukkan proses instalisasi produk CerdasCAT 57%
menyatakan sangat baik dan 43% menyatakan baik, tampilan antarmuka utama
CerdasCAT 43% menyatakan sangat baik dan 57% menyatakan baik, proses log
in di CerdasCAT 57% menyatakan sangat baik dan 43% menyatakan baik, form
pendaftaran data user 86% menyatakan sangat baik dan 14% menyatakan baik,
form update data user 71% menyatakan sangat baik dan 29% menyatakan baik,
form update data SKL 57% menyatakan sangat baik dan 43% menyatakan baik,
form update data domain 57% menyatakan sangat baik dan 43% menyatakan
baik, form update tiga butir soal 29% menyatakan sangat baik dan 71%
menyatakan baik, fungsi navigasi logout 57% menyatakan sangat baik dan 43%
menyatakan baik, dan ujian peserta tes dengan CerdasCAT 43% menyatakan
sangat baik dan 57% menyatakan baik.
b. Data pendapat pimpinan
Kuesioner pendapat pimpinan terhadap produk CerdasCAT terdiri 11
pernyataan Jumlah pimpinan merespon pernyataan tersebut sebanyak 7. Data
pendapat pimpinan terhadap produk CerdasCAT terdapat pada Tabel 18.
141
Tabel 18.
Data Pendapat Pimpinan Terhadap Produk CerdasCAT
No Pernyataan %
A B
1 Tampilan halaman utama CerdasCAT 57 43
2 Proses Log In di CerdasCAT 29 71
3 Tampilan halaman konfigurasi kelulusan 71 29
4 Tampilan halaman pembobotan SKL 29 71
5 Tampilan halaman pembobotan domain 57 43
6 Tampilan halaman pembobotan kriteria 57 43
7 Tampilan halaman kriteria kelulusan 57 43
8 Tampilan halaman kelulusan 43 57
9 Mencetak hasil kelulusan peserta tes 57 43
10 Fungsi navigasi logout 29 71
11 Ujian peserta tes dengan CerdasCAT 29 27
Tabel 18 menunjukkan tampilan halaman utama CerdasCAT 57%
menyatakan sangat baik dan 43% menyatakan baik, proses log in di CerdasCAT
29% menyatakan sangat baik dan 71% menyatakan baik, tampilan halaman
konfigurasi kelulusan 71% menyatakan sangat baik dan 29% menyatakan baik,
tampilan halaman pembobotan SKL 29% menyatakan sangat baik dan 71%
menyatakan baik, tampilan halaman pembobotan domain 57% menyatakan sangat
baik dan 43% menyatakan baik, tampilan halaman pembobotan kriteria 57%
menyatakan sangat baik dan 43% menyatakan baik, tampilan halaman kriteria
kelulusan 57% menyatakan sangat baik dan 43% menyatakan baik, tampilan
halaman kelulusan 43% menyatakan sangat baik dan 57% menyatakan baik,
mencetak hasil kelulusan peserta tes 57% menyatakan sangat baik dan 43%
menyatakan baik, fungsi navigasi logout 57% menyatakan sangat baik dan 43%
menyatakan baik, 57% menyatakan sangat baik dan 43% menyatakan baik, 57%
menyatakan sangat baik dan 43% menyatakan baik, dan ujian peserta tes dengan
CerdasCAT 57% menyatakan sangat baik dan 43% menyatakan baik.
142
c. Data pendapat pengajar
Kuesioner pendapat pengajar terhadap produk CerdasCAT terdiri 12
pernyataan. Data pendapat pengajar terhadap produk CerdasCAT pada Tabel 19.
Tabel 19.
Data Pendapat Pengajar Terhadap Produk CerdasCAT
No Pernyataan %
A B C
1 Tampilan halaman utama CerdasCAT 43 57
2 Proses Log In di CerdasCAT 29 71
3 Tampilan halaman kelola butir soal 57 43
4 Tampilan halaman entry butir soal 14 86
5 Tampilan halaman update butir soal 14 72 14
6 Form penetapan penilaian 57 43
7 Tampilan halaman penetapan penilaian 57 43
8 Tampilan halaman hasil ujian model 29 71
9 Tampilan halaman laporan kelulusan 43 57
10 Mencetak laporan kelulusan 43 57
11 Fungsi navigasi logout 43 57
12 Ujian peserta tes dengan CerdasCAT 43 57
Tabel 19 menunjukkan tampilan halaman utama CerdasCAT 43%
menyatakan sangat baik dan 57% menyatakan baik, proses log in di CerdasCAT
29% menyatakan sangat baik dan 71% menyatakan baik, tampilan halaman kelola
butir soal 57% menyatakan sangat baik dan 43% menyatakan baik, tampilan
halaman entry butir soal 14% menyatakan sangat baik dan 86% menyatakan
baik, tampilan halaman update butir soal 14% menyatakan sangat baik dan 72%
menyatakan baik serta 14% menyatakan tidak baik, form penetapan penilaian
57% menyatakan sangat baik dan 43% menyatakan baik, tampilan halaman
penetapan penilaian 57% menyatakan sangat baik dan 43% menyatakan baik,
tampilan halaman hasil ujian model 29% menyatakan sangat baik dan 71%
menyatakan baik, tampilan halaman laporan kelulusan 43% menyatakan sangat
143
baik dan 57% menyatakan baik, mencetak laporan kelulusan 43% menyatakan
sangat baik dan 57% menyatakan baik, fungsi navigasi logout 43% menyatakan
sangat baik dan 57% menyatakan baik, dan ujian peserta tes dengan CerdasCAT
43% menyatakan sangat baik dan 57% menyatakan baik.
d. Data pendapat peserta tes
Kuesioner pendapat peserta tes terhadap produk CerdasCAT terdiri 20
pernyataan Jumlah peserta tes merespon pernyataan tersebut sebanyak 9. Data
pendapat peserta tes terhadap produk CerdasCAT pada tiap metode terdapat pada
Lampiran J_4, J_5, dan J_6.
Lampiran J_4 menunjukkan tampilan antarmuka utama 67% menyatakan
sangat baik dan 33% menyatakan baik, proses log in 44% menyatakan sangat baik
dan 56% menyatakan baik, proses verifikasi nomor peserta 56% menyatakan
sangat baik dan 44% menyatakan baik, jumlah waktu mengerjakan butir soal
inisialisasi selama sembilan menit 56% menyatakan sangat baik dan 44%
menyatakan baik, jumlah waktu mengerjakan tiap butir soal selama tiga menit
67% menyatakan sangat baik dan 33% menyatakan baik, tingkat kesukaran butir
soal sesuai dengan kemampuan 67% menyatakan sangat baik dan 33%
menyatakan baik, butir soal mewakili pokok bahasan yang diajarkan di sekolah
100% menyatakan baik, konsentrasi saat mengerjakan butir soal 22% menyatakan
sangat baik dan 78% menyatakan baik, tampilan butir soal produk CerdasCAT
67% menyatakan sangat baik dan 33% menyatakan baik, memilih jawaban benar
menggunakan mouse (cara klik) 43% menyatakan sangat baik dan 57%
menyatakan baik, tampilan hasil ujian 22% menyatakan sangat baik dan 78%
menyatakan baik, mencetak hasil ujian 44% menyatakan sangat baik dan 56%
144
menyatakan baik, tampilan hasil kelulusan 22% menyatakan sangat baik dan 78%
menyatakan baik, mencetak hasil kelulusan 44% menyatakan sangat baik dan
56% menyatakan baik, jawaban tidak dapat diperbaiki di CerdasCAT sehingga
menggangu konsentrasi 78% menyatakan tidak setuju dan 22% menyatakan
sangat tidak setuju, lebih mudah membaca butir soal menggunakan CerdasCAT
daripada P&P 33% menyatakan sangat baik dan 67% menyatakan baik, ujian lewat
produk CerdasCAT lebih mencemaskan daripada P&P 44% menyatakan
tidak setuju dan 56% menyatakan sangat tidak setuju, jumlah butir soal lebih
sedikit dikerjakan di produk CerdasCAT daripada P&P 100% menyatakan sangat
setuju, waktu menyelesaikan ujian lebih cepat di produk CerdasCAT daripada
P&P 100% menyatakan sangat setuju, dan ujian lewat CerdasCAT lebih baik
daripada lewat P&P 44% menyatakan sangat baik dan 56% menyatakan baik.
Lampiran J_5 menunjukkan tampilan antarmuka utama 56% menyatakan
sangat baik dan 44% menyatakan baik, proses log in 44% menyatakan sangat
baik dan 56% menyatakan baik, proses verifikasi nomor peserta 56% menyatakan
sangat baik dan 44% menyatakan baik, jumlah waktu mengerjakan butir soal
inisialisasi selama sembilan menit 56% menyatakan sangat baik dan 44%
menyatakan baik, jumlah waktu mengerjakan tiap butir soal selama tiga menit
56% menyatakan sangat baik dan 44% menyatakan baik, tingkat kesukaran butir
soal sesuai dengan kemampuan 67% menyatakan sangat baik dan 33%
menyatakan baik, butir soal mewakili pokok bahasan yang diajarkan di sekolah
44% menyatakan sangat baik dan 56% menyatakan baik, konsentrasi saat
mengerjakan butir soal 11% menyatakan sangat baik dan 89% menyatakan baik,
tampilan butir soal produk CerdasCAT 11% menyatakan sangat baik dan 89%
menyatakan baik, memilih jawaban benar menggunakan mouse (cara klik) 22%
145
menyatakan sangat baik dan 78% menyatakan baik, tampilan hasil ujian 22%
menyatakan sangat baik dan 44% menyatakan baik, mencetak hasil ujian 44%
menyatakan sangat baik dan 56% menyatakan baik, tampilan hasil kelulusan 56%
menyatakan sangat baik dan 44% menyatakan baik, mencetak hasil kelulusan
100% menyatakan baik, jawaban tidak dapat diperbaiki di CerdasCAT sehingga
menggangu konsentrasi 22% menyatakan tidak setuju dan 78% menyatakan
sangat tidak setuju, lebih mudah membaca butir soal menggunakan CerdasCAT
daripada P&P 44% menyatakan sangat baik dan 56% menyatakan baik, ujian
lewat produk CerdasCAT lebih mencemaskan daripada P&P 44% menyatakan
tidak setuju dan 56% menyatakan sangat tidak setuju, jumlah butir soal lebih
sedikit dikerjakan di produk CerdasCAT daripada P&P 100% menyatakan sangat
setuju, waktu menyelesaikan ujian lebih cepat di produk CerdasCAT daripada
P&P 100% menyatakan sangat setuju, dan ujian lewat CerdasCAT lebih baik
daripada lewat P&P 56% menyatakan sangat baik dan 44% menyatakan baik.
Lampiran J_6 menunjukkan tampilan antarmuka utama 56% menyatakan
sangat baik dan 44% menyatakan baik, proses log in 67% menyatakan sangat baik
dan 33% menyatakan baik, proses verifikasi nomor peserta 11% menyatakan sangat
baik dan 89% menyatakan baik, jumlah waktu mengerjakan butir soal
inisialisasi selama sembilan menit 78% menyatakan sangat baik dan 22%
menyatakan baik, jumlah waktu mengerjakan tiap butir soal selama tiga menit
78% menyatakan sangat baik dan 22% menyatakan baik, tingkat kesukaran butir
soal sesuai dengan kemampuan 89% menyatakan sangat baik dan 11%
menyatakan baik, butir soal mewakili pokok bahasan yang diajarkan di sekolah
78% menyatakan sangat baik dan 22% menyatakan baik, konsentrasi saat
mengerjakan butir soal 22% menyatakan sangat baik dan 78% menyatakan baik,
146
tampilan butir soal produk CerdasCAT 33% menyatakan sangat baik dan 67%
menyatakan baik, memilih jawaban benar menggunakan mouse (cara klik) 22%
menyatakan sangat baik dan 78% menyatakan baik, tampilan hasil ujian 44%
menyatakan sangat baik dan 56% menyatakan baik, mencetak hasil ujian 67%
menyatakan sangat baik dan 56% menyatakan baik, tampilan hasil kelulusan 22%
menyatakan sangat baik dan 33% menyatakan baik, mencetak hasil kelulusan
33% menyatakan sangat baik dan 67% menyatakan baik, jawaban tidak dapat
diperbaiki di CerdasCAT sehingga menggangu konsentrasi 44% menyatakan
tidak setuju dan 56% menyatakan sangat tidak setuju, lebih mudah membaca butir
soal menggunakan CerdasCAT daripada P&P 56% menyatakan sangat baik dan
44% menyatakan baik, ujian lewat produk CerdasCAT lebih mencemaskan
daripada P&P 56% menyatakan tidak setuju dan 44% menyatakan sangat tidak
setuju, jumlah butir soal lebih sedikit dikerjakan diproduk CerdasCAT daripada
P&P 100% menyatakan sangat setuju, waktu menyelesaikan ujian lebih cepat di
produk CerdasCAT daripada P&P 100% menyatakan sangat setuju, dan ujian lewat
CerdasCAT lebih baik daripada lewat P&P 56% menyatakan sangat baik dan
44% menyatakan baik.
e. Data pendapat wali peserta tes
Kuesioner pendapat wali peserta tes terhadap produk CerdasCAT terdiri 8
pernyataan. Jumlah wali peserta tes merespon pernyataan tersebut sebanyak 9.
Data pendapat wali peserta tes terhadap produk CerdasCAT pada Tabel 20.
147
Tabel 20.
Data Pendapat Wali Peserta Tes Terhadap Produk CerdasCAT
No Pernyataan %
A B
1 Tampilan antarmuka utama CerdasCAT 56 44
2 Proses Log In di CerdasCAT 23 67
3 Tampilan hasil ujian peserta tes 56 44
4 Mencetak hasil ujian peserta tes. 11 89
5 Tampilan hasil kelulusan peserta tes 33 67
6 Mencetak hasil kelulusan peserta tes 67 33
7 Fungsi navigasi logout 67 33
8 Ujian peserta tes dengan CerdasCAT 67 33
Tabel 20 menunjukkan tampilan antarmuka utama CerdasCAT 56%
menyatakan sangat baik dan 44% menyatakan baik, proses log in di CerdasCAT
23% menyatakan sangat baik dan 67% menyatakan baik, tampilan hasil ujian
peserta tes 56% menyatakan sangat baik dan 44% menyatakan baik, mencetak
hasil ujian peserta tes 11% menyatakan sangat baik dan 89% menyatakan baik,
tampilan hasil kelulusan peserta tes 33% menyatakan sangat baik dan 67%
menyatakan baik, mencetak hasil kelulusan peserta tes 67% menyatakan sangat
baik dan 33% menyatakan baik, fungsi navigasi logout 67% menyatakan sangat
baik dan 33% menyatakan baik, dan ujian peserta tes dengan CerdasCAT 67 %
menyatakan sangat baik dan 33% menyatakan baik.
8. Data Uji Coba Produk CerdasCAT Secara Terbatas
Data hasil uji coba produk dengan metode Futsuhilow, Fusuhilow, dan
Fumahilow yang terdiri panjang tes, galat baku penaksiran parameter kemampuan
peserta tes, dan waktu respon peserta tes masing-masing terdapat pada Lampiran D_7,
D_8, dan D_9. Sedangkan data tingkat exposure butir soal dari hasil uji coba produk
dengan metode Futsuhilow, Futsuhilow, dan Futsuhilow masing-masing pada
Lampiran D_10, D_11, dan D_12.
148
B. Analisis Data
1. Analisis Butir Soal
Analisis butir soal tujuh paket tes matematika UN SD dilakukan secara
simultan. Untuk tujuan tersebut, analisis butir soal menggunakan desain Group-Wise
Adaptive Testing program Bilog_MG. Hasilnya analisis menunjukkan jumlah soal
paket Provinsi Sulawesi Selatan dan Kabupaten Sidoarjo Provinsi Jawa Timur yang
fit dan tidak fit dengan model Rasch pada Tabel 21.
Tabel 21.
Jumlah Butir Soal Fit dan Tidak Fit Model Rasch
Tempat/Tahun Jumlah
Soal
Analisis Tahap I Analisis Tahap II
Bank
Soal Fit
Model
Tidak Fit
Model
Fit
Model
Tidak
Fit
Model
Kabupaten
Soppeng/2007
40 35 5 35 0 40
Kabupataten Sidoarjo,
Kabupaten Soppeng,
dan Kota Makassar/
2008
120-20
90
10
90
0
100
Provinsi Sul-Sel/2009 120-20 78 22 78 0 100
Jumlah Butir Soal 240 203 37 203 0 240
Pada Tabel 21 kolom analisis tahap I menunjukkan 203 butir soal fit model
dianalisis lebih lanjut secara kuantitatif pada tahap II sedangkan 37 butir soal tidak fit
model dianalisis lebih lanjut secara kualitatif. Hasil analisis secara kuantitatif
menunjukkan semua butir soal sudah fit model sehingga analisis kuantitatif tahap ke
tiga tidak dilakukan. Selanjutnya, hasil analisis kualitatif melibatkan tiga kelompok
guru masing-masing guru kelas IV, V, dan VI menunjukkan 11 butir soal direvisi
karena pokok butir soal tidak dirumuskan secara jelas dan tegas, 5 butir soal direvisi
karena butir soal tidak menggunakan bahasa yang sesuai dengan kaidah bahasa
Indonesia, dan 21 butir soal tidak direvisi karena masalah respon peserta tes terhadap
butir tersebut hampir sama.
149
Berdasarkan asumsi yang telah ditetapkan bahwa butir soal yang tidak
memenuhi model setelah dianalisis secara kualitatif dan pola respon tidak mengalami
perubahan secara signifikan karakteristiknya sehingga 240 butir soal tersebut
dimasukkan pada bank butir soal. Butir soal tersebut terdiri dari lima SKL, yakni 87
butir soal dari SKL bilangan, 61 butir soal dari SKL ukuran, 67 butir soal dari SKL
bangun, lima butir soal dari SKL koordinat, dan 20 butir soal dari SKL data. Karena,
jumlah butir soal pada SKL koordinat sebanyak lima tidak dimasukkan dalam bank
butir soal dalam SKL koordinat tersendiri namun digabung ke SKL bangun sehingga
pada produk CerdasCAT tidak ada SKL koordinat. Hal tersebut dilakukan karena hasil
simulasi menunjukkan jika SKL tersebut dimasukkan maka tidak ada simulasi yang
bisa konvergen karena pada saat pelacakan butir soal yang adaptif pada SKL tersebut
maka penaksiran berhenti karena butir soal tidak tersedia. Oleh karena itu, kelima
butir SKL koordinat tersebut digabung ke SKL bangun karena lebih sesuai
dibandingkan dengan SKL lain. Jadi, jumlah butir soal yang dientri pada bank butir
soal sebanyak 240 butir. Tingkat kesukaran dan kunci butir soal tersebut masing-
masing terdapat pada Lampiran B_6 dan B_7.
Jumlah butir soal tersebut jika dibagi dengan jumlah kategori tingkat
kemampuan sebanyak 5 maka tiap SKL mempunyai butir soal cukup besar walaupun
penyebaran tingkat kesukaran butir soal tidak merata. Jika dibandingkan penelitian
Haryanto (2009) menggunakan 62 butir soal dengan tiga kategori yakni hanya sekitar
20 butir soal maka butir soal yang ada pada bank butir soal produk CerdasCAT
termasuk dalam jumlah yang besar.
150
2. Analisis Data Simulasi produk CAT
a. Simulasi Metode Futsuhilow
Sampel hasil simulasi pada pola respon benar-semua menunjukkan galat
baku penaksiran parameter kemampuan semakin kecil seiring meningkatnya
jumlah butir soal. Artinya simulasi pola respon benar-semua pada metode
Futsuhilow sesuai dengan teori pengembangan CAT yang telah ditetapkan. Hasil
pola respon benar-semua pada Lampiran D_1.
Selanjutnya, hasil simulasi dengan empat pola respon pada metode
Futsuhilow menunjukkan semua pola respon sudah sesuai dengan metode
Tsukamoto dan metode high-low dimana exposure butir soal yang diberikan
secara adaptif dengan kemampuan peserta tes pada umumnya berada pada setiap
domain kategori inisialisasi. Semakin panjang tes maka semakin kecil galat baku
walaupun pada panjang tes yang sama nilai galat baku bervariasi bergantung pada
karakteristik butir tes yang direspon saat ini. Galat baku penaksiran parameter
kemampuan sudah sesuai dengan teori dan terkait dengan konvergen suatu
taksiran. Hal tersebut dapat dilihat pada Lampiran D_4. Berdasarkan hal tersebut
metode Futsuhilow dapat diujicobakan secara riil di lapangan.
b. Simulasi Metode Fusuhilow
Sampel hasil simulasi pola respon salah-benar pada metode Fusuhilow
menunjukkan penaksiran konvergen dengan panjang tes 15 butir soal dan skor
36,825 serta tingkat exposure butir soal dalam kategori tinggi karena tidak
terdapat butir soal yang melewati batas domain inisialisasi kemampuan -2. Galat
baku penaksiran parameter kemampuan menurun seiring meningkatnya jumlah
butir soal yang direspon. Artinya simulasi pola respon salah-benar pada metode
151
Fusuhilow sesuai dengan teori pengembangan CAT yang telah ditetapkan. Hasil
pola respon salah-benar pada Lampiran D_2.
Selanjutnya, hasil simulasi dengan empat pola respon pada metode
Fusuhilow menunjukkan semua pola respon sudah sesuai dengan teori metode
fuzzy Sugeno dan metode High-Low dimana exposure butir soal yang diberikan
secara adaptif dengan kemampuan peserta tes pada umumnya berada pada setiap
domain kategori inisialisasi. Semakin panjang tes maka semakin kecil galat baku
walaupun pada panjangn tes sama nilai galat baku bervariasi bergantung pada
karakteristik butir tes yang direspon saat ini. Galat baku penaksiran parameter
kemampuan sudah sesuai dengan teori dan terkait dengan konvergen suatu
taksiran. Hal tersebut dapat dilihat pada Lampiran D_5. Berdasarkan hal tersebut
metode Fusuhilow dapat diujicobakan secara riil di lapangan.
c. Simulasi Metode Fumahilow
Sampel hasil simulasi pola respon normal pada metode Fumahilow
menunjukkan penaksiran konvergen dengan panjang tes 15 butir soal dengan skor
86,388 dimana tingkar exposure butir soal dalam kategori sedang karena hanya
satu butir soal terakhir melewati batas domain himpunan fuzzy parameter
kemampuan atau inisialisasi kemampuan = 0. Galat baku penaksiran parameter
kemampuan menurun seiring meningkatnya jumlah butir soal yang direspon dan
selama proses tersebut tingkat kemampuan meningkat terus sampai penaksiran
konvergen. Artinya simulasi pola respon normal pada metode Fumahilow sesuai
dengan teori pengembangan CAT yang telah ditetapkan. Hasil pola respon normal
pada Lampiran D_3.
Selanjutnya, hasil simulasi menggunakan empat pola respon metode
Futsuhilow menunjukkan pada semua pola respon sudah sesuai dengan teori
152
penalaran Mamdani dan metode high-low dimana exposure butir soal yang
diberikan secara adaptif dengan kemampuan peserta tes pada umumnya berada
pada setiap domain kategori inisialisasi. Semakin panjang tes maka semakin kecil
galat baku walaupun pada panjang tes yang sama nilai galat baku bervariasi
bergantung pada karakteristik butir tes yang direspon saat ini. Galat baku
penaksiran parameter kemampuan sudah sesuai dengan teori dan terkait dengan
konvergen suatu taksiran. Hal tersebut dapat dilihat pada Lampiran D_6.
Berdasarkan hal tersebut metode Fumahilow dapat diujicobakan secara riil di
lapangan.
Berdasarkan hasil simulasi pola respon ketiga metode dengan
memperhatikan panjang tes, tingkat exposure soal, dan galat baku penaksiran
parameter kemampuan sudah sesuai dengan rancangan dengan memperhatikan
rancangan antamuka, aturan logika ketiga metode, dan karakteristik bank butir soal.
3. Analisis Data Instrumen Pendapat User Terhadap Produk CerdasCAT
Analisis pendapat user terhadap produk CerdasCAT dimaksudkan untuk
menyelidiki bagian-bagian yang dianggap belum baik sesuai dengan peran masing-
masing terhadap produk. Hal tersebut dimaksudkan agar yang belum berfungsi secara
maksimal dapat diupdate sebelum uji coba secara terbatas. Adapun pendapat user
Admin terhadap 10 pernyaatan menunjukkan rerata 57% menjawab sangat baik, dan
42% menjawab baik sedangkan yang menjawab tidak baik dan sangat tidak baik tidak
ada. Artinya, pendapat Admin terhadap produk CerdasCAT sangat baik. Pendapat
pimpinan terhadap 11 pernyaatan menunjukkan 47% menjawab sangat baik, dan 49%
menjawab baik sedangkan yang menjawab tidak baik dan sangat tidak baik tidak ada.
153
Artinya, pendapat pimpinan terhadap produk CerdasCAT sangat baik. Pendapat
pengajar terhadap 12 pernyaatan menunjukkan 39% menjawab sangat baik, 60%
menjawab baik, dan 1,2% menjawab tidak baik, sedangkan yang menjawab sangat
tidak baik tidak ada. Artinya, pendapat pengajar terhadap produk CerdasCAT baik.
Pendapat wali peserta tes terhadap 8 pernyaatan menunjukkan 48% menjawab sangat
baik, 51% menjawab sedangkan yang menjawab tidak baik dan sangat tidak baik tidak
ada. Artinya, pendapat wali peserta tes terhadap produk CerdasCAT baik.
Pendapat peserta tes setelah mengambil ujian dengan metode Futsuhilow
menunjukkan 49% menjawab sangat baik, dan 48% menjawab baik sedangkan yang
menjawab tidak baik dan sangat tidak baik tidak ada. Artinya, pendapat peserta tes
yang mengambil ujian dengan metode Futsuhilow terhadap produk CerdasCAT sangat
baik. Pendapat peserta tes setelah mengambil ujian dengan metode Fusuhilow
menunjukkan 50% menjawab sangat baik, dan 49% menjawab baik sedangkan yang
menjawab tidak baik dan sangat tidak baik tidak ada. Artinya, pendapat peserta tes
yang mengambil ujian dengan metode Fusuhilow terhadap produk CerdasCAT sangat
baik. Pendapat peserta tes setelah mengambil ujian dengan metode Fumahilow
menunjukkan 55% menjawab sangat baik, dan 45% menjawab baik sedangkan yang
menjawab tidak baik dan sangat tidak baik tidak ada. Artinya, pendapat peserta tes
yang mengambil ujian dengan metode Fumahilow terhadap produk CerdasCAT
sangat baik. Pendapat wali peserta tes terhadap 8 pernyaatan menunjukkan rerata
47,5% menjawab sangat baik, dan 52,5% menjawab baik sedangkan yang menjawab
tidak baik dan sangat tidak baik tidak ada. Artinya, pendapat wali peserta tes terhadap
produk CerdasCAT baik.
Satu pernyataan yang diberikan pada Admin, pimpinan, pengajar, dan wali
peserta tes yakni ”Ujian peserta tes Menggunakan CerdasCAT” rata-rata menjawab
154
sangat baik, sedangkan satu pernyataan diberikan kepada semua peserta tes berkenaan
dengan pernyataan ”Ujian lewat CerdasCAT lebih baik daripada lewat P&P” rerata
menjawab sangat setuju. Berdasarkan hal tersebut, proses ditempuh user melakukan
aksi sudah sesuai pengembangan dan sangat setuju produk CerdasCAT sabagai
alternatif media ujian.
Analisis secara deskriptif terhadap pola respon dari sembilan hasil ujian peserta
tes ketiga metode dalam merespon butir soal menunjukkan penaksiran kemampuan
peserta tes menggunakan butir soal dalam bank soal semuanya konvergen dengan
inisialisasi kemampuan yang berbeda. Artinya bahwa ketersediaan butir soal pada
bank butir soal cukup dalam melingkungi kemampuan peserta tes. Oleh karena itu,
tingkat kesukaran butir soal di dalam bank butir soal dapat digunakan dalam
mengukur kemampuan peserta tes dengan tingkat kemampuan yang berbeda,
selanjutnya produk CerdasCAT dapat digunakan dalam uji coba terbatas.
4. Sampel Analisis Data Uji Coba Terbatas
Hasil simulasi dan uji coba secara one to one menjadi rujukan uji coba secara
terbatas produk CerdasCAT di lapangan.
a. Sampel uji coba terbatas CerdasCAT menggunakan metode Futsuhilow
Sampel uji coba ujian peserta tes dengan metode Futsuhilow atas nama
Moh. Adli Akbar mempunyai nomor peserta 10100101001_021 dari SD 1
Lamappoloware pada Lampiran J_1. Moh. Adli Akbar mempunyai theta awal
sama dengan -2, artinya Moh. Adli Akbar hanya mampu menjawab benar satu
butir soal dengan tingkat kesukaran rendah sehingga merespon butir soal dengan
tingkat kesukaran lebih kecil -2 yakni -2,091. Theta akhir pada putaran pertama
sebesar -2,091. Nilai tersebut sudah memenuhi aturan basis pengetahuan metode
155
fuzzy Tsukamoto. Selanjutnya diperoleh galat baku 2,002 dan skor akhir 23,682
serta waktu respon 1:07 (satu menit lebih tujuh detik) untuk butir soal tersebut.
Butir soal tersebut direspon salah kemudian tingkat kesukaran diturunkan sebesar
0,2 atau lebih besar sehingga diperoleh butir soal dengan tingkat kesukaran -2,324.
Butir tersebut direspon benar sehingga butir soal selanjutnya dinaikkan 0,1 atau
lebih diperoleh -1,672 dengan nilai galat baku 1,42, selisih galat baku 0,58, dan skor
20,95 serta waktu respon 1:14 (satu menit lebih 14 detik). Naik turun nilai tersebut
sudah memenuhi aturan metode high low. Mekanisme tersebut berlanjut sampai
penaksiran kemampuan peserta tes konvergen dimana selisih galat baku lebih kecil
atau sama dengan 0,01.
Moh. Adli Akbar mempunyai data tambahan yakni panjang tes 17 butir
soal dan jumlah waktu respon tes 56:21 (56 menit 21 detik) serta kemampuan akhir
sebesar -0,566, Selanjutnya, Moh. Adli Akbar mempunyai data kemampuan
-0,566. Data tersebut salah satu indikator seleksi kelulusan menggunakan konsep
DSS.
Moh. Adli Akbar mempunyai panjang tes sebesar 17 butir soal yang berasal
dari SKL ukuran 5 butir, bangun 4 butir, data 4 butir, dan bilangan 4 butir
soal. Proporsi jumlah butir soal setiap SKL yang direspon terkait inisialisasi
kemampuan dan urutan prioritas. Urutan butir soal sudah tetap yakni dilakukan
secara siklus ukuran, bangun, data, bilangan, ukuran, bangun, data, bilangan dan
seterusnya seperti pola respon Moh. Adli Akbar. Urutan tersebut tidak dapat
berubah sehingga butir soal pertama yang direspon peserta tes yang paling
menentukan. Panjang tes dari keseluruhan peserta tes yang mengambil ujian dengan
metode Fusuhilow pada Lampiran D_7 kolom 1 dan pada Lampiran E_3.
156
Rerata panjang tes yang ditempuh sebanyak 17 butir soal dengan panjang tes
paling pendek 15 butir dan paling panjang 18 butir soal.
Moh. Adli Akbar mempunyai theta awal -2. Nilai tersebut merupakan nilai
tengah himpunan fuzzy rendah dengan domain -4 sampai nol. Semua butir soal yang
direspon oleh Moh. Adli Akbar berada dalam domain theta awal. Artinya
metode Futsuhilow dapat mengendalikan tingkat exposure butir soal. Selanjutnya,
korelasi antara kemampuan Moh. Adli Akbar dengan tingkat kesukaran butir soal
yang dikerjakan 0,826 sangat tinggi (Lampiran F_8), dan secara deskriptif selisih
rerata dan simpangan baku antara theta awal dan tingkat kesukaran masing-
masing 0,084 dan 0,019 (Lampiran F_7). Hal tersebut menunjukkan bahwa butir
soal yang dikerjakan oleh Moh. Adli Akbar sesuai dengan tingkat
kemampuannya.
Moh. Adli Akbar mempunyai galat baku penaksiran parameter butir
pertama 2,002 dimana nilai 2,002 terjadi karena P dan Q mempunyai nilai yang
hampir sama 0,5. Nilai galat baku semakin menurun seiring dengan meningkatnya
jumlah butir yang ditempuh. Nilai galat terakhir 0,492 sampai penaksiran
parameter kemampuan konvergen. Data galat baku penaksiran parameter
kemampuan terdapat pada Lampiran H_1. Selanjutnya, Lampiran J_1
menunjukkan semakin banyak butir soal yang direspon peserta tes maka galat baku
penaksiran tiap butir soal semakin kecil walaupun penurunannya berbeda-
beda sesuai dengan karakterisk butir soal dan kemampuan peserta tes yang
direspon saat ini. Lampiran E_3 menunjukkan rerata jumlah galat baku
penaksirannya 0,818 dengan jumlah galat baku yang paling kecil sampai
konvergen 0,776 dan jumlah galat baku yang paling besar 0,879.
157
Moh. Adli Akbar merespon butir soal selama 24 menit 48 detik sebanyak
17 butir soal sehingga rerata waktu respon tiap butir soal adalah 1 menit 27 detik.
Selama waktu respon tersebut, butir soal paling cepat direspon 33 detik dengan
jawaban salah pada butir soal ke-16 berasal dari SKL bilangan dengan tingkat
kesukaran butir soal -0,531 dan nomor ID butir soal 315, sedangkan paling lama
selama 2 menit 6 detik dengan jawaban benar pada butir soal ke-8 berasal dari
SKL ukuran dengan tingkat kesukaran butir soal -0,94 dan nomor ID butir soal
313. Data waktu respon tiap peserta tes pada tiap butir soal terdapat pada
Lampiran I_1. Selanjutnya pada Lampiran I_4 menunjukkan waktu respon tiap
butir soal bervariasi secara keseluruhan, yakni paling cepat adalah 4 detik dan
paling lama adalah 2 menit 23 detik. Rerata waktu respon keseluruhan peserta tes
sebesar 1 menit 17 detik sampai penaksiran konvergen. Waktu paling cepat 1 menit
2 detik dan waktu paling lama 1 menit 38 detik pada Lampiran E_3.
b. Sampel uji coba terbatas CerdasCAT Menggunakan Metode Fusuhilow
Sampel uji coba ujian peserta tes dengan metode Fusuhilow atas nama
Moh. Habibi Akbar mempunyai nomor peserta 10100101001_062 dari SD 1
Lamappoloware terdapat pada Lampiran J_2. Moh. Habibi Akbar mempunyai
theta awal 0, artinya hanya mampu menjawab butir soal benar pada dengan
tingkat kesukaran (rendah,cukup) atau cukup sehingga Moh. Habibi Akbar
merespon butir soal dengan tingkat kesukaran lebih kecil 0 yakni -0,008 dengan
theta akhir pada putaran pertama -0,007. Nilai tersebut sudah memenuhi aturan
basis pengetahuan metode fuzzy Sugeno. Selanjutnya, nilai galat baku 2 dan skor
49,913 dengan waktu respon 1:34 (satu menit lebih tiga puluh empat detik). Butir
soal tersebut direspon benar sehingga dinaikkan sebesar 0,1 atau lebih sehingga
158
diperoleh butir soal dengan tingkat kesukaran 0,216. Butir tersebut direspon benar
dan nilai galat baku 1,419, selisih galat baku 0,58 dan skor 52,713 dengan waktu
respon 1:43 (satu menit lebih 43 detik). Nilai tingkat kesukaran naik turun
tersebut sudah sesuai dengan aturan metode high low. Mekanisme tersebut
berlanjut sampai penaksiran kemampuan peserta tes konvergen dimana selisih
galat baku sama dengan 0,01. Moh. Habibi Akbar mempunyai data tambahan
yakni panjang tes 15 butir, rerata galat baku penaksiran parameter kemampuan
0,871 dengan galat baku terakhir saat penaksiran konvergen 0,53 dan waktu
respon tes 25:02 (25 menit 2 detik) serta kemampuan akhir sebesar 2,912.
Selanjutnya, Moh. Habibi Akbar mempunyai data kemampuan 2,912. Data
tersebut salah satu indikator seleksi kelulusan menggunakan konsep DSS.
Moh. Habibi Akbar mempunyai panjang tes 15 butir soal yang terdiri dari
SKL ukuran 4 butir, bangun 4 butir, data 4 butir, dan bilangan 3 butir. Proporsi
munculnya jumlah butir setiap SKL terkait dengan urutan yang paling
menentukan adalah inisialisasi kemampuan kemudian prioritas. Proporsi jumlah
butir setiap SKL yang direspon terkait inisialisasi kemampuan dan urutan
prioritas. Urutan butir soal sudah tetap yakni dilakukan secara siklus ukuran,
bangun, data, bilangan, ukuran, bangun, data, bilangan dan seterusnya seperti
pola respon Moh. Habibi Akbar. Urutan tersebut tidak dapat berubah sehingga
butir soal pertama yang direspon peserta tes yang paling menentukan. Panjang tes
keseluruhan peserta tes yang mengambil ujian pada metode Fusuhilow pada
Lampiran E_1 kolom 2 dan pada Lampiran E_3 dimana diperoleh rerata panjang
tes yang ditempuh sebanyak 14 butir soal dengan panjang tes paling pendek 11
butir dan paling panjang 17 butir soal.
159
Moh. Habibi Akbar mempunyai theta awal 0 merupakan nilai tengah dari
himpunan fuzzy sedang dengan domain -2 sampai 2. Data butir soal yang direspon
berada pada domain theta awal sehingga dalam sampel tersebut metode Fusuhilow
dapat mengendalikan tingkat exposure butir soal. Selanjutnya, korelasi antara
kemampuan Moh. Habibi Akbar dengan tingkat kesukaran butir soal sebesar
0,713 sangat tinggi (Lampiran F_8), dan secara deskriptif selisih rerata dan
simpangan baku antara theta awal dan tingkat kesukaran masing-masing 0,193
dan 0,113 (Lampiran F_7). Hal tersebut menunjukkan bahwa butir soal yang
dikerjakan oleh Moh. Habibi Akbar sesuai dengan tingkat kemampuannya.
Moh. Habibi Akbar mempunyai galat baku penaksiran parameter butir
pertama 2 karena nilai P dan Q mempunyai nilai sama 0,5. Nilai galat baku akan
semakin menurun seiring dengan meningkatnya jumlah butir dimana nilai galat
baku terakhir 0,53 sampai penaksiran parameter kemampuan konvergen. Data
galat baku penaksiran parameter kemampuan terdapat pada Lampiran H_2.
Selanjutnya, Lampiran J_2 menunjukkan galat baku penaksiran tiap butir soal
semakin kecil seiring dengan bertambah banyaknya jumlah butir soal walaupun
penurunannya berbeda sesuai dengan karakterisk butir soal dan kemampuan
peserta tes saat ini. Lampiran E_3 menunjukkan rerata jumlah galat baku
penaksiran 0,877 dengan jumlah galat baku yang paling kecil sampai konvergen
0,809 dan jumlah galat baku yang paling besar 0,954.
Moh. Habibi Akbar merespon butir soal selama 25 menit 2 detik dengan
jumlah butir soal 15 butir sehingg rerata tiap butir 1 menit 4 detik. Selama waktu
respon tersebut, butir soal yang paling cepat adalah butir ke-8 pada SKL
bilangan dimana nomor ID butir soal 404 dengan jawaban benar selama 48 detik,
sedangkan yang paling lama adalah butir ke-9 pada SKL ukuran dimana nomor ID
160
butir soal 193 dengan jawaban benar selama 2 menit 17 detik dengan jangka
waktu yang diberikan 3 menit. Data waktu respon tiap peserta tes pada tiap butir
soal pada Lampiran I_2 dan I_5. Data tersebut menunjukkan waktu respon tiap
butir soal bervariasi antara 4 detik sampai 2 menit 23 detik. Rerata waktu respon
keseluruhan peserta tes sebesar 1 menit 24 detik sampai penaksiran konvergen.
Waktu paling cepat 1 menit 6 detik dan waktu paling lama 1 menit 46 detik pada
Lampiran E_3.
c. Uji Coba CerdasCAT Menggunakan Metode Fumahilow
Sampel uji coba ujian peserta tes dengan metode Fumahilow atas nama
Moh. Dliyaul Haq mempunyai nomor peserta 10100101001_010 dari SD 1
Lamappoloware terdapat pada Lampiran J_3. Moh. Dliyaul Haq mempunyai
nilai theta awal -2, artinya Moh. Dliyaul Haq dapat menjawab butir soal dengan
benar dengan tingkat kesukaran rendah. Butir soal selanjutnya mempunyai tingkat
kesukaran lebih kecil -2 yakni -2,091 dan theta akhir pada putaran pertama -1,591.
Nilai tersebut sudah memenuhi aturan basis pengetahuan metode fuzzy Mamdani.
Selanjutnya nilai galat baku 2,002 dan skor 22,586 serta waktu respon 2:19 (dua
menit lebih sembilan belas detik). Butir soal tersebut direspon salah sehingga
diturunkan 0,2 atau lebih besar sehingga diperoleh butir soal dengan tingkat
kesukaran -2,324 dan tingkat kemampuan -1,824. Butir tersebut direspon benar
sehingga butir soal selanjutnya dinaikkan 0,1 atau lebih diperoleh -1,672 dengan
nilai galat baku 1,42, selisih galat baku 0,58 dan tingkat kemampuan -1,172 atau
skor 35,35 dengan waktu respon 1:22 (satu menit lebih 22 detik). Nilai tingkat
kesukaran naik turun tersebut sudah memenuhi aturan metode high low
Mekanisme tersebut berlanjut sampai penaksiran kemampuan peserta tes
161
konvergen dimana selisih galat baku 0,01 atau lebih kecil. Moh. Dliyaul Haq
mempunyai data tambahan yakni panjang tes 17 butir dan waktu respon tes 26:25
(26 menit 25 detik). Jadi Moh. Dliyaul Haq membutuhkan jumlah butir soal 17
butir sampai penaksiran konvergen dengan kemampuan akhir -1,197 atau skor
35,038. Selanjutnya, Moh. Dliyaul Haq mempunyai data kemampuan -1,197. Data
tersebut salah satu indikator seleksi kelulusan menggunakan konsep DSS.
Moh. Dliyaul Haq mempunyai panjang tes 17 butir yang terdiri SKL ukuran
5 butir, bangun 4 butir, data 4 butir, dan bilangan 4 butir . Data panjang tes
keseluruhan dari peserta tes yang mengambil ujian dengan metode Fumahilow
pada Lampiran E_1 kolom 3. Selanjutnya, pada Lampiran E_3 menunjukkan
rerata panjang tes yang ditempuh 16 butir dengan panjang tes paling pendek 14
butir dan paling panjang 18 butir.
Moh. Dliyaul Haq mempunyai nilai theta awal -2 dimana nilai tersebut
merupakan nilai tengah dari himpunan fuzzy rendah dengan domain -4 sampai nol.
Semua butir soal tersebut yakni butir ke-1 sampai butir ke-17 menunjukkan nilai
theta setiap putaran berada antara -4 sampai nol sehingga pola respon peserta tes
tersebut tetap dalam kategori tinggi. Selanjutnya, korelasi antara kemampuan
Moh. Dliyaul Haq dengan tingkat kesukaran butir soal 0,802 (Lampiran F_8).
Secara deskriptif menunjukkan selisih rerata dan simpangan baku antara theta awal
dan tingkat kesukaran masing-masing 0,053 dan 0,032 (Lampiran F_7). Hal
tersebut menunjukkan bahwa butir soal yang dikerjakan oleh Moh. Dliyaul Haq
sesuai dengan tingkat kemampuannya.
Moh. Dliyaul Haq mempunyai galat baku penaksiran parameter butir
pertama sebesar 2,002 karena nilai P dan Q mempunai nilai hampir sama yakni
sekitar 0,5. Nilai galat baku akan semakin menurun seiring dengan meningkatnya
162
jumlah butir yang ditempuh dimana nilai galat baku yang terakhir sebesar 0,49
sampai penaksiran parameter kemampuan konvergen. Data galat baku penaksiran
parameter kemampuan pada Lampiran H_3. Selanjutnya, Lampiran J_3
menunjukkan galat baku penaksiran tiap buti soal semakin kecil seiring dengan
bertambah banyaknya jumlah butir soal yang direspon peserta tes walaupun
penurunannya berbeda-beda sesuai dengan karakterisk butir soal dan kemampuan
peserta tes saat ini. Lampiran E_3 menunjukkan rerata jumlah galat baku
penaksiran parameter kemampuan sebesar 0,839 dengan jumlah galat baku yang
paling kecil sampai konvergen 0,782 dan jumlah galat baku yang paling besar
0,887.
Moh. Dliyaul Haq merespon butir sola selama 24 menit 48 detik dengan
jumlah soal sebanyak 17 butir, artinya rerata waktu respon tiap butir soal selama 1
menit 32 detik sampai penaksiran parameter kemampuannya konvergen
(Lampiran I_6). Selama waktu respon tersebut, Moh. Adli Akbar merespon butir
soal paling cepat pada butir ke-10 mengenai SKL bangun dengan tingkat
kesukaran butir soal -2,262 dan nomor ID butir soal 335 dengan jawaban salah
selama 7 detik, sedangkan yang paling lama pada butir ke-12 mengenai SKL
bilangan dengan tingkat kesukaran butir soal -0,633 dan nomor ID butir soal 312
dengan jawaban salah selama 2 menit 23 detik.
Selanjutnya, pada Lampiran I_6 menunjukkan waktu respon tiap butir soal
bervariasi, yakni yang paling cepat 2 detik sedangkan paling lama 2 menit 23
detik. Sedangkan rerata tiap butir direspon oleh setiap peserta tes sekitar 1 menit
lebih dimana yang paling cepat adalah 1 menit 6 detik. Data rerata waktu respon
keseluruhan peserta tes 1 menit 25 detik sampai penaksiran konvergen dan waktu
paling cepat 1 menit 6 detik serta paling lama 1 menit 46 detik pada Lampiran E_3.
163
5. Analisis perbandingan ketiga metode pengembangan
Uji coba terbatas produk CerdasCAT menghasilkan output panjang tes,
tingkat exposure, galat baku penaksiran parameter kemampuan, dan jumlah waktu
respon butir soal. Ketiga metode pengembangan mempunyai mekanisme berlainan
menghasilkan output sehingga nilainya berbeda-beda. Oleh karena itu, perbandingan
ketiga metode tersebut dengan memperhatikan panjang tes, tingkat exposure butir
soal, galat baku penaksiran parameter kemampuan, dan jumlah waktu respon butir soal
memerlukan analisis lebih lanjut.
Data panjang tes ketiga metode terdapat pada Lampiran E_1. Ketiga metode
mempunyai perbedaan secara signifikan dimana metode Fusuhilow mempunyai
panjang tes yang paling kecil dengan rerata 14 butir soal, kemudian metode
Fumahilow dengan rerata 16 butir soal, dan metode Futsuhilow mempunyai rerata 17
yang terdapat pada Lampiran E_3 dan E_4.
Tingkat exposure butir soal ketiga metode memperhatikan tingkat kemapanan
butir soal yang direspon peserta tes dengan domain himpunan fuzzy kemampuan peserta
tes saat inisialisasi. Secara statistik kecenderungan tersebut diperoleh dengan
mengkategorikan kemapanan tersebut berdasarkan letak inisialisasi awal kemampuan
pada himpunan fuzzy dengan pergerakan nilai theta dan tingkat kesukaran butir soal
dengan analisis korelasi.
Tingkat exposure butir soal pada metode Futsuhilow dapat dilihat pada
analisis secara deskriptif. Perbedaan rerata dan simpangan baku tiap kategori theta dan
tingkat kesukaran hampir sama. Artinya, ada hubungan dan positif, namun belum
diketahui tingkat hubungan tersebut. Oleh karena itu, dilakukan analisis lanjutan
164
menggunakan analisis korelasi Pearson. Kategori himpunan fuzzy kemampuan sangat
tinggi mempunyai korelasi 0,816, kategori himpunan fuzzy kemampuan tinggi
mempunyai korelasi 0,857, kategori himpunan fuzzy kemampuan sedang mempunyai
korelasi 0,898, kategori himpunan fuzzy kemampuan rendah mempunyai korelasi
0,724, sedangan kategori himpunan fuzzy kemampuan sangat rendah tidak
mempunyai data disebabkan tidak ada peserta tes yang menempuh kategori
kemampuan tersebut. Analisis secara deskriptif dan korelasi terdapat pada Lampiran
F_1 dan F_2.
Tingkat exposure butir soal pada metode Fusuhilow dapat dilihat pada
analisis secara deskriptif. Perbedaan rerata dan simpangan baku antara tiap kategori
theta dan tingkat kesukarannya hampir sama. Artinya ada hubungannya dan positif,
namun belum diketahui tingkat hubungan tersebut. Oleh karena itu, dilakukan analisis
lanjutan menggunakan analisis korelasi. Kategori himpunan fuzzy kemampuan sangat
tinggi mempunyai korelasi 0,730, kategori himpunan fuzzy kemampuan tinggi
mempunyai korelasi 0,791, kategori himpunan fuzzy kemampuan sedang mempunyai
korelasi 0,786, kategori himpunan fuzzy kemampuan rendah mempunyai korelasi
0,105, dan kategori himpunan fuzzy kemampuan sangat rendah mempunyai korelasi
0,840. Analisis secara deskriptif dan korelasi terdapat pada Lampiran F_3 dan F_4.
Berdasarkan hal tersebut hanya kategori himpunan fuzzy kemampuan rendah
mempunyai korelasi tidak signifikan.
Tingkat exposure butir soal pada metode Fumahilow dapat dilihat pada
analisis deskriptif. Perbedaan rerata dan simpangan baku antara tiap kategori theta
dan tingkat kesukarannya hampir sama. Artinya ada hubungannya dan positif, namun
belum diketahui tingkat hubungan tersebut. Oleh karena itu, dilakukan analisis
lanjutan menggunakan analisis korelasi. Kategori himpunan fuzzy kemampuan sangat
165
tinggi mempunyai korelasi 0,795, kategori himpunan fuzzy kemampuan tinggi
mempunyai korelasi 0,841, kategori himpunan fuzzy kemampuan sedang mempunyai
korelasi 0,821, kategori himpunan fuzzy kemampuan rendah mempunyai korelasi
0,848, dan kategori himpunan fuzzy kemampuan sangat rendah mempunyai korelasi
0,874. Analisis secara deskriptif dan korelasi terdapat pada Lampiran F_3 dan F_4.
Berdasarkan analisis tersebut menunjukkan bahwa metode Fumahilow mempunyai
korelasi yang paling tinggi di antara semua kategori kemampuan lalu metode
Futsuhilow walaupun tidak mempunyai informasi pada kategori sangat rendah.
Sedangkan metode Fusuhilow terdapat korelasi yang tidak signifikan pada kategori
kemampuan rendah.
Analsis secara deskriptif data galat baku penaksiran parameter kemampuan
ketiga metode terdapat pada Lampiran E_3. Ketiga metode mempunyai perbedaan
secara signifikan dimana metode Futsuhilow mempunyai rerata galat baku penaksiran
parameter kemampuan yang paling kecil dengan rerata sebesar 0,818, kemudian
metode Fumahilow mempunyai rerata galat baku penaksiran parameter kemampuan
dengan rerata sebesar 0,839. Sedangkan metode Fusuhilow mempunyai rerata galat
baku penaksiran parameter kemampuan dengan rerata 0,877. Hasil analisis galat baku
penaksiran parameter kemampuan terdapat pada Lampiran E_4.
Analsis secara deskriptif menunjukkan rerata jumlah waktu respon butir soal
ketiga metode terdapat pada Lampiran E_3 dimana rerata jumlah waktu respon butir
soal tes pada metode Futsuhilow yang paling kecil yakni rerata selama 1 menit17
detik per butir soal, lalu metode Fusuhilow yakni rerata selama 1 menit 24 detik per
butir soal, terakhir metode Fumahilow selama 1 menit 25 detik per butir soal . Metode
Futsuhilow berbeda secara signifikan dengan Fusuhilow dan metode Fumahilow,
sedangkan tidak terdapat perbedaan secara signifikan antara Fusuhilow dan metode
166
Fumahilow. Hasil analisis jumlah waktu respon butir soal tes terdapat pada Lampiran
E_4. Walaupun demikian, jika waktu respon yang diolah menggunakan jumlah respon
tiap peserta tes maka metode Fusuhilow yang paling singkat jika dibandingkan
dengan metode Futsuhilow walaupun tidak signifikan. Metode Fumahilow berbeda
secara signifikan dengan metode Futsuhilow pada taraf signifikasi 0,05 sedangkan
dengan metode Fusuhilow tidak berbeda secara signifikan.
Uji coba produk menunjukkan bahwa panjang tes yang paling pendek ditempuh
peserta tes sampai penaksiran konvergen pada metode Fusuhilow sebanyak 14
butir soal. Hal tersebut terjadi karena metode Fusuhilow memberikan butir soal
yang adaptif dengan mengelola basis pengetahuan dalam memberikan butir soal lebih
mudah jika dibandingkan dengan kemampuan peserta tes. Metode Futsuhilow
memberikan butir soal adaptif yang persis sama dengan kemampuan peserta tes sesuai
dengan basis pengetahuan tanpa ada proses defuzzifikasi. Selanjutnya, metode
Fumahilow memberikan butir soal adaptif lebih sukar sesuai dengan basis
pengetahuan yang sama dengan basis pengetahuan metode Futsuhilow namun
menggunakan proses defuzzifikasi model centroid. Hasil penelitian Agus Santoso
(2009) dengan metode MLE membutuhkan 8-15 butir soal sampai konvergen
sedangkan penelitian Haryanto (2009) menggunakan fuzzy Tsukamoto dengan tiga
kategori tingkat kesukaran butir menggunakan konsep CTT menunjukkan jumlah
butir soal yang dikemas sekitar 20 butir soal menunjukkan adanya pola yang sesuai
dengan kemampuan peserta tes. Selanjutnya, penelitian Rukli dan Sri Hartati (2011)
menguji coba produk CAT menggunakan metode high low di SMA membutuhkan
sekitar 10 butir soal. Oleh karena itu, jumlah butir soal 14 terjadi karena pencarian
butir soal memperhatikan SKL dimana butir soal berada, selanjutnya pencarian butir
soal adaptif bersifat fluktuatif disamping jumlah butir soal dalam SKL belum merata.
167
Jika jumlah butir soal pada SKL lebih banyak dan merata maka fluktuatif tersebut
dapat diredam sehingga untuk mencapai penaksiran konvergen membutuhkan butir
soal dengan jumlah lebih kecil.
Uji coba produk menunjukkan metode Fumahilow mempunyai tingkat
exposure butir soal lebih kecil dibandingkan dengan metode lain, walaupun secara
sekilas metode Futsuhilow yang lebih kecil karena butir soal yang diberikan sesuai
dengan kemampuan peserta tes. Hal tersebut terjadi karena metode Fumahilow
memberikan butir soal sesuai dengan pengelolaan basis pengetahuan yang lebih alami
sehingga butir yang diberikan lebih sesuai dengan nilai theta awal. Selanjutnya,
metode Fumahilow memberikan butir soal yang lebih tinggi dimana sesuai dengan
karakteristik butir soal di bank butir soal mempunyai tingkat kesukaran di atas rerata
yakni 0,462 jika dibandingkan dengan butir soal di bawah rerata, sementara metode
Fusuhilow memberikan butir soal yang lebih rendah sehingga butir soal yang
diberikan banyak yang keluar dari batas domain inisialisasi awal.
Uji coba produk menunjukkan galat baku penaksiran parameter kemampuan
pada metode Futsuhilow mempunyai galat baku penaksiran parameter kemampuan
yang paling kecil kemudian metode Fumahilow terus Fusuhilow. Hal tersebut terjadi
karena metode Fumahilow dan Fusuhilow memberikan butir soal adaptif kepada
peserta masing-masing menurunkan dan menaikkan sehingga perhitungan galat baku
mengalami fluktuasi pencarian butir soal lebih besar walaupun selisih galat baku
berbeda dimana selisih galat baku dihitung dari selisih galat baku antar dua butir soal.
Uji coba produk menunjukkan metode Futsuhilow mempunyai waktu
respon yang paling pendek yakni 1:17 (1 menit 17 detik) bukan metode Fusuhilow
yang mempunyai panjang tes paling pendek. Panjang pendek tes tidak bisa
menunjukkan bahwa metode tersebut waktu respon paling pendek. Waktu yang
168
dibutuhkan 1 menit 17 detik termasuk respon butir yang cepat jika dibandingkan
dengan alokasi waktu yang diberikan respon tiap butir soal yakni 3 menit walaupun
tidak diinformasikan jawaban benar dan salah selama selang waktu ujian tersebut.
Jika rerata waktu respon tiap peserta tes menjadi data mentah bukan jumlah waktu
respon tiap peserta tes maka yang paling cepat waktu respon butir adalah metode
Futsuhilow, sebalilknya jika jumlah waktu respon menjadi data mentah bukan rerata
waktu respon tiap peserta tes maka yang paling pendek waktu respon tiap butir adalah
metode Fusuhilow. Namun cara perhitungan yang terakhir menyesatkan karena tidak
bisa ditetapkan secara pasti bahwa peserta tes yang menempuh butir soal banyak
mempunyai waktu respon lebih lama selama ujian. Oleh karena itu, peserta tes yang
mengambil ujian pada metode Futsuhilow mempunyai waktu yang paling singkat
merespon butir soal secara adaptif.
6. Pengembangan CAT dengan fitur DSS
Pengembangan CAT dengan fitur DSS melibatkan aktor pimpinan dalam
melakukan konfigurasi kelulusan, pembobotan SKL tiap domain, pembobotan
domain, dan pembobotan kriteria. Rincian kegiatan sebagai berikut:
1. Konfigurasi Kelulusan
Konfigurasi kelulusan sebagai langkah awal bagi Pimpinan menentukan laporan
kelulusan peserta tes yakni penetapan skor minimum sebesar 100 dan kuota
maksimum kelulusan sebesar 5 . Selanjutnya, hasil ujian yang akan ditampilkan
berupa inisialisasi tiga butir, model Rasch, metode Futsuhilow, dan domain
berupa Bahasa Indonesia, IPA, dan Matematika. Hasil konfigurasi kelulusan pada
Gambar 58.
169
Gambar 58.
Konfigurasi Kelulusan
2. Pembobotan SKL tiap domain
Fitur DSS memberikan informasi kepada user dalam hal ini pengajar,
pimpinan, dan wali peserta tes, serta peserta tes sendiri mengenai kemampuan
peserta tes. Pimpinan melakukan empat aksi terhadap data kemampuan peserta
tes sampai diperoleh informasi laporan kelulusan. Adapun halaman pembobotan
SKL setiap domain pada Gambar 59. Gambar tersebut menunjukkan ada tiga
domain dengan jumlah SKL berbeda. Jumlah domain dan SKL dapat diupdate
secara dinamis oleh Admin. Penetapan pembobotan setiap SKL dilakukan
Pimpinan. Jumlah pembobotan SKL supaya ter_update sebesar 100%.
3. Pembobotan Domain
Gambar 60 menunjukkan penetapan pembobotan domain secara dinamis
terhadap tiga domain. Penetapan pembobotan domain dilakukan setelah
pembobotan SKL. Jumlah pembobotan domain supaya ter_update sebesar 100%.
170
Gambar 59.
Pembobotan SKL
Gambar 60.
Penetapan Pembobotan Domain
171
4. Pembobotan Kriteria
Gambar 61.
Pembobotan Kriteria
Gambar 61 menunjukkan pembobotan empat kriteria. Pembobotan kriteria
dapat dilakukan jika pembobotan domain telah dilakukan karena pada
pembobotan kriteria ada nilai pembobotan domain yang perlu diketahui. Jumlah
pembobotan kriteria supaya ter_update sebesar 100%.
5. Laporan Kelulusan
Berdasarkan kriteria kelulusan menggunakan dua patokan yakni kuota
maksimum yang diterima dan skor minimum pada Gambar 58 maka diperoleh
informasi laporan kelulusan seperti pada Gambar 62.
172
Gambar 62.
Laporan Kelulusan Memenuhi Kuota
Gambar 62 menunjukkan laporan kelulusan yang terdiri atas inisialisasi
menggunakan tiga soal, model menggunakan Rasch, metode menggunakan
Futsuhilow, penyajian butir soal menggunakan proporsioanl. Semua record tadi
di-input oleh Admin saat sebelum ujian dilaksanakan namun pada saat pelaporan,
data record tadi dipilih oleh Pimpinan. Selanjutnya, skor minimum dan kuota
maksimum sebagai syarat kelulusan ditetapkan oleh Pimpinan. Hasil pembobotan
yang telah dilakukan pada Gambar 59, 60, dan 61 dilanjutkan dengan menetapkan
skor minimum 100 dan kuota maksimum 5 memberikan informasi laporan
kelulusan kepada peserta tes, pimpinan, pengajar, dan wali peserta tes. Informasi
tersebut dapat dicetak secara online oleh user. Informasi pelaporan kelulusan
tersebut menunjukkan bahwa masih ada peserta tes yang mempunyai skor di atas
100 namun kuota yang dibutuhkan sudah terpenuhi sehingga peserta tes yang
mempunyai skor tersebut tidak lulus. Sebaliknya boleh jadi kuota masih ada
namun skor minimum yang ditetapkan sudah terpenuhi seperti pada Gambar 63.
Gambar tersebut menunjukkan Pimpinan menetapkan skor minimum 128 dan
173
kuota maksimum 10. Laporan kelulusan menunjukkan kriteria skor minimum
yang lebih dahulu terpenuhi walaupun jatah kelulusan masih ada sebanyak 5
peserta tes.
Gambar 63.
Laporan Kelulusan Memenuhi Skor Minimun
C. Revisi Produk
Berdasarkan hasil validasi dari para expert yang telah dijelaskan pada bagian
A.5, maka dilakukan revisi produk sebagai berikut.
1. Inisialisasi Kemampuan
Pemberian soal pertama kepada peserta tes berdasarkan inisialisasi
kemampuan. Ada berbagai cara menentukan inisialisasi kemampuan peserta tes.
Rancangan awal produk CerdasCAT menggunakan inisialisasi kemampuan sama
174
dengan nol karena nilai tersebut merupakan nilai tengah dari rentang kemampuan dari
[-4,4]. Cara tersebut benar secara statistik namun setiap peserta tes merespon butir
soal pertama yang sama atau berpeluang 100%, butir soal kedua berpeluang 50%,
butir soal ketiga berpeluang 25%, dan seterusnya.
Berdasarkan hal tersebut, peluang peserta tes merespon butir yang sama
terbuka lebar. Butir soal dengan tingkat kesukaran di sekitar nilai tengah atau nol dari
rentang [-4,4] di bank soal mempunyai tingkat kemunculan sangat tinggi sehingga
soal tersebut menurun tingkat kerahasiaannya. Jika hal tersebut terjadi maka
berpeluang butir soal tidak berfungsi secara optimal mengukur kemampuan peserta
tes secara akurat. Oleh karena itu, pemberian butir soal menggunakan satu titik
tumpuan yang sama untuk semua peserta tes dalam satu ujian perlu direvisi dengan
menggunakan titik tumpuan yang berbeda. Adapun model awal inisialisasi
kemampuan peserta tes dengan titik tengah kemampuan sama dengan nol pada model
CAT ditunjukkan oleh flow chart pada Gambar 64 (a).
Berdasarkan hal tersebut, inisialisasi kemampuan peserta tes direvisi dengan
tiga butir soal sebagai inisialisasi kemampuan. Tiga butir soal tersebut akan membagi
kemampuan peserta tes menjadi beberapa kategori, yakni sangat tinggi, tinggi,
sedang, rendah, dan sangat rendah. Hal tersebut menunjukkan peluang peserta tes
merespon butir soal yang sama menjadi semakin rendah sehingga tingkat kemunculan
butir soal tertentu dalam suatu ujian semakin rendah walaupun jumlah butir soal di
bank soal berkurang tiga butir. Jumlah butir tersebut tidak signifikan pada bank butir
soal besar. Adapun model revisi akhir inisialisasi kemampuan peserta tes pada model
CAT ditunjukkan oleh flow chart pada Gambar 64 (b).
175
Rentang
Kemampuan
Peserta Tes
[-4,4]
Mulai
Titik Tengah
Kemampuan
0
Peserta tes
Stop
Peluang Tingkat
Kesukaran sama
100%
Peluang Tingkat
Kesukaran sama
50%
Peluang Tingkat
Kesukaran sama
25%
Mulai
Peserta tes
Tiga Butir Soal
(1,2,3)
{1,2,3}
Benar?Theta= 3
{1,3},{2,3},{3}
Benar?Theta= 2
{1,2},{2}
Benar?
{1}
Benar?
{ }
Stop
Theta= 0
Theta= -2
Theta= -3
Y
T
Y
Y
Y
Y
T
T
T
(a) (b)
Gambar 64.
Inisialiasi Kemampuan Sebelum Revisi (a) dan Sesudah Revisi (b)
2. Model Prototipe dan Full Release
Rancangan pertama model CAT berdasarkan model prototipe agar pelaporan
hasil ujian peserta tes lebih cepat. Produk prototipe merupakan produk yang sudah
176
running dengan tampilan seperti hasil akhir, namun belum memiliki koneksi ke basis
data. Produk yang tidak didukung oleh basis data hanya sebatas model rancangan dan
sudah lama ditinggalkan oleh pengembang. Produk prototipe mengalami keterbatasan
simulasi dengan data riil dari bank soal apalagi jika model tersebut diujicobakan di
sekolah. Adapun model prototipe sebagai model awal CAT ditunjukkan pada
Gambar 65.
Peserta Test
Tomcat Web Server
Pengajar
Admin
AJAX Engine
Web Container
Java
Web Browser
JavaScript HTML
Internet
Pimpinan Wali Peserta Tes
Gambar 65.
Model Prototipe pada Model CAT
Selanjutnya, model prototipe akan menjadi beban bagi pengembang untuk
melanjutkan jika tidak punya tim untuk bekerjasama. Oleh karena itu, produk
CerdasCAT direvisi sehingga menjadi model full release dimana model CAT
177
dihubungkan dengan database yakni MySQL Database Server sebagai bank soal
produk CerdasCAT seperti pada Gambar 66.
Peserta Test
Tomcat Web Server
MySQL Database Server
Pengajar
Admin
AJAX Engine
Web Container
Java
Web Browser
JavaScript HTML
Internet
Pimpinan Wali Peserta Tes
Gambar 66.
Model Full Release pada Produk CerdasCAT
3. Metode High Low ke Metode Fuzzy + High Low
Metode high low merupakan metode praktis, yakni peserta tes merespon butir
soal dengan aturan jika peserta tes merespon salah maka tingkat kesukaran diturunkan
0,2 atau lebih namun jika peserta tes merespon benar maka tingkat kesukaran
dinaikkan 0,1 atau lebih. Naik turun tingkat kesukaran butir soal tersebut
178
mempengaruhi pemberian soal berikutnya. Jika peserta tes menjawab benar salah
secara terus menerus maka pemberian butir soal monoton. Demikian halnya, jika
peserta tes menjawab benar semua atau salah semua maka skor peserta tes divergen
positif atau negatif (Rukli, 2010). Model awal pencarian butir soal dengan metode
high low ditunjukkan pada Gambar 67.
b
b-0,2-0,2<=
b-0,2<=
b+0,1>=
B
S
b+0,1-0,2<=
b-0,2+0,1>=
B
S
B
S
b+0,1+0,1>=
Gambar 67.
Pencarian Butir Soal dengan Metode High Low
Sebaliknya, jika pencarian butir soal menggunakan aturan metode fuzzy
dengan membagi variabel fuzzy dalam beberapa himpunan fuzzy. Hal tersebut
berpengaruh terhadap soal berikutnya yang lebih dinamis bergantung metode yang
digunakan dalam mengelola basis pengetahuan selanjutnya dan skor divergen positif
dan negatif tidak terjadi. Selanjutnya, agar lebih cepat dalam melakukan pencarian
butir soal adaptif terhadap kemampuan peserta tes maka metode fuzzy diakselerasi
oleh metode high low. Pencarian butir soal dengan metode fuzzy diakselerasi oleh
metode high low pada Gambar 68. Pertama-tama peserta tes merespon butir soal
dengan tingkat kesukaran b kemudian menghitung nilai theta dengan metode fuzzy
yang terpilih. Jika butir soal tersebut direspon benar maka dinaikkan 0,1 atau lebih
179
sebaliknya jika butir soal tersebut direspon salah maka diturunkan 0,2 atau lebih. Hal
tersebut dilakukan secara siklus sampai penaksiran konvergen.
b
Fuzzifikasi
Metode Fuzzy
Defuzzifikasi
Theta
b-0,2<=b+0,1>= Y TBenar
Fuzzifikasi
Metode Fuzzy
Defuzzifikasi
Theta
Fuzzifikasi
Metode Fuzzy
Defuzzifikasi
Theta
Benar? Benar?
Gambar 68.
Metode Fuzzy Diakselerasi oleh Metode High Low
4. Penambahan tiga metode pada Model CAT
Produk CAT sudah banyak dibuat bahkan digunakan secara online namun masih
sebatas menggunakan satu metode penyajian butir soal bagi peserta tes. Produk
tersebut hanya sebatas tempat melakukan ujian peserta tes dan tidak tersedia pilihan
lain. Selanjutnya, model CAT tersebut mengalami keterbatasan dalam melakukan
180
kajian-kajian ilmiah misalnya simulasi distribusi butir soal terhadap suatu metode.
Peserta tes mengambil ujian dengan login dan verifikasi nomor peserta, selanjutnya
ujian dengan menggunakan metode untuk mendapatkan theta dan selesai. Hasil
tersebut memberikan data kepada user namun data tersebut kurang bermakna dalam
melakukan analisis lebih lanjut dalam model CAT. Model CAT dengan satu metode
ditunjukkan pada Gambar 69 (a).
Peserta Tes
Password/
Username/Nomor
Peserta
Statistik
Theta
Mulai
Stop
Peserta Tes
Password/
Username/Nomor
Peserta
Fumahilow
Kriteria
Mulai
Futsuhilow Fusuhilow
Theta
Stop
(a) (b)
Gambar 69.
Model CAT Satu Metode (a) dan Tiga Metode (b)
Pengembangan produk berbasis teknologi informasi semakin memanjakan
user dimana user diberi pilihan menu-menu penting pada produk tersebut. Produk
dengan tiga metode penyajian soal akan memberikan pilihan metode yang sesuai
dengan kepentingannya kepada user. Model CAT dengan tiga metode ditunjukkan
pada Gambar 69 (b). Peserta tes melakukan login dan verifikasi nomor peserta.
181
Peserta tes mengambil ujian yang telah ditetapkan user sesuai preferensinya dengan
kriteria yang ada dari masing-masing metode. Hasil tersebut memuaskan user dan
ketepatan tujuan yang ingin dicapai akan lebih maksimal sesuai dengan kelebihan dan
kelemahan tiap metode. Selanjutnya, model CAT dengan tiga metode menjadi bahan
kajian bagi peneliti dalam melakukan perbandingan terhadap dua atau tiga metode.
Artinya, produk CerdasCAT bukan hanya sebagai alat untuk ujian namun dapat
dipakai sebagai alat untuk melakukan penelitian atau pengembangan produk lebih
lanjut.
5. Output data menjadi output data sekaligus informasi
Produk CAT yang ada sekarang pada umumnya mempunyai mekanisme
runitas yang sama, yakni butir soal dimasukkan di dalam bank butir soal, butir soal
direspon peserta tes secara adaptif, dan hasil ujian berupa data kemampuan peserta tes
diperoleh user. Mekanisme tersebut hampir sama dengan ujian P&P dengan dua
perbedaan yakni menggunakan media komputer dan pemberian butir soal secara
adaptif. Model CAT menghasilkan output data kemampuan peserta tes pada Gambar
70 (a).
Dalam sistem cerdas, output diperoleh user bukan hanya data yakni data
kemampuan peserta tes namun data sekaligus informasi. Penambahan fitur DSS pada
produk CerdasCAT memberikan data kemampuan peserta tes sekaligus informasi
pelaporan kelulusan peserta tes berdasarkan data kemampuan peserta tes. Hal
tersebut menjadi lebih relevan meningkatkan efektifitas kegiatan user dengan
preferensi masing-masing sesuai kebutuhan yang lebih akurat, cepat, dan relevan.
Model CAT menghasilkan data kemampuan peserta tes dan informasi kelulusan
peserta pada Gambar 70 (b).
182
Peserta Tes
Mulai
Theta
Stop
User
Peserta Tes
Mulai
Theta
Stop
Informasi
Laporan Kelulusan
Decision Support
System
Data Hasil
Ujian
User
(a) (b)
Gambar 70.
Model CAT Menghasilkan Data (a) dan Informasi (b)
6. Fungsi informasi butir ke tingkat kesukaran butir
Beberapa produk menggunakan fungsi informasi butir sebagai dasar dalam
memilih butir soal berikutnya. Jika pemberian butir soal menggunakan fungsi
informasi butir soal maka pemberian butir soal selanjutnya ditentukan oleh nilai
fungsi informasi maksimal kemampuan peserta tes saat ini. Fungsi informasi butir
maksimal dapat diartikan bahwa butir soal menaksir parameter kemampuan peserta
tes secara maksimal. Artinya, butir soal yang mengungkap kemampuan peserta secara
maksimal merupakan butir yang baik dalam mengukur kemampuan peserta tes secara
akurat.
183
Secara teori, fungsi informasi butir paling baik digunakan sebagai dasar
pemberian soal berikutnya. Namun, secara praktek fungsi informasi butir mengalami
kendala, yakni pencarian butir soal yang mempunyai fungsi informasi maksimal
mensyaratkan kemampuan peserta tes di_update terus menerus selama ujian. Hal
tersebut akan memberi beban besar kepada komputer dan server sehingga lebih
lambat menampilkan soal berikutnya. Hal tersebut semakin lambat seiring
bertambah besar jumlah butir soal dalam bank soal. Pemberian butir soal dengan fungsi
informasi butir soal ditunjukkan pada Gambar 71 (a).
Mulai
Theta
Fungsi Informasi
Butir Maksimum
Theta Baru
FIBM sesuai
Theta?
Stop
Hitung FIBM
di Bank Soal
Y
T
Mulai
Theta
Theta Baru
b sesuai theta?
Stop
Cari b di Bank
Soal
Y
T
(a) (b)
Gambar 71
Fungsi Informasi (a) dan Tingkat Kesukaran (b)
184
Sebaliknya, secara teori tingkat kesulitan butir soal mempunyai dasar yang
kokoh sebagai dasar pemberian butir soal selanjutnya yakni tingkat kesulitan butir
soal mempunyai skala yang sama dengan tingkat kemampuan peserta tes. Hal
tersebut lebih mudah dipahami jika dikaitkan model Rasch dimana peluang tebakan
sama dengan nol dan daya beda sama dengan satu. Selanjutnya secara praktik, tingkat
kesukaran butir soal akan lebih mudah di_rietrival sesuai kemampuan peserta tes saat
ini, karena untuk mencari tingkat kesukaran butir soal yang sesuai tidak perlu proses
komputasi namun hanya proses pencarian yang sudah tersedia di bank soal.
Pemberian butir soal dengan tingkat kesukaran butir ditunjukkan pada Gambar 71 (b).
D. Kajian Produk Akhir
Pengembangan produk CerdasCAT melalui beberapa tahap rancangan,
implementasi, dan pengujian. Produk tersebut dapat digunakan sebagai salah satu
alternatif media pengujian adaptif berbasis komputer. Kajian produk akhir sebagai
pengenalan dan pendalalaman proses aturan bisnis produk CerdasCAT dilakukan
melalui kajian proses sebagai berikut.
1. Kajian proses update pengguna
Pengguna atau aktor pada produk CerdasCAT yakni Admin, pimpinan peserta
tes, pengajar, dan wali peserta tes. Admin sebagai pengendali utama dalam setiap
sistem mempunyai hak untuk melakukan update data pengguna berupa menghapus
atau mengganti. Data pengguna yang sudah dihapus oleh Admin, pengguna tersebut
tidak dapat mengakses data sesuai dengan perannya, dan jika data pengguna diganti
maka boleh jadi ada bagian tertentu yang merupakan kewenangannya tidak bisa
diakses. Kegiatan Admin meng_update Admin dengan memilih kelola pengguna lalu
185
memilih Admin sehingga tampil halaman daftar Admin yang terdiri nomor urutan,
username, dan aksi seperti Gambar 72. Data Admin dapat ditambah dengan memilih
Tambah Data bagian atas kiri halaman daftar Admin sehingga tampil halaman form
Admin yang sudah berisi username dengan Admin2 dan password dengan Admin2
seperti Gambar 73. Data tersebut dapat disimpan dengan klik simpan atau dibatalkan
dengan klik batal.
Gambar 72.
Halaman Daftar Admin
Gambar 73.
Halaman Form Admin
186
Kegiatan Admin meng_update pimpinan dengan pilihan kelola pengguna lalu
pimpinan maka tampil halaman daftar pimpinan yang terdiri nomor urutan,
username, peran, dan aksi seperti Gambar 74. Data pimpinan dapat ditambah dengan
memilih Tambah Data bagian atas kiri halaman daftar pimpinan sehingga tampil
halaman form input pimpinan yang sudah berisi username dengan Moh. Adli Akbar
dan password dengan adli seperti Gambar 75. Data tersebut dapat disimpan dengan
klik simpan dan dibatalkan dengan klik batal.
Gambar 74.
Halaman Daftar Pimpinan
Gambar 75.
Halaman Input Pimpinan
187
Khusus pengguna pengajar cara meng_update sama dengan pengguna
pimpinan. Update pengguna peserta tes diuraikan lebih lanjut pada bagian kajian
proses peserta tes mengambil ujian. Update pengguna wali peserta tes diuraikan lebih
lanjut pada bagian kajian proses wali peserta tes mencetak hasil peserta tes walinya.
2. Kajian proses domain dan skl dalam content balancing
Domain dan skl ditetapkan secara dinamis oleh Admin dimana domain
memiliki satu atau lebih skl. Artinya, domain dan skl dapat diupdate sehingga domain
dapat berubah menjadi skl sesuai kebutuhan. Satu domain dapat mempunyai satu skl
saja atau skl berubah menjadi content areas misalnya aritmetika, aljabar, atau
geometri sesuai dengan ruang lingkup konsep komponen dominan suatu tes.
Walaupun tes memenuhi unidimensi atau dominan namun memiliki unique content
areas namun memiliki content areas berbeda.
Produk CerdasCAT menghandel konsep unidimensi atau dominan jika kedua
konsep tersebut dibedakan walaupun unidimensi suatu tes bersifat teoritis.
Unidimensi hanya satu dimensi sesuai dengan model pengukuran bersifat
deterministik namun dapat diperlunak dengan istilah dominan yakni beberapa
dimensi mengumpul seperti dalam konsep analisis faktor (Hambleton, et al. 1991).
Jika istilah unidimesi suatu tes digunakan dalam produk CerdasCAT maka Admin
dapat menetapkan satu domain memiliki satu skl atau content area. Jika Admin
menggunakan istilah dominan maka satu domain dapat memiliki satu atau lebih
content area namun tetap mengacu pada istilah dominan untuk menghandel content
balancing. Konsep terakhir kelihatannya tidak konsisten secara konsep untuk
mengakomodasi dari istilah unidimensi secara tegas, walaupun demikian konsep
terakhir lebih dapat diaplikasikan karena tidak ada tes secara tepat berdimensi satu
188
dalam mengukur suatu trait atau single ability peserta tes. Istilah tidak konsisten lebih
tepat diganti istilah lemah dalam mencapai unidimensi. Oleh karena itu, dominan
sebagai pelunakan dari unidimensi dapat diterapkan dalam produk CerdasCAT sesuai
ruang lingkup bank soal. Bagan asal butir soal dan spesifikasi bank soal CerdasCAT
pada Gambar 76 memperlihatkan semakin kearah kiri semakin spesifik content area
sehingga semakin kabur batas antar komponen.
Domain
240 Soal
Bilangan
87 Soal
Koordinat
5 Soal
Bangun
67 Soal
Ukuran
61 Soal
Data
20 Soal
Waktu
Panjang
Berat
Luas
Valume
Indikator1
Indikator2
Indikator3
Indikator4
Paket3
(2010)
Paket1
(2008)
Paket1
(2010)
Paket3
(2009)
Paket2
(2009)
Paket2
(2010)
Paket1
(2009)
Gambar 76.
Spesifikasi Bank Soal CerdasCAT
Selanjutnya, Admin dapat melakukan update bank soal secara dinamis seperti
Gambar 77.
189
Gambar 77.
Update Dinamis Bank Soal CerdasCAT
Lebih lanjut, arsitektur contets balancing dalam produk CerdasCAT terdapat
pada Gambar78 inisialisasi kemampuan (butir soal pertama menggunakan tingkat
kesukaran butir soal yang paling dekat di bawah inisialisasi kemampuan tiap peserta
tes) menjadi skala prioritas utama dalam pemilihan butir soal, kemudian SKL atau
contets area, lalu tingkat kesukaran. Misalkan, terdapat empat content area yakni
CA1, CA2, CA3, dan CA4 sedangkan peserta tes mempunyai inisialisasi kemampuan
sangat tinggi dengan pendekatan komponen dominan sehingga dapat didekati dengan
konsep fuzzy, dan andaikan peserta tes tersebut merespon butir soal sebanyak 12 butir
maka setiap content area mempunyai 3 butir soal. Hal tersebut menunjukkan bahwa
produk CerdasCAT mengakomodasi content balancing. Sebaliknya, jika tes tersebut
’unidimensi’ maka peserta tes dapat mengambil ujian tanpa memperhatikan contets
area. Andaikan peserta tes merespon butir 12 butir soal maka peserta tes tersebut
190
merespon butir soal sebanyak 12 butir dalam tes tersebut. Dalam hal ini, unidimensi
dapat di_update menjadi SKL atau content area atau lebih spesifik lagi.
Mulai
Model Rasch
Polytomous
Dimensi Tes
Unidimensi? Dominan? MultidimensionalT T
Y
Tiga
Butir
Soal
Stop
Respon Butir
Konsep
Fuzzy
Y
Y
TSesuai
Konsep Fuzzy?
Y
Y
Sangat Tinggi
CA1
Sangat
Rendah
Rendah
Sedang
Tinggi
Konvergen
CA4CA3CA2
Konvergen
Konvergen
Konvergen
Konvergen
Tiga
Butir
Soal
Stop
Sangat Tinggi
Sangat
Rendah
Rendah
Sedang
Tinggi
Konvergen
Konvergen
Konvergen
Konvergen
Konvergen
Respon Butir
Contents Area
Skala Prioritas
Gambar 78.
Arsitektur Contets Balancing
191
3. Kajian proses input butir soal
Input butir soal dilakukan oleh pengajar. Pengajar mengklik pilihan Kelola
Soal di bagian paling atas sebelah kanan halaman Pengajar sehingga halaman daftar
soal ditampilkan seperti Gambar 79. Halaman daftar soal memuat informasi butir
soal yang terdiri nama domain butir soal, tingkat kesukaran, SKL, gambar soal dalam
bentuk image, aksi yang terdiri atas hapus atau ubah. Tombol ubah merupakan
kewenangan pengajar untuk update butir soal sedangkan tombol hapus untuk hapus
butir soal.
Gambar 79.
Halaman Daftar Soal
192
Gambar 80.
Form Memasukkan Butir Soal
Jika Tambah Data di klik pada Gambar 79 maka halaman Form Input Soal
ditampilkan seperti pada Gambar 80. Butir soal tersebut dimasukkan oleh pengajar
untuk domain dan skl dimana butir tersebut berada disertai dengan kunci dan tingkat
kesukarannya. Selanjutnya, karakteristik tersebut diverifikasi kemudian soal tersebut
di-save dan dimasukkan di bank butir soal.
4. Kajian proses peserta tes mengambil ujian
Pengambilan ujian peserta tes melibatkan kegiatan aktor Admin. Pemilihan
tiga butir soal sebagai inisialisasi kemampuan dilakukan oleh Admin. Pemilihan
tersebut dilakukan secara dinamis pada setiap ujian untuk setiap SKL dalam satu
domain. Admin memilih tombol paket tiga butir soal di sebelah kanan sehingga tampil
193
halaman seperti Gambar 81. Gambar tersebut menunjukkan kolom pertama kaitan
tanggal penetapan paket butir soal, kolom kedua kaitan keterangan tentang domain,
sedangkan kolom aksi kaitan kegiatan aksi ubah atau hapus paket soal. Selanjutnya,
untuk menambah paket soal dapat dipilih tombol Tambah Data dipojok kiri atas. Jika
tombol tersebut diklik maka diperoleh halaman seperti Gambar 82.
Gambar 81.
Halaman Data Paket Soal
Gambar 82 menunjukkan form paket soal tiga butir yang terdiri tanggal, nama
paket yakni paket Bahasa Indonesia, dan waktu respon tiga butir yakni 9 menit.
Langkah selanjutnya, Admin memilih tiga butir soal yang dilengkapi informasi SKL,
tingkat kesukaran, dan gambar soal dalam bentuk image. Gambar tersebut dapat
dilihat dengan dua kali klik tombol Tampilkan. Proses selanjutnya, Admin
menyimpan tiga butir soal tersebut dengan memilih Simpan yang letaknya di sebelah
kiri paling atas halaman form paket soal tiga butir. Gambar 82 menunjukkan butir
nomor 2, 4 dan 6 yang terpilih sebagai butir soal untuk menginisialisasi kemampuan
peserta tes pada domain matematika. Dalam contoh tersebut, ketiga butir tersebut
berasal dari SKL bilangan dengan tingkat kesukaran yang tidak sama.
194
Gambar 82.
Form Paket Butir Soal Tiga Butir
Proses selanjutnya, Admin memasukkan identitas peserta tes ke form input
peserta tes seperti pada Gambar 83. Berdasarkan identitas tersebut, peserta tes dapat
melakukan log in ke produk CerdasCAT dengan memasukkan username dan
password . Selanjutnya, setelah identitas peserta tes diinput, Admin menetapkan tiga
butir soal pada form penentuan domain bagi peserta tes. Karena Moh. Habibi Akbar
hanya didaftar pada paket soal dengan domain matematika, bahasa Indonesia, dan
IPA saja sehingga hanya domain tersebut yang dicentang seperti pada Gambar 84.
195
Gambar 83.
Form Identitas Peserta Tes
Peserta tes melakukan log in dengan memasukkan username dan password
untuk membuka halaman verifikasi nomor peserta. Sebelum mengambil ujian pada
produk CerdasCAT, peserta tes melakukan verifikasi nomor peserta tes. Nomor
peserta tes bersifat unik dan wajib dimiliki oleh peserta tes. Verifikasi nomor peserta
dilakukan sampai nomor peserta sukses, namun untuk melakukan log in di lain waktu
tidak perlu melakukan verifikasi lagi selama nomor tersebut masih valid. Moh. Habibi
Akbar melakukan verifikasi nomor peserta seperti pada Gambar 85 dengan mengklik
tombol verifikasi.
196
Gambar 84.
Form Penentuan Domain Bagi Peserta Tes
Gambar 85.
Form Verifikasi Nomor Peserta Tes
Jika sukses melakukan verifikasi nomor ujian maka terbuka halaman pemilihan
domain soal yang akan diujikan seperti pada Gambar 86. Gambar tersebut
menunjukkan Moh. Habibi Akbar mengikuti ujian domain bahasa indonesia,
matematika, dan IPA sebagaimana rujukan Gambar 84. Moh. Habibi Akbar dapat
memilih secara bebas domain tersebut. Domain yang telah dikerjakan tidak aktif lagi
dan pindah ke domain lain, demikian seterusnya sampai semua pilihan domain habis.
197
Gambar 86.
Pilih Domain Soal
Gambar 87.
Peserta Tes Menjawab Benar Semua Tiga Butir Soal
198
Moh. Habibi Akbar merespon ketiga butir tersebut seperti pada Gambar 87
selama 9 menit. Jika ia menjawab semua butir dengan benar selama waktu tersebut
maka kemampuannya masuk dalam kategori sangat tinggi pada himpunan fuzzy
tingkat kemampuan yakni titik tengah himpunan fuzzy tersebut sebesar tiga seperti
Gambar 89. Misalnya, Moh. Habibi Akbar mengambil ujian dengan metode
Fumahilow maka pemilihan soal berikutnya bergantung pada mekanisme logika
pemberian pada metode tersebut. Moh. Habibi Akbar merespon butir soal pertama
dengan tingkat kesukaran 2,991 dimana nilai yang paling dekat di bawah tiga yang
ada di bank soal saat ini. Moh. Habibi Akbar merespon butir soal pertama seperti pada
Gambar 88. Butir soal tersebut dijawab salah sehingga diberikan soal yang lebih kecil.
Moh. Habibi Akbar merespon butir demi butir sampai butir ke 14 dimana
selisih SE sudah sama dengan 0,01, dan hasil ujian menunjukkan skor 90,496 seperti
pada Gambar 89. Kalau dlihat dari nilai SE = 0,495 lebih besar dari 0,43 yang
ditetapkan oleh Reshetar (Hambleton, et.al. 1991) menunjukkan adanya gejala
ketidakstabilan penaksiran. Namun hal tersebut kurang berarti jika dilihat dari segi
kemapanan keakuratan penaksiran parameter kemampuan. Hasil ujian tersebut dipakai
sebagai data dalam proses pelaporan kelulusan selanjutnya.
Gambar 88.
Pengerjaan Soal Pertama
199
Gambar 89.
Hasil Ujian pada Domain
200
Hasil ujian tersebut dapat dilihat dan dicetak oleh Moh. Habibi Akbar maupun wali
Moh. Habibi Akbar yakni Ati Dwi Septawati.
5. Kajian proses pelaporan kelulusan
Proses pelaporan kelulusan dilakukan oleh Pimpinan. Pimpinan melakukan
konfigurasi kelulusan, pembobotan SKL, pembobotan domain, dan pembobotan
kriteria penilaian. Konfigurasi kelulusan dilakukan oleh Pimpinan dengan penetapan
skor minimum sama dengan 120 dan kuota maksimum sama dengan tujuh.
Selanjutnya, Pimpinan menetapkan inisialisasi dengan tiga butir, model Rasch,
metode Fusuhilow, dan penyajian proporsional serta domain matematika. Kriteria ini
sebagai proses penjaringan peserta tes lulus yang akan diterima oleh Pimpinan.
Halaman konfigurasi kelulusan pada Gambar 90.
Gambar 90.
Halaman Konfigurasi Kelulusan
Setelah konfigurasi kelulusan ditetapkan, Pimpinan melakukan pembobotan SKL.
Oleh karena domain matematika saja dicentang pada Gambar 90 sehingga hanya
domain matematika beserta SKLnya ditampilkan pada Gambar 91. Jumlah
201
pembobotan SKL dalam satu domain harus 100% dimana SKL bangun sebesar
10%, bilangan 30%, data 20%, dan ukuran 40%.
Gambar 91.
Pembobotan SKL
Pimpinan melakukan pembobotan domain matematika seperti Gambar 92 sebesar
100%. Selanjutnya, pimpinan melakukan pembobotan SKL seperti Gambar 91,
lalu pembobotan kriteria penilaian seperti Gambar 93. Input penilaian ujian
sekolah, pengamatan, dan lain-lain dilakukan oleh pengajar untuk setiap peserta
tes sedangkan nilai domain diperoleh dari hasil ujian pada produk CerdasCAT.
Gambar 92.
Pembobotan Domain
202
Gambar 93.
Pembobotan Kriteria Penilaian
Gambar 94.
Informasi Laporan Kelulusan
203
Hasil pembobotan kriteria menjadi skor akhir setiap peserta tes yang
mengambil ujian saat ini pada metode tersebut. Selanjutnya, skor digunakan dalam
pengurutan berdasarkan kriteria alokasi maksimum dan kemampuan minimal seperti
pada Gambar 90. Hasil proses konfigurasi dan beberapa pembobotan yang sesuai
dengan preferensi Pimpinan menghasilkan informasi laporan kelulusan bagi user.
Informasi tersebut dapat dilihat atau dicetak oleh peserta tes, wali peserta tes,
pengajar, dan pimpinan seperti Gambar 94.
6. Kajian proses wali peserta tes mencetak hasil ujian walinya
Username dan password wali peserta tes ditetapkan oleh Admin. Admin
mencari peserta tes yang menjadi walinya seperti pada Gambar 95. Misalnya,
Islahuddin mempunyai username adalah Islahuddin dan password adalah uddin,
sedangkan yang menjadi peserta tes walinya adalah Kamel. Data tadi disave dan
dimasukkan ke tabel wali peserta tes.
Gambar 95.
Form Input Wali Peserta Tes
204
Islahuddin menggunakan username dan password tersebut untuk log in
sehingga dapat melihat dan mencetak hasil ujian Kamel tanpa melihat dan mencetak
hasil ujian peserta tes lain bukan walinya pada Gambar 96.
Nomor Peserta : 10100101001_006
Nama Peserta Test : Kamel A Islahuddin
Metode : Futsuhilow
Inisialisasi : Tiga Butir
Model : Rasch
Penyajian Soal : Proporsional
Nama Sekolah SDN 1 Lamappoloware
Matematika Cetak
No. ID Soal
SKL Theta Awal
b u SE Selisih
SE Theta Akhir
Skor Waktu
1 398 Bilangan 3 2.991 0 2 2 2.991 87.388 00:20
2 333 Ukuran 2.991 2.321 0 1.453 0.55 2.321 79.012 00:06
3 383 Bangun 2.321 2.109 0 1.178 0.28 2.109 76.362 00:05
4 288 Data 2.109 1.379 1 1.031 0.15 1.379 67.238 00:02
5 317 Bilangan 1.379 1.532 1 0.917 0.11 1.532 69.15 00:02
6 232 Ukuran 1.532 1.635 1 0.834 0.08 1.635 70.438 00:05
7 250 Bangun 1.635 1.772 1 0.77 0.06 1.772 72.15 00:06
8 386 Data 1.772 1.943 1 0.719 0.05 1.943 74.288 00:02
9 392 Bilangan 1.943 2.081 1 0.677 0.04 2.081 76.012 00:04
10 191 Ukuran 2.081 2.812 1 0.645 0.03 2.812 85.15 00:06
11 382 Bangun 2.812 3.091 0 0.614 0.03 3.091 88.638 00:02
12 351 Data 3.091 1.043 1 0.603 0.01 1.043 63.038 00:05
Gambar 96.
Hasil Ujian Peserta Tes Wali Islahuddin
205
7. Kajian Sistem Pengamanan Produk
Sistem pengamanan produk CerdasCAT berlapis sesuai dengan konsep
program java yang berorientasi objek. Setiap kelas mempunyai metode dan
atribut yang dapat dikhususkan hubungannya dengan kelas lain. Misalnya kelas
bersifat private merupakan kelas yang tidak dapat diakses oleh kelas lain baik
metode maupun atributnya. Sistem penyembunyian (encapsulation) metode dan
atribut memungkinkan data-data yang penting dapat disimpan dalam kelas
tersebut, misalnya karakteristik butir soal.
Setiap user harus login dengan memasukkan username dan password
sesuai dengan peran baru dapat masuk ke halaman selanjutnya. Pemberian
username dan password kepada user dikendalikan oleh top Admin. Top Admin
adalah admin di atas admin yang tidak dapat dihapus namun dapat menghapus
admin lain atau user lain.
Setiap user yang sukses melakukan konfirmasi username dan password
hanya dapat masuk ke halaman selanjutnya sesuai dengan perannya sehingga tidak
dapat mengambil aksi apapun di luar perannya. Hal tersebut memberi batasan
kepada penyusup (hacker) untuk masuk ke halaman lain kalau dapat mengenal
username dan password dari salah satu user. Username dan password yang telah
dihapus tidak dapat dipakai lagi oleh user bersangkutan sehingga hanya berlaku
pada saat itu saja, sedangkan sistem hanya aktif saat ujian berlangsung dapat
disetting berdasarkan jaringan yang digunakan.
Bank soal menggunakan produk Mysql dimana tingkat pengamanan data
soal dan kunci dibatasi akses bagi pengguna lain dengan membuat username dan
password tersendiri yang melekat dalam program di dalam kelas bersifat private
206
sehingga terdapat dua pintu pengamanan yakni username dan password di dalam
kelas bersifat private dan user hanya dapat masuk ke dalam basisdata jika
mengetahui username dan password . Username dan password dapat di_update
setiap waktu.
E. Diseminasi Hasil Penelitian
Hasil penelitian berhubungan dengan topik penelitian yang telah dan dalam
proses diseminasi sebagai berikut.
1. Prosedur Rancangan Tes Adaptif Berbasis Komputer, dipresentasikan pada
seminar Nasional Fakultas MIPA Universitas Negeri Semarang, Semarang, 2009.
Hasil penelitian tersebut memaparkan bagaimana merancang CAT dengan metode
berbasis objek sesuai dengan program java. Peserta seminar tersebut berasal dari
dosen perguruan tinggi dan guru dari seluruh Indonesia sedangkan pemakalah
berasal dari Belanda, BSNP, dan dosen serta guru.
2. Penerapan Model Logistik Satu Parameter pada Computerized Adaptive Testing
Ujian Masuk Perguruan Tinggi, dipresentasikan pada seminar Nasional HEPI,
Jakarta, 2010. Hasil penelitian tersebut mendemonstrasikan UniversiCAT dengan
model logistik satu parameter. Peserta seminar tersebut berasal dari berbagai
perguruan tinggi dan pengajar serta staf Puspendik sedangkan pemakalah berasal
dari BNSP, Wamen Kementerian Pendidikan Nasional, dosen, serta staf
Puspendik.
3. Aplikasi Computerized Adaptive Testing (CAT) pada ujian Seleksi Masuk
Perguruan Tinggi sebagai makalah poster session yang diselengarakan oleh Pusat
Penelitian Kebijakan dan Inovasi Pendidikan, Balitbang, Kemdiknas, Jakarta,
207
2010. Hasil penelitian tersebut mendemonstrasikan model CAT sebagai seleksi
ujian masuk PT. Peserta seminar tersebut berasal dari berbagai perguruan tinggi
dan pengajar dari PT dan instansi lain seluruh Indonesia.
4. Decision Support Sistem dalam Testing Adaptive dengan Metode High Low,
dipresentasikan pada Seminar Nasional Ilmu Komputer: General Approach on
Multidisciplinary Application diselenggarakan oleh Ilmu Komputer FMIPA UGM
bekerjasama dengan IndoCeiss, 2011. Hasil penelitian tersebut
mendemonstrasikan metode high low dalam menyajikan butir soal pada aplikasi
UniversiCAT. Peserta seminar tersebut berasal dari berbagai perguruan tinggi dan
pemerhati IT seluruh Indonesia sedangkan pemakalah berasal staf DIKTI, dosen
serta praktisi IT dari berbagai PT.
5. Penerapan Sistem Pendukung Keputusan dalam Sistem Pengujian Computerized
Adaptive Testing dalam Indonesian Journal of Computing and Cybernetics
Sistems (Indo Ceiss), Volume 5 No. 3, 2011. ISSN 1978-1520. Hasil penelitian
tersebut menguraikan perancangan dan penerapan Decision Support System
dalam CAT .
6. Studi Simulasi Menggunakan Fuzzy C-Means dalam mengklasifikasi Konstruk
Tes dalam jurnal Penelitian dan Evaluasi Pendidikan, Tahun 15, Nomor 1, 2011
ISSN 1410-4725. Akreditasi No. 64a/DIKTI/Kep/2010. Hasil penelitian
memaparkan secara simulasi menggunakan Fuzzy C-Means dalam
mengklasifikasi konstruk Tes. Data simulasi dibangkitkan lewat program
208
Microsoft Excel 2007 dengan respon dikotomi dan politomi. Data tersebut di
analisis dengan program SPSS dan program Matlab. Hasil kedua program tersebut
dibandingkan hasilnya untuk mendapatkan kelebihan metode fuzzy C-Means. Hasil
penelitian menunjukkan metode fuzzy C-Means lebih luwes dalam menafsirkan
pola kecenderungan pengelompokan komponen jika jumlah butir soal sekitar 30
butir.
7. Examinees Response Test Pattern Simulation-Based Adaptive Computer Using
Fuzzy Reasoning Tsukamoto, dipresentasikan pada Internasional Conference and
Call for Paper (ICCP) yang diselenggarakan oleh ILP2MI dan UKM Penelitian
Universitas Negeri Yogyakarta, 2012. Peserta seminar berasal dari praktisi dan
dosen serta mahasiswa dari dalam dan luar negeri sedangkan pemakalah berasal
dari praktisi dan dosen dalam dan luar negeri.
8. Simulasi Pola Inisialisasi Kemampuan dengan Metode fuzzy Tsukamoto dalam
Mengidentifikasi Cheating. Seminar Nasional diselenggarakan Program
Pascasarjana UNY bekerjasama HEPI Yogyakarta, tanggal 12 Mei, 2012 di
Univeristas Negeri Yogyakarta. Hasil penelitian menunjukkan metode fuzzy
Tsukamoto dapat mengeliminasi cheating dengan simulasi pola inisialisasi dan dua
pola respon. Peserta seminar berasal dari dosen dan mahasiswa serta praktisi
pendidikan dan penguruan dari berbagai PT sedangkan pemakalah berasal dari
dosen, staf DIKTI, BSNP, dan mahaisiswa Pascasarjana dari berbagai PT di
Indonesia.
209
9. Pengembangan Computerized Adaptive Testing dengan metode Fusuhilow.
Penelitian sebagai pemenang kompetisi hibah doktor 2011. Hasil penelitian ini
sebagai bagian dari penelitian disertasi menunjukkan bahwa metode Fusuhilow
dapat menyajikan butir soal secara adptif terhadap kemampuan peserta tes secara
maksimal.
10. Pengembangan Computerized Adaptive Testing dengan metode Futsuhilow,
Fusuhilow, dan Fumahilow sebagai makalah ringkasan dari disertasi. Makalah
tersebut disajikan pada seminar berkala Program Studi Penelitian dan Evaluasi
Pendidikan Program Pascasarjana Universitas Negeri Yogyakarta pada tanggal 28
Mei 2012. Seminar tersebut dihadiri oleh civitas akademika Program Studi
Penelitian dan Evaluasi Pendidikan.
210
BAB V
SIMPULAN DAN SARAN
A. Simpulan
Berdasarkan hasil analisis dan pembahasan pengembangan produk
CerdasCAT, maka dilakukan simpulan penelitian sebagai berikut.
1. Hasil simulasi menunjukkan bahwa CerdasCAT memenuhi aturan fuzzy ketiga
metode dalam penyajian butir soal kepada peserta tes dengan memperhatikan
panjang tes, tingkat exposure butir soal, dan galat baku penaksiran parameter
kemampuan.
2. Hasil uji coba one to one menunjukkan bahwa ketersediaan tingkat kesukaran
butir soal dalam bank soal bersesuaian dengan cakupan kemampuan peserta tes
pada rentang [-4,4].
3. Hasil uji coba one to one menunjukkan bahwa sikap user terhadap CerdasCAT
termasuk tinggi.
4. CerdasCAT dapat menyajikan butir soal adaptif terhadap kemampuan peserta tes
secara optimal dengan metode Futsuhilow, Fusuhilow, dan Fumahilow.
5. Rerata jumlah butir soal paling kecil yang direspon peserta tes sampai penaksiran
konvergen sebanyak 14 butir pada metode Fusuhilow kemudian metode
Fumahilow dan terakhir metode Futsuhilow.
6. Tingkat exposure butir soal yang paling sedikit terdapat pada metode Fumahilow
kemudian metode Fusuhilow dan terakhir metode Futsuhilow.
7. Rerata galat baku penaksiran parameter kemampuan paling kecil sebesar 0,818
terdapat pada metode Futsuhilow kemudian metode Fumahilow dan terakhir
metode Fusuhilow.
211
8. Rerata waktu respon butir soal yang paling pendek selama 1 menit 17 detik
terdapat pada metode Futsuhilow kemudian metode Fusuhilow dan terakhir
metode Fumahilow.
9. CerdasCAT menghasilkan keluaran data kemampuan peserta tes. Pengolahan data
tersebut menggunakan prosedur DSS yakni pembobotan SKL, pembobotan
domain, dan pembobotan kriteria penilaian dalam batasan kuota maksimum dan
skor minimum.
10. DSS dalam CerdasCAT dapat memberikan informasi laporan kelulusan sesuai
preferensi user.
B. Keterbatasan Penelitian
Hasil penelitian berupa produk CerdasCAT mempunyai beberapa keterbatasan
pengembangan sebagai berikut.
1. Desain CerdasCAT menggunakan model Rasch dikotomous sesuai dengan
pengskoran bentuk soal pilihan ganda.
2. Butir soal audio, video, dan animasi tidak tersedia di CerdasCAT.
3. Analisis data respon UN SD menggunakan program Bilog-MG sehingga analisis
butir soal tidak menyatu dengan CerdasCAT.
4. Karakteristik butir soal mengukur kemampuan peserta tes melibatkan tingkat
kesukaran butir soal sedangkan daya beda ditetapkan sama dan peluang tebakan
ditetapkan nol.
5. CerdasCAT dirancang berbasis web namun uji coba one to one dan terbatas berbasis
desktop sehingga informasi mengenai kelebihan dan kekurangan web tidak ada.
212
6. Data user di_input oleh Admin satu persatu demikian halnya butir soal di_input
oleh Pengajar satu persatu sehingga waktu input data cukup lama jika data
tersebut banyak.
C. Saran Pemanfaatan dan Pengembangan Produk Lebih Lanjut
Hasil penelitian ini memberikan saran-saran pemanfaatan dan pengembangan
produk lebih lanjut sebagai berikut.
1. Butir soal bersesuaian kemampuan peserta tes berdasarkan tingkat kesukaran butir
soal sedangkan daya beda dan peluang tebakan butir tidak diperhatikan. Oleh
karena itu, dalam penelitian selanjutnya dapat menggunakan dua atau tiga
parameter dalam penentuan butir soal yang cocok dengan kemampuan peserta tes.
2. Setiap metode mempunyai kelebihan dan kekurangan dengan empat kriteria, yakni
panjang tes, tingkat exposure butir soal, galat baku penaksiran parameter
kemampuan, dan waktu respon butir soal. Oleh karena itu, disarankan untuk
penelitian lanjutan menggunakan simulasi karakteristik butir soal pada bank soal.
Misalnya, distribusi tingkar kesukaran butir soal juling ke kiri dibandingkan
distribusi tingkat kesukaran butir soal juling ke kanan pada bank butir soal
dengan empat kriteria tersebut.
3. Perpaduan metode fuzzy dan metode high low dalam menyajikan butir soal sesuai
kemampuan peserta lebih akurat sehingga disarankan untuk melakukan penelitian
lanjutan, misalnya metode jaringan syarat tiruan (anfis) atau metode heuristik
dalam bentuk sistim pakar.
4. CerdasCAT dapat diterapkan dalam sistem seleksi ujian masuk atau ujian
kelulusan, misalnya ujian tingkat nasional, lokal atau sekolah dengan memilih
metode sesuai dengan preferensi user.
213
5. CerdasCAT telah disimulasikan dengan data rill, diujicobakan secara one to one,
dan diujicobakan terbatas di sekolah. Selama ini sistim ujian masih menggunakan
P&P dengan banyak keluhan dari user. CerdasCAT dapat meminimalisir
kekurangan tersebut sehingga dapat dijadikan alternatif sistem pengujian sekarang
dan masa depan.
6. Model CAT yang ada saat ini hanya melibatkan satu metode, CerdasCAT
menawarkan tiga metode. Tiga metode tersebut dapat dibandingkan hasilnya
sesuai dengan kondisi riil di lapangan dan kondisi karakteristik bank butir soal.
Oleh karena itu, CerdasCAT dapat sebagai wadah untuk melakukan penelitian
lebih lanjut dengan pilihan spesifik, misalnya DSS.
D. Diseminasi
Hasil penelitian terkait dengan topik penelitian yang telah dan dalam proses
diseminasi sebagai berikut.
1. Prosedur Rancangan Tes Adaptif Berbasis Komputer, dipresentasikan pada
seminar Nasional Fakultas MIPA Universitas Negeri Semarang, Semarang, 2009.
2. Penerapan Model Logistik Satu Parameter pada Computerized Adaptive Testing
Ujian Masuk Perguruan Tinggi, dipresentasikan pada seminar Nasional HEPI,
Jakarta, 2010.
3. Aplikasi Computerized Adaptive Testing (CAT) pada ujian Seleksi Masuk
Perguruan Tinggi sebagai makalah poster session yang diselengarakan oleh Pusat
Penelitian Kebijakan dan Inovasi Pendidikan, Balitbang, Kemdiknas, Jakarta, 2010.
214
4. Decision Support System dalam Testing Adaptive dengan Metode High low,
dipresentasikan pada Seminar Nasional Ilmu Komputer: General Approach on
Multidisciplinary Application diselenggarakan oleh Ilmu Komputer FMIPA UGM
bekerjasama dengan IndoCeiss, 2011.
5. Penerapan Sistim Pendukung Keputusan dalam Sistim Pengujian Computerized
Adaptive Testing dalam Indonesian Journal of Computing and Cybernetics
Systems (Indo Ceiss), Volume 5 No. 3, 2011. ISSN 1978-1520.
6. Studi Simulasi Menggunakan Fuzzy C-Means dalam mengklasifikasi Konstruk
Tes dalam jurnal Penelitian dan Evaluasi Pendidikan, Tahun 15, Nomor 1, 2011
ISSN 1410-4725. Akreditasi No. 64a/DIKTI/Kep/2010.
7. Examinees Response Test Pattern Simulation-Based Adaptive Computer Using
Fuzzy Reasoning Tsukamoto, dipresentasikan pada Internasional Conference and
Call for Paper (ICCP) yang diselenggarakan oleh ILP2MI dan UKM Penelitian
Universitas Negeri Yogyakarta, 2012.
8. Simulasi Pola Inisialisasi Kemampuan dengan Metode fuzzy Tsukamoto dalam
Mengidentifikasi Cheating. Seminar Nasional diselenggarakan Program
Pascasarjana UNY bekerjasama HEPI Yogyakarta, 12 Mei, 2012.
9. Analisis Soal dengan Desain Group Wise Adative Testing. Tahap usulan ke Jurnal
Psikologi UGM, 2012.
10. Simulasi Pola Seleksi Dog Bone pada Computerized Adaptive Testing. Tahap
usulan ke seminar Nasional HEPI di Makassar, 2012.
11. Simulasi Pola Respon Peserta Tes Menggunakan Metode Fuzzy Sugeno. Tahap
usulan ke Jurnal IndoCeis, UGM, 2012.
215
E. Temuan Baru Hasil Penelitian
Temuan baru hasil penelitian berupa produk CerdasCAT dengan spesifikasi
sebagai berikut.
1. Menemukan pengembangan model CAT dengan metode fuzzy pada model Rasch.
2. Menemukan tiga metode baru dalam menyajikan butir soal adaptif terhadap
kemampuan peserta tes yakni metode Futsuhilow (perpaduan antara metode fuzzy
tsukamoto dengan metode high low), metode Fusuhilow (perpaduan antara metode
fuzzy Sugeno dengan metode high low), dan metode Fumahilow (perpaduan antara
metode fuzzy Mamdani dengan metode high low)
3. Model CAT pertama mempunyai tiga metode penyajian yang memberi peluang
kepada user dalam memilih metode yang sesuai dengan preferensinya.
4. Model CAT pertama yang memadukan DSS dengan model CAT berdasarkan model
Rasch sehingga menghasilkan informasi laporan kelulusan.
5. Model CAT pertama menghasilkan output kemampuan peserta tes, panjang tes,
tingkat exposure butir soal, galat baku penaksiran parameter kemampuan, dan
waktu respon butir soal dengan metode fuzzy dipadukan metode high low.
6. Buku panduan menggunakan produk CerdasCAT.
216
DAFTAR PUSTAKA
Abbass, H. A., Sarker, R. A., & Newton, C. S. (2002). Data mining: a heuristic
approach. Australia. Idea Group Publishing.
Agus Santoso. (2009). Computerized adaptive testing untuk pengukuran hasil belajar
mahasiswa univeristas terbuka. Disertasi doktor, tidak diterbitkan, Universitas
Negeri Yogyakarta, Yogyakarta.
Al-A’ali, M. (2007). Implementation of an improved adaptive testing theory.
Educational Technology & Society, 10(4), 80-94. Artikel. Diambil pada
tanggal 5 September 2009, dari http://www.ifets.info/journals/10_4/9.pdf.
Allen, M. J., & Yen, W. M. (1979). Introduction to measurement theory. Monterey,
CA: Brooks/Cole.
Anastasions, A. (2005). Adaptive orientation methods in computer adaptive testing.
Proceeding E-Learn World Conference on E-Learning in Corporate,
Government, Healthcare and Higher Education: AACE. Diambil pada tanggal
12 Juli 2009, dari http://www.education.ualberta.ca/ educ/psych/crame/
files/GushtaCSSE2003.pdf.
Antonio, G., & Gustavo, S. (2010). Fast defuzzification method based on centroid
estimation. Diambil pada tanggal 23 Juni 2010, dari http://prof.usb.ve/
gsanchez/articulos/382-088.pdf
Bojadziev, G. & Bojadziev, M. (2007). Fuzzy logic for business, finance, and
management. Singapura, World Scientific Publishing Co. Pte. Ltd
Chaowprapha Chuesathuchon dan Russell Waugh. (2010). Item banking and
Computerized Adaptive Testing with rasch measurement: An example for
primary Mathematics in thailand. Dalam russell Waugh (Eds) Applications
of Rasch Measurement in Education, New York. Nnova Science Publishers, inc.
Chen, D. J., Lai, A. F., & Mao, C. C. (2007). The analysis of response patterns on IRT
ability estimation methods in computerized adaptive test. Artikel. Seventh
IEEE International Conference on Advanced Learning Technologies . Artikel.
Diambil pada tanggal 5 Oktober 2009 dari http://csdl2.computer.org/comp/
proceedings /icalt/2007/2916/00/ 29160721.pdf.
Cheng, I., Shen, T., & Basu, A. (2008). An algorithm for automatic difficulty level
estimation of multimedia mathematical test items. Eighth IEEE International
Conference on Advanced Learning Technologies. Diambil pada tanggal 23
Oktober 2009, dari http://www.computer.org/portal/web/csdl/abs/proceedings
/icalt/ 2008/3167/00/3167a175abs.htm.
217
Corne, D. W., Oates, M. J., & Smith, G. D. (2000). Heuristic and Adaptive
Computation Techniques in Telecommunications: an Introduction. Dalam
Corne, D.W., Oates, M. J. & Smith, G. D (Eds.) Telecommunications
optimization: heuristic and adaptive techniques (pp.1-13). England: John
Wiley & Sons Ltd.
Cox, E. (1994). The fuzzy systems handbook: A practitioner’s guide to building,
using, and maintaining fuzzy systems. Massachusetts: Academic Press, Inc.
Djemari Mardapi. (1991). Penilaian unjuk kerja sebagai usaha meningkatkan
kemampuan sumber daya manusia. Pidato Dies Natalis XXXII IKIP
Yogyakarta, Yogyakarta.
Efrain T., Aronson, J. E., & Liang, T. P. (2001). Decision support sistem and
intelligent sistems. New Jersey: Pearson Education, Inc.
Feldt, L. S., & Brennan, R. L. (1989). Reliability. Dalam R. L. Linn (Eds.),
Educational measurement (pp. 105-146). New Work: Macmillan.
Fernando de Arriaga and Mohamed El Alami, (2006). Evaluation of a fuzzy intelligent
learning system. Diambil pada tanggal 17 Desember 2009, dari http://www.
uop. edu.jo/csit2006/vol2%20pdf/pg127.pdf.
Field, A. (2000). Discovering statistic using SPSS for windows: Advanced techniques
for beginner. London: Sage Publications Ltd.
Fisher, W. P. Jr. (2005). Meaningfulness, measurement and Item Response Theory
(IRT). Rasch Measurement Transactions, 19 (2), 1018-1020. Diambil pada
tanggal 25 Juli 2008, dari http://www.rasch.org/rmt/rmt192d.htm.
Georgiadou, E., Triantafillou, E., & Economides, A. A. (2006). Evaluation
parameters for computer-adaptive testing, British Journal of Educational
Technology Vol 37 No. 2, pp 261 – 278. Diambil pada tanggal 13 Januari 2009,
dari http://citeseerx.ist.psu.edu/viewdoc/download?doi= 10.1.1. 104.
2221&rep=rep 1 & type=pdf.
Guo, W. W., Li, L, D., & Whymark, G. (2009). Statistic and neural networks for
approaching nonlinier relations between wheat plantation and production in
Queensland of Australia. Artikel. Diambil pada tanggal 15 Oktober 2009, dari
http://portal.acm.org/citation.cfm?id=1488023.pdf.
Gushta, M. M. (2003). Standard setting issues in computerized adaptive testing.
Artikel. Diambil pada tanggal 12 Juli 2009, dari http://www.education.
ualberta.ca/ educ/psych/crame/files/GushtaCSSE2003.pdf.
Guzman, E., Conejo, R., & Garcia-Hervas, E. (2005). An authoring enviroment for
adaptive testing. Diambil pada tanggal 25 November 2009, dari
http://scholar.google.co.id/ scholar?q=An+ Authoring+ Environment+ for+
Adaptive+Testing&hl=Id &um= 1&ie= UTF-8 &o =scholar.
218
Hambleton, R. K. (1989). Principles and selected applications of item response
theory. Dalam R. L. Linn (Eds.), Educational Measurement (pp.147-200). New
York: Macmillan.
Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item
response theory. Newbury Park, CA: Sage.
Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and
applications. Boston: Kluwer.
Hambleton, R. K., Zaal, J. N., & Pieters. (1991). Computerized adaptive testing:
Theory, applications and standards. Dalam R.K.J. Zael (Eds.), Advances in
educational and psychological testing. Boston: Kluwer.
Haryanto. (2009). Pengembangan computerized adaptive testing (CAT) dengan
algoritma logika fuzzy. Disertasi doktor, tidak diterbitkan, Universitas Negeri
Yogyakarta, Yogyakarta.
Hatzigaidas, A., Papastergiou, A., Tryfon, G., et al. (2003). Adaptive student test
evaluation incorporating probabilities. Proceedings of the International
Conference on Theory and Applications of Mathematics and Informatics –
ICTAMI, Alba Iulia. Diambil pada tanggal 25 November 2009, dari http://emis.
impa. br/EMIS/ journals/AUA/ acta6/17_ ADAPTIVE%20 STUDENT
%20TEST_fin_8v.pdf.
Hossain, M.A., Madkour, A. A. M., Dahal, K. P., et al. (2004). Intelligent active
vibration control for a flexible beam system. Proceedings of the IEEE SMC
UK-RI Chapter Conference on Intelligent Cybernetic Systems September 7-8,
Londonderry, U.K. Diambil pada tanggal 8 November 2009, dari http://
www.epsrcham. org.uk/MCDS/MCDSPublications files/ E2-Hossain.pdf.
Hulin, L. H., Drasgow, F., & Parsons, C. K. (1983). Item response theory: Application
to psychological measurement. Homewood, IL: Thorsey Professional Series.
Jang, J. S. R., Sun, C. T., & Mizutani, E. (1997). Neuro-fuzzy and soft computing.
London: Prentice-Hall.
Jian Ma & Duanning Zhou. (2008). Fuzzy set approach to the assessment of student-
centered learning. Diambil pada tanggal 2 Desember 2009, dari
http://sclab.yonsei.ac.kr/ courses/09-AI /Papers/Fuzzy-Fuzzy.pdf.
Kolen, M. J., & Brennan, R. L. (2004). Test equating, scaling and linking: Methods
and practices (2nd ed.). New York: Springer-Verlag.
Lin, C. H., Chen, K. P., & Tsai, C. H, (2008). Modeling the examinee ability on the
computerized adaptive test using adaptive network-based fuzzy inference
system. IEEE Asia Pacific Computing Conference. Artikel. Diambil pada
tanggal 15 Oktober 2009, dari http://portal.acm.org/citation.cfm?id=
1488023.pdf.
219
Linacre J. M. (2005). Rasch dichotomous model vs. One-parameter Logistic Model.
Rasch Measurement Transactions, 19:3, 1032. Diambil pada tanggal 18 Mei
2010, dari http://www.rasch.org/rmt/rmt193h.htm.
________. (2000). Computer-adaptive testing: A methodology whose time has come.
Artikel. Diambil pada tanggal 17 Mei 2009, dari http://www.rasch.org/
memo69.pdf.
Lord, F. M. (1980). Applications of item response theory to practical testing problem.
Hillsdate, NJ: Lawrence Erlbaum Associates.
Martin, E. W., Brown, C. V., DeHayes, D., et al. (2005). Managing Information
Technology. 5th edition. Upper Saddle River, New Jersey: Prentice Hall, Inc.
Mead, R. J. (2008). A Rasch primer: the measurement theory of Georg Rasch.
Psychometrics services research memorandum 2008–001. Maple Grove, MN:
Data Recognition Corporation. Diambil pada tanggal 12 Juli 2010, dari
http://www.data recognitioncorp.com/Assets/Downloads/Rasch%20 Primrr
%20-%20Ronald %20Mead.pdf
McLeod, R. dan Schell, G. P. (2007). Management Information Sistems. 7th edition.
Upper Saddle River, New Jersey: Prentice Hall, Inc.
Mills, C.N., & Steffen, M. (2000). The gre computer adaptive test: Operational
issues. Dalam Linden W.J., & Glas, G.A.W. (Eds.). Computerized adaptive
testing: theory and practice. (pp. 75-99). Bonston, PA: Kluwer.
Mustafa Palancioglu and Kate Beard. (2005). Modeling moving objects and their
movements using fuzzy logic approach. Artikel. Diambil pada tanggal 15
Oktober 2009, dari http://www.gis.usu.edu/docs/protected/procs/asprs/ asprs
2001/ Proceed/00111.pdf.
O’Brien, J. A. (2005). Introduction to information systems, Twelfth Edition. New
York: The McGraw-Hill Companies Inc.
Olsen, J. B., Maynes, D. D., Slawson, D., et al. (1989). Comparison of
paperadministered, computer-administered and computerized adaptive
achievement tests. Journal of Educational Computing Research, 5, 311-326
Ossi Nykänen. (2006). Inducing Fuzzy Models for Student Classification. Diambil
pada tanggal 2 Juli 2009, dari http://www.ebiblioteka.lt/resursai/Uzsienio%20
leidiniai/ I EEE/ English/2006/Volume%209/Issue%202/Jets_v9i2_18.pdf.
Phankokkruad, M., & Woraratpanya W. (2008). Web service architecture for
computer-adaptive testing on e-learning. [Versi electronik]. Pwaset Vol. 36,
December 2008 ISSN 2070-3740.
220
______. (2008). An Automated decision system for computer adaptive testing using
genetic algotithms. Artikel. Diambil pada tanggal 5 Oktober 2009, dari
http://dspace.lib.fcu.edu.tw/bitstream/2377/ 3728/1/ ce07ics 00200
6000254.pdf.
Poo, D., Kiong, D., & Ashok S. (2008). Object-Oriented Programing and Java.
Springer. London.
Rosenberg, D., & Stephens, M. (2007). Use Case Driven Object Modeling with UML,
Theory and Practice, Springer-Verlag New York, Inc, New York.
Ross, T. J. (2004). Fuzzy logic with engineering applications (2rd ed.). England: John
Wiley & Sons Ltd.
Rukli. (1998). Galat baku penaksiran parameter butir tes Ebtanas SLTP pada mata
pelajaran matematika. Tesis magister, tidak diterbitkan, IKIP Yogyakarta,
Yogyakarta.
______.(2010). Penerapan model logistik satu parameter pada Computerized
Adaptive Testing ujian masuk Perguruan Tinggi. Prosiding Seminar Nasional
Himpunan Evaluasi dan Pendidikan Indonesia, Jakarta. ISBN 978-602-96343-
0-3. 93-108.
______(2010). Sistem pendukung keputusan dalam menentukan soal tes yang sesuai
dengan kemampuan peserta tes. Tesis magister, tidak diterbitkan, Universitas
Gadjah Mada, Yogyakarta.
______,(2011). Studi Simulasi Menggunakan Fuzzy C-Means dalam mengklasifikasi
Konstruk Tes. Jurnal Penelitian dan Evaluasi Pendidikan. ISSN 1410-4725,
Tahun 15 Nomor 1. Akreditasi No. 64a/DIKTI/Kep/2010. 115-137.
Rukli dan Hartati (2011). Penerapan Sistem Pendukung Keputusan dalam Sistem
Ujian Computerized Adaptive Testing. Indonesian Journal of Computing and
Cybernetic Systems, ISSN 1978-1520, Vol. 5 No. 3. 71-81
Rumbaugh, J., Blaha, M., Premerlani, et al. (1991). Object-Oriented Modeling. New
Jersey Prentice-Hal International, Inc..
Sen-Chi Yu, & Berlin Wu. (2006). Fuzzy item response model: a new approach to
generate membership function to score psychological measurement. Diambil
pada tanggal 12 Juli 2009, dari http://www.springerlink.com/content/?k=
Fuzzy+item+response + model.pdf.
Shingo Imai. (2008). Development of Japanese-Computerized Adaptive Test. Diambil
pada tanggal 18 Juli 2009, dari http://web.cc.yamaguchi-u.ac.jp/~imai2002/j-
cat/gaiyou/ 2008Development-of-J-CAT.pdf.
Sie Hoe Lau, Kian Sam Hong, Ngee Kiong Lau, et al. (2005). Web based computer-
Adaptie multiple choive assessment (CAAS) using the new NRET scoring
221
mtehod. Diambil pada tanggal 27 November 2009, dari http://atcm.
mathandtech.org/ EP2008/ papers_full/2412008_15339.pdf.
Siler, W., & Buckley, J. J. (2005). Fuzzy expert systems and fuzzy reasoning. Canada:
John Wiley & Sons, Inc.
Suarez, J. (2003). Student evaluation through membership function in CAT systems.
Revista Mexicana De fisika 49(4) 371-378. Diambil pada tanggal 5 Oktober
2009, dari http://www.ejournal.unam.mx/rmf/no494/RMF49414.pdf.
Suarez-Cansino J., and Hernandez-Gomez, R. A. (2007). Adaptive testing system
modeled through fuzzy logic. Artikel. Diambil pada tanggal 5 Oktober 2009,
dari http://www.wseas.us/e-library/conferences/2007cscc/papers/561-467.pdf.
Sumadi Suryabrata. (1987). Pengembangan Tes Hasil Belajar. Rajawali Pers., Jakarta.
Swaminathan, H. (1983). Parameter estimation in item response models. Dalam R. K.
Hambleton (Eds.), Applications of Item Response Theory (pp. 24-44)
Columbia: Eduacational Research Institute of British Columbia.
The Mathworks, Inc. (2004). Fuzzy Logic Toolbox For Use with MATLAB®, The
MathWorks, Inc.
Tian Jian-quan, Miao Dan-min, Zhu Xia, & Gong Jing-Jing. (2007). An introduction
to the computerized adaptive testing. Volume 4 No. 1 Serial no. 26. Diambil
pada tanggal 17 Januari 2009, dari http://www.eric.ed.gov/ERICDocs/
data/ericdocs2sql/ content_ storage_01/0000019b/80/2b/68/bc.pdf.
Triantafillou, E., Georgiadou, E., & Economides, A. A. (2006). CAT-MD: Computer
adaptive test on mobile divices. Diambil pada tanggal 17 November 2009,
dari http://www. formatex.org/micte2006/pdf/773-777.pdf.
Turban, E., Aronson. J. E., & Liang, T. P. (2001). Decission support system and
inteligent system, 7th Ed. Printice-Hall International, Inc., New Jersey.
Van der Linden, W. J., & Glas, C. A. W. (Eds.). (2000). Computerized adaptive
testing theory and practice. The Netherlands: Kluwer Academic Publishers.
_______. (2010). Elements of adaptive testing. New York: Springer-Verlag.
Verschoor. A. J., & Straetmans, G. J. J. M. (2002). Mathcat: A flexible testing system
in mathematics education for adults. Dalam Linden W.J., & Glas, G.A.W.
(Eds.), Computerized adaptive testing: theory and practice (pp. 101-116).
Bonston, PA: Kluwer.
Wainer, H. (2000). Computer adaptive testing: A primer (2nd ed.). Marwah, NJ:
Lawrence Erlbaum Associates, Inc.
222
_______.(1983). Some practical considerations when converting a linearly
administered test to an adaptive format. Educational Measurement: Issues and
Practice, 12, 15-20.
Wang, T., & Kolen, M. J. (2001). Evaluating comparability in computerized adaptive
testing: Issues, criteria and an example. [Versi electronik]. Journal of
Educational Measurement, 38(1), 19-49.
Wen-June Wang & Leh Luoh, (2000). Simple computation for the fuzzification of
center of sum and center of grafity. [Versi electronik]. Journal of Inteligent
and Fuzzy System. 9.53-59.
Wen-shuenn Wu. (2004). Development of an online adaptive vocabulary test system.
Diambil pada tanggal 23 November 2009, dari http://people.chu.edu.tw/
~wswu/ publications/papers/conferences/06.pdf.
Whitten, J. L., Bentley, L.D., & Dittman, K. C. (2004). Sistems analisys and design
methods. Indianapolis : The McGraw-Hill Companies, Inc.
Wu, C. L., & Chau, K. W. (2006). Evalution of several algorithms in forecasting
flood. Artikel. Diambil pada tanggal 1 Oktober 2009, dari http://portal.acm. org/
citation. cfm?id= 1488023.pdf.