soal sbmptn tidak fair: apa solusinya?

8/15/2019 SOAL SBMPTN TIDAK FAIR: APA SOLUSINYA?

1/4

SOAL SBMPTN 2016 TIDAK FAIR – APA SOLUSINYA?

Halmar Halide

Ketua Pengawas Wilayah Saintek pada PUML 82 UNHAS, Makassar

Fairness: salah satu syarat soal-ujian baku

Pekan lalu, para peserta ujian SBMPTN (Seleksi Bersama Masuk Perguruan Tinggi Negeri) tahun

2016 berjuang keras untuk mendapatkan satu tempat pada jenjang pendidikan yang lebih tinggi dan

diterima pada salah satu universitas negeri pilihannya. Ini dapat dipandang sebagai suatu taruhan

tingkat tinggi (high stakes). Alat ukur (baca: soal ujian) yang digunakan untuk menyeleksi para kandidat

ini pun mestinya memenuhi sejumlah syarat antara lain: keabsahan (validity ) dan keadilan ( fairness)

[Kane, 2013; Caines dkk., 2014]. Soal yang absah berarti soal tersebut sesuai dengan sasaran yang akan

dicapai, sedang soal yang adil berarti setiap peserta ujian memiliki kesempatan yang sama untukmelulusi soal tersebut. Hal ini menjadi tantangan berat bagi para pembuat soal SBMPTN yang

merancang soal baku untuk maksud tersebut.

Kini dengan tibanya bulan ramadhan, para peserta SBMPTN itu kembali mengharap keberkahan

melalui doa yang terpanjat kepada Yang Maha Pemurah. Intensitas do’a tersebut sejogyanya makin

diperkuat, jika saja mereka mengetahui bahwa alat uji (soal SBMPTN) yang mereka kerjakan ternyata

tidak fair . Artikel singkat ini menjelaskan bagaimana ke-tidak- fair -an ini ditemukan dan bagaimana cara

mengoreksinya.

TKD (Tes Kemampuan Dasar) Saintek: sumber ketidakadilan naskah

Sebagai Koordinator Wilayah Saintek, saya mengumpulkan perangkat soal TKD Saintek dari salah

satu lokasi ujian (SMA Negeri 17 Makassar). Soal-soal TKD Saintek ini bersampul warna merah-jambu

dengan kode-kode naskah: 249, 250, 251, dan 252. Masing-masing naskah ini memiliki jumlah soal yang

sama yakni 60 buah soal. Ada 4 (empat) bidang studi yang diujikan yakni: Matematika (soal no. 1-15),

Fisika (soal no. 16-30), Kimia (soal no. 31-45) dan Biologi (soal no. 46-60). Ada 2 (dua) hal yang saya

temukan. Pertama, terdapat 16 buah soal yang sama (baik nomor soal maupun redaksi soalnya) pada

keempat kode naskah. Soal-soal yang sama tersebut adalah bernomor: 7, 11, 13 dan 14 (bagian soal

Matematika); 16, 22, 25 dan 27 (Fisika); 32, 37, 38 dan 40 (Kimia); 47, 52, 54 dan 60 (Biologi). Implikasi

temuan pertama ini adalah bahwa jika seorang peserta yang berhasil menjawab dengan benar suatu

bocoran soal/contekan, ia minimal akan memperoleh nilai 16 × 4 (setiap soal yang benar diberi nilai +4)= 64. Andaikata jawabannya yang lain salah (ia akan menerima penalti sebesar -1 untuk setiap jawaban

salah), nilai bersihnya adalah: 64 - 44 = 20 poin. Untuk mengurangi insentif bagi seorang peserta curang

yang mengambil keuntungan dari soal ujian seperti itu, sebaiknya panitia mengacak nomor yang

memiliki soal yang sama dan nilai untuk soal yang benar adalah +1 bukannya +4.


2/4

Kedua, saya menemukan pelanggaran prinsip keadilan untuk soal yang dapat dikategorikan

sebagai soal standar (baku) ini. Semestinya, apapun kode naskahnya, semua peserta mengerjakan

masing-masing soal dengan materi yang semirip mungkin (baik jenis maupun tingkat kesulitannya). Hal

ini ternyata tidak demikian. Tabel 1 menyajikan fakta tersebut. Pada tabel ini ditampilkan nomor soal

dan nilai kemiripan materi ujian untuk masing-masing kode naskah. Nilai kemiripan materi ujian pada

masing-masing soal berkisar antara 1 (mirip) hingga 4 (tidak mirip).

Tabel 1. Nilai kemiripan materi ujian untuk 4 kode naskah. Baris terakhir menunjukkan nilai rata-rata dan

simpangan baku kemiripan/kedekatan materi ujian untuk masing-masing naskah (dicetak tebal).

No.

Soal

Kode Naskah beserta nilai kemiripannya berdasarkan materi ujian (dalam tanda kurung)

249 250 251 252

16. 1 (gerak peluru) 1 (gerak peluru) 1 (gerak peluru) 1 (gerak peluru)

17. 4 (gerak 2 benda,

bidang datar)

3 (gerak 2 benda,

bidang miring)

2 (gerak 1 benda,

bidang miring)

(gerak 1 benda,

vertikal)

18. 3 (momentum sudut) 1 (momen inersia

benda menurunibidang miring)

4 (papan dan katrol) 2 (momen inersia

benda menurunidan menaiki bidang

miring)

19. 4 (modulus geser) 3 (tetapan pegas) 1 (regangan dengan

beban berbeda)

2 (regangan pada

penampang

berbeda)

20. 1 (fluida pada pipa

dengan beda

tekanan)

1 (fluida pada pipa

dengan beda tekanan)

1 (fluida pada pipa

dengan beda tekanan)

2 (fluida pada pipa)

21. 1 (hukum gas ideal) 1 (hukum gas ideal) 1 (hukum gas ideal) 1 (hukum gas ideal)

22. 1 (proses gas ideal) 1(proses gas ideal) 1(proses gas ideal) 1(proses gas ideal)

23. 1 (pendulum) 1 (pendulum) 1 (pendulum) 1 (pendulum)24. 2 (Rangk. List. DC

seri)

2 (Rangk. List. DC

paralel)

1 (hukum Ohm) 3 (Rang. List. AC)

25. 1 (kemagnitan) 1 (kemagnitan) 1 (kemagnitan) 1 (kemagnitan)

26. 1 (spektrum) 2 (partikel elementer) 3 (gabungan bintang) 4 (waktu paruh

relativistik)

27. 1 (optika-retina) 1 (optika-retina) 1 (optika-retina) 1 (optika-retina)

28. 2 (elektrostatik 2

muatan)

1 (elektrostatik 3

muatan)

1 (elektrostatik 3

muatan)

1 (elektrostatik 3

muatan)

29. 2 (gerak elips) 1 (gerak melingkar) 1 (gerak melingkar) 3 (gerak curvature)

30. 2 (gel. stasioner) 3 (efek Doppler) 1 (pipa organa) 1 (pipa organa)

1,80 ± 1,08 1,53 ± 0,83 1,40 ± 0,91 1,67 ± 0,98


3/4

MANOVA: detektor ketidakadilan naskah

Pada mulanya, analisis data pada Tabel 1 dilakukan menggunakan uji ANOVA dan uji Kruskal-

Wallis. Kedua analisis ini ditujukan untuk menemukan apakah ada perbedaan nyata antara nilai

kedekatan/kemiripan antara keempat kode naskah. Kedua analisis ini menyimpulkan bahwa keempat

kode soal tak berbeda signifikan. Hal ini sebenarnya terlihat pada nilai rata-rata dan simpangan bakunilai kemiripan materi uji pada Tabel 1. Namun, ketika perangkat data pada Tabel 1 diatas selanjutnya

dianalisis menggunakan teknik MANOVA (Multivariate Analysis of Variance), keempat kelompok naskah

ternyata terbagi atas 2 cluster (kelompok) berdasarkan jarak Mahalanobis-nya. Hal ini ditunjukkan pada

Gambar 1. Kode naskah 250 dan 251 bergabung pada satu cluster sedangkan kode naskah 249 dan 252

berada pada cluster lainnya. Hasil yang tersaji pada Gambar 1 ini diperoleh dengan menggunakan paket

pemrograman MATLAB yakni subroutine “Manova1” dan “Manovacluster”.

Gambar 1. Pengelompokan naskah ujian TKD Saintek kedalam 2 cluster. Cluster 1 berisi kode naskah

250 dan 251, sedangkan cluster 2 berisi kode naskah 249 dan 252.

Adanya pengelompokan naskah ini menjadi indikasi bahwa ada pelanggaran azas fairness.Peserta SBMPTN terpapar soal SBMPTN yang berbeda. Jika perbedaan ini dapat dikaitkan dengan tingkat

kesulitan soal, maka yang lebih menderita adalah peserta yang kurang menguasai bahan dan ia

kebetulan memperoleh soal dengan tingkat kesulitan tinggi. Ia kemungkinan besar tak lolos ujian

SBMPTN karena kebetulan mendapatkan soal yang sulit. Hal sebaliknya terjadi pada peserta

berkemampuan tinggi yang kebetulan mendapatkan soal dengan tingkat kesulitan rendah. Kemungkinan


4/4

dia untuk lolos SBMPTN semakin besar. Kedua kasus ekstrim ini menyebabkan terciderainya kesamaan

peluang peserta untuk lulus SBMPTN gara-gara soal yang tidak fair .

Normalisasi nilai: solusi untuk ketidakadilan naskah ujian

Ujian SBMPTN 2016 telah usai, para peserta sedang menunggu hasilnya dengan harap-cemas

(berharap untuk lulus dan cemas kalau gagal). Ketidak-adilan yang dijumpai pada berbagai versi naskah

ujian tersebut pun telah terdeteksi. Meskipun demikian, ujian ini tak dapat lagi diulang. Salah satu solusi

cepat untuk mengeliminasi ketidak-adilan antara peserta yang mengerjakan naskah soal yang berbeda

adalah dengan melakukan normalisasi pada nilai ujian berdasarkan kode soal masing-masing. Cara

mudah yang bias dilakukan Panitia adalah begini: telusurilah nilai semua peserta yang mengerjakan

naskah kode X. Identifikasi nilai terendah dan tertinggi untuk kode naskah ini. Nilai untuk masing-masing

peserta yang mengerjakan naskah kode X selanjutnya dikalibrasi menggunakan rumus normalisasi data.

Rumus ini sudah tersedia misalnya pada situs Wikipedia. Semoga ini menjadi pembelajaran bagi Panitia

untuk ekstra hati-hati dalam merancang dan mengujikan soal yang fair bagi setiap peserta ujian.

Daftar Pustaka:

Caines J., B L. Bridglall, M. Chatterji, 2014. Understanding validity and fairness issues in high-stakes

individual testing situations. Quality Assurance in Education 22 (1): 5-18.

Kane, M. (2013), “Validity and fairness in the testing of individuals”, in M. Chatterji (Ed.), Validity and

Test Use: An International Dialogue on Educational Accountability and Equity , Emerald Group

Publishing, Bingley, pp. 17-53.

Wikipedia [https://en.wikipedia.org/wiki/Normalization_(statistics)]

soal sbmptn tidak fair: apa solusinya?

Documents