staffnew.uny.ac.idstaffnew.uny.ac.id/upload/132255129/penelitian/13 jk heri retnawati... · pada...

164

PERBANDINGAN METODE PENYETARAAN SKOR TESMENGGUNAKAN BUTIR BERSAMA DAN TANPA BUTIR BERSAMA

Heri RetnawatiFakultas Matematika Ilmu Pengetahuan Alam Universitas Negeri Yogyakarta

email: [email protected]

AbstrakPenelitian ini bertujuan untuk mengetahui kesetaraan skor 20 perangkat tes ujian akhir SMPdan membandingkan penyetaraan dengan butir bersama (equating) dan tanpa butir bersama(concordance). Metode penelitian yang digunakan adalah metode rerata dan rerata, metodererata dan sigma, dan Haebara, Stocking dan Lord. Objek penelitian ini adalah perangkattes ujian akhir SMP Mata Pelajaran Matematika Tahun 2014 dan 46.313 respons siswa.Estimasi parameter butir dilakukan dengan program QUEST dan penyetaraan dilakukandengan program IRTEQ. Interpretasi hasil penyetaraan dilakukan dengan membandingkankurva karakteristik tes dan mengestimasi kesalahan penyetaraan dengan root mean squareof error (RMSE). Hasil penelitian menunjukkan bahwa pertama, dua puluh paket yangdigunakan pada ujian nasional menunjukkan kecenderungan yang setara. Kedua, padaequating dengan metode grafi s, rerata dan sigma menghasilkan skor paling setara. Ketiga,metode Haebara dan metode Stocking dan Lord yang menghasilkan skor-skor denganRMSE yang paling kecil. Keempat, concordance menghasilkan RMSE yang lebih kecildibandingkan equating.Kata kunci: penyetaraan, concordance, equating, RMSE

THE COMPARISON OF TEST SCORES LINKING METHODUSING EQUATING AND CONCORDANCE

AbstractThis study was aimed at determining the linking score of 20 tests of the national examinationand comparing test score linking methods using equating and concordance. This study usedmean and mean, mean and sigma, Haebara, and Stocking & Lord methods. The objectsof this study were mathematics national examination tests of junior high schools in 2014and 46,313 students’ responses. The estimation of item parameters was done using theQUEST program while the equating used the IRTEQ program. The interpretation of theresults was done by comparing the test characteristic curves and estimating the linkingerror of the Root Mean Square Error (RMSE). The results show that fi rst, 20 sets of testsin the national exams show equal tendencies. Second, in equating with graphical methods,the means and sigmas produce the most equal scores. Third, Haebara and Stocking & Lordmethods generate the smallest RMSE scores. Fourth, the concordance produces RMSEsmaller than equating.Keywords: linking, concordance, equating, RMSE

165

PENDAHULUANDalam suatu pelaksanaan ujian skala

luas, biasanya digunakan instrumen tesdalam jumlah paket yang banyak. Misalnyasaja ujian nasional (UN) yang dilaksanakandi Indonesia. Pada pelaksanaan UN,penyelenggaraan ujian menggunakan lebihdari 1 paket. Pada Tahun 2013, pelaksanaanUN di Indonesia menggunakan 4 paketsoal, pada Tahun 2014 menggunakan 20paket soal, dan pada Tahun 2015 kembalimenggunakan 4 paket soal. Paket-paket soaltersebut mengukur hal yang sama, karenapaket-paket itu dikembangkan berdasarkankisi-kisi yang sama.

Ujian menggunakan beberapa paketyang paralel memiliki keunggulan dankelemahan. Keunggulan menggunakanbeberapa paket yakni menjaga kerahasiaansoal dan mengurangi kecurangan selamapelaksanaan tes. Sementara itu, tantanganketika menggunakan beberapa paket adalahadanya jaminan perangkat-perangkatitu merupakan perangkat paralel danmengukur indikator yang sama. Hal tersebutbermakna bahwa perangkat-perangkat yangdigunakan merupakan perangkat yangsetara. Kesetaraan ini dapat dibuktikan baiksecara teoretis dan dapat dibuktikan pulasecara empiris. Bukti-bukti tersebut terkaitdengan konsep menghubungkan tes-tes(linking), penyetaraan skor tes (equatingmaupun concordance) (Dorans, 2004, pp.219-223).

Istilah baku dalam menghubungkandua tes, dalam psikometri dikenal istilahlinking. Ada tiga derajat menghubungkansuatu tes dengan tes lain. Jika kedua tessecara statistik dan konseptual dapat salingmenggantikan, disebut dengan penyetaraan(equating) (Brenan & Kolen, 2004, pp.2-4).Jika kedua tes mengukur konstruk yangsama disebut dengan concordance, dan jikakondisi penyetaraan tidak terpenuhi disebutdengan prediksi skor harapan (Dorans,

2004, pp. 228-230; Retnawati, 2014,pp. 90-95). Adapun hal-hal yang perludipertimbangkan dalam menghubungkanskor-skor tes menurut Freur meliputikesamaan isi, tingkat kesulitan, dan formatbutir, dapat dibandingkan kesalahanpengukuran-nya, kondisi administrasites yang sama, pemanfaatan tes dankonsekuensinya, termasuk akurasi danstabilitas dari penyetaraan (Brenan &Kolen, 2004, p. 2).

Terdapat beberapa desain yang dapatdipilih untuk menghubungkan tes-tes.Desain tersebut adalah desain grup tunggal,desain grup ekuivalen, dan desain butirbersama (Hambleton & Swaminathan,1985, p. 198), serta desain counter balanced(Dorans, Moses, Eignor, 2010, p.11). Padadesain grup tunggal, tes-tes yang akandibuktikan kesetaraannya dikerjakan olehkelompok yang sama. Pada desain grupekuivalen, tes-tes yang akan disetarakandiberikan pada kelompok-kelompok yangidentik dan hampir sama kemampuannya.Selanjutnya, dengan menggunakan responspeserta tes terhadap tes dan skor-skornyadapat dilakukan suatu proses penyetaraan.

Penyetaraan dapat dilakukan denganpendekatan klasik dan pendekatan modern.Pendapat ini senada dengan penyataan dariRyan & Brockmann (2009, pp. 1-4) yangmemilah metode penyetaraan menjadi duapendekatan, pendekatan teori tes klasikdan pendekatan teori respons butir. Padapendekatan klasik, dikenal metode lineardan metode equipersentil (Hambleton,Swaminathan & Rogers, 1991, p.123)dan juga metode linear sejajar (Kolen& Brennan, 2004, p.31), presmoothing,postsmoothing (Moses & Liu, 2011, pp.3-8). Pada pendekatan modern, terdapatmetode rerata dan rerata, rerata dan sigma,metode rerata dan sigma tegar (Hambleton,Swaminathan & Rogers, 1991) dan metodekurva karakteristik butir yang meliputi

Heri R.: Perbandingan Metode Penyetaraan...

166

metode Stocking & Lord (Kolen & Brenan,2004, pp.168-175).

Penyetaraan dengan pendekatanmodern pada dasarnya menghitung tingkatkesulitan dan kemampuan peserta kesuatu skor dengan suatu persamaan linear.Pendekatan modern untuk mengestimasiparameter butir ini dilakukan untukmengetahui karakteristik butir (Mardapi,1998). Estimasi koefi sien dan konstantanyasaja yang berbeda. Jika parameter dayapembeda butir (a), tingkat kesulitan (b),dan c parameter tebakan semu, pada metodererata dan rerata, menurut Hambleton,Swaminathan, Rogers (1991, pp. 123-128)disajikan dengan 12 , 1

2

aa .

Selanjutnya diperoleh:

(1)

(2), (2)

Keterangan:

12

aa atau

2

1

a

a

: rerata indeks kesukaran butirbersama tes 1

: rerata indeks kesukaran butirbersama tes 2

: rerata indeks daya beda butirbersama tes1

: rerata indeks daya beda butirbersama tes 2

, : konstanta penyetaraan

Persamaan (1) dan (2) digunakanuntuk menghitung konstanta penyetaraantes dengan berdasarkan metode reratadan rerata. Konstanta penyetaraan αdan β pada metode rerata dan sigmamenggunakan rerata dan simpangan bakudari parameter indeks kesulitan yang dapatdijelaskan sebagai berikut (Hambleton,

Swaminathan, & Rogers, 1991, pp. 123-128). Misal skor tes 1 disetarakan ke skortes 2, hubungan parameter indeks kesulitanbutir berhubungan linear sebagai berikut.

, sehingga diperoleh, dan . Dengan persamaan

tersebut, dapat diperoleh

(3)

(4)

Keterangan:: rerata indeks kesukaran butir

tes 1: rerata indeks kesukaran butir

tes 2: simpangan baku indeks

kesukaran butir tes 1: simpangan baku indeks

kesukaran butir tes 2

, : konstanta penyetaraan

Menentukan konstanta penyetaraanpada metode rerata dan sigma maupunrerata dan rerata tidak melibatkan semuaparameter butirnya secara simultan.Alternatifnya, dapat digunakan metodepenyetaraan yang melibatkan semuaparameter butirnya secara simultan, yaitumetode kurva karakteristik dari Haebaradan Stocking & Lord (Kolen & Brennan,1995). Pada metode Haebara, penyetaraanparameter butirnya didasarkan pada fungsikarakteristik butir. Prosedur komputasinyamenggunakan variasi yang pertama, yangdapat dijelaskan sebagai berikut (Kolen,& Brennan, 2004, pp.168-175; Retnawati,2014, p.107). Jumlah kuadrat dari selisihantara nilai fungsi untuk absis yang samapada masing-masing kurva karakteristikbutir dari dua skala yang sudah disetarakandinyatakan dengan yaitu:

JURNAL KEPENDIDIKAN, Volume 46, Nomor 2, November 2016, Halaman 164-178

167


(5)

dengan **ijij ,

dengan banyaknya butir anchor probabilitas menjawab benar

butir j oleh peserta berkemampuan θi,

: Probabilitas hasil transformasinyaserta transformasi pada butir anchor,

, , dan .

Didefinisikan fungsi yang per-samaannya sebagai berikut.

(6)

dengan N sebarang bilangan asli menyatakanbanyaknya titik pada skala θ. Fungsi F padapersamaan (8) merupakan fungsi dalam αdan β. Selanjutnya konstanta penyetaraanα dan β dipilih sedemikian rupa sehinggafungsi F minimum. Fungsi F mencapai nilaiminimum bila

(7)

Persamaan (7) nonl inear danmempunyai solusi numerik sehinggapersamaan tersebut dapat diselesaikandengan menggunakan prosedur numerik.Salah satu metode yang dapat digunakanuntuk menyelesaikan persamaan tersebutadalah metode numerik Newton Raphson.Pada metode Stocking dan Lord, formulakomputasinya menggunakan variasi yangkedua, prosedur komputasinya disajikansebagai berikut (Kolen, & Brennan, 2004, p.170, Retnawati, 2014, p.109). Kuadrat dariselisih antara nilai fungsi untuk absis yangsama pada masing-masing kurva karakteristes dari dua skala yang sudah disetarakandinyatakan dengan yaitu:

(8)

Keterangan:

: panjang tes-anchor

: probabilitas menjawabbenar butir j oleh pesertaberkemampuan θ

i

*ij

: probabilitas hasiltransformasinya

: skor murni peserta ber-kemampuan pada tes dasar

*i

: skor murni hasil transformasi

Dengan transformasi pada tes denganbutir bersama, , , dan

.

Selanjutnya defi nisikan fungsi:

(9)

dengan N adalah sebarang bilangan aslimenyatakan banyaknya titik pada skala θ.Selanjutnya, konstanta penyetaraan α dan βdipilih sehingga fungsi F minimum. FungsiF pada persamaan (9) mencapai minimumbila

(10)

Persamaan (10) nonlinear danmempunyai solusi numerik30 sehinggapersamaan tersebut hanya dapat diselesaikandengan menggunakan prosedur numerikyang dapat diselesaikan di antaranyamenggunakan metode Newton Raphson.

Pada kasus perbandingan metodelinking skor tes, untuk mengetahui metodeterbaik dapat digunakan berbagai cara.Cara pertama yang mudah dilakukan adalah

168

dengan memanfaatkan kurva karakteristiktes. Kurva ini dapat digambarkan dengangrafis dengan memanfaatkan jumlahandari nilai fungsi informasi butir untukkeseluruhan butir penyusun tes tersebut(Hambleton & Swaminathan, 1991; Retna-wati, 2014, p.19). Salah satu di antaranyaadalah dengan menggunakan root meansquare of error (RMSE) atau disebut jugaRMSD. Cara ini telah digunakan olehKim & Cohen (2002, pp. 25-61), Antara& Bastari (2015, pp.13-24), dan Uysal &Kilmen (2016, pp.1-11). Formula RMSEsebagai berikut.

(11)

Beberapa penelitian telah dilakukanterkait dengan penyetaraan skor. Aşiret& Sünbül (2016) menggunakan metodeidentitas, rerata, linear, circle-arc, danmetode equipercentile pre-smootheddengan 2 dan 3 momen pada berbagaiukuran sampel. Hasil equating dievaluasimenggunakan RMSE. Hasi l s tudimenunjukkan bahwa metode circle-arcmenghasilkan kesalahan equating yanglebih kecil dibandingkan dengan metodeyang lain. Hasil studi pada 7 lintas asesmenmenunjukkan bahwa penyetaraan denganbutir bersama yang fi ks, metode penyetaraankurva karakteristik jenis Stocking andLord, dan metode rerata dan sigma samabagusnya dan lebih bagus dibandingkankalibrasi bersama (concurrent calibration)(Pang, Madera, Radwan, & Zhang, 2010).Sementara, itu Yu & Popp ( 2005, pp.1-19) memberikan hasil yang berbeda padapenelitiannya dengan menyatakan bahwatidak ada metode tunggal yang paling baikuntuk penyetaraan skor tes dan konteks yangberbeda memberikan hasil yang berbeda.

Beberapa software yang dapat di-gunakan untuk melakukan equating.

Dengan menggunakan parameter butir dankemampuan berbagai program, beberapapeneliti mengembangkan software. Han(2009, pp. 491-493) mengembangkanprogram untuk untuk melakukan penye-taraan dengan teori respons butir. Untukmetode Kernel dalam equating, (Anderson,Braunberg, & Wiberg, 2013, pp. 1-25)mengembangkan program berbasisprogram-R. Pemanfaatan program inimembantu peneli t i mempermudahmengestimasi persamaan equating danestimasi parameter hasil equating, sesuaikebutuhan peneliti.

Terkait dengan perangkat tes yangdigunakan di Indonesia ada 20 paket soaldan beberapa metode penyetaraan perludibandingkan untuk melihat metode yangmenghasilkan kesalahan yang paling kecilserta diperlukan suatu penelitian terkaitdengan hal tersebut. Penelitian ini bertujuanuntuk mendeskripsikan kesetaraanperangkat ujian akhir dengan metodegrafi k kurva karakteristik tes, mengetahuiperbandingan kesetaraan perangkatdengan metode concordance, mengetahuikesetaraan perangkat menggunakan metodeequating, dan membandingkan metodepenyetaraan perangkat dengan metodeconcordance dan equating.

METODEStudi ini bersifat deskriptif eksploratif,

untuk mendeskripsikan kesetaraan perang-kat ujian akhir dengan metode grafi k kurvakarakteristik tes, mengetahui perbandingankesetaraan perangkat dengan metodeconcordance, mengetahui kesetaraanperangkat menggunakan metode equating,dan membandingkan metode penyetaraanperangkat dengan metode concordancedan equating.

Objek studi ini adalah perangkat ujianakhir Mata Pelajaran Matematika SMPTahun 2014 sebanyak 20 paket berikut data


169

keseluruhan respons peserta terhadap testersebut, khusus di wilayah DI Yogyakarta.Peserta tes ini berjumlah 46.313 siswadari seluruh siswa SMP di 4 kabupatendan 1 kota di Provinsi Daerah IstimewaYogyakarta yang meliputi Kota Yogyakarta,Kabupaten Bantul, Kabupaten Sleman,Kabupaten Gunungkidul, dan KabupatenKulon Progo. Data dikumpulkan denganmetode dokumentasi, yang diperolehdari kantor Kementerian Pendidikan danKebudayaan Republik Indonesia padabulan September 2015. Dengan meng-gunakan perangkat tes yang ada, butir-butir

kemudian dipetakan berdasarkan indikatorketercapaian kompetensi lulusan. Pemetaanini dilakukan untuk memeroleh informasibutir bersama (anchor/common items)dengan Paket 1. Hasil pemetaan butirbersama berikut siswa yang mengerjakantiap paket disajikan pada Tabel 1.

Setelah dipetakan, dilakukan analisisdata. Langkah pertama yang dilakukanadalah memilah-milah data tiap paket,kemudian disimpan dalam fi le yang berbeda-beda. Dengan menggunakan softwareQUEST, tingkat kesulitan butir soal danparameter kemampuan peserta diestimasi

Tabel 1Butir Bersama Paket 2-20 dengan Paket 1 dan Banyaknya Peserta Tes tiap PaketPaket Nomor Butir bersama (dengan paket 1) Banyaknya Peserta Tes

1 - 23102 1, 6, 8, 14, 15, 21, 22, 29, 36, 37, 40 (11

butir)2359

3 1, 6, 8, 10, 14, 15, 21, 24, 29, 37, 38 23884 6, 8, 13, 14, 20, 21, 27, 34, 35, 37 24025 4, 6, 8, 9, 14, 18, 21, 23, 32, 37 23826 6, 8, 14, 21, 37 23627 6, 8, 13, 14, 21, 22, 27, 31, 36, 37 21658 4, 5, 6, 8, 12, 14, 21, 37 25839 4, 5, 6, 8, 12, 14, 21, 33, 37, 40 224210 3, 6, 8, 12, 14, 17, 21, 26, 37, 40 230511 4, 6, 8, 11, 14, 18, 21, 26, 37, 40 234112 6, 8, 14, 21, 37, 40 234713 4, 6, 8, 14, 21, 37, 40 233414 2, 6, 8, 9, 14, 16, 21, 23, 30, 37 232415 6, 8, 11, 14, 20, 21, 24, 25, 34, 37, 39 231016 3, 6, 8, 10, 14, 17, 21, 24, 31, 37, 38 238417 4, 5, 6, 8, 14, 21, 33, 37, 40 229718 2, 6, 7, 8, 14, 16, 21, 30, 35, 37 224619 6, 8, 14, 21, 37 217920 3, 6, 7, 8, 14, 21, 28, 35, 37 2053

Total Peserta 46313


170

pada setiap paket soal ujian. Parameter yangdihasilkan digunakan untuk menggambarkurva karakteristik tes semua perangkatdalam satu bidang gambar untuk mengetahuikesetaraan sebelum dilakukan penyetaraan.

Langkah selanjutnya adalah menges-timasi konstanta penyetaraan dengan butirbersama (equating) dengan metode reratadan rerata, rerata dan sigma, Haebara, danLord & Stocking dengan menggunakansoftware IRTEQ, kemudian output-nyadiinterpretasikan untuk mengestimasikonstanta penyetaraan tanpa butir bersama(concordance) dengan metode rerata danrerata, rerata dan sigma, Haebara, dan Lord& Stocking. Kurva karakteristik tes semuaperangkat kemudian digambarkan dalamsatu bidang gambar untuk mengetahuikesetaraan setelah dilakukan penyetaraanuntuk tiap metode penyetaraan, baik denganbutir bersama maupun tanpa butir bersama.Kemampuan siswa dengan menggunakankonstanta penyetaraan dengan butir bersamadan butir bersama selanjutnya dihitung.

Pada tiap kasus, kemudian diestimasiroot mean square of error (RMSE) antaraskala kemampuan hasil estimasi terhadapskala kemampuan setelah dilakukanpenyetaraan. Grafik RMSE tiap kasus,selanjutnya digambarkan pada satubidang gambar dan kemudian melakukanperbandingan RMSE antara penyetara-an dengan butir bersama (equating)dan penyetaraan tanpa butir bersama(concordance) dengan menggunakan grafi kdan melakukan interpretasi kesamaannya.

Hasil RMSE digunakan untuk mem-bandingkan metode-metode penyetaraan.Metode yang terbaik ditentukan berdasarkanRMSE. Semakin kecil RMSE, semakinakurat metode penyetaraan yang digunakan.

HASIL PENELITIAN DAN PEMBAHASANBerdasarkan informasi dari Balitbang

Kemdikbud Indonesia sebagai pengembang

tes, dasar utama penyusunan soal adalahstandar kompetensi lulusan, dikembangkandengan indikator tertentu, dan tingkatkesulitan distribusinya 25% mudah, 50%sedang, dan 25% sulit. Menggarisbawahipernyataan ini dikaitkan dengan parameterbutir, hanya parameter tingkat kesulitanbutir yang dijadikan asumsi penyusunansoal, bukan parameter yang lain seperti dayapembeda atau tebakan semu. Terkait denganhal tersebut, model estimasi parameteryang digunakan adalah parameter tingkatkesulitan saja (satu parameter). Denganmenggunakan respons peserta, estimasiparameter butir dan kemampuan pesertadilakukan dengan menggunakan QUEST.Hasil statistik deskriptif estimasi parameterbutir dari 20 paket perangkat UN MataPelajaran Matematika disajikan pada Tabel2.

Mencermati hasil pada Tabel 2, di-peroleh bahwa rerata tingkat kesulitansama, demikian pula halnya standardeviasinya berkisar 1,00 atau distribusitingkat kesulitan tiap paket mendekatidistribusi normal baku. Dengan mengecekkembali butir yang memiliki tingkatkesulitan tertiggi tiap paket, butir nomor3 terkait dengan operasi perpangkatanbilangan merupakan butir yang memilikiindeks tingkat kesulitan yang palingtinggi.

Dengan memanfaatkan parameterbutir tersebut, kemudian dilakukan analisisbaik equating maupun concordance. Hasilanalisis ini dilakukan dengan bantuanprogram IRTEQ dengan masukan berupaparameter butir hasil estimasi. Metode yangdigunakan meliputi empat metode, yaiturerata dan rerata, rerata dan sigma, TCCHaebara, dan TCC Stocking & Lord. Hasilanalisis untuk Equating disajikan padaTabel 3, dan untuk Concordance disajikanpada Tabel 4.


171

Tabel 3Hasil Equating dengan Menggunakan 4 Metode

Rerata danRerata

Rerata dan Sigma TCC HaebaraTCC Stocking &

Lord2 ke 1 b*=b

2 + 0,14 b*=1,34b

2 + 0,09 b*=1,064b

2 + 0,07 b*=1,08b

2 + 0,04

3 ke 1 b*=b2 + 0,085 b*=1,05b

2 + 0,04 b*=1,014b

2 + 0,03 b*=1,014b

2 + 0,03

4 ke 1 b*=b2 + 0,04 b*=0,96b

2 + 0,05 b*=0,96b

2 + 0,04 b*=0,98b

2 + 0,03

5 ke 1 b*=b2

b*=1,09b2

b*=0,97b2 + 0,01 b*=1,02b

2 + 0,01

6 ke 1 b*=b2 - 0,13 b*=1,26b

2 - 0,17 b*=1,10b

2 - 0,11 b*=1,07b

2 - 0,09

7 ke 1 b*=b2 + 0,44 b*=1,53b

2 + 0,31 b*=1,14b

2 + 0,34 b*=1,15b

2 + 0,36

8 ke 1 b*=b2 + 0,04 b*=0,99b

2 + 0,05 b*=0,98b

2 + 0,04 b*=0,99b

2 + 0,04

9 ke 1 b*=b2 - 0,07 b*=0,99b

2 - 0,11 b*=1,02b

2 - 0,08 b*=1,05b

2 - 0,09

10 ke 1 b*=b2 + 0,30 b*=0,93b

2 + 0,28 b*=0,88b

2 + 0,10 b*=0,97b

2 + 0,22

11 ke 1 b*=b2 + 0,03 b*=1,06b

2 + 0,01 b*=1,01b

2 + 0,02 b*=1,01b

2 + 0,03

12 ke 1 b*=b2 - 0,03 b*=1,18b

2 - 0,09 b*=1,07b

2 - 0,06 b*=1,04b

2 - 0,05

13 ke 1 b*=b2 + 0,16 b*=1,00b

2 + 0,16 b*=0,91b

2 + 0,00 b*=1,00b

2 + 0,10

14 ke 1 b*=b2 - 0,06 b*=0,87b

2 - 0,02 b*=0,85b

2 - 0,03 b*=0,94b

2 - 0,06

15 ke 1 b*=b2 + 0,50 b*=0,99b

2 + 0,50 b*=0,76b

2 + 0,41 b*=0,97b

2 + 0,45

16 ke 1 b*=b2 + 1,00 b*=1,39b

2 + 0,13 b*=0,88b

2 + 0,84 b*=1,06b

2 + 0,88

17 ke 1 b*=b2 + 0,02 b*=1,22b

2 + 0,01 b*=1,05b

2 + 0,02 b*=1,05b

2 + 0,01

18 ke 1 b*=b2 + 0,29 b*=0,60b

2 + 0,27 b*=0,73b

2 + 0,18 b*=0,87b

2 + 0,17

19 ke 1 b*=b2 + 0,13 b*=1,09b

2 + 0,09 b*=1,03b

2 + 0,11 b*=1,02b

2 + 0,11

20 ke 1 b*=b2 + 1,07 b*=2,18b

2 + 1,58 b*=b

2 + 0,95 b*=1,22b

2 + 1,05

Tabel 2Statistik Deskriptif Estimasi Parameter Butir dari 20 Paket Perangkat UN MataPelajaran Matematika

Paket Rerata Sd Min Maks Paket Rerata Sd Min Maks1 0 1,12 -1,68 4,11 11 0 1,17 -3,08 4,232 0 1,18 -2,81 4,07 12 0 1,03 -1,96 4,023 0 1,01 -2,04 3,92 13 0 1,15 -3,08 3,944 0 1,07 -1,62 4,06 14 0 1,16 -2,99 4,045 0 1,11 -2,17 3,78 15 0 1,32 -2,16 5,196 0 1,05 -1,93 4,01 16 0 1,2 -2,7 4,037 0 1,15 -2,83 3,83 17 0 0,96 -1,59 3,728 0 1,18 -2,79 4,02 18 0 1,11 -3,03 3,869 0 1 -1,9 3,66 19 0 1,01 -2,09 3,7410 0 1,09 -2,18 3,9 20 0 1,15 -1,31 4,17


172

Koefisien pada metode rerata danrerata pada hasil analisis Equatingmaupun Concordance bernilai 1. Hal inimenunjukkan bahwa hubungan antarpaketberupa transformasi linear dari tingkatkesulitan paket 1. Hal yang berbedaadalah koefisiennya. Koefisien yangperbedaannya menonjol (lebih dari 0,10)pada beberapa paket pada equating danpada concordance. Hal ini menunjukkanpaket-paket ini memiliki tingkat kesulitanyang sedikit lebih tinggi dibandingkanpaket 1.

Hasil analisisequating danconcordancemenghasilkan persamaan-persamaantransformasi indeks tingkat kesulitan.

Hasil transformasi tingkat kesulitan berupatingkat kesulitan suatu paket denganskala tingkat kesulitan paket 1. Tingkatkesulitan yang sudah setara ini digunakanuntuk menggambar kurva karakteristik tesdari tiap metode. Gambar ini kemudiandibandingkan gambar kurva karakteristikdengan metode lain. Semakin berimpitdengan kurva karakteristik tes paket 1,semakin setara paket tersebut dengan paket1. Dengan kata lain, jika kesembilan belaskurva karakteristik tes semakin dekat, keduapuluh paket tersebut semakin setara. Kurvakarakteristik dengan equating disajikanpada Gambar 1 dan dengan concordancedisajikan pada Gambar 2.

Tabel 4Hasil Concordance dengan Menggunakan 4 Metode

Rerata danRerata

Rerata dan Sigma TCC HaebaraTCC Stocking &

Lord2 ke 1 b*=b

2 + 0,10 b*=1,07b

2 + 0,10 b*=0,964b

2 + 0,07 b*=1,01b

2 + 0,07

3 ke 1 b*=b2 + 0,06 b*=1,29b

2 + 0,07 b*=1,05b

2 + 0,03 b*=1,074b

2 + 0,04

4 ke 1 b*=b2 + 0,18 b*=1,05b

2 + 0,19 b*=0,95b

2 + 0,03 b*=1,02b

2 + 0,15

5 ke 1 b*=b2 + 0,06 b*=1,18b

2 + 0,07 b*=0,96b

2 + 0,02 b*=1,03b

2 + 0,04

6 ke 1 b*=b2 + 0,09 b*=1,22b

2 + 0,09 b*=1,06b

2 + 0,08 b*=1,05b

2 + 0,08

7 ke 1 b*=b2 + 0,18 b*=0,97b

2 + 0,18 b*=0,93b

2 + 0,08 b*=0,98b

2 + 0,13

8 ke 1 b*=b2 + 0,18 b*=0,97b

2 + 0,18 b*=0,93b

2 + 0,08 b*=0,98b

2 + 0,13

9 ke 1 b*=b2 + 0,20 b*=1,08b

2 + 0,21 b*=1,00b

2 + 0,13 b*=1,02b

2 + 0,15

10 ke 1 b*=b2 + 0,30 b*=0,93b

2 + 0,28 b*=0,88b

2 + 0,10 b*=0,97b

2 + 0,22

11 ke 1 b*=b2 + 0,06 b*=1,12b

2 + 0,06 b*=1,01b

2 + 0,02 b*=1,03b

2 + 0,03

12 ke 1 b*=b2 + 0,08 b*=1,26b

2 + 0,08 b*=0,96b

2 + 0,02 b*=1,03b

2 + 0,04

13 ke 1 b*=b2 + 0,06 b*=1,18b

2 + 0,07 b*=0,96b

2 + 0,02 b*=1,03b

2 + 0,04

14 ke 1 b*=b2 + 0,07 b*=1,12b

2 + 0,07 b*=0,96b

2 + 0,03 b*=1,03b

2 + 0,05

15 ke 1 b*=b2 + 0,03 b*=0,98b

2 + 0,04 b*=0,66b

2 + 0,02 b*=0,99b

2 + 0,01

16 ke 1 b*=b2 + 0,23 b*=0,88b

2 + 0,21 b*=0,58b

2 + 0,13 b*=0,95b

2 + 0,14

17 ke 1 b*=b2 + 0,16 b*=1,15b

2 + 0,18 b*=1,03b

2 + 0,08 b*=1,05b

2 + 1,12

18 ke 1 b*=b2 + 0,39 b*=0,85b

2 + 0,34 b*=0,82b

2 + 0,14 b*=0,94b

2 + 0,28

19 ke 1 b*=b2 + 0,18 b*=1,10b

2 + 0,19 b*=0,97b

2 + 0,01 b*=1,03b

2 + 0,13

20 ke 1 b*=b2 + 0,14 b*=b

2 + 0,14 b*=0,67b

2 + 0,07 b*=1,00b

2 + 0,10


173

Mencermati Gambar 1, dapat diperolehbahwa Equating dengan metode reratadan sigma menghasilkan kurva yangsaling mendekati, mengindikasikan bahwametode ini menghasilkan skor-skor tesyang mendekati setara. Pada concordance,keempat metode menghasilkan gambar yangrelative sama. Namun secara grafi s, metodeyang menghasilkan grafi k yang paling rapatmetode Haebara dan Stocking & Lord. Hasilselengkapnya disajikan pada Gambar 2.

Dengan menggunakan parameterkemampuan, hasil estimasi dan persamaanhasil analisis denganequating danconcordancedapat diestimasi skala kemampuan hasilequating danconcordance. Hasil ini digunakan

untuk menghitung RMSE. Hasilnya disajikanpada Tabel 5 untukequating dan Tabel 6 untukconcordance. Dengan menggunakan tabeltersebut, dapat dibuat grafi k untuk melihatkecenderungannya. Grafik perbandingandengan equating dan concordance disajikanpada Gambar 3.

Berdasarkan hasil analisis data dari 20paket soal matematika ujian nasional, adabutir yang sangat sulit. Indeks kesulitan iniberada di atas 3 diestimasi dengan modelRasch. Setelah dicermati kembali, butiryang sangat sulit ini adalah butir 3. Butirini mengukur indikator operasi perpang-katan bilangan. Naskah butir soal tersebutdari salah satu paket sebagai berikut.


Gambar 1. Kurva karakteristik Tes Paket 2-20 setelah Disetarakan ke Paket 1 dengan Equating

Equating dengan metode Rerata dan Rerata Equating dengan metode Haebara

Equating dengan metode Rerata dan Sigma Equating dengan metode Stocking & Lord

40

35

30

25

20

15

10

5

0

40

35

30

25

20

15

10

5

0

40

35

30

25

20

15

10

5

0

40

35

30

25

20

15

10

5

0

174


Gambar 2. Kurva karakteristik Tes setelah disetarakan ke Paket 1 dengan Concordance

Concordance dengan metode Rerata dan Rerata Concordance dengan metode Haebara

Concordance dengan metode Rerata dan Sigma Concordance dengan metode Stocking & Lord

40

35

30

25

20

15

10

5

0

40

35

30

25

20

15

10

5

0

40

35

30

25

20

15

10

5

0

40

35

30

25

20

15

10

5

0

Gambar 3. Perbandingan RMSE dengan Equating dan Concordance

0,7

0,6

0,5

0,4

0,3

0,2

0,1

0Rerata & Rerata Rerata & Sigma Haebara Lord & Stoking

Equating

Concordance

175

Tabel 5. RMSE Equating

PaketMetode

Rerata &Rerata

Rerata &Sigma

HaebaraLord &

StockingP2 0,140 0,499 0,122 0,133P3 0,085 0,086 0,035 0,036P4 0,040 0,072 0,067 0,038P5 1,638 1,954 1,682 0,133

P6 1,875 2,200 1,920 0,133P7 0,440 0,881 0,435 0,522P8 0,040 0,048 0,043 0,038P9 0,070 0,112 0,082 0,110P10 0,300 0,499 0,183 0,209P11 0,030 0,499 0,028 0,037P12 0,030 0,499 0,104 0,067P13 0,160 0,499 0,099 0,100P14 0,060 0,499 0,226 0,076

P15 0,500 0,499 2,351 0,477P16 1,000 0,499 0,806 0,968P17 0,020 0,499 1,952 0,071P18 0,290 0,499 0,372 0,193P19 0,130 0,499 0,125 0,121P20 1,070 0,499 0,950 1,217

Rerata 0,417 0,597 0,610 0,246Varians 0,319 0,316 0,601 0,109

Hasil dari adalahA. 5

B. 15

C. 25

D. 50

Untuk menger jakan but i r ini ,peserta tes harus mengubah dahulu 125menjadi bilangan dengan pangkat tigayaitu Selanjutnya, dioperasikan

sehingga menghasilkanMemanipulasikan 125 menjadi 3

kemudian mengoperasikannya denganpangkat menyebabkan butir ini menjadibutir yang sangat sulit.

Mencermati Gambar 3 tersebut dapatdiperoleh bahwa metode-metode padaconcordance menghasilkan RMSE yanglebih rendah secara seragam dibandingkanmetode-metode pada equating. Padaequating maupun concordance adakecenderungan metode rerata dan reratalebih rendah dibandingkan metode reratadan sigma dan metode Haebara, namunyang paling rendah adalah metode Lord &


176

Stocking. Hal ini mengindikasikan bahwametode Lord & Stocking menghasilkanRMSE terkecil baik pada equating maupunconcordance (Tabel 6).

Parameter butir hasil estimasi ke-mudian digunakan untuk melakukanequating dan concordance dengan berbagaimetode. Dengan menggunakan grafi k kurvakarakteristik tes, metode rerata, dan sigmamenghasilkan grafik yang paling setarapada equating. Pada concordance, keempatmetode menghasilkan gambar yang relatifsama, yang keempat-empatnya relatifsetara. Hal ini disebabkan karena hanya satuparameter yang menentukan persamaan

Tabel 6. RMSE pada Concordance

PaketMetode

Rerata &Rerata

Rerata &Sigma

Haebara Lord &Stocking

P2 0,100 0,157 0,076 0,076P3 0,060 0,419 0,080 0,113P4 0,180 0,216 0,077 0,161P5 1,633 1,694 1,596 0,076

P6 1,870 1,933 1,831 0,076P7 0,180 0,174 0,111 0,122P8 0,180 0,173 0,114 0,122P9 0,200 0,239 0,130 0,158P10 0,300 0,157 0,183 0,209P11 0,060 0,157 0,028 0,061P12 0,080 0,157 0,056 0,067P13 0,060 0,157 0,056 0,066P14 0,070 0,157 0,059 0,075

P15 0,030 0,157 1,919 0,024P16 0,230 0,157 0,562 0,127P17 0,160 0,157 1,864 0,152P18 0,390 0,157 0,253 0,247P19 0,180 0,157 0,041 0,149P20 0,140 0,157 0,485 0,100Rerata 0,321 0,354 0,501 0,115Varians 0,264 0,270 0,501 0,003

penyetaraan, yaitu tingkat kesulitan, danperbandingan tingkat kesulitan bernilaisatu.

Hasil tersebut sedikit berbeda denganperbandingan dengan menggunakan RMSE.Pada RMSE dihitung dengan memanfaat-kan parameter kemampuan hasil estimasi,dan parameter hasil equating. Hasil iniditentukan oleh parameter kemampuan hasilestimasi, yang diskalakan dengan persamaanpenyetaraan. Persamaan penyetaraan iniyang memberikan kontribusi besarnyaRMSE. Semakin kecil RMSE, semakinakurat metode penyetaraan yang digunakan.Pada studi ini, metode yang menghasilkan


177

RMSE terkecil adalah metode Lord &Stocking.

Dengan menggunakan concordance,d iperoleh grafis yang lebih rapatdan RMSE yang lebih kecil. Hal inidisebabkan karena jumlah butir bersamayang digunakan untuk equating pada tiappaket berbeda jumlahnya dan tidak sampai40 butir. Sementara itu, pada concordance,keseluruhan butir digunakan sebagai butirbersama dalam perhitungan rerata maupunstandar deviasi. Hasil ini memberikanhasil yang lebih stabil untuk menentukankoefi sien α dan konstanta β. Hal ini sesuaidengan penelitian Pang, Madera, Radwan,dan Zhang (2010) yang menyatakanbahwa penggunaan penyetaraan skor lebihbaik dibandingkan dengan concurrentcalibration. Terkait dengan perbandinganmetode penyetaraan skor, Yu & Popp (2005,pp.1-19) mengatakan bahwa tidak adametode penyetaraan yang paling baik. Halini menunjukkan bahwa perlunya penelitianlanjutan mengenai perbandingan metodeequating maupun concordance.

Dalam menyetarakan skor, ada banyakfaktor yang mempengaruhi equating. Padaprosesnya perlu estimasi parameter terlebihdahulu, kemudian menggunakan berbagaimetode penyetaraan. Ketika mengestimasiparameter, berbagai variabel mempengaruhihasil estimasi. Variabel-variabel tersebutdi antaranya model yang digunakanuntuk estimasi, banyaknya peserta tes,banyaknya butir dalam tes, metode estimasibaik parameter butir maupun parameterkemampuan. Pada penyetaraan, variabelyang perlu diteliti adalah distribusi parameterbutir, distribusi parameter kemampuan,perbandingan metode estimasi, banyaknyabutir bersama dalam tes, dan softwareyang digunakan. Variabel-variabel tersebutdapat diteliti pengaruh dan sifat-sifatnyamenggunakan studi simulasi dengan datariil untuk memodelkannya.

Analisis kesetaraan perangkat tesmaupun analisis butir seperti ini sangatdiperlukan dalam pendidikan. Hal initerkait dengan pemanfaatan skor tes skalaluas yang berdampak pada kebijakan yanglain, misalnya seleksi masuk siswa untukmelanjutkan ke jenjang yang lebih tinggimaupun pemetaan mutu pendidikan. Ana-lisis butir seperti yang dilakukan Lumapow(2012, pp. 61-75) dapat digunakan pulauntuk memperbaiki kualitas pembelajarandi sekolah. Jika penilaian hasil pembelajaranmenggunakan model alternatif denganpenyekoran politomi seperti portofolioyang dilakukan Masruri & Nurhadi (2007,pp. 167-186) analisis penyetaraan skor hasilpenskoran data ini juga perlu dilakukan.

SIMPULANHasil studi menunjukkan bahwa dua

puluh paket yang digunakan pada ujiannasional menunjukkan kecenderunganyang setara. Pada equating denganmetode grafi s menggunakan kedekatankurva karakteristik tes, rerata dan sigmamenghasilkan skor yang paling setara.Pada metode kurva karakteristik, metodeHaebara dan metode Stocking danLord menghasilkan skor-skor denganRMSE yang pal ing keci l . Denganmenggunakan 20 perangkat ujian nasional,menghubungkan skor hasil tes dengandesain concordance menghasilkan RMSElebih kecil dibandingkan equating.

DAFTAR PUSTAKAAnderson, B., Braunberg, K, & Wiberg,

M. (2013). Performing the kernelmethod of test equating with thepackage kequate. Journal of StatisticalSoftware, 55(6), 1-25.

Antara, A. A. P., & Bastari. (2015).Penyetaraan vertikal dengan pen-dekatan klasik dan item responsetheory pada siswa sekolah dasar. Jurnal


178

Penelitian dan Evaluasi Pendidikan,19(1), 13-24.

Aşiret, S., & Sünbül, S. Ö. (2016).Investigating test equating methods insmallsamples through variousfactors.Educational Sciences: Theory &Practice, 16, 647-668.

Brennan, R. L.& Kolen, M. J. (2004).Concordance between ACT and ITEDscores from different population. JurnalApplied Psichological Measurement,28(4), 219-226.

Dorans, N. J. (2004). Equating, concordanceand expectation. Jurnal AppliedPsichological Measurement, 28(4),219-226.

Dorans, N. J., Moses, T. P., & Eignor, D.R. (2010). Principles and practices oftest score equating research report.Diunduh dari http://www.ets.org/research/contact.html.

Hambleton, R. K., Swaminathan, H., &Rogers, H. J. (1991). Fundamental ofitem response theory. Newbury Park,CA: Sage Publication Inc.

Hambleton, R. K., & Swaminathan, H.(1985). Item response theory. Boston,MA: Kluwer Inc.

Han, K. T. (2009). IRTEQ: Windowsapplication that implements IRTscaling and equating [computerprogram]. Applied PsychologicalMeasurement, 33(6), 491-493.

Kim S. H. & Cohen, A. S. (2002). Acomparison of linking and concurrentcaliberation under graded responsemodel. Applied Psychological Mea-surement, 26(25-61).

Kolen, M. J., & Brennan, R. L. (2004). Testequating: Methods and practices. NewYork: Springer.

Lumapow, H. (2012). Identifi kasi materisulit ujian nasional bahasa inggrispada siswa jurusan bahasa. JurnalKependidikan, 42(1), 61-75.

Mardapi, D. (1998). analisis butir denganteori tes klasik dan teori respons butir.Jurnal Kependidikan, 28(2).

Masruri, M. S., & Nurhadi. (2007).Peningkatan kualtas pembelajaranmata kuliah penilaian dan pencapaianbelajar geografi melalui penerapanmodel portofolio. Jurnal Kependidikan,37(2), 167-186.

Moses, T. P., & Liu, J. (2011). Smoothingand equating methods applied todifferent types of test score distributionsand evaluated with respect to multipleequating criteria. ETS ResearchReport Series, 2011(1), i-25. Diunduhdari https://www.ets.org/research/policy_research_reports/publications/report/2011/isez.

Pang, X., Madera, E., Radwan, N., & Zhang,S. (2010). A comparison of four testequating. Methods Research Report.Diunduh dari http://www.eqao.com.

Retnawati, H., & Hidayati, K. (2007).Perbandingan metode concordanceberdasarkan teori tes klasik (Laporanpenelitian). Yogyakarta: LembagaPenelitian UNY.

Retnawati, H. (2014). Teori responsbutir dan penerapannya. Yogyakarta:Parama.

Ryan, J., & Brockmann, F. (2009). Apractitioner’s introduction to equatingwith primers on classical theory anditem respons theory. Council of ChiefState School Offi cers.

Uysal, İ., & Kilmen, S. (2016). Comparisonof item response theory test equatingmethods for mixed format tests.International Online Journal ofEducational Sciences, 8(2), 1-11.

Yu, C. H., & Popp, S. E. O. (2005).Test equating by common items andcommon subjects: Concepts andapplications. Practical Assessment,Research & Evaluation, 10(4), 1-19.


INDEKS SUB-JEK

Symbols

A

BBUTIR BERSAMA, 164

Cconcordance, 164

Ddesain butir bersama, 165desain grup ekuivalen, 165desain grup tunggal, 165

Eequating, 164

F

G

H

I

J

K

L

Mmetode gra k kurva karakteristik tes, 168metode Haebara, 164METODE PENYETARAAN SKOR TES, 164metode Stocking dan Lord, 164

N

O

Pprogram IRTEQ, 164program QUEST, 164

Q

Rroot mean square of error (RMSE), 164

S

T

U

V

W

X

Y

Z

staffnew.uny.ac.idstaffnew.uny.ac.id/upload/132255129/penelitian/13 jk heri retnawati... · pada...

Documents