tabel 3 contoh test item relationship...

Tabel 3 Contoh test item relationship table

Soal yang tidak berhasil dijawab dengan benar ERROR = SUM(Q3, Q6, Q7, Q9)

ER (Cj) = ERROR(Cj) / SUM(Cj)

1. Menentukan batas toleransi / treshold ( )

Jika nilai ER(Cj) yang didapatkan seorang

siswa < maka dikatakan bahwa siswa tersebut berhasil

memahami materi. Nilai didapatkan dari:

1.1 Menghitung nilai batas bawah Cj

Nilai batas bawah dari materi belajar Cj

disebut LB(Cj) didapatkan dari rata-rata error rasio

topik Cj dari siswa yang memperoleh nilai pre-test

dibawah 50%. Untuk materi belajar yang memiliki nilai

ER = 0, maka tidak diperhitungkan pada perhitungan

selanjutnya.

1.2 Menghitung selisih antara Error Ratio dengan nilai

batas bawah (LB)

;

dengan j = 1, 2,..., m, dan ER(Cj) > 0;

Selisih antara nilai ER(Cj) dengan LB(Cj)

disebut dengan nilai DIFF. Sebagai contoh, dengan

mengasumsikan nilai batas bawah untuk masing-masing

konsep adalah LB(C1) = 0.33, LB(C3) = 0.5, LB(C4) =

0.4, LB(C5) = 0.33, LB(C6) = 0.45, LB(C7) = 0.5,

LB(C8) = 0.66, LB(C9) = 0.5 dan LB(C10) = 0.66, maka

didapatkan:

DIFF(C1) = 0.16 – 0.33 = – 0.17

DIFF(C3) = 0.6 – 0.5 = 0.1

DIFF(C4) = 0.16 – 0.4 = – 0.24

DIFF(C5) = 0.28 – 0.33 = – 0.05

DIFF(C6) = 0.66 – 0.45 = 0.21

DIFF(C7) = 0.63 – 0.5 = 0.13

DIFF(C8) = 0.8 – 0.66 = 0.14

DIFF(C9) = 0.8 – 0.5 = 0.3

DIFF(C10) = 1.0 – 0.66 = 0.34

1.3 Menentukan Topik Kritis (Cj)

;

dengan DIFF(Cj) > 0;

Topik kritis adalah materi yang memiliki nilai

ER(Cj) paling kecil dan nilai DIFF tidak kurang dari

nol. Nilai Error Ratio paling kecil inilah yang nantinya

dijadikan sebagai nilai treshold ( ).

Merujuk perhitungan pada langkah

sebelumnya, yang memiliki nilai DIFF lebih besar dari

nol adalah materi belajar C3, C6, C7, C8, C9 dan C10 ,

dan diantara materi tersebut yang memiliki nilai ER

terkecil adalah C3, sehingga minimum Error Ratio yang

didapatkan adalah 0.6. Jadi, = MIN(ER(Cj)) = ER(C3)

= 0.6.

2. Menghasilkan saran belajar

Pada Gambar 2, terlihat materi belajar yang

memiliki nilai lebih besar dari , maka itulah materi

belajar yang akan dijadikan saran belajar kepada siswa.

Saran belajar didapatkan dari materi belajar yang

memiliki nilai ER maksimum. Jika terdapat saran

belajar lebih dari satu, maka yang disarankan adalah

saran belajar yang memiliki bobot paling besar.

Sesuai contoh yang digunakan pada langkah-

langkah sebelumnya, dengan treshold ( ) = 0.6, maka

didapatkan rekomendasi saran belajar sebagai berikut.

PATH1 : Addition Substraction Negative Integers

Bobot : Max(ER(C3), ER(C6), ER(C8)) = 0.8

PATH2 : Addition Substraction Division

Prime Numbers

Bobot : Max(ER(C3), ER(C6), ER(C9), ER(C10)) = 1.0

PATH3 :Addition Multiplication Division

Prime Numbers

Bobot : Max(ER(C3), ER(C7), ER(C9), ER(C10)) = 1.0

Materi belajar

C1 C2 C3 C4 C5 C6 C7 C8 C9 C10

So

al p

re-t

est

Q1 5 1 0 0 0 0 0 0 0 0

Q2 0 4 2 0 0 0 0 0 0 0

Q3 0 0 3 1 2 0 0 2 0 0

Q4 0 0 0 5 0 0 0 0 0 0

Q5 0 0 0 0 5 0 0 0 0 0

Q6 1 0 0 0 0 4 0 2 0 0

Q7 0 0 0 0 0 0 5 0 0 0

Q8 0 0 0 0 0 0 0 0 1 0

Q9 0 0 0 0 0 0 0 0 4 5

Q10 0 0 0 0 0 2 0 1 0 0

SUM 6 5 5 6 7 6 5 5 5 5

ERROR 1 0 3 1 2 4 6 4 4 5

ER(Cj) 0.16 0 0.6 0.16 0.28 0.66 0.63 0.8 0.8 1.0

Dari hasil diatas, PATH2 dan PATH3 adalah

calon rekomendasi saran belajar karena memiliki bobot

yang paling besar diantara ketiganya. Diantara PATH2

dan PATH3 yang masing-masing memiliki bobot sama,

kemudian dipilih yang menjadi saran belajar pada

akhirnya adalah PATH2. Karena PATH2 memiliki

nilai ER(C6) 0.66, sedangkan PATH3 memiliki nilai

ER(C7) 0.63.

5. Implementasi Sistem Tutor Cerdas

Gambaran umum dari sistem ini adalah

terdapat dua macam pengguna, yakni guru dan siswa.

Guru mempunyai wewenang untuk memasukkan materi

belajar, soal-soal, dan parameter-parameter pre-test.

Setelah parameter pre-test tersedia, sistem kemudian

menyusun soal pre-test, dan siswa dalam sistem ini

dapat mengerjakan soal pre-test untuk mengetahui

tingkat kemampuannya serta untuk mendapatkan

rekomendasi materi belajar. Arsitektur utama dari

sistem ini digambarkan pada Gambar 3.

Pada gambar tersebut dapat diketahui bahwa

sistem ini terdiri dari:

Pembacaan Inputan

Inputan yang dimasukkan berupa parameter-

parameter pre-test, yang berhak untuk

memasukkan parameter-parameter tersebut adalah

guru.

Pemilihan Soal Pre-test

Bertugas untuk memproses parameter-parameter

yang telah dimasukkan untuk dihasilkan lembar

pre-test. Pemrosesan ini menggunakan Algoritma

Feasible Time First (FTF).

Pembuatan Test Item Relationship Table

Bertugas untuk membuat Test Item Relationship

Table berdasarkan pada soal yang terpilih sebagai

soal pre-test.

Pencatatan Jawaban Siswa

Jawaban siswa dicatat dan kemudian disimpan

kedalam database.

Pengecekan Jawaban

Bertugas untuk melakukan pencocokan jawaban

siswa dengan kunci jawaban soal pre-test untuk

kemudian dilakukan perhitungan.

Penetapan Topik Kritis

Topik kritis digunakan sebagai penentuan saran

belajar dan didapatkan dari analisis hasil

pengecekan jawaban.

Penentuan Saran Belajar

Bertugas untuk menentukan saran belajar dengan

menggunakan topik kritis sebagai titik awalnya.

Kemudian menampilkan hasilnya kepada siswa.

Sistem

Pengerjaan

Pre-test

Penyusunan Soal Pre-test

Algoritma FTF

Analisis Jawaban Pre-test

Pengecekan

Jawaban

Pencatatan

Jawaban

Siswa

Form HTML

Pembacaan

Input

Parameter

Pre-test

Pemilihan

Soal

Pre-test

Pembuatan

Test Item

Relationship Table

Penetapan

Topik Kritis

Penentuan

Saran Belajar

Soal Pre-test

Form HTML

Guru

Siswa

Database

Pemodelan Peta Konsep

(Penambahan Materi

Belajar)

Penambahan Soal

Gambar 3 Arsitektur Perangkat Lunak

6. Uji Coba dan Evaluasi

Uji coba pada tugas akhir ini dibedakan

menjadi dua bagian yaitu penyusunan soal pre-test dan

penyusunan saran belajar.

Data yang digunakan dalam ujicoba ini adalah

soal mata pelajaran Matematika untuk Sekolah Dasar

kelas 1-3. Contoh data yang digunakan terdapat dalam

Tabel.4.

Gambar 2 Concept Effect Graph dengan nilai Error Ratio (ER)

Positive Integers

Zero Odd Even

Addition of Integers

Substraction of Integers

Multiplication of Integers

Negative Integers

Division of Integers

Prime Numbers

0

0.16

0.6 0.16 0.28

0.66 0.63

0.8 0.8

1.0 Keterangan :

: PATH1

: PATH2

: PATH3

Tabel 4 Contoh Data Soal yang Digunakan Uji Coba

- Uji Coba Penyusunan Soal Pre-test

.

Dalam uji coba penyusunan soal pre-test

dilakukan dalam dua kali kegiatan yaitu dengan

membedakan parameter inputan. Parameter waktu dan

parameter batas minimum relevansi materi belajar.

Hasil percobaan dengan membedakan

parameter waktu dapat dilihat pada Tabel 5, Tabel 6,

dan Tabel 7. Dari ketiga tabel tersebut, terlihat bahwa

jumlah soal yang dihasilkan bergantung pada besarnya

parameter waktu yang diinputkan. Jika parameter

waktu yang diinputkan bernilai besar, maka soal yang

terpilih akan semakin banyak, sebab hal itu

menunjukkan rentang waktu pengerjaan pre-test

semakin lebar.

Dalam uji coba penyusunan soal pre-test

dengan cara membedakan parameter batas minimum

relevansi, hasil yang diperoleh seperti terlihat pada

Tabel 8 dan Tabel 9. Tidak seperti pada percobaan

dengan membedakan parameter waktu, pada percobaan

dengan membedakan parameter nilai relevansi ini,

perbedaan soal yang terpilih tidak terlalu kentara,

sebab yang menjadi nilai input hanya batas minimum

relevansi, tidak terbatas pada sebuah rentang nilai

tertentu.

Dari percobaan ini dapat disimpulkan bahwa

pemilihan waktu parameter waktu sangat

mempengaruhi kualitas pre-test yang dihasilkan.

Semakin kecil nilai waktu, maka akan semakin sedikit

soal yang terpilih. Semakin sedikit jumlah soal dalam

pre-test, maka semakin kecil relevansi pre-test dengan

materi belajar.

Tabel 5 Hasil Penyusunan Pre-test dengan

Parameter Waktu 5 Menit

Input :

Batas Waktu Minimal : 5 Menit

Batas Waktu Maksimal : 5 Menit

Relevansi dengan masing-masing materi belajar : 15

ID Soal Waktu 1 2 3 4 5 6

16 2 0 0 5 0 0 0

47 3 3 0 5 0 0 0

Total 5 3 0 10 0 0 0

Waktu Running : 430 milliseconds


Parameter Waktu 5-8 Menit

Input :





16 2 0 0 5 0 0 0

26 4 3 0 0 5 0 0

59 1 0 0 0 0 0 0

101 1 5 0 0 0 0 0

Total 8 8 0 5 5 0 0



Parameter Waktu 30 Menit

Input :





16 2 0 0 5 0 0 0

26 4 3 0 0 5 0 0

28 5 4 0 5 0 0 0

No, PERTANYAAN DERAJAT HUBUNGAN DENGAN MATERI

DISKRIMINASI WAKTU 1 2 3 4 5 6

1 9 - 3 -2 4 0 0 5 0 0 2 2

2 8 - 3 - 5 4 0 0 5 0 0 2 2

3 Ibu mempunyai 4 gelas, gelas ibu pecah 2 buah, Berapa

gelas ibu sekarang ? 4 0 0 5 0 0 2 3

4 Udin memmpunyai 7 kelereng, Udin membeli lagi 3

kelereng. Berapa kelereng Udin sekarang ? 4 0 0 5 0 0 2 2

5 Pipit mempunyi 4 balon, diberikan kepada Nani 1 balon,

Berapa balon pipit sekarang ? 4 0 0 5 0 0 2 3

6 Lela mempunyai 3 mangga, Lela membeli lagi 2 mangga.

Berapa mangga Lela sekarang ? 4 0 0 5 0 0 2 3

7 Jika hari ini hari Kamis, maka lusa adalah hari .... 0 0 5 0 0 0 3 2

8 Kemarin adalah hari Rabu, tiga hari kemudian adalah hari

... 3 0 5 0 0 0 2 3

9 Sebelum hari Rabu adalah hari ... 0 0 5 0 0 0 1 1

10 23 ada berapa puluhan dan berapa satuan 5 0 0 0 0 0 1 1

29 5 3 0 4 4 0 0

31 5 4 0 5 0 0 0

43 5 5 0 0 0 0 0

47 3 3 0 5 0 0 0

59 1 0 0 0 0 0 0

Total 30 22 0 19 9 0 0


Tabel 8 Hasil Penyusunan Pre-test dengan Parameter

Relevansi Materi Belajar Masing-masing 5

Input :





16 2 0 0 5 0 0 0

26 4 3 0 0 5 0 0

28 5 4 0 5 0 0 0

29 5 3 0 4 4 0 0

31 5 4 0 5 0 0 0

43 5 5 0 0 0 0 0

47 3 3 0 5 0 0 0

59 1 0 0 0 0 0 0

Total 30 22 0 19 9 0 0


Tabel 9 Hasil Penyusunan Pre-test dengan Parameter

Relevansi Materi Belajar masing-masing 70, 30, 5, 10, 65,

45

Input :



Relevansi minimal dengan masing-masing materi belajar : 70,

30, 5, 10, 65, 45.


16 2 0 0 5 0 0 0

26 4 3 0 0 5 0 0

28 5 4 0 5 0 0 0

29 5 3 0 4 4 0 0

31 5 4 0 5 0 0 0

43 5 5 0 0 0 0 0

47 3 3 0 5 0 0 0

101 1 5 0 0 0 0 0

Total 30 27 0 19 9 0 0


- Uji Coba Penyusunan Saran Belajar

Dengan menggunakan hasil penyusunan pre-test

pada percobaan dengan parameter waktu 5-8 menit dan

parameter nilai minimal relevansi masing-masing materi

belajar adalah 15 maka didapatkan soal seperti terlihat

pada Tabel 6. Kemudian dalam percobaan ini dilakukan

penyusunan saran belajar dengan perhitungan secara

manual berdasarkan dua skenario jawaban yang

berbeda. Kedua skenario seperti terlihat pada Tabel 10

dan Tabel 11 berikut.

Tabel 10 Skenario Pertama Penyusunan Saran Belajar

No. ID Soal Jawaban

1 16 Benar

2 47 Benar

3 59 Salah

4 101 Benar

Pada skenario pertama, Tabel 10, terdapat tiga jawaban

benar dan satu jawaban salah, sedangkan pada skenario

kedua, Tabel 11, terdapat dua jawaban benar dan dua

jawaban salah.

Tabel 11 Skenario Kedua Penyusunan Saran Belajar

No. ID Soal Jawaban

1 16 Benar

2 47 Salah

3 59 Salah

4 101 Benar

Pada skenario pertama, siswa dianggap telah

berhasil melalui pre-test, sehingga tidak dihasilkan

saran belajar. Sedangkan pada skenario kedua, saran

belajar yang didapatkan adalah materi 1, 3, 5 dan 6.

Masing-masing adalah materi mengenai Bilangan Bulat,

Penambahan, Perkalian, dan Pembagian.

Dari kedua skenario yang terlah dilakukan,

terlihat bahwa terdapat perbedaan saran belajar yang

dihasilkan sesuai dengan jawaban yang diinputkan.

Hasil perhitungan untuk kedua skenario diatas terlihat

pada Tabel 12 dan Tabel 13.

Tabel 12 Perhitungan Topik Kritis untuk Saran Belajar

pada Skenario Pertama

1 2 3 4 5 6

ID Soal 16 0 0 5 0 0 0

ID Soal 26 3 0 0 5 0 0

ID Soal 59 0 0 0 0 0 0

ID Soal 101 5 0 0 0 0 0

SUM 8 0 5 5 0 0

ERROR 0 0 0 0 0 0

ER(ERROR/SUM) - - - - - -

DIFF(ER-LB) - - - - - -

Tabel 13 Perhitungan Topik Kritis untuk Saran Belajar

pada Skenario Kedua

1 2 3 4 5 6

ID Soal 16 0 0 5 0 0 0

ID Soal 26 3 0 0 5 0 0

ID Soal 59 0 0 0 0 0 0

ID Soal 101 5 0 0 0 0 0

SUM 8 0 5 5 0 0

ERROR 3 0 0 5 0 0

ER(ERROR/SUM) 0.54 - - 1 - -

DIFF(ER-LB) 0.54 - - 1 - -

Topik kritis adalah topik yang memiliki nilai

ER paling kecil dan nilai DIFF lebih besar dari nol.

Pada Tabel 12 terlihat bahwa total nilai error adalah 0

untuk semua materi. Hal ini menandakan bahwa tidak

ada kesalahan fatal yang dibuat pada pre-test skenario

pertama. Sehingga dianggap telah berhasil melalui pre-

test dan tidak diperlukan adanya saran belajar.

Pada Tabel 13 terlihat bahwa ada nilai error

selain 0, hal ini menandakan bahwa ada sebuah

kesalahan yang membuat siswa tersebut dinyatakan

belum berhasil melewati pre-test sehingga dihasilkan

saran belajar. Materi yang dijadikan awal dari saran

belajar adalah materi yang menjadi topik kritis. Pada

Tabel 13 adalah materi pertama. Maka saran belajar

yang dihasilkan ditelusuri dari materi pertama pada

concept effect graph yang ada, dan dihasilkan saran

belajar untuk skenario kedua adalah materi 1, 4, dan 6.

Materi tentang Bilangan Bulat, Pengurangan dan

Pembagian.

Dari percobaan ini dapat disimpulkan bahwa

saran belajar yang dihasilkan tidak berbeda dengan

hasil perhitungan manual. Menandakan bahwa sistem

telah berjalan dengan benar.

7. Kesimpulan

Berdasarkan hasil uji coba yang telah

dilakukan, dapat diambil kesimpulan bahwa sistem

tutor cerdas dengan teknik pemodelan peta konsep

sudah berfungsi

dengan benar dan akan dihasilkan peta konsep

yang berbeda sesuai dengan kemampuan siswa.

8. Saran Pengembangan

Berdasarkan implementasi yang telah

dilakukan pada tugas akhir ini, terdapat saran-saran

perbaikan yang dapat dilanjutkan sebagai bahan

pengembangan perangkat lunak di masa yang akan

datang.

Pada tugas akhir ini, implementasi penyusunan

soal pre-test menggunakan sebuah algoritma heuristik,

yakni Algoritma Feasible Time First (FTF).

Dikarenakan algoritma ini adalah algoritma heuristik,

diharapkan pada pengembangan selanjutnya dapat

menerapkan algoritma lain agar dapat ditemukan solusi

yang lebih optimal, dengan kata lain dapat dihasilkan

soal-soal pre-test yang lebih bervariasi tingkat

kesulitannya. Kemudian. diharapkan dalam penerapan

penyusunan pre-test juga dapat dihasilkan lembar pre-

test yang berbeda-beda pada setiap siswa, namun tetap

memiliki bobot soal atau tingkat kesulitan yang sama,

dengan cara menemukan faktor pembeda lain selain

derajat diskriminasi. Selain itu pada soal-soal yang

pernah menjadi bagian dari sebuah pre-test, agar

memiliki kemungkinan kecil untuk terpilih pada pre-test

– pre-test selanjutnya.

Setelah dihasilkan saran belajar, sebaiknya

diadakan treatment lebih lanjut terhadap siswa, seperti

post-test, untuk bisa mengukur peningkatan tingkat

pemahaman siswa.

Referensi

Hwang, G.-J. (2003). A Conceptual Map Model for

Developing Intelligent Tutoring System. Computers &

Education , 40 (3), 217-235.

Hwang, G.-J. (2006). An Effective Approach for test-

sheet Composition with large-scale item Banks.

Computers & Education , 46 (2), 122-139.

Hwang, G.-J. (1999). Development of an Intelligent

Testing and Diagnostic System on Computer

Networks. Proc. Natl. Sci. Counc. ROC (D) , 9 (1), 1-

9.

tabel 3 contoh test item relationship...

Documents