PROPOSAL TESIS

Nama : Norma Devi KurniasariNRP : 214210447Jurusan : S2-Teknologi InformasiPembimbing : Fransisca Co-Pembimbing : Joan

I. Latar BelakangDalam proses penilaian di dunia pendidikan, terdapat 2 metode penilaian

yaitu penilaian formatif dan penilaian sumatif, perbedaan dari 2 metode itu adalah penilaian formatif dilakukan untuk mengetahui feedback dari peserta didik selama pelajaran satu bab, peserta didik dengan jelas dapat mengetahui bagaimana bahan pelajaran yang masih dirasakan sulit, pada penilaian formatif memungkinkan guru memberikan suatu perbaikan nilai untuk peserta didik yang dinilai belum mampu dalam bab tersebut. Untuk penilaian sumatif dilakukan untuk mengestimasi kemampuan peserta didik dalam satu tahun atau akhir satu semester, penilaian ini berbeda dengan penilaian formatif karena tidak adanya perbaikan nilai, penilaian sumatif bertujuan untuk mengetahui kemampuan akhir peserta didik dapat melanjutkan ke tingkat program selanjutnya atau tidak.

Penilaian adalah inti dari proses belajar mengajar yang dilakukan guru melalui “Paper and Pencil” ( P&P ) atau dengan komputer ataupun “Web Assisted Testing”. Salah satu sistem penilaian yang saat ini terkenal di Indonesia adalah Computer Based Testing ( CBT ) untuk Ujian Nasional, yang masih dilakukan satu tahun terakhir ini. Pada implementasi penilaian CBT, peserta didik diberikan sejumlah soal dengan waktu yang telah ditentukan, dengan pola soal yang diacak agar masing-masing peserta didik menjawab dengan pertanyaan yang berbeda satu sama lain, dan hasilnya akan diumumkan pada waktu tertentu secara serentak. Dalam persiapan Ujian Nasional secara online tersebut, peserta didik hendaknya melakukan ujian-ujian akhir semester secara online juga agar siap menghadapi Ujian Nasional online tersebut, tetapi jika pola soal dari sistem penilaian tersebut sama dengan sistem CBT maka guru kurang bisa mengetahui level kemampuan peserta didiknya secara tepat, peserta didik hanya siap saja untuk menghadapi ujian online karena beberapa kali sudah menghadapi ujian online, tidak untuk penilaian yang akurat.

Pada beberapa tahun ini, terdapat metode sistem pengujian baru yaitu Computerized Based Testing ( CAT ). CAT adalah kombinasi dari pengukuran teori dan teknologi komputer untuk menyediakan pengukuran yang tepat dalam computer-based learning. Penilaian secara adaptif ini menggunakan item ( pertanyaan ) dari bank soal berdasarkan selection rules yang diatur oleh administrator ataupun guru. Cara ini memungkinkan mengetahui kemampuan peserta didik dengan menggunakan jumlah item yang sama dari bank item, atau mengurangi jumlah item untuk peserta didik khusus.

Pada tesis ini akan meneliti tentang sistem penilaian menggunakan CAT dengan tujuan dapat mengetahui level kemampuan peserta didik secara akurat. Sesuai dengan teori CAT, setiap peserta didik diberikan item berbeda sesuai

1

kemampuannya, peserta didik memliki pola soal yang berbeda-beda dilihat dari jawaban sebelumnya selama ujian berlangsung, dengan waktu yang lebih cepat untuk mengetahui level kemampuan peserta didik. CAT ini nantinya akan diimplementasikan untuk ujian akhir semester atau disebut juga penilaian sumatif.

II. TujuanBerdasarkan latar belakang masalah tersebut diatas, maka tujuan penelitian

ini adalah :1. Membuat sistem penilaian untuk mengetahui level kemampuan siswa secara

adaptif dan akurat agar memudahkan guru untuk memutuskan lanjut atau tidaknya peserta didik ketingkat berikutnya.

2. Dengan menerapkan metode Item Respon Theory ( IRT ) yang memperhitungkan kemungkinan peserta didik memberikan jawaban dengna benar untuk setiap item. Dan triangle decision tree untuk pemilihan item berdasarkan kategori tingkat kesukaran, daya beda, dan tingkat menebak yang disesuaikan dengan jawaban peserta didik benar atau salah.

III. HipotesisHipotesis yang akan diuji dalam penelitian ini adalah dengan menggunakan

metode IRT dan decision tree dengan rata-rata keakuratan mengetahui level kemampuan peserta didik mencapai 80%.

IV. Tinjauan PustakaDalam melakukan penelitian, terdapat beberapa tinjauan pustaka yang

digunakan untuk membantu menyelesaikan permasalahan-permasalahan yang muncul dalam pengerjaan tesis ini. Tinjauan pustaka tersebut dapat dikaji sebagai berikut:

A. e-Xamina: an experimental multi-user assessment platform for Computer Adaptive Testing

Penelitian ini berfokus pada sistem penilaian dengan fitur muli-user, multi-user yang dimaksud adalah terdapat sejumlah guru dan tutor untuk mengolah bank soal dengan level yang berbeda berdasarkan sistem penilain Computer Adaptive Testing (CAT). CAT merupakan sistem untuk mengestimasi level kemampuan dengan cara memilih pertanyaan berikutnya secara benar dan membentuk sebuah path untuk penilaian disesuaikan dengan jawaban masing-masing peserta. Jadi setiap peserta memiliki jalur dan pola soal berbeda-beda. Sistem penilaian ini diimplementasikan pada platform e-Xamina yang juga berfokus dalam kriteria skor berdasarkan kemampuan peserta secara individu. Skor tersebut berdasarkan Item Response Theory (IRT).

2

Beberapa fitur yang disediakan oleh e-xamina di antaranya adalah antarmuka peserta ujian untuk mengatur profil, modul evaluasi untuk analisa dan menghasilkan statistik pada hasil tes, komposer tes untuk mengedit dan menyimpan item penilaian. Berikut stuktur utama e-Xamina :

Gambar 1. Struktur utama dan login profil pada e-Xamina

Prototype pada e-Xamina dignakan pada Manajemen dari Human Resource dengan sub-entitas “teacher” dan “tutor”. Test Management System (TMS) bagian dari tutor atau teacher saling berinteraksi untuk mengedit pertanyaan-pertanyaan untuk tes, teacher dapat menjadi administrator dari TMS dengan didampingi oleh banyak tutor. Multi-user yang dimaksud disini adalah sejumlah teacher dan tutor bersamaan login untuk membuat/mengedit/menghapus pertanyaan pada database. Teacher dan tutor dapat berkomunikasi dengan inti sistem dari TMS dan Test Delivery System (TDS) dan mengatur form dari accounting. Administrator mengatasi sistem control secara umum.

e-Xamina menggunakan arsitektur dari AMP (Apache, MySQL, dan PHP). E-Xamina menawarkan dua bantuan (hint) yang pertama item_hint1 dan item_hint2, dengan masing-masing fungsinya adalah bantuan pertama menawarkan penjelasan singkat berhubungan dengan pertanyaan tersebut, dan kedua adalah pertanyaan yang lebih mudah yang juga bersangkutan dengan pertanyaan tersebut. Berikut skema graph dari e-Xamina :

Gambar 2. Graph dari e-Xamina finite state machine

Gambar 2 menjelaskan awal proses adalah dari vertex Q dengan nilai awal 0. 4 inputan dari setiap pertanyaan : 1) jawaban benar[r] dengan skor positif [sr], 2)

3

jawaban salah [w] dengan skor sw=-1/(n-1), n adalah jumlah jawaban yang tepat,3) hint request [h] dengan skor negative [sh], |sh|<|sw| and ke 4) tidak ada jawaban yaitu blank[b], dengan skor [sb] bernilai 0. Dengan model ini sangat fleksibel dan adatif karena nilai-nilai dari sr,sh,sw,dan sb sangat bervariasi setiap pertanyaan yang muncul dan hint request selalu mengupdate nilai-nilai tersebut.

Penelitian dilakukan dengan satu set 50 pertanyaan dengan 5 pilihan jawaban. 2 grup secara acak dari 21 sisa dari kelas yang sama, dan 2 modulitas yang berbeda yaitu dengan adaptif e-Xamina dan test Paper & Pencil (P&P).

Gambar 2. Analisa E-Xamina: Classical P&P vs Adaptive approach.

Pada gambar 2 menunjukkan skor dari adaptive test 8% lebih tinggi dariP&P dan peningkatan ini merupakan pengukuran dari pengetahuan menggunakan CAT, sementara pengetahuan ini hilang diversi tes P&P.

Nilai rata-rata skor tes adalah indeks yang paling berarti. Tes P & P dan CAT diberikan sebagai pertanyaan dan jawaban berebut. Nilai-nilai jawaban yang benar, jawaban yang salah, tidak ada jawaban danpetunjuk, masing-masing adalah 1, -0,25, 0, -0,05. Untuk jawaban yang salah dibentuk 2 level petunjuk bantuan, "Kesalahan Pertanyaan". Untuk setiap "Permintaan Petunjuk" telah ditetapkan paling banyak dua level saran yang memungkinkan.

B. Association Rules for Data Mining in Item Classification Algorithm: Web Service Approach

Penelitian ini juga bertujuan untuk mengukur kemampuan peserta ujian dengan cara menentukan item pertanyaan yang tepat dan berbeda setiap peserta ujian sesuai dengan kemampuan menjawab mereka. Hal ini dapat menciptakan hasil yang akurat dan efisien untuk mencapai potensi peserta ujian. Agar aplikasi CAT bisa dijalankan diberbagai platform dan bisa mengambil item pertanyaan dari banyak repositori, maka penelitian ini menggunakan pendekatan Web Service untuk mengatasi interoperabilitas.

Penetilian ini menggunakan 3 repositori yaitu LMS (Learning Management System), CAT online application, dan genecric item bank database dan diakses via internet. Berikut adalah blok diagram untuk proses data mining.

4

Gambar 1. Proses keseluruhan data mining untuk menyediakan item-set kepada peserta ujian.

Gambar 1 menunjukkan proses menambang data dari banyak sumber repository. Penelitian ini menggunakan data mining untuk mengatasi masalah kombinasi item dari berbagai sumber yang membuat item bank lebih besar, supaya dapat mengekstrak informasi yang berguna untuk menciptakan item-set yang optimal menggunakan pola pengetahuan. Item-set dibangun untuk proses penilaian, Adaptive Testing Algorithm merupakan pengetahuan yang digunakan untuk membuat pola item dan item-set.Adaptive Testing Alforithm menggunakan Decission Tree untuk membangun pola item. Item yang tepat membantu peserta ujian menginkatkan pengetahuan mereka untuk mencapai potensi penuh.

Hasil dari penelitian ini adalah proses mining dapat mengekstrak item-item dari banyak repository untuk menciptakam item-set bekerja dengan baik. Dengan memberlakukan association rules dan knowledge pattern, pola item telah dapat dibangun. Setelah itu, item-item yang dimining dapat menciptakan item-set yang menggunakan skema XML. Item-set tidak hanya mewakili property item, tapi juga menunjukan level kemampuan peserta ujian. Manfaat dari penelitian ini adalah dapat menciptakan item bank yang lebih besar dari berbagia sumber, item bank bisa dibagikan ke aplikasi lain, item yang tepat dapat membantu peserta ujian untuk meningkatkan pengetahuan peserta ujian.

C. Secure And High Efficent Computerized Adaptive Testing Scheme For Computer Courses Based On Identity

Penelitian ini dilakukan dengan tujuan untuk meningkatkan efisiensi Computer Adaptive Testing (CAT) dan keamanan untuk kursus komputer. Terdapat 2 aspek dalam sistem ini yaitu mengoptimalkan item bank dengan metode Item Response Theory (IRT) yang bisa menghitung kemampuan awal peserta ujian, dan melengkapi pilihan masing-masing peserta ujian secara adaptif. Yang kedua adalah mengenkripsi tanda tangan digital dan digital envelope digunakan untuk otentikasi identitas dan kebocoran soal.

Untuk merancang database pertanyaan diperlukan model Item Response Theory (IRT) agar menghasilkan pertanyaan yang berkualitas, sebanding, dan memiliki fitur yang baik. Dari model ini, spesifikasi dan atribut dari pertanyaan, dan struktur ujian dapat dibangun dengan baik. Setelah itu, membangun item ( pertanyaan), men-setting parameter IRT untuk pertanyaan, menjaga database

5

pertanyaan secara dinamis dengan mencampur pertanyaan lama dan pertanyaan baru, kemudian menghitung kemampuan peserta ujian, diperlukan strategi untuk memilih pertanyaan sesuai dengan kemampuan peserta ujian, dan untuk mengakhiri ujian diperlukan kondisi dimana terdapat 2 kondisi yaitu maximum pertanyaan dan minimum estimasi standart error.

Mekanisme untuk keamanan dalam sistem CAT dapat digambarkan pada gambar 1.

Gambar 1. Mekanisme keamanan menghubungkan 3 peran di CAT untuk kursus komputer.

Dari gambar 1 dapat dijelaskan langkah pertama untuk keamanan adalah inisialisasi sistem ujian yang meliputi peran E adalah merespon pembuatan key diseluruh mekanisme keamanan, sistem ujian menyeleksi parameter (p,q,v,n, Hash) untuk menginialisasi G-Q signature algorithm, dan membuka (v,n,Hash) ke T dan S, sistem enkripsi RSA menginisialisasi ke public key(Yr) RSA dan private key (Xe). Tahap kedua adalah meregistrasi T dan S, T dan S menyediakan informasi identitas asli ke E misal menggunakan fingerprint. Tahap ketiga adalah proses keamanan pada waktu ujian, sebelum ujian E membuat password untuk T dan mengenkripsi soal, E mengirim passwordnya ke T, T login dan mendownload soal menggunakan password yang dikirim E. Tahap keempat adalah prosedur keamanan untuk mengirim jawaban, setelah ujian berakhir jawaban dari peserta ujian dikirim ke T melalui pengisian key yang sebelumnya dikirim oleh T dengan random key, kemudian seluruh jawaban peserta ujian oleh T dikirim ke E menggunakan digital envelope. Tahap kelima adalah pengaasan dari pusat Manejemen Ujian yaitu E, E mengecek pengesahan soal dan ruangan, kemudan E mendekripsi jawaban ujian yang sudah dikirim oleh T agar terbentuk plaintext, E memverifikasi jawaban ujian dari S menggunakan hash, jika signature valid, maka jawaban ujian benar sesuai dengan identitas peserta ujian, selain itu invalid.

Simulasi pengujian dari sistem ini adalah sebagai berikut, dari 500 peserta ujian mengambil ujian bahasa assembler, untuk tes pertama menggunakan Computer Based Testing (CBT), jika telah selesai mengikuti ujian CBT peserta ujian diharuskan mengikuti Computer Adaptive Testing (CAT). Hasil dari ujian tersebut dijelaskan pada tabel 1.

6

Tabel 1. Hasil simulasi dari CBT(Computerize dan CAT

Tabel 1 menunjukkan bahwa CAT lebih efisien untuk menghasilkan level dan kemampuan peserta ujian dengan tepat, CBT tidak bisa menarget pertanyaan sesuai dengan kemampuan masing-masing peserta ujian, hasilnya CAT memilik keberhasilan 95.82% lebih baik daripada CBT sebesar 66.74%. Dapat disimpulkan bahwa skema CAT dari sisi keamanan dan kefisiensiannya dapat mengatasi masalah penipuan identitas dan kebocoran soal.

D. Computerized Adaptive Testing based on Decision TreePaper ini membahas tentang metode item selection pada Computer

Adaptive Testing (CAT) dengan membandingkan dua sumber data yaitu local independent data dan network structure data dengan menggunakan algoritma ID3. Keuntungan menggunakan metode baru ini adalah metode ini megurangi bias item selection dari item bank daripada metode fischer information, metode ini tidak memiliki estimasi kesalahan pada awal tes, metode ini mengasumsikan struktur probabilitas jaringan dari item/pertanyaan bukan dari struktur independent local yang sederhana, metode ini mengurangi biaya komputasi dibandingkan dengan metode tradisional. Dari probabilitas chain rule dapat dirumuskan sebagai beriku :

Dimana :

Rumus diatas dapat digunakan pada network structure data. Dengan mengguakan ID3 diharapkan dapat mempercepat dan memiliki akurasi ketepatan yang tinggi dalam pemilihan pertanyaan atau item selection.

Untuk memperbandingkan metode tradisional peniliti menggunakan 27 tipe item bank yang berbeda dengan masing-masing model sebagai berikut :

1. I = 100, 500 dan 1000.2. Nilai ai dibuat acak dari 3 kondisi [0,0.3, [0.3,0.6],[0.6,1].3. Nilai dari b, dibat acak dengan 3 kondisi [-3,-1],[-1,1] dan [1,3].

Dengan 5000 data training dan 1000 validasi data peniliti memperbandingkan metode item selection menggunakan decision tree. Hasilnya dapat dilihat pada table 1 untuk local independent structure dan table 2 untuk network structure. Pada table tersebut menampilan MSE dari kemampuan estimasi, masing-masing lebih besar 20% pada frekuensi selecte item ai.

7

Hasil komparasi menggunakan ID3 :

V. Ruang LingkupRuang lingkup yang akan dibahas pada tesis ini adalah mulai dari input dan

output sistem, arsitektur sistem, batasan sistem, koleksi data.A. Batasan Sistem

Untuk permasalahan yang terlalu luas, maka batasan-batasan diberlakukan pada sistem ini. Batasan-batasan yang diberlakukan adalah sebagai berikut:1. Untuk pemilihan jawaban dengan sistem pilihan ganda, terdapat 5 pilihan

jawaban a,b,c,d dan e.2. Algoritma yang digunakan adalah Triangle Decision Tree.3. Menggunakan bahasa pemrograman PHP.4. Bank item yang digunakan berasal dari SMK PGRI 2 Sidoarjo.5. Untuk pemilihan level kesulitan soal ditentukan oleh expert secara manual

menggunakan dasar ilmu taxonomy bloom dalam soal pilihan ganda.

8

6. Membuat aplikasi untuk ujian akhir semester dan dapat digunakan untuk ujian akhir sekolah.

B. Block Diagram Sistem Computer Adaptive Testing (CAT)Pada blok diagram ini akan dijelaskan tahapan-tahapan dalam system CAT

yang efeketif dengan algoritma Klasifikasi Decision Tree.

Gambar 1. Block Diagram Sistem CATDari blok diagram yang ditunjukan pada gambar 1 dapat disimpulkan bahwa

data soal yang sudah terkumpulan diseleksi terlebih dahulu setelah ditemukan data kembar maka dilakukan pemilihan data yang akan digunakan sebagai input atribut. Adapun data yang telah dipilih terdiri dari data bernilai sangat baik, baik, cukup. Setelah selesai dilakukanya pemilihan data maka langkah selanjutnya ialah penerapan Klasifikasi Decision Tree dan IRT model dalam system CAT. Adapun ilustrasi dari sistem yang akan dikembangkan ditunjukan pada gambar 2.

Gambar 2. Ilustrasi SistemIlustrasi sistem ditunjukan pada gambar 2 bahwa user menginputkan data

proses pembelajaran yang ada kemudian sistem akan memproses data tersebut dengan tahapan yang telah dilakukan sebelum sistem dibuat. Adapun tahapan tersebut dapat dilihat pada penjelasan di bawah ini:1. Data Selection

9

Bank soal

Penyeleksian data

Item selection

PreprocessingPenerapan DT

Output kemampuan siswa dengan nilai teta dan

keterangan

IRT Model

Interface Instruktur Interface Peserta Ujian

Pengaturan item

Proses Decision Tree dan IRT ModelSet Parameters

2

1

Item Bank

Evaluasi & Analisa

5

Online Testing

3 4

Memilih data yang akan dimining dengan Klasifikasi berbasis Decision Tree, dimana data tersebut berisi dari field dan record yang memiliki input atribut untuk penentuan kelas atau label target. 2. Pre-processing/ Cleaning

Pemprosesan pendahuluan dan pembersihan data merupakan operasi dasar seperti penghapusan noise. Hal ini dilakukan untuk menemukan data unik sehingga tidak ada data yang sama persis antar setiap field dan record.3. Transformation

Pencarian fitur-fitur yang berguna untuk mempresentasikan data bergantung kepada tujuan yang ingin dicapai.4. Penerapan Klasifikasi Decision Tree

Memproses data yang telah diseleksi dengan menggunakan Klasifikasi dalam penentuan Rule kemudian menghitung gain dan entrophy dalam menentukan node awal dan node akar atau leaf sehingga ditemukan kemampuan siswasecara adaptif.5. IRT Model

IRT Model digunakan untuk menentukan pemilihan butir soal yang akan diberikan kepada siswa atua peserta ujian yang disesuaikan dengan kemampuan siswa.C. Input Output sistem

Input dari sistem berupa data soal ujian selama 4 tahun terakhir, adapun atribut yang digunakan dari data ini adalah Gambar 5 merupakan flowchart input output sistem CAT.

10

Bank item

Mata Pelajaran, Pertanyaan, kunci jawaban, jawaban A, jawaban B, jawaban C, Jawaban D, jawaban E

Proses decision tree dan IRT Model

Item selection

Hasil tingkat kemampuan siswa

End

Gambar 3. Input Output sisstemDari gambar 6 data proses pembelajaran merupakan start awal yang akan menerima inputan dari user, kemudian pemprosesan dengan menggunakan Klasifikasi berbasis Decision Tree sehinga menghasilkan Model Pembelajaran yang efektif. Adapun output yang akan dihasilkan adalah beberapa Model Pembelajaran yang telah dijadikan kelas atau target input atribut. Ada 11Model Pembelajaran yang dijadikan target yaitu: Direct Interaction, Ecplicit Instruction,PBI, Ceramah, Demonstration, Inkuiri,Jigsaw,Cooperative,think-Pair_share,Numbred Head Togetherdan CBSA.

Inputan item (soal/pertanyaan) dari data asli adalah sebagai berikut :

No. Mata Pelajaran Pertanyaan Kunci Jawaban Jawaban A Jawaban B Jawaban C Jawaban D Jawaban E1 Pengolahan Citra Digital Dibawah ini soft A CorelDraw Photoshop Paintbrush Adobe After EffeMacromedia Flash2 Pengolahan Citra Digital C CorelDraw Adobe PhotosPaintbrush Adobe After EffeMacromedia Flash3 Pengolahan Citra Digital Element gambar s A object gambar grafik vektor bitmap palette4 Pengolahan Citra Digital D object gambar grafik vektor bitmap palette5 Pengolahan Citra Digital A artistic text paragraph textgrafik text bitmap vektor Extrude text6 Pengolahan Citra Digital Image yang dibe C object gambar grafik vektor grafik raster bitmap7 Pengolahan Citra Digital Jenis teks yang B artistic text paragraph textgrafik text bitmap vektor bitmap8 Pengolahan Citra Digital Salah satu repr C object img bitmap vektor raster

Di bawah ini software pengolah gambar raster/digital imaging adalah…

Image yang terbentuk dari rajutan atau sebarang sejumlah pixel atau titik adalah…adalah…

Struktur Data utama untuk sistem ini adalah :Atribut Keterangan TypeIndex Item index numberSoal Soal StringJA Jawaban A StringJB Jawaban B StringJC Jawaban C StringJD Jawaban D StringJE Jawaban E StringKJ Kunci Jawaban StringIA Nilai IRT Discrimination Float

CAT memerlukan: (1) bank soal, (2) prosedur pemilihan item awal, (3) prosedur pemilihan item selama pelaksanaan tes, (4) prosedur untuk mengakhiri tes, dan (5) estimasi kemampuan peserta tes (Masters & Keeves, 1999: 130). Dalam prosedur pemilihan item awal diberikan item tes dengan tingkat kesukaran yang sedang. Prosedur pemilihan item tes selama pelaksanaan tes dalam CAT berdasarkan pada pola jawaban peserta tes yang akan dijadikan aturan untuk menentukan item tes berikutnya. Salah satu metode pemilihan item selama pelaksanaan tes adalah menggunakan pohon segitiga keputusan. pohon segitiga keputusan adalah model keputusan yang berbentuk grafik. Sebuah simpul dalam pohon segitiga keputusanMenunjukkan parameter-parameter tes yang berisi tiga parameter IRT yaitu tingkat kesukaran, daya beda, dan tingkat menebak. Setiap simpul hanya memiliki dua

11

cabang ranting dan setiap cabang ranting yang keluar dari simpul ada dua arah yaitu cabang ke arah kiri dan cabang ke arah kanan. Arah cabang akan ke kanan jika peserta tes menjawab pertanyaan dengan benar dan arah cabang akan ke kiri jika peserta tes menjawab pertanyaan item yang salah (Phankokkruad, 2008: 656). Prosedur mengakhiri tes diberikan agar tes tidak terlalu panjang dan estimasi kemampuan peserta tes menggunakan metode maximum likelihood (MLE).D. Evaluasi Kinerja Sistem

Untuk menguji kinerja dari sistem penilaian ini adalah membandingkan antara CBT dan CAT. Dengan peserta didik yang ditentukan untuk melakukan uji coba.E. Koleksi Data

Koleksi data yang digunakan berasal dari ujian-ujian tahun 2011-2014, dengan menggunakan mata pelajaran produktif multimedia sebesar 700 item, kelas XII untuk persiapan Ujian Nasional jurusan Multimedia.

F. Metodologi PenelitianAda beberapa metodologi penelitian yang dilakukan dalam penelitian

yaitu :A. Studi Literatur

Dengan mempelajari buku-buku referensi, artikel serta jurnal terkait dengan permasalahan penelitian yang diangkat serta mencari solusi yang terbaik.

B. Analisa PermasalahanPada tahap ini, akan dilakukan analisa secara sistematis untuk

mendapatkan hasil keluaran yang diinginkan. Bagaimana sistem dapat memecahkan masalah.

C. Pengumpulan DataPada tahapan ini, penulis akan mendatangi langsung sumber data dan

melakukan wawancara untuk mendapatkan informasi berupa pengetahuan dalam pemilihan level kesulitan item atau soal .

D. Pengolahan DataInformasi yang didapat akan disimpan dalam bentuk basis pengetahuan.

Kemudian akan diolah dengan menggunakan bidang data Mining metode classification decision Three.

E. Perancangan SistemTahap ini sistem akan mulai dibangun dengan menggunakan tool yang

telah ditentukan. Coding dan debugging program aplikasi yang dibangun juga dilakukan pada tahap ini.

F. Implementasi dan Uji Coba SistemPada tahap ini akan dilakukan pengimplementasian beserta uji coba

sistem sehingga diharapkan dapat dihasilkan solusi seperti yang diajukan untuk penelitian ini.

VI. Daftar Pustaka

12

1. Dumais, Susan T. dan Jakob Nielsen, Automating the Assignment of Submitted Manuscripts to Reviewers, SIGIR '92 Proceedings of the 15th annual international ACM SIGIR conference on Research and development in information retrieval, 1992.

2. Zablocki, Justin dan Roger Lee, Auto-Assign: An Implementation to Assign Reviewers using Topic Comparison in START.

3. Caldera, Christian, dkk. PRIMA - Towards an Automatic Review/Paper Matching Score Calculation, The Sixth International Conference on Creative Content Technologies, 2014.

4. Charlin, Laurent, Richard Zeniel, dan Craig Boutilier, A Framework for Optimizing Paper Matching. Proceedings of Uncertainty in Articial Intelligence (UAI'11), 2011.

5. Ferilli, S., Automatic Topics Identification for Reviewer Assignment, 19th International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems, IEA/AIE, 2006.

6. Manning, Christopher D., Prabhakar Raghavan, dan Hinrich Schütze.An Introduction to Information Retrieval. Cambridge University. 2009.

13