penilaian ujian bertipe uraian ( ) menggunakan … · 0.05). namun, terdapat beberapa tipe soal...

perpustakaan.uns.ac.id digilib.uns.ac.id

commit to user

i

PENILAIAN UJIAN BERTIPE URAIAN (ESSAY) MENGGUNAKAN

METODE KEMIRIPAN TEKS (TEXT SIMILARITY)

SKRIPSI

Disusun Oleh :

ADAM ASSHIDIQ

M0509001

JURUSAN INFORMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SEBELAS MARET

2014


commit to user

ii



Oleh :

ADAM ASSHIDIQ

M0509001

SKRIPSI

Ditulis dan diajukan untuk memenuhi sebagian persyaratan

memperoleh gelar Sarjana Informatika

JURUSAN INFORMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SEBELAS MARET

2014


commit to user

iii


commit to user

iv


commit to user

v

MOTTO

“Bacalah dengan nama Tuhanmu yang menciptakan. Dia telah menciptakan manusia dari

segunmpal darah. Bacalah, dan Tuhanmulah Yang Maha Pemurah. Yang mengajar dengan

Qalam. Dialah yang mengajar manusia segala yang belum diketahui”

(Q.S Al-„Alaq 1-5)

“Harga Kebaikan manusia adalah diukur menurut apa yang telah dilaksanakan /

diperbuatnya”

(Ali Bin Abi Thalib)

“Apabila Anda berbuat kebaikan kepada orang lain, maka Anda telah berbuat kebaikan

terhadap diri sendiri”

(Benyamin Franklin)

“If you do nothing, you get Nothing. But if you do something, you will get everything”

(Adam Asshidiq)


commit to user

vi

PERSEMBAHAN

Aku persembahkan Skripsi ini untuk :

1. Abah, Mamah, dan adikku tercinta

2. Jurusan Informatika UNS

3. Sahabat-sahabatku di bumi Cirebon

4. Teman-teman seperjuangan angkatan 2009


commit to user

vii

KATA PENGANTAR

Puji dan Syukur Penulis sampaikan kehadirat Allah SWT yang senantiasa memberikan

rahmat, nikmat, serta hidayah-Nya sehingga Penulis dapat menyelesaikan skripsi ini dengan

baik. Shalawat serta salam semoga selalu terlimpah bagi baginda Rasul, Nabi Muhammad

SAW, para sahabat, dan umatnya hingga akhir zaman.

Skripsi ini berjudul “Penilaian Ujian Bertipe Uraian (Essay) Menggunakan Metode

Kemiripan Teks (Text Similarity)”. Skripsi ini disusun sebagai salah satu syarat dalam meraih

gelar Sarjana Informatika di Universitas Sebelas Maret (UNS) Surakarta.

Penulis juga mengucapkan terima kasih kepada semua pihak yang membantu

memberikan bantuan, masukkan, dukungan, serta motivasi kepada Penulis selama proses

penyusunan skripsi ini. Terkhusus, Penulis sampaikan rasa terima kasih Penulis kepada :

1. Ibu Umi Salamah, M.Kom, selaku ketua Jurusan Informatika UNS.

2. Bapak Didiek Sri Wiyono, S.T., M.T., selaku Pembimbing Akademik yang selalu

membantu dan memotivasi Penulis selama masa perkuliahan di Informatika UNS.

3. Bapak Ristu Saptono, S.Si, M.T., selaku dosen pembimbing I dan Bapak Meiyanto

Eko Sulistyo S.T., M.Eng., selaku dosen pembimbing II yang penuh kesabaran

membimbing, mengarahkan, dan memotivasi Penulis untuk menyelesaikan skripsi.

4. Bapak dan Ibu Dosen serta Karyawan Jurusan Informatika FMIPA UNS yang telah

mengajari Penulis berbagai macam hal selama masa perkuliahan di Informatika UNS.

5. Keluarga tercinta, Abah, Mamah, dan Liza, yang telah memberikan dorongan

motivasi serta mendoakan Penulis agar dapat menyelesaikan studi di Universitas

Sebelas Maret.

6. Teman-teman seperjuangan, khususnya angkatan 2009, yang selalu setia menemani

dengan dukungan dan semangatnya.

7. Sahabat-sahabat saya di bumi Cirebon yang selalu mendukung Penulis secara moril.

Penulis pun berharap semoga skripsi ini dapat bermanfaat bagi semua pihak yang

berkepentingan.

Surakarta, Januari 2014

Penulis


commit to user

viii

ASSESSMENT ESSAY EXAM USING TEXT SIMILARITY METHOD

ADAM ASSHIDIQ

Informatics Departement, Mathematics and Science Faculty, Sebelas Maret University.

ABSTRACT

Exam is one way to measure the performance of students in the learning process. Type of test

that is often tested on each student's learning activities are the type of test description

(essay). This study focuses on the manufacture of automatic assessment to test extensions of

type descriptions using text similarity. This method has several stages such as text mining,

text preprocessing with stemming process using Nazief – Adriani algorithms, text

transforming, then judgment tf - idf method, and cosine similarity. The results of this study is

the final value assessment system uses text similarity does not differ significantly from the

results of expert assessment. It is proved by testing using paired T test with degrees of

freedom ( α ) of 5 % , where the value ttable > thitung ( 2.045 > 0.3755 ) as well as the

significance value > degrees of freedom ( 0.71 > 0.05). However, there are several different

types of questions that the result is significant because there is a unique character which is

recorded in the database as well as the answers to the key does not contain the appropriate

keywords to the relevance of the correct answer.

Keywords : essay test, automatic assessment, text similarity, keywords.


commit to user

ix



ADAM ASSHIDIQ

Jurusan Informatika, Fakultas MIPA, Universitas Sebelas Maret Surakarta.

ABSTRAKSI

Ujian adalah salah satu cara untuk mengukur performa siswa dalam proses belajar. Jenis ujian

yang sering diujikan pada setiap kegiatan belajar siswa adalah tipe ujian uraian (essay).

Penelitian ini berfokus pada pembuatan ekstensi penilaian otomatis untuk ujian bertipe uraian

dengan menggunakan metode text similarity. Metode ini mempunyai beberapa tahapan

seperti text mining, text preprocessing dengan proses stemming menggunakan algoritma

Nazief-Adriani, text transforming, lalu penilaiannya menggunakan metode tf-idf, serta cosine

similarity. Hasil penelitian ini adalah nilai akhir hasil penilaian menggunakan sistem text

similarity tidak berbeda signifikan dengan hasil penilaian dari pakar. Hal ini dibuktikan

dengan pengujian menggunakan uji T berpasangan dengan derajat kebebasan (α) sebesar 5%,

dimana nilai ttabel > thitung (2.045 > 0.3755) serta nilai signifikansi > derajat kebebasan (0.71 >

0.05). Namun, terdapat beberapa tipe soal yang hasilnya berbeda signifikan dikarenakan

terdapat karakter unik yang terekam di dalam database serta jawaban pada kunci tidak

mengandung keywords yang sesuai dengan relevansi jawaban yang benar.

Kata Kunci : ujian essay, penilaian otomatis, text similarity, keywords.


commit to user

x

DAFTAR ISI

HALAMAN JUDUL ................................................................................................................ i

HALAMAN PERSETUJUAN................................................................................................ iii

HALAMAN PENGESAHAN ................................................................................................ iv

HALAMAN MOTTO .............................................................................................................. v

HALAMAN PERSEMBAHAN ............................................................................................. vi

KATA PENGANTAR ........................................................................................................... vii

ABSTRACT .......................................................................................................................... viii

ABSTRAKSI .......................................................................................................................... ix

DAFTAR ISI ............................................................................................................................ x

DAFTAR TABEL ................................................................................................................. xiii

DAFTAR GAMBAR ............................................................................................................ xiv

BAB I. PENDAHULUAN ....................................................................................................... 1

1.1. Latar Belakang ........................................................................................................... 1

1.2. Rumusan Masalah ...................................................................................................... 2

1.3. Batasan Masalah ........................................................................................................ 2

1.4. Tujuan Penelitian ....................................................................................................... 3

1.5. Manfaat Penelitian ..................................................................................................... 3

1.6. Sistematika Penulisan ................................................................................................ 3

BAB II. TINJAUAN PUSTAKA ............................................................................................ 5

2.1. Dasar Teori ................................................................................................................ 5

2.1.1. Kuis Online .................................................................................................... 5

2.1.2. Learning Management System (LMS) ............................................................ 5

2.1.3. Moodle ........................................................................................................... 6

2.1.4. Text Mining .................................................................................................... 7

2.1.4.1. Text Preprocessing............................................................................ 7


commit to user

xi

2.1.4.2. Text Transforming ............................................................................. 7

2.1.4.3. Pattern Discovery ............................................................................. 8

2.1.5. Term Frequency (tf) – Inverse Document Frequency (idf) ............................ 8

2.1.6. Vector Space Model ..................................................................................... 10

2.1.7. Matching Document ..................................................................................... 11

2.1.8. Metode Nazief-Andriani .............................................................................. 12

2.2. Penelitian Terkait ..................................................................................................... 20

2.3. Rencana Penelitian ................................................................................................... 23

BAB III. METODOLOGI PENELITIAN ............................................................................. 24

3.1. Pengumpulan Data ................................................................................................... 24

3.2. Pemodelan Ujian Essay ........................................................................................... 24

3.3. Konstruksi Ujian Essay dengan Text Similarity ...................................................... 25

3.4. Modifikasi Moodle dengan Fitur Ujian Essay ......................................................... 25

3.5. Pengujian ................................................................................................................. 25

BAB IV. PEMBAHASAN..................................................................................................... 26

4.1. Pembuatan stemming menggunakan Algoritma Nazief-Andriani ........................... 26

4.2. Perancangan Sistem ................................................................................................. 27

4.3. Spesifikasi Perangkat Implementasi dan Pengujian ................................................ 27

4.4. Perhitungan metode Text Similarity ......................................................................... 28

4.4.1. Text Preprocessing ........................................................................................ 28

4.4.2. Text Transforming ......................................................................................... 29

4.4.3. Pattern Discovery .......................................................................................... 31

4.5. Pengujian ................................................................................................................. 34

4.6. Hasil Pengujian ........................................................................................................ 35

BAB V. PENUTUP ............................................................................................................... 38

5.1. Kesimpulan .............................................................................................................. 38

5.2. Saran ........................................................................................................................ 39

DAFTAR PUSTAKA ............................................................................................................ 40


commit to user

xii

LAMPIRAN I ........................................................................................................................ 43

LAMPIRAN II ....................................................................................................................... 67

LAMPIRAN III ...................................................................................................................... 72

LAMPIRAN IV ..................................................................................................................... 80


commit to user

xiii

DAFTAR TABEL

Tabel 2.1. Kombinasi Awalan-Akhiran yang tidak diizinkan .............................................. 13

Tabel 2.2. Pemenggalan Awalan Stemmer Nazief dan Andriani ......................................... 14

Tabel 2.3. Cara Menentukan Tipe Awalan Untuk awalan “te-” .......................................... 15

Tabel 2.4. Jenis Awalan Berdasarkan Tipe Awalannya ....................................................... 16

Tabel 2.5. Matriks Pembahasan Literatur ............................................................................ 23

Tabel 4.1. Dokumen hasil proses tokenizing ........................................................................ 29

Tabel 4.2. Dokumen sebelum proses filtering dan stemming .............................................. 30

Tabel 4.3. Dokumen setelah proses filtering dan stemming................................................. 30

Tabel 4.4. Perhitungan banyak frekuensi term dalam kunci jawban dan jawaban siswa .... 31

Tabel 4.5. Perhitungan bobot antar term .............................................................................. 32

Tabel 4.6. Perhitungan panjang vektor antar term ............................................................... 33

Tabel 4.7. Hasil Penilaian Sistem dan Penilaian Pakar terhadap beberapa siswa pada lima

soal pertama ........................................................................................................ 34

Tabel 4.8. Hasil uji-T nilai akhir penilaian pakar dengan penilaian sistem ......................... 35

Tabel 4.9. Hasil uji-T penilaian pakar dengan penilaian sistem untuk setiap soal .............. 36


commit to user

xiv

DAFTAR GAMBAR

Gambar 2.1. Ilustrasi Algoritma Pembobotan tf-idf ................................................................ 9

Gambar 2.2. Contoh model ruang vektor dengan dua dokumen D1 dan D2,

serta query Q (Mandala, 2006) ......................................................................... 11

Gambar 2.3. Matriks Representasi VSM (Mandala, 2006) ................................................... 11

Gambar 3.1. Diagram Metodologi Penelitian ........................................................................ 24

Gambar 4.1. Alur Algoritma Nazief-Andriani (Ledi Agusta, 2009) ..................................... 26

Gambar 4.2. Alur Sistem Penilaian ....................................................................................... 27

penilaian ujian bertipe uraian ( ) menggunakan … · 0.05). namun, terdapat beberapa tipe soal...

Documents