sistem penilaian esai otomatis pada e...

SISTEM PENILAIAN ESAI OTOMATIS PADA

E-LEARNING DENGAN METODE COSINE

SIMILARITY

Penyusun:

Rohmawati Fuat 5206 100 014

Pembimbing:

Rully Agus Hendrawan, S.Kom, M.Eng

LABORATORIUM SISTEM PENDUKUNG KEPUTUSAN

JURUSAN SISTEM INFORMASI

FAKULTAS TEKNOLOGI INFORMASI

INSTITUT TEKNOLOGI SEPULUH NOPEMBER

SEMINAR PROGRES TUGAS AKHIR – CF 1380

LOGO

Latar Belakang

Beberapa institusi pendidikan mulai mengembangkansistem e-learning dalam proses pengajarannyaPelaksanaan ujian dapat dilakukan secaraonline, mulai dari menjawab soal ujian hingga prosespenilaianSelama ini kebanyakan proses ujian dan penilaiandilaksanakan secara manualPerlu adanya sistem penilaian otomatis

LOGO

Perumusan Masalah

Bagaimana implementasi pengukuan Text

Similarity dalam pengembangan SistemPenilaian Esai Otomatis?Bagaiamana proses integrasi Sistem PenilaianEsai Otomatis dengan E-learning?Bagaimana hasil kinerja Sistem Penilaian EsaiOtomatis dibandingkan dengan human raters

LOGOwww.themegallery.com

TujuanBatasan Masalah

Esai yang dinilai dalam sistemini menggunakan bahasaInggris.Data uji coba yang digunakanadalah data hasil ujian esaisecara online mata kuliahPengantar Sistem Informasi diJurusan Sistem Informasi, ITS. Tipe jawaban esai yang dinilaidalam sistem ini bersifatdefinitif. Aplikasi e-learning yang digunakan adalah Moodle.

Pembuatan sistem penilaianesai otomatis pada e-learning denganmengimplementasikanpengukuran Text Similarity.

LOGO

Manfaat Tugas Akhir

Membantu dosen dalam memberikanpenilaian ujian mahasiswa secara objektif

Mengurangi waktu dan tenaga dosendalam menilai ujian mahasiswa

LOGO

Konsep E-learningTINJAUAN PUSTAKA

E-learning merupakan suatu sistem dimana penyampaianmateri pembelajaran, pelatihan atau program pendidikanmenggunakan peralatan elektronik dalam tujuanmemberikan materi pelatihan, pendidikan ataupembelajaran

E-learning bisa digunakan sebagai:1. Tempat sharing materi pembelajaran2. Tempat pemberian tugas peserta didik3. Tempat latihan soal atau ujian4. Tempat diskusi

LOGO

Pengukuran Cosine Similarity

o = bobot term j dalamdokumen ke i

o = jumlah term j yang terdapat pada dokumenke i

o = jumlah dok yang mengandung term j

o D = jumlah total dokumen

o = bobot term j dalamquery q

TINJAUAN PUSTAKA

LOGO

Start

Studi Literatur

Perancangan Sistem

Implementasi Sistem

Uji Coba Sistem

Integrasi Sistem dengan E-Learning

Evaluasi Kinerja Sistem

Pembuatan Dokumentasi TA

Stop

Yes

No

Back

Metodologi Penelitian

LOGO

Gambaran Sistem

MembuatQuiz

• Turn editing on

• Add an activity ---> QUIZ• Pengaturan Quiz

MembuatSoal Esai

• create new question ---> Essay

• Input pertanyaan dan jawaban• Menambah soal ke quiz

MengikutiQuiz

• Attempt Quiz• Input jawaban• Submit

Form Pertanyaan Dosen

Form Ujian Mahasiswa

LOGO

Perancangan Data

•Pertanyaan

•JawabanDosen

•JawabanMhs

Data Input

Kumpulan kata

penting

Data Proses Nilai Mhs

Data Output

Perancangan Sistem

LOGO

LOGO

Start

Jawaban Dosen

Tokenizing

Stemming

Filtering(Stopword Removal)

Case Folding

IMPORT LIBRARY PORTER

STEMMER

1

Desain Proses Text Preprocessing

LOGO

J = 1J <= jumlah kata

tfj = frekuensi kemunculan kata j dfj = jumlah doc mengandung kata j

D = total docIDFj = log(D/dfj)

Wj = tfj * IDFj

J++

|Q| = SQRT(∑W²qj)|D| = SQRT(∑W²dj)

Q∙D = SQRT(∑Wqj * Wdj)Cosine = Q∙D / |Q| * |D|

Nilai Mhs

Stop

1

- Data proses Mhs (Q)- Data proses Jwb Dosen (D)

- Data kata sinonim

Desain Pengukuran Text Similarity

LOGO

Berdasarkan range

Konversi Nilai Similarity

LOGO

Implementasi Data

Dosen memasukkan pertanyaan dan jawaban

LOGO

Dosen memasukkan pertanyaan dan jawaban

LOGO

Tabel mdl_question

LOGO

Mahasiswa memasukkan jawaban

LOGO

Tabel mdl_question_states

LOGO

Text PreprocessingProses pengukuran similarityKonversi nilai1) mdl_question_states nilai per jawaban

2) mdl_quiz_attempts nilai total

Implementasi Proses

LOGO

Tabel word

LOGO

Tampilan Nilai di Moodle

LOGO

Data meliputi : Pertanyaan Kunci jawaban Jawaban mahasiswa

Sumber : http://www.miislita.com/ Ralph M.Stair, George W. Reynolds, 2003.

“Principles of Information Systems, Sixth Edition”, Thomson Course Technology. Canada.

UJI COBA SISTEM

Data uji coba

LOGO

UJI COBA SISTEMUji Coba Validitas

LOGO

UJI COBA SISTEM

Data

Uji Coba Behaviour

LOGO

UJI COBA SISTEM

Hasil

LOGO

UJI COBA SISTEM

Uji Coba Kinerja

LOGO

UJI COBA SISTEM

Hasil

0

20

40

60

80

100

120

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

Nil

ai

Peserta Quiz Soal No.1

Nilai Human Raters Nilai Sistem

LOGO

UJI COBA SISTEM

HasilRata-rata standar deviasi antara nilai sistem dengan nilai human

raters untuk setiap soal

0

2

4

6

8

10

12

1 2 3 4 5

Nil

ai D

evia

si

Nomor Soal

Standar Deviasi

LOGO

UJI COBA SISTEM

HasilTingkat agreement dari hasil uji coba

LOGO

Implementasi Algoritma cosine similarity dalam Sistem EsaiPenilaian Otomatis Akurat

Nilai similarity yang dihasilkan sistem dikonversi ke dalam nilaimahasiswa berdasarkan range yang sudah didefinisikan.

Sistem Penilaian Otomatis yang dibangun telah berhasildiimplementasikan ke Moodle , aplikasi E-learning.

Hasil uji coba menunjukkan kesesuaian nilai sistem dengan nilaihuman raters antara 78.57% - 96.99% dan rata-rata standar deviasi 5.19.

Kesimpulan

LOGO

Penentuan bobot kata dapat dipertimbangkan dalammengembangkan sistem penilaian yang lebih akurat sehinggadapat dihasilkan nilai yang mirip dengan nilai manual

Pengembangan sistem yang dapat mengenali kata-kata antonimyang sebenarnya memiliki makna sama

Saran