sistem penilaian esai otomatis pada e...
TRANSCRIPT
SISTEM PENILAIAN ESAI OTOMATIS PADA
E-LEARNING DENGAN METODE COSINE
SIMILARITY
Penyusun:
Rohmawati Fuat 5206 100 014
Pembimbing:
Rully Agus Hendrawan, S.Kom, M.Eng
LABORATORIUM SISTEM PENDUKUNG KEPUTUSAN
JURUSAN SISTEM INFORMASI
FAKULTAS TEKNOLOGI INFORMASI
INSTITUT TEKNOLOGI SEPULUH NOPEMBER
SEMINAR PROGRES TUGAS AKHIR – CF 1380
LOGO
Latar Belakang
Beberapa institusi pendidikan mulai mengembangkansistem e-learning dalam proses pengajarannyaPelaksanaan ujian dapat dilakukan secaraonline, mulai dari menjawab soal ujian hingga prosespenilaianSelama ini kebanyakan proses ujian dan penilaiandilaksanakan secara manualPerlu adanya sistem penilaian otomatis
LOGO
Perumusan Masalah
Bagaimana implementasi pengukuan Text
Similarity dalam pengembangan SistemPenilaian Esai Otomatis?Bagaiamana proses integrasi Sistem PenilaianEsai Otomatis dengan E-learning?Bagaimana hasil kinerja Sistem Penilaian EsaiOtomatis dibandingkan dengan human raters
LOGOwww.themegallery.com
TujuanBatasan Masalah
Esai yang dinilai dalam sistemini menggunakan bahasaInggris.Data uji coba yang digunakanadalah data hasil ujian esaisecara online mata kuliahPengantar Sistem Informasi diJurusan Sistem Informasi, ITS. Tipe jawaban esai yang dinilaidalam sistem ini bersifatdefinitif. Aplikasi e-learning yang digunakan adalah Moodle.
Pembuatan sistem penilaianesai otomatis pada e-learning denganmengimplementasikanpengukuran Text Similarity.
LOGO
Manfaat Tugas Akhir
Membantu dosen dalam memberikanpenilaian ujian mahasiswa secara objektif
Mengurangi waktu dan tenaga dosendalam menilai ujian mahasiswa
LOGO
Konsep E-learningTINJAUAN PUSTAKA
E-learning merupakan suatu sistem dimana penyampaianmateri pembelajaran, pelatihan atau program pendidikanmenggunakan peralatan elektronik dalam tujuanmemberikan materi pelatihan, pendidikan ataupembelajaran
E-learning bisa digunakan sebagai:1. Tempat sharing materi pembelajaran2. Tempat pemberian tugas peserta didik3. Tempat latihan soal atau ujian4. Tempat diskusi
LOGO
Pengukuran Cosine Similarity
o = bobot term j dalamdokumen ke i
o = jumlah term j yang terdapat pada dokumenke i
o = jumlah dok yang mengandung term j
o D = jumlah total dokumen
o = bobot term j dalamquery q
TINJAUAN PUSTAKA
LOGO
Start
Studi Literatur
Perancangan Sistem
Implementasi Sistem
Uji Coba Sistem
Integrasi Sistem dengan E-Learning
Evaluasi Kinerja Sistem
Pembuatan Dokumentasi TA
Stop
Yes
No
Back
Metodologi Penelitian
LOGO
Gambaran Sistem
MembuatQuiz
• Turn editing on
• Add an activity ---> QUIZ• Pengaturan Quiz
MembuatSoal Esai
• create new question ---> Essay
• Input pertanyaan dan jawaban• Menambah soal ke quiz
MengikutiQuiz
• Attempt Quiz• Input jawaban• Submit
Form Pertanyaan Dosen
Form Ujian Mahasiswa
LOGO
Perancangan Data
•Pertanyaan
•JawabanDosen
•JawabanMhs
Data Input
Kumpulan kata
penting
Data Proses Nilai Mhs
Data Output
Perancangan Sistem
LOGO
LOGO
Start
Jawaban Dosen
Tokenizing
Stemming
Filtering(Stopword Removal)
Case Folding
IMPORT LIBRARY PORTER
STEMMER
1
Desain Proses Text Preprocessing
LOGO
J = 1J <= jumlah kata
tfj = frekuensi kemunculan kata j dfj = jumlah doc mengandung kata j
D = total docIDFj = log(D/dfj)
Wj = tfj * IDFj
J++
|Q| = SQRT(∑W²qj)|D| = SQRT(∑W²dj)
Q∙D = SQRT(∑Wqj * Wdj)Cosine = Q∙D / |Q| * |D|
Nilai Mhs
Stop
1
- Data proses Mhs (Q)- Data proses Jwb Dosen (D)
- Data kata sinonim
Desain Pengukuran Text Similarity
LOGO
Berdasarkan range
Konversi Nilai Similarity
LOGO
Implementasi Data
Dosen memasukkan pertanyaan dan jawaban
LOGO
Dosen memasukkan pertanyaan dan jawaban
LOGO
Tabel mdl_question
LOGO
Mahasiswa memasukkan jawaban
LOGO
Tabel mdl_question_states
LOGO
Text PreprocessingProses pengukuran similarityKonversi nilai1) mdl_question_states nilai per jawaban
2) mdl_quiz_attempts nilai total
Implementasi Proses
LOGO
Tabel word
LOGO
Tampilan Nilai di Moodle
LOGO
Data meliputi : Pertanyaan Kunci jawaban Jawaban mahasiswa
Sumber : http://www.miislita.com/ Ralph M.Stair, George W. Reynolds, 2003.
“Principles of Information Systems, Sixth Edition”, Thomson Course Technology. Canada.
UJI COBA SISTEM
Data uji coba
LOGO
UJI COBA SISTEMUji Coba Validitas
LOGO
UJI COBA SISTEM
Data
Uji Coba Behaviour
LOGO
UJI COBA SISTEM
Hasil
LOGO
UJI COBA SISTEM
Uji Coba Kinerja
LOGO
UJI COBA SISTEM
Hasil
0
20
40
60
80
100
120
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
Nil
ai
Peserta Quiz Soal No.1
Nilai Human Raters Nilai Sistem
LOGO
UJI COBA SISTEM
HasilRata-rata standar deviasi antara nilai sistem dengan nilai human
raters untuk setiap soal
0
2
4
6
8
10
12
1 2 3 4 5
Nil
ai D
evia
si
Nomor Soal
Standar Deviasi
LOGO
UJI COBA SISTEM
HasilTingkat agreement dari hasil uji coba
LOGO
Implementasi Algoritma cosine similarity dalam Sistem EsaiPenilaian Otomatis Akurat
Nilai similarity yang dihasilkan sistem dikonversi ke dalam nilaimahasiswa berdasarkan range yang sudah didefinisikan.
Sistem Penilaian Otomatis yang dibangun telah berhasildiimplementasikan ke Moodle , aplikasi E-learning.
Hasil uji coba menunjukkan kesesuaian nilai sistem dengan nilaihuman raters antara 78.57% - 96.99% dan rata-rata standar deviasi 5.19.
Kesimpulan
LOGO
Penentuan bobot kata dapat dipertimbangkan dalammengembangkan sistem penilaian yang lebih akurat sehinggadapat dihasilkan nilai yang mirip dengan nilai manual
Pengembangan sistem yang dapat mengenali kata-kata antonimyang sebenarnya memiliki makna sama
Saran