Penilaian Kualitas Sistem Elearning dengan menggunakan ISO 19796-1

Andharini Dwi Cahyani

5107 201 005

Latar Belakang

� Pesatnya penggunaan sistem elearning

� Pentingnya standarisasi sistem elearning

� Pentingnya pengukuran kualitas sistem elearning

Berbagai tipe standar LET (Learning, Education and Training) dan tujuannya

Keterangan Gambar

� RFDQ (ISO/IEC 19796-1) : unique quality standards worldwide

� MLR (ISO/IEC 19788) : Metadata for learning resources

� Access4All (ISO/IEC 24751) : Generic accessibility framework, part 1, 2 and 3

� SCORM (from ADL to SC36) : Combination of several specification for LMS and objects

� CP (from IMS to SC36) : Content packaging, aggregation of learning objects

Penelitian terkini [1]

� Tahun 2004, Chua,B.B 3) mengajukan framework pada ISO 9126 untuk menilai kualitas produk e-learning yaitu Blackboard system.

� Hasilnya : ISO 9126 mampu diadaptasi untuk menilai sistem e-learning

� Kekurangan : Belum mencakup aspek pengajaran, hanya menilai sistem e-learning dari sisi software engineering

Penelitian terkini [2a]

� Tahun 2005, pada bulan Oktober ISO melalui tim SC 36 mengeluarkan ISO 19796-1 tentang Learning, Education and Training

� Standarisasi bersifat lebih spesifik, tetapi masih memerlukan usaha untuk mengadaptasikannya sesuai dengan organisasi masing - masing

Penelitian terkini [2b]

Kategori dan Proses pada ISO 19796-1

Penelitian terkini [3a]

� Tahun 2009, Pinghong Zhou, dkk mengimplementasikan RFDQ yang terdapat dalam ISO 19796-1 pada Huazhong Normal

University.Kategori 1

Need AnalysisKategori 2

Framework Analysis

Implementasi detail desain fungsional pada platform

Penelitian terkini [3b]

� Hasil penelitian P Zhou 8) : penggunaan kategori Need Analysis dan Framework Analysis untuk mendesain platform

� Kekurangan : Baru menggunakan 2 kategori, yaitu Need Analysis dan Framework Analysis

Tujuan Penelitian

Membuat CASE Tool yang mampu mengukur kualitas sistem elearning dari sudut pandang pengguna menggunakan ISO 19796-1.

Perumusan permasalahan

� Bagaimana mendefinisikan kriteria penilaian kualitas sistem e-learning berdasarkan ISO 19796-1 pada kategori Conception / Design (CD), dan Learning Process (LP).

� Bagaimana melakukan pembobotan menggunakan Analytical Hierarcycal Process (AHP) untuk memberikan rekomendasi perbaikan kualitas sistem e-learning.

� Bagaimana membuat CASE tool yang dapat menilai kualitas sistem e-learning dan memberikan rekomendasi untuk perbaikan kualitas sistem.

Kontribusi penelitian

� Mengajukan kriteria untuk mengukur kualitas sistem elearning menggunakan ISO 19796-1 pada kategori Conception / Design (CD), dan Learning Process (LP).

� Mengajukan pembobotan menggunakan Analytical Hierarcycal Process (AHP) untuk memberikan rekomendasiperbaikan kualitas sistem e-learning.

� Membuat CASE tool untuk melakukan penilaian kualitas terhadap sistem e-learning dan memberikan rekomendasi untuk perbaikan kualitas sistem.

Manfaat Penelitian

� Memberikan gambaran bagi stakeholder tentang peningkatan kualitas sistem e-learning secara komprehensif:

mulai dari pengukuran kualitas sistem e-learning sampai dengan penyusunan rekomendasi / saran bagi perbaikan kualitas sistem.

Metodologi Penelitian

Identifikasi Sistem Elearning Acuan

Sistem Elearning Acuan [1a]

Template deskripsi sebuah mata kuliah

Sistem Elearning Acuan [1b]

Penyimpanan mekanisme pembelajaran dari periode sebelumnya

Penentuan kriteria untuk tiap proses pada kategori CD dan LP

Langkah Penentuan Kriteria

Studi literatur (kriteria)

Pemetaan kriteria sesuai ISO 19796-1

Adaptasi kriteria (pertanyaan kuantitatif)

Kriteria Penilaian [2a]

Perancangan CASE Tool

Perancangan Alur Proses

Perancangan Basis data

Langkah pengukuran kualitas sistem elearning

� Menentukan kriteria yang digunakan untuk mengukur suatu proses

� Menentukan bobot dari setiap kriteria

� Menentukan skala dari nilai kriteria

� Memberikan nilai pada tiap kriteria dengan mengumpulkan penilaian dari responden.

� Menghitung nilai total kualitas sistem dengan menggunakan rumus pengukuran

NK = w1c1 + w2c2 + … + wncn

Output CASE Tool

� Nilai kualitas aplikasi sistem e-learning.

� Rekomendasi perbaikan aplikasi sistem e-learning.

Mekanisme Penilaian Kualitas

1. Sistem menghitung bobot penilaian untuk tiap kriteria. Bobot ini digunakan untuk mengetahui nilai kualitas kriteria. Penghitungan bobot penilaian untuk tiap kriteria dilakukan sebagai berikut :

1. Bobot_Nilai_Tiap_Kategori = 100 / Jumlah Kategori2. Bobot_Nilai_Tiap_Proses = Nilai_Tiap_Kategori/ Jumlah Proses3. Bobot_Nilai_Kriteria=Nilai_Tiap_Proses/Jumlah Kriteria

2. Melakukan penilaian kualitas sistem e-learning dari sudut pandang pengguna dengan cara menyebarkan kuesioner kepada pengguna.

3. Penilaian user kemudian dimasukkan kedalam sistem, sehingga kemudian sistem melakukan penghitungan nilai total kualitas dengan cara sebagai berikut:

1. Nilai_Kualitas_Kriteria = Nilai_Rata_Kriteria_dari_User * Bobot_Nilai_Kriteria

2. Nilai_Total_Kualitas = ∑ Nilai_Kualitas_Kriteria

Mekanisme penentuan prioritas rekomendasi

1. Urutkan nilai kualitas proses, mulai dari yang terendah sampai tertinggi. Ambil 5 proses dengan nilai kualitas proses terendah

2. Urutkan 5 proses terpilih tersebut sesuai dengan bobot absolut proses, mulai dari bobot absolut yang tertinggi sampai terendah.Urutan ini menunjukkan prioritas perbaikan proses yang harus dilakukan.

3. Cari kriteria dalam proses sesuai urutannya yang memiliki nilai tidak sempurna (< nilai sempurna untuk kriteria tersebut).

4. Pemberian rekomendasi berdasarkan kriteria yang memenuhi langkah 3, sedangkan urutannya sesuai dengan langkah 2.

Uji Coba Skenario 1

� Admin memasukkan data master sebelum melakukan penilaian

Uji Coba Skenario 2

� Responden A (ITS)

� Responden B (Unair)

� Responden C (Unijoyo)

Sistem Elearning Monash University

Hasil Uji Coba Skenario 2

Uji Coba Skenario 3

� Responden A (ITS)

� Responden B (Unair)

� Responden C (Unijoyo)

Sistem Elearning ITS

Sistem Elearning UNAIR

Sistem Elearning UNIJOYO

Hasil Uji Coba Skenario 3

Uji Coba Skenario 4

� Responden A (ITS)

� Responden B (Unair)

� Responden C (Unijoyo)

Sistem Elearning ITS

Sistem Elearning UNAIR

Sistem Elearning UNIJOYO

Hasil Uji Coba Skenario 4

Kesimpulan

� CASE Tool yang dibuat pada penelitian ini mampu mengukur nilai kualitas sistem elearning, juga mampu memberikan rekomendasi bagi perbaikan kualitas sistem.

� Dari hasil studi literatur dan analisa, maka kriteria penilaian kualitas sistem e-learning berdasarkan ISO 19796-1 pada kategori Conception / Design (CD), dan Learning Process (LP) yang dapat didefinisikan pada penelitian ini sebanyak 31 kriteria yang bersifat kuantitatif.

� Metode pembobotan AHP dapat digunakan untuk memberikan tingkat kepentingan tiap kategori dan proses, sesuai dengan pertimbangan dan preferensi masing – masing stakeholder.

Saran

� Pengembangan kriteria yang diajukan dalam tesis ini masih bisa diperbanyak dan dilengkapi lagi selama kriteria tersebut sesuai dengan deskripsi kategori dan proses pada ISO 19796-1.

� Untuk hasil penilaian yang lebih obyektif, maka bisa menggunakan teknik pengambilan sampling sesuai kaidah statistik.

Terima Kasih