e-learning evaluation using iso 19796-1 and analytic hierarchy process

36
ANALISIS PENGEMBANGAN APLIKASI PENILAIAN KUALITAS E-LEARNING BERDASARKAN ISO 19796-1 Oleh: Adhi Wicaksono

Upload: adhi-wicaksono

Post on 05-Jul-2015

672 views

Category:

Technology


3 download

DESCRIPTION

This is the presentation of my thesis in university. It is about research on evaluating e-learning using ISO 19796 and analytic hierarchy process to weight the score of category. It also uses geometric mean method to aggregate the weighting result

TRANSCRIPT

Page 1: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

ANALISIS PENGEMBANGAN APLIKASI PENILAIAN KUALITAS E-LEARNING BERDASARKAN ISO 19796-1

!Oleh: Adhi Wicaksono

Page 2: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

E-learning semakin banyak

Page 3: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Standar e-learning bermacam-macam

Page 4: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

ISO 19796

Page 5: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Sistem yang ada:

Belum menggunakan banyak ahli dalam memberikan pembobotan

!

Belum ada penelitian tentang kualitas sistem penilaian kualitas e-learning

Page 6: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Identifikasi masalah:

1. Standar diperlukan untuk mengukur kualitas suatu e-learning.

2. Terdapat berbagai macam e-learning sehingga sulit untuk menentukan

standar kualitas.

3. Standar yang digunakan untuk penilaian e-learning bermacam-macam dan

sulit untuk diterapkan pada sistem yang berbeda, sehingga perlu adanya

standardisasi.

4. Belum ada sistem penilaian kualitas e-learning yang bisa memberikan

bobot penilaian dari banyak ahli.

5. Belum ada analisis kualitas pada apliaksi penilaian kualitas e-learning.

Page 7: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Batasan masalah:

1. Standar diperlukan untuk mengukur kualitas suatu e-learning.

2. Terdapat berbagai macam e-learning sehingga sulit untuk menentukan

standar kualitas.

3. Standar yang digunakan untuk penilaian e-learning bermacam-macam dan

sulit untuk diterapkan pada sistem yang berbeda, sehingga perlu adanya

standardisasi.

4. Belum ada sistem penilaian kualitas e-learning yang bisa memberikan

bobot penilaian dari banyak ahli.

5. Belum ada analisis kualitas pada apliaksi penilaian kualitas e-learning.

Page 8: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Rumusan masalah:

1. Bagaimana merancang dan membuat aplikasi penilaian kualitas e-learning

berdasarkan ISO 19796-1 yang dapat memberikan bobot penilaian dari

banyak ahli?

2.Bagaimana tingkat kualitas aplikasi yang dikembangkan dari sisi

functionality, reliability, efficiency, usability, portability, maintainability?

Page 9: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Tujuan penelitian:

1. Mengetahui proses perancangan dan pembuatan aplikasi penilaian kualitas

e-learning berdasarkan ISO 19796-1 yang dapat memberikan bobot

penilaian dari banyak ahli.

2. Mengetahui analisis tingkat kualitas aplikasi yang dikembangkan dari sisi

functionality, reliability, efficiency, usability, portability, maintainability?

Page 10: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

KAJIAN TEORI

Page 11: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

E-learning berarti pembelajaran dengan

menggunakan media atau jasa bantuan

perangkat elektronika (Munir, 2008)

Secara garis besar, apabila kita menyebut

tentang e-learning, ada tiga komponen

utama yang menyusun e-learning tersebut,

yaitu: peralatan, sistem dan isi (Wahono,

2008)

E-learning

Page 12: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Tahun 2005 ISO merilis ISO 197961 tentang

kualitas e-learning (ISO, 2005).

Kategori kualitas e-learning menurut ISO

19796: need analysis, framework analysis,

conception/design, development,

implementation, learning process,

evaluation

Pendekatan standar kualitas dalam e-learning

Page 13: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

ISO 19796 Reference Process Model

Page 14: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Analytic Hierarchy Process

Page 15: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Geometric Mean Method

AHP 4

AHP 1

AHP 2

AHP 3

AGGREGATED!RESULT

Page 16: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Faktor Kualitas Perangkat Lunak

ISO 9126

Page 17: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Penelitian yang relevan

1. Tahun 2004, Chua dan Dyson (Chua &

Dyson, 2004) mengajukan framework pada

ISO 9126 untuk menilai kualitas produk e-

learning yaitu Blackboard system. Hasilnya

ISO 9126 mampu diadaptasi untuk menilai

sistem e-learning tetapi belum mencakup

aspek pengajaran, hanya menilai sistem e-

learning dari sisi software engineering.

Page 18: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Penelitian yang relevan

2. Tahun 2005, pada bulan Oktober ISO

melalui tim SC 36 (ISO, 2005) merilis ISO

19796-1 tentang Learning, Education and

Training. Standardisasi bersifat lebih

spesifik, tetapi masih memerlukan usaha

untuk mengadaptasikannya sesuai dengan

organisasi masing-masing.

Page 19: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Penelitian yang relevan

3. Tahun 2009, Pinghong Zhou (Zhou, 2009)

mengimplementasikan RFDQ yang terdapat

dalam ISO 19796-1 pada Huangzhong

Normal University. Hasil penelitian:

penggunaan kategori need analysis dan

framework analysis untuk mendesain

platform.

Page 20: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Penelitian yang relevan

4. Tahun 2010, Andharini Dwi Cahyani

(Cahyani, 2010) melakukan penelitian

terhadap penilaian kualitas sistem e-

learning dengan menggunakan ISO

19796-1. Hasil penelitian ini adalah aplikasi

yang dibuat mampu menilai kualitas sistem

e-learning sesuai dengan ISO 19796-1,

tetapi penelitian ini menggunakan satu ahli

dalam memberikan bobot AHP

Page 21: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

METODE

Page 22: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Jenis Penelitian

Langkah'langkah)Metode)Research(and(Development)(Diadaptasi)dari)Sugiyono,)2013:)298)

Research and Development (RnD)

Page 23: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Desain Penelitian

Functionality !

Pengujian fitur dengan menggunakan checklist yang dilakukan oleh 5 orang

ahli

Reliabilty !

Stress testing dengan menggunakan LoadImpact dan WAPT 8.1

Usability !

Diuji dengan menggunakan kuisioner J.R. Lewis

Efficiency !

Diuji dengan menggunakan YSlow dan PageSpeed Insight

Maintainability !

Diuji dengan menggunakan checklist dan pengujian metrik

Portability !

Diuji dengan menggunakan menggunakan beberapa browser

Page 24: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Analisis Data

Functionality !

Menghitung persentase kesuksesan aplikasi untuk menjalankan fungsi

tertentu

Reliabilty !

Menghitung success rate dan failure rate dari stress testing yang dilakukan

Usability !

Menggunakan rumus konsistensi Alpha Cronbach

Efficiency !

Menghitung overall rate dari pengujian yang dilakukan

Maintainability !

Mencocokkan hasil pengujian dengan metrik yang ada

Portability !

Menguji performa dengan mengakses menggunakan browser

Page 25: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

HASIL & PEMBAHASAN

Page 26: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Use Case Diagram

Page 27: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Class Diagram

Page 28: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Database

Page 29: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Mockup

Page 30: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Hasil tampilan

Page 31: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Hasil Pengujian

Functionality !

Nilai persentase aspek functionality 98.75% (sangat tinggi)

Reliabilty !

Pada pengujian aspek reliability, didapat hasil 100% dengan pengujian menggunakan tool dari LoadImpact,

sementara pengujian dengan WAPT 8.1 untuk tiga metrik, hasilnya adalah: sessions 95%, pages 99,68% dan hits 99,64% sehingga dari aspek

reliability menunjukkan nilai sangat tinggi

Usability !

nilai konsistensi alpha cronbach sebesar 0.937 (excellent) dan

persentase 79.32%

Efficiency !

Yslow menunjukkan rata-rata overall performance score 93 dan grade A.

Sementara pengujian efficency dengan menggunakan PageSpeed Insight menunjukkan nilai rata-rata untuk

mobile 83.5 (baik) dan desktop 92.93 (sangat baik).

Maintainability !

Pengujian dari aspek maintainability menunjukkan bahwa aplikasi telah diuji dan memenuhi metrik maintainability,

yaitu: instrumentation, consistency dan simplicity

Portability !

aplikasi telah diuji menggunakan dengan beberapa web browser. Hasilnya aplikasi bisa diakses

menggunakan semua web browser tersebut tanpa ada error

Page 32: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

KESIMPULAN & SARAN

Page 33: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Kesimpulan

1. Pengembangan aplikasi penilalian kualitas e-learning

dilakukan melalui 7 langkah

2. Pengembangan aplikasi penilaian kualitas e-learning telah

memenuhi aspek reliability, functionality, efficiency,

portability, usability, dan maintainability menurut kaidah

software quality sesuai standar ISO 9126.

Page 34: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Saran

1. Kategori penilaian diperbanyak dan lebih dari dua kategori

sesuai dengan ISO 19797-1.

2. Jumlah ahli yang memberikan bobot penilaian

diperbanyak untuk mendapatkan data yang labih obyektif.

3. Melibatkan lebih banyak responen yang melakukan

penilaian kualitas e-learning

Page 35: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

DEMO

Page 36: E-learning Evaluation using ISO 19796-1 and Analytic Hierarchy Process

Terimakasih