EVALUASI KUALITAS MODUL FRS ONLINE

PADA INTEGRA INSTITUT TEKNOLOGI

SEPULUH NOPEMBER BERDASARKAN

MCCALL’S QUALITY MODEL

PUTRI ADIATI

NRP 5209 100 005

Dosen Pembimbing:

Ir.Ahmad Holil Noor Ali, M.Kom

Hanim Maria Astuti, S.Kom, M.Sc

OUTLINEPendahuluan Latar belakang, Rumusan masalah, dan Tujuan tugas akhir

Batasan Masalah

MetodePenelitian

Faktor usability dan reliability

Faktor integrity, correctness dan portability

Testing danPembahasan

Faktor Usability

Faktor Reliability

Faktor Integrity

Faktor Correctness

Faktor Portability

Kesimpulan dan Saran

Latar Belakang, Rumusan Masalah, dan Tujuan TA

Faktor kualitas perangkat lunakdinilai sangat penting.

FRS online adalah salah satuperangkat lunak milik ITS .

Didapatkan banyak sekali keluhanoleh user ketika melakukan FRS tidak terlepas dari kualitas FRS online .

Keluhan-keluhan seperti seringterjadinya error, modul-modul yang belum memenuhi requirement danbeberapa keluhan lainnya membuatkualitas dari FRS online tersebutdipertanyakan.

1. Mengetahui sejauhmana kualitas FRS online ITS berdasarkan 5 faktor kualitasMcCall.

2. Mendapatkankesimpulan danrekomendasi darihasil evaluasi yang dilakukan untukpeningkatankualitas FRS online.

1. Sejauh apa kualitas FRS online saat ini?

2. Bagaimana hasil evaluasi kualitas software modul FRS online ITS berdasarkan 5 faktor kualitas McCall?

• Rumusan

MasalahTujuan Tugas

Akhir

Batasan Masalah Metode pengumpulan data menggunakan survey dan wawancara Pengukuran kualitas didasarkan pada 5 dari 11 faktor kualitas

McCall Testing FRS online dilakukan untuk user mahasiswa dan dosen Testing dilakukan berdasarkan peraturan ITS terkait FRS dan

rancangan awal pembuatan website akademik tanpa dokumenrequirement FRS online yang lengkap

Testing integrity dan usability dengan hak akases mahasiswa dandosen digabung

Testing dilakukan hanya pada modul FRS dan yang berkaitandengan FRS online

Testing tidak termasuk modul SKEM. Penyebaran kuesioner hanya mengambil sampel mahasiswa dan

dosen dari beberapa jurusan di ITS. Hasil testing berlaku selama masa penelitian

METODE PENELITIANFaktor Usability & Reliability

Pelaksanaan: 11 November 2013 s/d 19 Februari 2014Tools: SPSS dan SEM GSCA(Tinjauan Pustaka)

Pelaksanaan: 12 Februari 2013 s/d 17 Juni 2013Tools: Wawancara ke BTSI dan JMeter(Tinjauan Pustaka)

METODE PENELITIANFaktor Integrity, Correctness, & Portability

Pelaksanaan: 12 Februari 2013 hingga 17 Juni 2013Tools: Acunetix dan Vega Web Vulnerability Scanners(Tinjauan Pustaka)

Pelaksanaan: 2 Juli2013 hingga 8 April 2014Tools: Wawancara ke Akademikdan Black Box Testing

(Tinjauan Pustaka)

Melakukan wawancara ke pihakakademik ITS

Membuka modul FRS online danmelakukan log in untuk setiap user

(mahasiswa dan dosen) melalui integra

Melakukan testing pada modul-modul yang ada pada sistem

Mencatat setiap hasil testing pada tabel hasil black box testing

Pelaksanaan: 2 Juli2013 hingga 8 April 2014Tools: Testing manual(Tinjauan Pustaka)

TESTING DAN PEMBAHASAN

Faktor UsabilityANALISIS DENGAN SPSS

Uji reliabilitas & uji validitas

Uji linearitas

ANALISIS DENGAN GESCA

Model Konseptual

Variabel Cronbach Alpha Reliabel

Kemudahan navigasi

(NAV)

0.631 Ya

Kecepatan akses (SP) 0.771 Ya

Interaktif website (ARC) 0.653 Ya

Usability (USB) 0.642 Ya

Variabel KMO Valid

Kemudahan navigasi

(NAV)

0.604 Ya

Kecepatan akses (SP) 0.727 Ya

Interaktif website (ARC) 0.660 Ya

Usability (USB) 0.574 Ya

Variabel Fhitung Ftabel Probabilitas Linear

USB NAV 1.447 2.01 0.192 YaUSB SP 1.827 2.01 0.087 YaUSB ARC 1.439 1.94 0,186 Ya

TESTING DAN PEMBAHASAN

Faktor Usability (cont’d) Tabel nilai FIT dan kesesuaiannya:

Identifikasi R-Square:

Mean masing-masing variabel:

Validitas Diskriminan:

Model Fit

FIT 0.713

AFIT 0.709

GFI 0.953

SRMR 0.491

NPAR 31

R square of Latent Variable

USB 0.884

NAV 0

SP 0

ARC 0

Means Scores of Latent Variables

USB 2.722

NAV 2.855

SP 2.299

ARC 2.569

Correlations of Latent Variables (SE)

AVE Akar

Kuadrat

AVE

USB NAV SP ARC

USB 0.867 0.931

1 0.925

(0.021)*

0.844

(0.041)*

0.875

(0.032)*

NAV 0.877 0.936 0.925

(0.021)* 1 0.833

(0.042)*

0.880

(0.032)*

SP 0.841 0.917 0.844

(0.041)*

0.833

(0.042)* 1 0.783

(0.054)*

ARC 0.828 0.909 0.875

(0.032)*

0.880

(0.032)*

0.783

(0.054)* 1

TESTING DAN PEMBAHASAN

Faktor Usability (cont’d)ANALISIS PENGUKURAN MODEL

Faktor USABILITY

Faktor NAVIGASI

Faktor KECEPATAN AKSES

Faktor INTERAKTIF WEBSITE

Variable Loading Weight SMC

Estimate SE CR Estimate SE CR Estimate SE CR

USB AVE = 0.867, Alpha =0.924

USB1 0.932 0.020 46.35* 0.428 0.013 32.09* 0.868 0.037 23.51*

USB2 0.924 0.017 55.32* 0.311 0.016 19.91* 0.853 0.031 27.9*

USB3 0.938 0.015 64.31* 0.335 0.017 19.25* 0.880 0.027 32.38*

NAV AVE = 0.877, Alpha =0.953

NAV1 0.940 0.016 57.77* 0.276 0.010 27.35* 0.885 0.030 29.24*

NAV2 0.953 0.013 75.33* 0.269 0.010 26.54* 0.907 0.024 38.07*

NAV3 0.915 0.023 40.39* 0.266 0.008 31.72* 0.837 0.041 20.56*

NAV4 0.937 0.017 55.22* 0.257 0.013 19.34* 0.878 0.032 27.86*

SP AVE = 0.841, Alpha =0.906

SP1 0.925 0.025 37.37* 0.369 0.008 47.29* 0.856 0.045 19.07*

SP2 0.929 0.015 61.56* 0.359 0.009 38.08* 0.863 0.028 30.92*

SP4 0.897 0.019 46.45* 0.363 0.010 36.15* 0.805 0.034 23.34*

ARC AVE = 0.828, Alpha =0.931

ARC1 0.879 0.029 29.82* 0.262 0.006 46.28* 0.772 0.051 15.16*

ARC2 0.923 0.018 50.3* 0.275 0.008 34.38* 0.853 0.033 25.46*

ARC3 0.930 0.017 53.41* 0.286 0.008 33.62* 0.864 0.032 27.07*

ARC4 0.908 0.020 44.75* 0.275 0.008 33.32* 0.825 0.036 22.71*

TESTING DAN PEMBAHASAN

Faktor Usability (cont’d)TESTING HIPOTESIS:

Uji hipotesis dilakukan berdasarkan hasil analisis koefisien jalur menggunakan GESCA. Berikut ini adalah hipotesis yang telah dirumuskan: H1: Kemudahan navigasi berpengaruh

positif dan signifikan terhadap kepuasan user dalam menggunakan FRS online(usability)

H2: Kecepatan akses berpengaruh positif dan signifikan terhadap kepuasan user dalam menggunakan FRS online (usability)

H3: Interaktif website berpengaruh positif dan signifikan terhadap kepuasan user dalam menggunakan FRS online (usability)

Path Coefficients

Estimate SE CR

NAV->USB 0.556 0.072 7.74*

SP->USB 0.202 0.057 3.55*

ARC->USB 0.228 0.063 3.6*

Hipotesis Hasil

H1 Kemudahan navigasi berpengaruh

positif dan signifikan terhadap

kepuasan user dalam menggunakan

FRS online (usability)

Diterima

H2 Kecepatan akses berpengaruh positif

dan signifikan terhadap kepuasan user

dalam menggunakan FRS online

(usability).

Diterima

H3 Interaktif website berpengaruh positif

dan signifikan terhadap kepuasan user

dalam menggunakan FRS online

(usability)

Diterima

KOEFISIEN JALUR ANTAR VARIABEL:

TESTING DAN PEMBAHASAN

Faktor ReliabilityLOGIN MAHASISWA:

TESTING DAN PEMBAHASAN

Faktor Reliability (cont’d)LOGIN MAHASISWA:

500 User 1.000 User 2.500 User 5.000 User

7.500 User 10.000 User 11.000 User 12.000 User

TESTING DAN PEMBAHASAN

Faktor Reliability (cont’d)LOGIN DOSEN:

TESTING DAN PEMBAHASAN

Faktor Reliability (cont’d)LOGIN DOSEN:

500 User 1.000 User 2.500 User 5.000 User

7.500 User 10.000 User 11.000 User 12.000 User

TESTING DAN PEMBAHASAN

Faktor Integrity

TESTING DAN PEMBAHASAN

Faktor CorrectnessLOGIN MAGASISWA:Kode

Use

Case

Use CaseKode Test

CaseTest Case Diterima / Ditolak

UC01 Mengakses integra TC01 LoginDiterima

TC02 Logout Diterima

TC03 Mendapatkan password Ditolak

UC02 Masuk ke modul

FRS online

TC04 Form Rencana StudiDiterima

UC03 Mengambil mata

kuliah

TC05 Memilih mata kuliah yang akan diambilDiterima

TC06 Melihat peserta kelas mata kuliah Diterima

TC07 Mengambil mata kuliah Diterima

TC08 Mengedrop mata kuliah Diterima

UC04 Menu

pemberitahuan

/peringatan

TC09 Melihat MK yang harus diulang

Diterima

TC10 Melihat MK wajib diambil pada saat pergantian

kurikulumDiterima

TC11 Melihat pengambilan melanggar prasyaratDiterima

TC12 Melihat ekivalensi Ditolak

UC05 Melihat bantuan TC13 Melihat informasi tata usaha Diterima

UC06 Membuat versi

cetak

TC14 FRS versi cetakDiterima

UC07 Melihat history TC15 Melihat FRS semester sebelumnya Diterima

TESTING DAN PEMBAHASAN

Faktor Correctness (cont’d)LOGIN DOSEN:Kode Use

Case

Use Case Kode

Test Case

Test Case Diterima / Ditolak

UCD01 Mengakses integra TCD01 LoginDiterima

TCD02 LogooutDiterima

TCD03 Mendapatkan passwordDitolak

UCD02 Masuk ke modul

Perwalian

Mahasiswa

TCD04 Perwalian Mahasiswa

Diterima

UCD03 Hak akses TCD05 Memilih hak aksesDiterima

UCD04 Sistem peringatan TCD06 Early Warning SistemDiterima

UCD05 Periode dan

angkatan

TCD07 Mengganti periode dan angkatanDiterima

UCD06 Masuk ke modul

FRS online

TCD08 Formulir Rencana Studi (dari modul Perwalian Mahasiswa

maupun dari modul FRS online) Diterima

UCD07 Mengganti

mahasiswa

TCD09 Mengganti mahasiswa berdasarkan nama (pada menu/modul

FRS)Diterima

TCD10 Mengganti mahasiswa berdasarkan NRP (pada menu/modul FRS)Diterima

UCD08 Melakukan

perwalian

TCD11 Melakukan perubahan (pada menu/modul FRS)Diterima

TCD12 Mengedrop mata kuliah (pada menu/modul FRS)Diterima

TCD13 Melakukan persetujuan FRS (pada menu/modul FRS)Diterima

TESTING DAN PEMBAHASAN

Faktor Correctness (cont’d)LOGIN DOSEN:

Kegagalan terdapat pada test case yang sama pada login mahasiswa dan dosen, yaitu test case untuk mendapatkan password dan ekivalensi.

Kode

Use

Case

Use Case Kode

Test

Case

Test Case Diterima / Ditolak

TCD15 Melihat MK wajib diambil pada saat pergantian

kurikulum (pada menu/modul FRS)Diterima

TCD16 Melihat pengambilan melanggar prasyarat (pada

menu/modul FRS)Diterima

TCD17 Melihat ekivalensi (pada menu/modul FRS) Ditolak

UCD10 Membuat versi

cetak

TCD18 FRS versi cetak (pada menu/modul FRS)Diterima

UCD11 Melihat histori TCD19 Melihat FRS semester sebelumnya (pada menu/modul

FRS)Diterima

UCD12 Melihat bantuan TCD20 Melihat informasi tata usaha (pada modul perwalian) Diterima

UCD13 Melihat nilai

mahasiswa

TCD21 Melihat nilai (pada modul perwalian)Diterima

TCD22 Melihat nilai 1 periode (pada modul perwalian) Diterima

TCD23 Melihat transkrip Diterima

UCD14 Biodata

mahasiswa

TCD24 Melihat biodata mahasiswaDiterima

TESTING DAN PEMBAHASAN

Faktor Correctness (cont’d)Fungsi MENDAPATKAN PASSWORD

Fungsi EKIVALENSI

TESTING DAN PEMBAHASAN

Faktor PortabilityHasil testing dengan login mahasiswa:

Hasil testing dengan login dosen:

Hardware

Browser

Laptop PCSmartphon

eTablet

Browser

(Android

dan iOS)

- - 100% 100%

IE 100% 100% - -

Chrome 100% 100% 100% 100%

Mozilla 100% 100% 100% 100%

Opera 100% 100% 100% 100%

Dolphin - - 100% 100%

Hardware

Browser

Laptop PCSmartphon

eTablet

Browser

(Android

dan iOS)

- - 100% 100%

IE 100% 100% - -

Chrome 100% 100% 100% 100%

Mozilla 100% 100% 100% 100%

Opera 100% 100% 100% 100%

Dolphin - - 100% 100%

KESIMPULAN DAN SARAN

1. Terlebih dahulu dilakukan dokumentasi perubahan untuk melengkapi dokumentasi yang tidak pernah dibuat sebelumnya, sehingga pengujian dapat dilakukan berdasarkan dokumentasi yang ada. Begitu juga dengan perubahan-perubahan yang mungkin terjadi pada masa yang akan datang, akan lebih baik jika dokumentasi selalu dilakukan.

2. Dibuat dokumen requirement FRS online

secara keseluruhan agar testing dapat lebih terarah.

3. Melakukan testing pada 3 periode FRS, yaitu periode pengisian, periode perubahan, dan periode untuk melakukan drop. Waktu yang paling utama adalah ketika high traffic sedang terjadi.

1. User hampir merasa puas terhadap faktor usabilityFRS online ITS. Kurangnya kecepatan akses adalah salah satu penyebabnya. Sedangkan dari segi kemudahan navigasi, interaktif website, dan usability website, user telah merasa puas.

2. Faktor reliability sudah dapat dikatakan berkualitas, karena memenuhi requirement dan sesuai dengan pernyataan pihak pengembang.

3. Integritas yang diberikan kepada user pada faktor integrity sudah cukup baik walaupun masih terdapat celah-celah kerentanan. Tetapi kerentanan telah diketahui dan selalu dilakukan maintananceuntuk perbaikan.

4. Dari pengujian faktor correctness, masih terdapat 2 fungsi yang belum sesuai, tetapi sebesar 86.6% login mahasiswa dan 91.66% login dosen telah berfungsi sebagaimana mestinya.

5. Berdasarkan faktor portability, FRS online tidak memiliki error, sehingga dapat dikatakan telah berkualitas.

• KESIMPULAN • SARAN

THANK YOU