48

BAB 6 PENERAPAN KERANGKA KERJA: HASIL ANALISIS DATA

Pada bab ini data yang telah dikumpulkan melalui metode user testing dan kueisoner akan dianalisis untuk mengetahui tingkat aksesibilitas dan fungsionalitas sistem dan mengidentifikasi permasalahan yang berkaitan dengan usability sistem. Ada dua jenis data yang dihasilkan pada analisis data yang dilakukan yaitu kuantitatif dan kualitatif. Kuantitatif merupakan tingkat aksesibilitas dan fungsionalitas dari sistem yang dinilai dengan angka, sedangkan kualitatif merupakan identifikasi permasalahan-permasalahan yang ada pada sistem.

Analisis data akan dikelompokan berdasarkan tiga aspek yaitu efektivitas, efisiensi, dan kepuasan pengguna. User testing digunakan untuk menilai aspek usability yaitu efektivitas dan efisiensi, sedangkan kuesioner SUS digunakan untuk menilai aspek kepuasan pengguna terhadap e-finance.

6.1 User Testing

Hasil pengumpulan data yang telah dilakukan pada evaluasi usability menggunakan metode user testing di lima kelurahan kota Malang dianalisis dan dikelompokan menjadi dua aspek yaitu efektivitas dan efisiensi.

6.1.1 Efektivitas

Pengukuran efektivitas pengguna terhadap e-finance diukur dengan menggunakan dua metrik yaitu tingkat penyelesaian dan error. Berikut ini adalah pengukuran aspek efektivitas:

1. Tingkat Penyelesaian

Tingkat penyelesaian diukur melalui pengukuran tingkat penyelesaian setiap tugas dari pengujian usability yang telah dilakukan. Pada metrik ini memiliki dua nilai yaitu kesuksesan tugas dan kegagalan tugas. Tabel 6.1 menunjukkan tingkat penyelesaian tugas menggunakan e-finance, sedangkan tampilan form permasing-masing tugas dapat dilihat pada Lampiran B Contoh Tampilan Form E-Finance.

Tabel 6.1 Tingkat Penyelesaian Tugas menggunakan E-Finance

Tugas ke-

T1 T2 T3 T4 T5 T6 T7 T8 T9 T10

Par

tisi

pan

P1 1 1 1 1 1 1 1 1 1 1

P2 1 1 1 1 1 1 1 1 1 1

P3 1 1 1 1 1 1 1 1 1 1

P4 1 1 1 0 0 1 1 1 1 1

P5 1 1 1 1 1 1 1 1 1 1

49

Pada Tabel 6.1 dapat dilihat bahwa jika pengguna berhasil menyelesaikan tugas maka diberikan nilai 1 sedangkan jika gagal maka mendapatkan nilai 0, sehingga task completion untuk tugas 1 dapat dihitung sebagai berikut:

𝐷𝑒𝑓𝑒𝑐𝑡𝑖𝑣𝑒 𝑟𝑎𝑡𝑒 =𝑇𝑜𝑡𝑎𝑙 𝐷𝑒𝑓𝑒𝑐𝑡𝑠

𝑇𝑜𝑡𝑎𝑙 𝑂𝑝𝑝𝑜𝑟𝑡𝑢𝑛𝑖𝑡𝑖𝑒𝑠

=0

5

= 0 = 0%

Berdasarkan perhitungan yang sudah dilakukan untuk masing-masing tugas maka diperoleh hasil yang dapat dilihat pada Tabel 6.2.

Tabel 6.2 Usability Metrik Defective Rate untuk Task Completion untuk Sepuluh Tugas

Metrik Tugas ke-

T1 T2 T3 T4 T5 T6 T7 T8 T9 T10

Defective Rate

0% 0% 0% 20% 20% 0% 0% 0% 0% 0%

Task Completion

100% 100% 100% 80% 80% 100% 100% 100% 100% 100%

Pada Tabel 6.2 dapat diketahui bahwa defective rate untuk tugas 1,2,3,6,7,8,9, DAN 10 adalah 0% yang berarti bahwa semua pengguna dapat menyelesaikan tugas-tugas tersebut. Untuk tugas 4 dan 5 memperoleh nilai defective rate adalah 20%, hal tersebut disebabkan karena terdapat satu pengguna yang tidak dapat menyelesaikan tugas tersebut, sehingga diperoleh tingkat task completion 96%.

Berdasarkan tingkat penyelesaian tugas maka dapat diketahui bahwa penyebab pengguna tidak dapat menyelesaikan tugas dengan benar dapat dilihat pada Tabel 6.3.

2. Error Rate

Error rate atau jumlah kesalahan secara statistik berhubungan dengan jumlah kesempatan (opportunity) yang ada untuk pengguna. Hal pertama yang harus dilakukan pada metrik ini adalah membuat peluang kesalahan terhadap setiap tugas yang berpeluang untuk pengguna melakukan kesalahan selama mencapai tujuan yaitu menyelesaikan tugas. Peluang kesalahan yang dimiliki oleh masing-masing tugas tidak sama, sehingga dibutuhkan suatu proses untuk memperhitungakan variasi kesalahan yaitu dengan menghitung total peluang (total opportunity). Total peluang merupakan total kesalahan yang mungkin terjadi sebagai jumlah sub task yang harus pengguna lakukan ketika menyelesaikan tugas.

50

Total peluang diperoleh dari task analysis dari masing-masing tugas. Misalnya Gambar 6.1 merupakan task analysis untuk tugas 1 yaitu membuat BAST untuk suatu kegiatan misalnya honorarium bulan Maret 2017. Task Analysis untuk keseluruhan tugas dapat dilihat pada Lampira B Task Analysis.

Tabel 6.3 Problem Efektivitas Berdasarkan Tingkat Penyelesaian Pengguna

Kode Problem

Deskripsi Partisipan

PR01 Pada tugas 4 pengguna tidak dapat menyelesaikan tugas dikarenakan sisa uang tunai tidak mencukupi, kemudian pengguna merasa bingung dan menyerah untuk menyelesaikan tugas.

P4

PR02 Pada tugas 5 pengguna tidak dapat menyelesaikan tugas dikarenakan tugas ini berhubungan dengan tugas ke 4 dan pengguna pada tugas sebelumnya tidak dapat menyelesaikannya sehingga tugas ini tidak bisa dikerjakan juga.

P4

Berdasarkan Hierarchy Task Analysis pada Gambar 6.1 maka dapat dibuat kesempatan (opportunity) sebagai berikut:

Tugas 1 : Buatlah BAST untuk honorarium bulan Maret 2017

Opportunity 1 : Input username Opportunity 2 : Input password Opportunity 3 : Pilih Sign-in Opportunity 4 : Pilih menu uang masuk Opportunity 5 : Pilih submenu BAST Opportunity 6 : Pilih tambah Opportunity 7 : Pilih template jurnal Opportunity 8 : Pilih nomer kontrak Opportunity 9 : Pilih kontrak Opportunity 10 : Pilih tombol pilih Opportunity 11 : Input nomer pemeriksaan Opportunity 12 : Input nomer penerimaan Opportunity 13 : Input nomor SK PPHP Opportunity 14 : Pilih tabulasi rincian Opportunity 15 : Double klik kolom harga Opportunity 16 : Input harga Opportunity 17 : Pilih button simpan

51

Gambar 6.1 Hierarchy Task Analysis Tugas 1- Membuat BAST

52

Pada tugas 1 terdapat 12 opportunity sehingga total opportunity pada tugas 1 adalah 12, dengan demikian pengguna harus melakukan 12 opportunity tersebut untuk dapat menyelesaikan tugas 1. Tabel 6.4 merupakan opportunity dari masing-masing tugas yang digunakan untuk melakukan evaluasi usability pada e-finance.

Tabel 6.4 Opportunity untuk masing-masing Tugas

Tugas Ke-

Opportunity Total

Opportunity

1 Opportunity 1 : Input username Opportunity 2 : Input password Opportunity 3 : Pilih Sign-in Opportunity 4 : Pilih menu uang masuk Opportunity 5 : Pilih submenu BAST Opportunity 6 : Pilih tambah Opportunity 7 : Pilih template jurnal Opportunity 8 : Pilih nomer kontrak Opportunity 9 : Pilih kontrak Opportunity 10 : Pilih tombol pilih Opportunity 11 : Input nomer pemeriksaan Opportunity 12 : Input nomer penerimaan Opportunity 13 : Input nomor SK PPHP Opportunity 14 : Pilih tabulasi rincian Opportunity 15 : Double klik kolom harga Opportunity 16 : Input harga Opportunity 17 : Pilih button simpan

17

53

Tugas Ke-

Opportunity Total

Opportunity

2 Opportunity 1 : Input username Opportunity 2 : Input password Opportunity 3 : Pilih Sign-in Opportunity 4 : Pilih menu uang masuk Opportunity 5 : Pilih submenu SPP Opportunity 6 : Pilih tambah Opportunity 7 : Pilih radio button keperluan Opportunity 8 : Pilih radio button beban Opportunity 9 : Pilih no BAST Opportunity 10 : Input keterangan Opportunity 11 : Input pejabat PPK Opportunity 12 : Pilih tabulasi referensi SPD Opportunity 13 : Pilih tambah Opportunity 14 : Pilih SPD Opportunity 15 : Pilih tombol pilih Opportunity 16 : Pilih tabulasi kegiatan Opportunity 17 : pilih tabulasi rincian SPP Opportunity 18 : Pilih tabulasi sumber dana Opportunity 19 : Pilih tambah Opportunity 20 : Pilih sumber dana Opportunity 21 : Double klik kolom nominal Opportunity 22 : Input nominal Opportunity 23 : pilih simpan

23

3 Opportunity 1 : Input username Opportunity 2 : Input password Opportunity 3 : Pilih Sign-in Opportunity 4 : Pilih menu uang masuk Opportunity 5 : Pilih submenu verifikasi SPP Opportunity 6 : Pilih SPP Opportunity 7 : Input PPK SKPD Opportunity 8 : Pilih radio button keputusan Opportunity 9 : Pilih simpan Opportunity 10 : Pilih menu uang masuk Opportunity 11 : Pilih submenu SPM Opportunity 12 : Pilih tambah Opportunity 13 : Pilih SPP Opportunity 14 : Pilih simpan

14

54

Tugas Ke-

Opportunity Total

Opportunity

4 Opportunity 1 : Input username Opportunity 2 : Input password Opportunity 3 : Pilih Sign-in Opportunity 4 : Pilih menu uang keluar Opportunity 5 : Pilih submenu belanja Opportunity 6 : Pilih tambah Opportunity 7 : Pilih radio button keperluan Opportunity 8 : Pilih radio button beban Opportunity 9 : Pilih kegiatan Opportunity 10 : Input keterangan Opportunity 11 : Pilih tambah Opportunity 12 : Pilih akun Opportunity 13 : Pilih tombol pilih Opportunity 14 : Double klik kolom nominal Opportunity 15 : Input nominal Opportunity 16 : Pilih simpan

16

5 Opportunity 1 : Input username Opportunity 2 : Input password Opportunity 3 : Pilih Sign-in Opportunity 4 : Pilih menu uang keluar Opportunity 5 : Pilih submenu SPJ Opportunity 6 : Pilih SPP Opportunity 7 : Pilih radio button keperluan Opportunity 8 : Pilih radio button beban Opportunity 9 : Input keterangan Opportunity 10 : Input PPK SKPD Opportunity 11 : Input catatan Opportunity 12 : Pilih radio button keputusan Opportunity 13 : Pilih simpan

13

55

Tugas Ke-

Opportunity Total

Opportunity

6 Opportunity 1 : Input username Opportunity 2 : Input password Opportunity 3 : Pilih Sign-in Opportunity 4 : Pilih menu uang masuk Opportunity 5 : Pilih submenu SPP Opportunity 6 : Pilih tambah Opportunity 7 : Pilih radio button keperluan Opportunity 8 : Pilih radio button beban Opportunity 9 : Input keterangan Opportunity 10 : Input PPTK Opportunity 11 : Pilih tambah Opportunity 12 : Pilih SPD Opportunity 13 : Pilih tombol pilih Opportunity 14 : Pilih tabulasi kegiatan Opportunity 15 : Pilih tambah Opportunity 16 : Pilih kegiatan Opportunity 17 : Pilih tombol pilih Opportunity 18 : Pilih akun Opportunity 19 : Pilih tombol pilih Opportunity 20 : Pilih tabulasi rincian SPP Opportunity 21 : Input nominal Opportunity 22 : Pilih tabulasi sumber dana Opportunity 23 : Pilih tambah Opportunity 24 : Pilih sumber dana Opportunity 25 : Pilih tombol pilih Opportunity 26 : Input nominal Opportunity 27 : Pilih simpan

27

56

Tugas Ke-

Opportunity Total

Opportunity

7 Opportunity 1 : Input username Opportunity 2 : Input password Opportunity 3 : Pilih Sign-in Opportunity 4 : Pilih menu uang masuk Opportunity 5 : Pilih submenu SPK Opportunity 6 : Pilih tambah Opportunity 7 : Input tanggal Opportunity 8 : Pilih kegiatan Opportunity 9 : Pilih sumber dana Opportunity 10 : Pilih pejabat pembuat komitmen Opportunity 11 : Input pekerjaan Opportunity 12 : Pilih perusahaan Opportunity 13 : Input NPWP Opportunity 14 : Input no rekening Opportunity 15 : Pilih tambah Opportunity 16 : Pilih akun Opportunity 17 : Pilih tombol pilih Opportunity 18 : Input nilai kontrak Opportunity 19 : Pilih simpan

19

8 Opportunity 1 : Input username Opportunity 2 : Input password Opportunity 3 : Pilih Sign-in Opportunity 4 : Pilih menu uang masuk Opportunity 5 : Pilih submenu verifikasi SPP Opportunity 6 : Pilih pilih salah satu SPP

6

9 Opportunity 1 : Input username Opportunity 2 : Input password Opportunity 3 : Pilih Sign-in Opportunity 4 : Pilih menu uang masuk Opportunity 5 : Pilih submenuVerifikasi SPM Opportunity 6 : Pilih pilih salah satu SPM

6

10 Opportunity 1 : Input username Opportunity 2 : Input password Opportunity 3 : Pilih Sign-in Opportunity 4 : Pilih menu uang masuk Opportunity 5 : Pilih submenu SP2D Opportunity 6 : Pilih pilih salah satu SP2D

6

Setelah mendefiniskan opportunity untuk masing-masing tugas, kemudian dihitung jumlah kesalahan untuk masing-masing tugas yang dilakukan pengguna ketika proses menyelesaikan tugas yang ditunjukkan pada Tabel 6.5.

Setelah mengetahui tingkat kesalahan maka dilakukan analisis masalah-masalah yang mempengaruhi tingkat kesalahan pengguna ketika menyelesaikan

57

tugas dengan e-finance. Tabel 6.6 merupakan analisis masalah-masalah yang mempengaruhi tingkat kesalahan pengguna ketika menyelesaikan tugas dengan e-finance.

Tabel 6.5 Tingkat Kesalahan (Error Rate)

Jumlah Kesalahan Per Tugas

T1 T2 T3 T4 T5 T6 T7 T8 T9 T10

Par

tisi

pan

P1 1 0 0 3 0 0 1 1 1 1

P2 2 2 1 1 1 0 0 1 1 1

P3 2 1 0 1 0 0 1 0 0 0

P4 1 1 1 1 1 0 1 0 0 0

P5 2 2 0 3 0 0 2 0 0 0

Total Kesalahan

(total defect) 8 6 2 9 2 0

5

2

2

2

Tingkat Kesalahan (error rate)

0,09 0,05 0,03 0,11 0,03 0

0,05

0,07

0,07

0,07

Tabel 6.6 Problem Effectiveness berdasarkan Tingkat Kesalahan

Kode Problem

Deskripsi Partisipan

PR03

Pada tugas ke 1 ketika pengguna akan mengisikan harga, pengguna mencoba mengisikan di kolom lain tetapi kolom tersebut tidak bisa diisi, kemudian pengguna mencoba melakukan double klik pada kolom harga dan mengisinya.

P1, P3

PR04

Pada tugas 1 pengguna tidak melakukan tahap pemilihan template BAST, tetapi ketika pengguna mencoba menyimpan, data tersebut bisa disimpan tanpa adanya peringatan ada kolom yang belum diisi.

P2

PR05

Pada tugas 1 (P2, P5), tugas 2 (P2) dan tugas 4 (P1 dan P5), pengguna ketika melakukan pengisian di kolom harga tidak bisa mengisi karena hanya melakukan klik satu kali pada kolom harga, kemudian pengguna mencoba lagi dengan melakukan double klik pada kolom harga dan nominal harga bisa diisi.

P2, P5, P1

PR05

Pada tugas 1 (P3 dan P5) dan tugas 4 (P1, P2, P3, dan P5) pengguna ketika selesai melakukan pengisian nominal pada kolom harga kemudian ingin mengakhiri proses inputannya, pengguna mencoba mengklik diluar kolom yang menyebabkan kegagalan ketika proses menyimpan data, kemudian pengguna memperbaikinya dengan mengenter di kolom harga.

P3, P5, P1, P2

PR06 Pada tugas 1 pengguna gagal menyimpan karena ada kolom yang belum disi yaitu di tab penerimaan pemeriksaan pada field no pemeriksaan, no penerimaan dan no SK PPHP.

P4

58

Kode Problem

Deskripsi Partisipan

Selanjutya pengguna mengisi ketiga field tersebut kemudian data bisa disimpan.

PR07 Pada tugas 2 (P2 dan P5) dan tugas 3 (P4) pengguna tidak mengisikan nama PPTK di tabulasi data SPP, tetapi ketika disimpan sukses

P2, P5, P4

PR08

Pada tugas 2 pengguna gagal menyimpan karena ada kolom yang belum diisi yaitu di tabulasi sumberdana pada kolom nominal, setelah melakukan pengisian nominal maka data sukses disimpan.

P3, P4, P5

PR09

Pada tugas 3 pengguna langsung melakukan pembuatan SPM tetapi tidak bisa dilakukan karena belum melakukan verifikasi SPP, kemudian pengguna melakukan verifikasi SPP terlebih dahulu selanjutnya membuat SPP.

P2

PR10

Pada tugas 4 pengguna ketika melakukan tambah rincian belanja tidak keluar daftar rincian belanja karena belum memilih kegiatan pada field kegiatan, kemudian pengguna berhasil memperbaiki kesalahan dengan memilih salah satu kegiatan kemudian dilanjutkan menambahkan rincian belanja.

P1, P5

PR11 Pada tugas 4 pengguna gagal melakukan simpan data karena kas tidak mencukupi dan pengguna tidak bisa menyelesaikan tugas tersebut.

P4

PR12

Pada tugas 5 pengguna gagal melakukan simpan data karena ada field yang belum diisi yaitu nama PPK SKPD, kemudian pengguna melakukan pemilihan nama PPK SKPD dan berhasil menyimpan data.

P2

PR13

Pada tugas 5 pengguna tidak bisa menambahkan kegiatan dan akun sehingga data tidak bisa disimpan atau gagal. Proses tugas ini gagal karena pengguna tersebut pada tugas 4 juga tidak bisa menyelesiakan tugasnya karena tugas ini berhubungan dengan tugas 4.

P4

PR14

Pada tugas 7 ketika pengguna menekan tombol simpan terjadi kegagalan menyimpan karena ada kolom nomor kontrak belum diisikan, kemudian pengguna mencoba memperbaiki dan data dapat disimpan.

P1

PR15

Pada tugas 7 ketika pengguna memilih nama pejabat pembuat komitemen tetapi tidak muncul, kemudian pengguna mencoba beberapa kali dan dapat memilih nama pejabat pembuat komitmen

P3,P5

PR16

Pada tugas 7 pengguna tidak menginputkan nilai kontrak atau nominal nilai kontrak masih 0,00 tetapi ketika menekan tombol simpan data sukses disimpan

P4, P5

59

Kode Problem

Deskripsi Partisipan

PR17

Pada tugas 8,9, dan 10 ketika pengguna berusahan untuk melihat SPP yang telah diverifikasi kemudian menekan tombol lihat tetapi tombol tersebut tidak berfungsi.

P1, P2

6.1.2 Efisiensi

Pada metrik ini yang diukur adalah waktu pengguna yang digunakan untuk menyelesaikan tugas. Tabel 6.7 menunjukkan waktu pengguna dalam menyelesaikan setiap tugas yang diberikan, satuan waktu yang digunakan adalah detik. Baris yang berwarna merah menunjukkan bahwa tugas tersebut tidak dapat diselesikan oleh pengguna dengan benar atau pengguna menyerah sebelum menyelesaikan tugas.

Tabel 6.7 Waktu Penyelesaian Tugas pada Pengujian

Waktu Penyelesaian Tugas Untuk Tugas ke- (detik)

T1 T2 T3 T4 T5 T6 T7 T8 T9 T10

Par

tisi

pan

P1 156 132 104 230 144 183 300 70 69 58

P2 80 133 214 183 118 186 213 49 60 45

P3 160 203 138 241 90 122 147 30 34 38

P4 131 223 141 373 156 223 190 40 42 40

P5 240 194 137 228 109 206 227 34 36 48

Selanjutnya dilakukan perhitungan efisiensi relatif secara keseluruhan menggunakan rumus sebagai berikut:

=(1𝑥156)+(1𝑥132)+(1𝑥104)+⋯+(1𝑥48)

156+132+104+⋯+48𝑥 100%

=6419

6948x100%

= 92%

Setelah megetahui tingkat efisiensi sistem secara keseluruhan maka dianalisis permasalahan-permasalahan yang dapat dilihat pada Tabel 6.8.

60

Tabel 6.8 Problem Efisiensi berdasarkan Waktu Penyelesaian Tugas

Kode Problem

Deskripsi Partisipan

PR18

Pada tugas 1 (P1, P3, P5) dan tugas 4 (P1, P2, P3, P5) pengguna mengahabiskan banyak waktu ketika menginputkan nominal harga yang seharusya setelah pengisian di akhiri dengan enter tapi pengguna menggunakan klik untuk mengakhirinya dan ada dibiarkan saja tanpa diakhiri sehingga terjadi kegagalan saat menyimpan.

P1, P3, P5

PR19 Pada tugas 1 pengguna melakukan pemilihan pada tabulasi atribusi yang seharusnya tidak diperlukan untuk dibuka, sehingga menambah waktu dalam penyelesaian tugas.

P3, P4, P5

PR20 Pada tugas 2 pengguna menghabiskan banyak waktu ketika terjadi kegagalan dalam menyimpan data yang disebabkan karena sumber dana belum diisikan.

P3, P4, P5

PR21

Pada tugas 2 pengguna membuka tabulasi potongan dan tabulasi pajak informasi, yang seharusnya tidak perlu untuk dibuka karena nominal uang tidak dikenakan pajak dan tidak ada potongan.

P2, P4, P5

PR22

Pada tugas 3 pengguna langsung membuat SPM kemudian ketika memilih SPP yang akan dibuatkan SPM ternyata kosong tidak ada karena belum melakukan verifikasi SPP, sehingga pengguna harus melakukan verifikasi SPP kemudian mengulangi lagi proses pembuatan SPM.

P2

PR23

Pada tugas 3 pengguna membuka tabulasi SPP dan SPD, tabulasi kegiatan, tabulasi rincian SPP, tabulasi potongan, tabulasi pajak informasi, dan sumber dana sebelum melakukan proses simpan ketika mebuat SPM, sehingga menambah waktu dalam menyelesaikan tugas.

P2

PR24

Pada tugas 3 pengguna membuka tabulasi data SPP dan tabulasi kegiatan ketika melakukan verifikasi SPP, yang seharusnya tidak dilakukan sehingga menambah waktu dalam menyelesaikan tugas.

P3

PR25

Pada tugas 3 pengguna membuka tabulasi SPP dan SPD, serta tabulasi rincian SPP sebelum melakukan proses simpan ketika mebuat SPM, sehingga menambah waktu dalam menyelesaikan tugas.

P5

PR26 Pada tuga 4 pengguna gagal menyimpan data yang disebabkan karena kas tidak terpenuhi, kemudian pengguna tidak bisa membenarkan dan menyerah.

P4

PR27 Pada tugas 5 pengguna membuka tabulasi kegiatan dan tabulasi akun yang seharusnya tidak perlu dilakukan, sehingga menambah waktu ketika menyelesaikan tugas.

P1, P3

61

Kode Problem

Deskripsi Partisipan

PR24

PR28

Pada tugas 5 pengguna menghabiskan banyak waktu ketika memilih kegiatan dan akun, karena tidak ada pilihanya kemudian pengguna mencoba menyelesaikannya tetapi tidak bisa selanjutnya menyerah.

P4

6.2 Kuesioner

Aspek usability terakhir yang diukur adalah satiscfaction atau kepuasan pengguna. Pengukuran kepuasan pengguna ini menggunakan kuesioner SUS (Software Usability Scale). Pengguna setelah mengerjakan tugas-tugas yang telah diberikan dari tugas yang pertama sampai terakhir kemudian melakukan pengisian kuesioner tersebut. Penguna mengisi kuesioner SUS yang terdiri dari 10 item dengan memilih salah satu jawaban yang pengguna rasakan dengan range skala likert 1 sampai 5. Table 6.9 menunjukkan hasil skor SUS dari pengguna.

Tabel 6.9 Skor SUS terhadap 5 Responden

Pertanyaan Kuesioner SUS Skor SUS

Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10

Pen

ggu

na

P1 5 2 4 2 4 1 3 2 3 4 70

P2 5 2 3 2 5 2 3 2 4 5 67,5

P3 5 2 4 2 5 1 4 3 4 4 75

P4 4 1 3 3 5 1 3 2 3 5 65

P5 5 2 4 2 5 1 4 3 3 4 72,5

Rata – rata skor 70

Berdasarkan Tabel 6.9 diketahui skor rata-rata SUS dari 5 pengguna adalah 70. Menurut Bangor, & Miller (2009) skor rata-rata SUS dengan nilai 70 termasuk kategori “OK”. Untuk mencapai tingkat kategori “GOOD” atau “EXCELLENT”, atau “BEST IMAGINABLE”, maka perlu dilakukan perbaikan pada e-finance. Hal tersebut penting dilakukan karena aplikasi ini terintegrasi dengan semua SKPD di pemerintahan Kota Malang yang digunakan untuk transaksi keuangan.

6.3 Pengelompokan Masalah

Pada bagian ini masalah-masalah atau problem yang ditemukan dari hasil pengujian usability dikelompokkan berdasarkan masalah yang sejenis. Masalah akan dideskripsikan sehingga mewakili masalah-masalah yang telah diidentifikasi pada tahapan sebelumnya dan akan diberikan kode baru. Tabel 6.10 merupakan permasalahan-permasalahan yang ditemukan ketika melakukan evaluasi usability pada e-finance.

62

Tabel 6.10 Pengelompokan problem pada e-finance

Kode Baru

Deskripsi Kode

Masalah Terkait

Asal Analisis Masalah

MA_1 Pengguna ketika membuat data BAST tidak memilih template BAST dan sistem sukses menyimpan data tersebut dan tidak ada notifikasi apapun.

PR04

Efektivitas (tingkat kesalahan)

MA_2 Pengguna kesulitan ketika mengisikan kolom harga pada form BAST

PR04 Efektivitas (tingkat kesalahan)

MA_3 Pengguna kesulitan ketika mengakhiri pengisian pada kolom nominal di form BAST

PR05 Efektivitas (tingkat kesalahan)

PR18 Efisiensi (task time)

MA_4 Nama PPTK belum disikan oleh pengguna ketika melakukan pengisian form BAST tetapi sukses ketika disimpan

PR08 Efektivitas (tingkat kesalahan)

MA_5 Pengguna melewatkan pengisian kolom nominal yang terdapat pada sumber dana

PR09 Efektivitas (tingkat kesalahan)

PR19 Efisiensi (task time)

MA_6 Pengguna ketika akan membuat SPM langsung menuju form SPM tanpa melakukan verifikasi SPP

PR09 Efektivitas (tingkat kesalahan)

PR22 Efisiensi (task time)

MA_7 Pengguna dapat membuka tabulasi tambah rincian belanja walaupun belum memilih jenis kegiatan, tetapi rincian belanja menampilkan data kosong.

PR10 Efektivitas (tingkat kesalahan)

MA_8 Pengguna bisa mengisikan form daftar belanja walaupun saldo kas tidak mencukupi

PR11 Efektivitas (tingkat kesalahan)

PR26 Efisiensi (task time)

MA_9 Terdapat tabulasi yang ada pada form pengisian BAST, walaupun ketika pengisian form tersebut tidak digunakan.

PR19 Efisiensi (task time)

MA_10 Terdapat tabulasi yang ada pada form pengisian SPP, walaupun ketika pengisian form tersebut tidak digunakan.

PR21 Efisiensi (task time)

PR27 Efisiensi (task time)

MA_11 Terdapat tabulasi yang ada pada form SPM, walaupun ketika pengisian form tersebut tidak digunakan.

PR23

Efisiensi (task time)

63

Kode Baru

Deskripsi Kode

Masalah Terkait

Asal Analisis Masalah

MA_12 Terdapat tabulasi yang ada pada form verifikasi SPP, walaupun ketika pengisian form tersebut tidak digunakan.

PR24 Efisiensi (task time)

PR25 Efisiensi (task time)

M_13 Pengguna dapat mengisikan form SPJ walaupun daftar rincian belanja tidak ada pada sistem.

PR28 Efisiensi (task time)

M_14 List pemilihan nama pejabat pembuat komitmen di form kontrak tidak muncul, harus dicoba beberapa kali di klik baru muncul

PR15 Efektivitas (tingkat kesalahan)

M_15 Ketika pengisian form kontrak di bagian nominal kontrak tidak diisikan tetapi bisa disimpan dan tidak ada peringatak belum diisi

PR16 Efektivitas (tingkat kesalahan)

M_16 Tombol lihat di form verifikasi SPP, SP2D, dan verifikasi SPM tidak berfungsi.

PR17 Efektivitas (tingkat kesalahan)