Download - Pengujian Sistem yang Berbasis Probabilitik
TUGAS DISKUSI PROBABILITAS
ROC
DOSEN:
RISTU SAPTONO, S.Si, M.T.
DISUSUN OLEH:
FEMBI REKRISNA GRANDEA PUTRA (M0513019)
JURUSAN INFORMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SEBELAS MARET
SURAKARTA
2015
Diskusi 1
β’ Diketahui:
Berdasarkan hasil pengukuran diperoleh berikut ini.
- Dari 15 mahasiswa berIPK lebih dari 3, 10 di antaranya berhasil diklasifikas ikan
dengan benar
- Dari 15 mahasiswa berIPK kurang dari atau sama dengan 3, 7 di antaranya berhasil
diklasifikasikan dengan benar.
Alat yang diukur adalah NaΓ―ve Bayes pada Clasifikasi IPK.
Ditanya:
Tentukan seberapa baik alat yang diukur tersebut!
Jawab:
15 mahasiswa ber IPK>3, 10 di antaranya teridentifikasi benar
15 mahasiswa ber IPK<=3, 7 di antaranya teridentifikasi benar
Condition (+) Condition (-)
Preconditon (+) 10 7
Preconditon (-) 5 8
Sehingga dapat diukur alat tersebut baik atau tidak dengan cara sebagai berikut.
π΄πππ’πππ‘πππ=TP +TN
TP + FN+ FP +TN
π΄πππ’πππ‘πππ=10 + 8
10 + 5+ 7+ 8
π΄πππ’πππ‘πππ=18
30
π΄πππ’πππ‘πππ= 0,6 = 60%
ππππ ππ‘ππ£ππ‘π¦ =TP
TP + FN
ππππ ππ‘ππ£ππ‘π¦ =10
10 + 5
ππππ ππ‘ππ£ππ‘π¦ =10
15
ππππ ππ‘ππ£ππ‘π¦ = 0,6667 = 67%
ππππππππππ‘π¦ =TN
FP +TN
ππππππππππ‘π¦ =8
7+ 8
ππππππππππ‘π¦ =8
15
ππππππππππ‘π¦ = 0,5333 = 53%
ππππππ πππ =ππ
ππ+πΉπ
ππππππ πππ =10
10+ 7
ππππππ πππ =10
17
ππππππ πππ = 0,58823
πΉπ΄π =πΉπ
ππ +πΉπ
πΉπ΄π =7
10 + 7
πΉπ΄π =7
17
πΉπ΄π = 0,41176 = 41%
Diskusi 2
Diketahui:
Algoritma A
Algoritma B
Ditanya:
Dari kedua algoritma tersebut mana yang terbaik? Kenapa?
Jawab:
Algoritma A
Accuracy = ππ+ππ
ππ+πΉπ΅+πΉπ+ππ
Accuracy = 10+10
10+2+3+10=
20
25= 80%
Recall = ππ
ππ+πΉπ
Recall = 10
10+2=
10
12= 83%
ππππππππππ‘π¦ =ππ
πΉπ+ππ
Specificity =10
3+10=
10
13= 77%
ππππππ πππ =ππ
ππ+πΉπ
Precision =10
10+3=
10
13= 77%
πΉπ΄π =πΉπ
ππ+πΉπ
FAR =3
10+3=
3
13= 23%
Algoritma B
Accuracy = ππ+ππ
ππ+πΉπ΅+πΉπ+ππ
Accuracy=9+11
9+3+2+11=
20
25= 80%
Recall = ππ
ππ+πΉπ
Recall =9
9+3=
9
12= 75%
ππππππππππ‘π¦ =ππ
πΉπ+ππ
Specificity =11
2+11=
11
13= 85%
ππππππ πππ =ππ
ππ+πΉπ
Precision =9
9+2=
9
11= 82%
πΉπ΄π =πΉπ
ππ+πΉπ
FAR =2
9+2=
2
11= 18%
Berdasarkan perhitungan yang telah dilakukan algoritma B lebih baik dari algoritma A karena
rata-rata yang dihasilkan oleh aalgoritma B lebih unggul dibandingkan algoritma A. Berikut
aspeknya.
- Accuracy atau ketepatan memprediksi sesuai dengan klasifikasi sebenarnya. Pada
Algoritma A dan Algoritma B memiliki tingkak ketepatan yang sama yaitu 80%
- Sensitivity/Recall atau ketepatan prediksi pada kondisi positif, pada Algoritma A lebih baik
dengang nilai ketepatan sebesar 83%
- Dalam hal Specificity atau ketepatan prediksi pada kondisi negative, pada Algoritma B
lebih baik dengan nilai ketepatan sebesar 85%
- Dalam hal Precision atau ratio banyaknya prediksi benar, Algoritma B lebih baik dengan
nilai ratio 82%
- Dalam hal False Alarm Rate atau tingkat kesalahan prediksi yang dihasilkan oleh system,
pada Algoritma B lebih baik karena memiliki tingkat kesalahan prediksi lebih kecil yaitu
18%
Diskusi 3
Diketahui:
Hasil pengukurannya adalah sebagai berikut.
- Dari 15 mahasiswa berIPK lebih dari >3.5, 10 di antaranya berhasil
diklasifikasikan IPK A, 2 diantaranya IPK B, 3 diantaranya IPK C
- Dari 15 mahasiswa berIPK 2.76 β 3.5, 3 di antaranya berhasil diklasifikasikan IPK
A, 10 diantaranya IPK B, 2 diantaranya IPK C
- Dari 15 mahasiswa berIPK lebih dari <=2.75, 2 di antaranya berhasil
diklasifikasikan IPK A, 2 diantaranya IPK B, 11 diantaranya IPK C
Alat yang akan diukur: NaΓ―ve Bayes pada Clasifikasi IPK
Proses yang digunakan adalah sebagai berikut.
β Mahasiswa yang menjadi sample 45
β 15 diantaranya mempunyai IPK >3.5 (A)
β 15 diantaranya mempunyai IPK di antara 2.76 β 3.5 (B)
β 15 diantaranya mempunyai IPK <=2.75 (C)
Ditanya:
Tentukan Akurasi, Presisi dan Recallnya
Jawab:
IPK >3.5 IPK 2.76- 3.5 IPK <= 2.75
Prediksi A 10 3 2
Prediksi B 2 10 2
Prediksi C 3 2 11
Total 15 15 15
Accuracy = ππ+ππ
ππ+πΉπ΅+πΉπ+ππ
Accuracy = 10+10+11
15+15+15=
31
45= 69%
Recall = ππ
ππ+πΉπ
Recall = 67%+67%+73%
3= 69%
ππππππ πππ =ππ
ππ+πΉπ
Precision =67%+71%+69%
3= 69%
Kondisi+ Kondisi- Keterangan
Prediksi+ 10 7 17 Kondisi+ : IPK>3
Prediksi- 5 8 13 Kondisi- : IPK<3
15 15 30
Accuracy 0,6 60,00%
Misclassification Rate 0,4 40,00%
True Positive Rate 0,666666667 66,67%
False Positive Rate 0,466666667 46,67%
Specificity 0,533333333 53,33%
Precision 0,588235294 58,82%
FAR 0,411764706 41,18%
Prevalence 0,5 50,00%
Kondisi+ Kondisi- Kondisi+ Kondisi-
Prediksi+ 10 3 13 Prediksi+ 9 2 11
Prediksi- 2 10 12 Prediksi- 3 11 14
12 13 25 12 13 25
Accuracy 0,8 80,00% Accuracy 0,8 80,00%
Misclassification Rate 0,2 20,00% Misclassification Rate 0,2 20,00%
True Positive Rate (Recall) 0,833333333 83,33% True Positive Rate 0,75 75,00%
False Positive Rate 0,230769231 23,08% False Positive Rate 0,153846154 15,38%
Specificity 0,769230769 76,92% Specificity 0,846153846 84,62%
Precision 0,769230769 76,92% Precision 0,818181818 81,82%
FAR 0,230769231 23,08% FAR 0,181818182 18,18%
Prevalence 0,48 48,00% Prevalence 0,48 48,00%
Rata-rata 72,06% Rata-rata 71,20%
>3,5 2,76-3,5 <=2,75 Precision
Prediksi A 10 3 2 15 66,667%
Prediksi B 2 10 2 14 71,429%
Prediksi C 3 2 11 16 68,750%
15 15 15 45
Recall 66,667% 66,667% 73,333%
Accuracy 68,889%
Rata-rata Recall 68,889%
Rata-rata Precision 68,948%