pengujian sistem yang berbasis probabilitik
Post on 09-Jan-2017
96 Views
Preview:
TRANSCRIPT
TUGAS DISKUSI PROBABILITAS
ROC
DOSEN:
RISTU SAPTONO, S.Si, M.T.
DISUSUN OLEH:
FEMBI REKRISNA GRANDEA PUTRA (M0513019)
JURUSAN INFORMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SEBELAS MARET
SURAKARTA
2015
Diskusi 1
• Diketahui:
Berdasarkan hasil pengukuran diperoleh berikut ini.
- Dari 15 mahasiswa berIPK lebih dari 3, 10 di antaranya berhasil diklasifikas ikan
dengan benar
- Dari 15 mahasiswa berIPK kurang dari atau sama dengan 3, 7 di antaranya berhasil
diklasifikasikan dengan benar.
Alat yang diukur adalah Naïve Bayes pada Clasifikasi IPK.
Ditanya:
Tentukan seberapa baik alat yang diukur tersebut!
Jawab:
15 mahasiswa ber IPK>3, 10 di antaranya teridentifikasi benar
15 mahasiswa ber IPK<=3, 7 di antaranya teridentifikasi benar
Condition (+) Condition (-)
Preconditon (+) 10 7
Preconditon (-) 5 8
Sehingga dapat diukur alat tersebut baik atau tidak dengan cara sebagai berikut.
𝐴𝑐𝑐𝑢𝑟𝑎𝑡𝑖𝑜𝑛=TP +TN
TP + FN+ FP +TN
𝐴𝑐𝑐𝑢𝑟𝑎𝑡𝑖𝑜𝑛=10 + 8
10 + 5+ 7+ 8
𝐴𝑐𝑐𝑢𝑟𝑎𝑡𝑖𝑜𝑛=18
30
𝐴𝑐𝑐𝑢𝑟𝑎𝑡𝑖𝑜𝑛= 0,6 = 60%
𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 =TP
TP + FN
𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 =10
10 + 5
𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 =10
15
𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 = 0,6667 = 67%
𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 =TN
FP +TN
𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 =8
7+ 8
𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 =8
15
𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 = 0,5333 = 53%
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =𝑇𝑃
𝑇𝑃+𝐹𝑃
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =10
10+ 7
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =10
17
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 0,58823
𝐹𝐴𝑅 =𝐹𝑃
𝑇𝑃 +𝐹𝑃
𝐹𝐴𝑅 =7
10 + 7
𝐹𝐴𝑅 =7
17
𝐹𝐴𝑅 = 0,41176 = 41%
Diskusi 2
Diketahui:
Algoritma A
Algoritma B
Ditanya:
Dari kedua algoritma tersebut mana yang terbaik? Kenapa?
Jawab:
Algoritma A
Accuracy = 𝑇𝑃+𝑇𝑁
𝑇𝑃+𝐹𝐵+𝐹𝑃+𝑇𝑁
Accuracy = 10+10
10+2+3+10=
20
25= 80%
Recall = 𝑇𝑃
𝑇𝑃+𝐹𝑁
Recall = 10
10+2=
10
12= 83%
𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 =𝑇𝑁
𝐹𝑃+𝑇𝑁
Specificity =10
3+10=
10
13= 77%
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =𝑇𝑃
𝑇𝑃+𝐹𝑃
Precision =10
10+3=
10
13= 77%
𝐹𝐴𝑅 =𝐹𝑃
𝑇𝑃+𝐹𝑃
FAR =3
10+3=
3
13= 23%
Algoritma B
Accuracy = 𝑇𝑃+𝑇𝑁
𝑇𝑃+𝐹𝐵+𝐹𝑃+𝑇𝑁
Accuracy=9+11
9+3+2+11=
20
25= 80%
Recall = 𝑇𝑃
𝑇𝑃+𝐹𝑁
Recall =9
9+3=
9
12= 75%
𝑆𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑦 =𝑇𝑁
𝐹𝑃+𝑇𝑁
Specificity =11
2+11=
11
13= 85%
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =𝑇𝑃
𝑇𝑃+𝐹𝑃
Precision =9
9+2=
9
11= 82%
𝐹𝐴𝑅 =𝐹𝑃
𝑇𝑃+𝐹𝑃
FAR =2
9+2=
2
11= 18%
Berdasarkan perhitungan yang telah dilakukan algoritma B lebih baik dari algoritma A karena
rata-rata yang dihasilkan oleh aalgoritma B lebih unggul dibandingkan algoritma A. Berikut
aspeknya.
- Accuracy atau ketepatan memprediksi sesuai dengan klasifikasi sebenarnya. Pada
Algoritma A dan Algoritma B memiliki tingkak ketepatan yang sama yaitu 80%
- Sensitivity/Recall atau ketepatan prediksi pada kondisi positif, pada Algoritma A lebih baik
dengang nilai ketepatan sebesar 83%
- Dalam hal Specificity atau ketepatan prediksi pada kondisi negative, pada Algoritma B
lebih baik dengan nilai ketepatan sebesar 85%
- Dalam hal Precision atau ratio banyaknya prediksi benar, Algoritma B lebih baik dengan
nilai ratio 82%
- Dalam hal False Alarm Rate atau tingkat kesalahan prediksi yang dihasilkan oleh system,
pada Algoritma B lebih baik karena memiliki tingkat kesalahan prediksi lebih kecil yaitu
18%
Diskusi 3
Diketahui:
Hasil pengukurannya adalah sebagai berikut.
- Dari 15 mahasiswa berIPK lebih dari >3.5, 10 di antaranya berhasil
diklasifikasikan IPK A, 2 diantaranya IPK B, 3 diantaranya IPK C
- Dari 15 mahasiswa berIPK 2.76 – 3.5, 3 di antaranya berhasil diklasifikasikan IPK
A, 10 diantaranya IPK B, 2 diantaranya IPK C
- Dari 15 mahasiswa berIPK lebih dari <=2.75, 2 di antaranya berhasil
diklasifikasikan IPK A, 2 diantaranya IPK B, 11 diantaranya IPK C
Alat yang akan diukur: Naïve Bayes pada Clasifikasi IPK
Proses yang digunakan adalah sebagai berikut.
– Mahasiswa yang menjadi sample 45
– 15 diantaranya mempunyai IPK >3.5 (A)
– 15 diantaranya mempunyai IPK di antara 2.76 – 3.5 (B)
– 15 diantaranya mempunyai IPK <=2.75 (C)
Ditanya:
Tentukan Akurasi, Presisi dan Recallnya
Jawab:
IPK >3.5 IPK 2.76- 3.5 IPK <= 2.75
Prediksi A 10 3 2
Prediksi B 2 10 2
Prediksi C 3 2 11
Total 15 15 15
Accuracy = 𝑇𝑃+𝑇𝑁
𝑇𝑃+𝐹𝐵+𝐹𝑃+𝑇𝑁
Accuracy = 10+10+11
15+15+15=
31
45= 69%
Recall = 𝑇𝑃
𝑇𝑃+𝐹𝑁
Recall = 67%+67%+73%
3= 69%
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =𝑇𝑃
𝑇𝑃+𝐹𝑃
Precision =67%+71%+69%
3= 69%
Kondisi+ Kondisi- Keterangan
Prediksi+ 10 7 17 Kondisi+ : IPK>3
Prediksi- 5 8 13 Kondisi- : IPK<3
15 15 30
Accuracy 0,6 60,00%
Misclassification Rate 0,4 40,00%
True Positive Rate 0,666666667 66,67%
False Positive Rate 0,466666667 46,67%
Specificity 0,533333333 53,33%
Precision 0,588235294 58,82%
FAR 0,411764706 41,18%
Prevalence 0,5 50,00%
Kondisi+ Kondisi- Kondisi+ Kondisi-
Prediksi+ 10 3 13 Prediksi+ 9 2 11
Prediksi- 2 10 12 Prediksi- 3 11 14
12 13 25 12 13 25
Accuracy 0,8 80,00% Accuracy 0,8 80,00%
Misclassification Rate 0,2 20,00% Misclassification Rate 0,2 20,00%
True Positive Rate (Recall) 0,833333333 83,33% True Positive Rate 0,75 75,00%
False Positive Rate 0,230769231 23,08% False Positive Rate 0,153846154 15,38%
Specificity 0,769230769 76,92% Specificity 0,846153846 84,62%
Precision 0,769230769 76,92% Precision 0,818181818 81,82%
FAR 0,230769231 23,08% FAR 0,181818182 18,18%
Prevalence 0,48 48,00% Prevalence 0,48 48,00%
Rata-rata 72,06% Rata-rata 71,20%
>3,5 2,76-3,5 <=2,75 Precision
Prediksi A 10 3 2 15 66,667%
Prediksi B 2 10 2 14 71,429%
Prediksi C 3 2 11 16 68,750%
15 15 15 45
Recall 66,667% 66,667% 73,333%
Accuracy 68,889%
Rata-rata Recall 68,889%
Rata-rata Precision 68,948%
top related