jst
DESCRIPTION
JST. Jaringan Saraf Tiruan. Tahapan JST. Tahap pembelajaran Tahap implementasi / testing. Paradigma Pembelajaran. Terawasi (Supervised Learning) input dan output ditentukan , ada contoh untuk pelatihan . Tak Terawasi (Unsupervised Learning) tak ada contoh pelatihan . - PowerPoint PPT PresentationTRANSCRIPT
JSTJaringan Saraf Tiruan
Tahapan JSTTahap pembelajaranTahap implementasi / testing
Paradigma PembelajaranTerawasi (Supervised Learning)
input dan output ditentukan, ada contoh untuk pelatihan.
Tak Terawasi (Unsupervised Learning)tak ada contoh pelatihan.
Gabungan antara Supervised dan Unsupervised (Hybrid)
PerceptronNeuron: Sel syaraf biologisPerceptron: Sel syaraf buatan
◦Fungsi Input◦Fungsi Aktivasi◦Output
Perceptron
PerceptronPerceptron = MODEL
SEDERHANA dari neuronApa yang bisa dilakukan oleh
satu perceptron?KlasifikasiPrediksiOptimasi, …
ANDx1 x2 y0 0 0
0 1 0
1 0 0
1 1 1
1
0v
vifvif
v01
)()(v
θ = 1,5
w = 1
w = 1
x1
x2
y
p
iiixwv
1
y
ORx1 x2 y0 0 0
0 1 1
1 0 1
1 1 1
θ = 0,5
w = 1
w = 1
x1
x2
y
1
0v
vifvif
v01
)()(v
p
iiixwv
1
y
XOR
θ = 0,5w = -1x1
y
w = -1x2
w = 1
w = 1 θ = 0,5
w = 1
w = 1
y
θ = 0,5
y
y
x1 x2 y0 0 0
0 1 1
1 0 1
1 1 0
Visualisasi 100 dimensi?Bisa dengan Perceptron?
Pola Pix1
Pix2
Pix3
Pix4
Pix5 … Pix
100E1 0 0 1 1 1 … 0F1 0 0 1 1 1 … 0G1 0 1 1 1 1 … 1O1 0 1 1 1 1 … 1..
O5 0 1 1 1 1 … 1
Input layerof source
node
Layer ofhidden
neurons
Layer ofoutput
neurons
Multi-Layer Perceptron (MLP)
Back Propagation(Propagasi balik)
Algoritma Belajar Propagasi BalikDefinisikan masalah
◦Matriks pola masukan (P) ◦matriks target (T)
Inisialisasi parameter jaringan◦Arsitektur jaringan (misalkan I-H-O)◦Bobot acak (atau dengan metode
tertentu)◦Learning rate (lr) laju belajar◦Threshold MSE untuk menghentikan
learning
Pola Pix1
Pix2
Pix3
Pix4
Pix5 … Pix
100E1 0 0 1 1 1 … 0F1 0 0 1 1 1 … 0G1 0 1 1 1 1 … 1O1 0 1 1 1 1 … 1E2 0 0 1 1 1 … 0… … … … … … … …O5 0 1 1 1 1 … 1
Pengenalan Karakter E, F, G, O
N1 N2 N3 N4 Kelas
1 0 0 0 E0 1 0 0 F0 0 1 0 G0 0 0 1 O1 0 0 0 E… … … … …0 0 0 1 O
Matriks P Matriks T
0.71
-0.21
0.33
0.97
-0.18
0.62
0.55
-0.12
0.75
W1
-0.52
0.91
0.29
0.97-0.18
0.62
0.55
-0.12
-0.12
0.68
W2
-0.21
-0.53
0.58
0.320.25
-0.17
-0.93
0.45
0.88
0.87
W2-0.54
0.15
-0.49
0.68
-0.24
-0.95
-0.37
0.89
0.34
W1
0.9
0.1
0.4
0.3
A21
0
0
0
T 0.1
-0.1
-0.4
-0.3
ETrainingW1 & W2:
Random
9.5
4.3
8.7
A1
F2, G2, O2, …dan seterusnyahingga pola O5
0.01
-0.83
0.19
0.34
0.22
0.62
0.60
-0.53
-0.38
W1
0.31
-0.38
0.35
0.87-0.18
0.30
0.03
-0.09
0.98
0.74
W2
0.8
0.2
0.1
0.2
A21
0
0
0
Kelas
Testing
W1 & W2: Trained
Strategi penggunaan ANN Cara memandang masalah:
◦ Klasifikasi◦ Sekuriti◦ Prediksi◦ Optimasi
Teknik learning: Supervised/Unsupervised Desain Arsitektur
◦ Jumlah layer◦ Jumlah neuron◦ Pemetaan output
Strategi learning◦ Penyiapan data: filterisasi data, pembagian data (training, validasi, test)◦ Parameter: inisialisasi (acak atau memakai algoritma), laju belajar, dsb.◦ Penghentian learning
Kasus 1 Verifikasi tandatangan
OFFLINE atau ONLINE?Citra: 100 x 100 pixel grayscaleSatu juta tandatangan?
Input & Output?P dan T?Struktur dan parameter MLP?Perlu preprocessing?
Kasus 2: Sistem keamanan
Satu ruangan hanya 10 orang yang boleh masuk
Setiap orang yang akan masuk ruangan harus menempelkan ibu jari untuk diverifikasi sidik jarinya
Citra: 300 x 300 pixels
Input & Output?P dan T?Struktur dan parameter MLP?Perlu preprocessing?
Kasus 3: Prediksi pelanggan PSTN
Data riil dari PT TelkomJumlah pelanggan bulanan selama
7 tahunError harus < 1 %
Input & Output?P dan T?Struktur dan parameter MLP? Perlu preprocessing?
Kasus 4: Spam FilteringEmail spam
◦Email sampah atau email yang tidak diperlukan user
◦Contoh: Instant messaging spam Web search engine spam Blogs spam Mobile phone messaging spam, dsb.
◦Jumlahnya mencapai 90 milyar per hari
Tujuan SpamPenipuan (lotre, silahkan hubungi
kami di alamat ...)Money laundring (menawarkan
transaksi pekerjaan yang berhubungan dengan rekening bank)
Promosi produk (seperti produk obat-obatan)
Menyebarkan virus, trojan, worm, dsb.
From: DOUGLAS M ROBIN [email protected]: COMPLETE THE FORM WITH YOUR PASSPORT PHOTO ATTACHEDThe National LotteryPAYMENT/PROCESSING OFFICE, LONDON, UK.3240 RIDGE-WAY,LONDON NW71RN. 00447040112422 Batch/074/05/ZY3Ticket/ 5647600545188Serial No /5073-11 Dear (), l acknowledge the receipt of your mail, as regard your request the reason is that over the years we have
had cases of double claim of winnings and with the help of the verification form its earlier to detect the winners in various category.
Your information is need to process other vital document before your cash prize can be release to you for claim.
l need those vital information alongside passport photo to proceed with the processing of your winnings.l need urgent response in 24 hrs because you have less 2 weeks .
Regards,Douglas Robin.(FIDUCIARY OFFICER)
Discovery ChallengeMerupakan kompetisi tingkat
internasional tentang Personalised Spam Filtering yang diselengarakan di Humboldt-Universität zu Berlin, Jerman.
Menemukan daftar aturan atau strategi yang dapat membedakan suatu email sebagai spam atau bukan.
Data 4000 email sebagai training set untuk proses pelatihan
(learning). 2000 spam dan 2000 non-spam. 4000 email sebagai tune set (validation set) untuk
proses validasi hasil learning. 2000 spam dan 2000 non-spam.
2500 email sebagai validation set untuk proses validasi hasil learning. Data ini diambil dari suatu inbox pengguna yang berisi 1250 spam dan 1250 non-spam.
7500 email sebagai test set yang belum ada labelnya: spam atau non-spam. Data ini diambil dari 3 inbox, dimana masing-masing inbox berisi 2500 email.
Aturan Agar kompetisi berjalan adil, 18.000 email tersebut
dikodekan ke dalam angka-angka. Pertama, dibuat daftar semua kata yang pernah muncul
pada semua email tersebut (sering kita sebut dengan wordlist atau dictionary). Dari semua email tersebut, ternyata dihasilkan dictionary yang berisi lebih dari 200.000 kata.
Kedua, setiap email akan diparsing dan setiap kata yang ditemukan diganti dengan nomor kata pada dictionary yang sudah dibuat tadi dan dihitung juga frekuensi kemunculan setiap kata dalam email tersebut.
Email spam diberi kode 1, email non-spam diberi kode -1, dan email yang belum diketahui spam atau non-spam diberi kode 0.
Misal: Wordlist (Dictionary)
No Kata1 attached2 document3 form4 lottery5 national 6 open7 passport 8 ticket… …
200.000 urgent
From: DOUGLAS M ROBIN [email protected]: COMPLETE THE FORM WITH YOUR PASSPORT PHOTO ATTACHEDThe National LotteryPAYMENT/PROCESSING OFFICE, LONDON, UK.3240 RIDGE-WAY,LONDON NW71RN. 00447040112422 Batch/074/05/ZY3Ticket/ 5647600545188Serial No /5073-11 Dear (), l acknowledge the receipt of your mail, as regard your request the reason is that over the years we have
had cases of double claim of winnings and with the help of the verification form its earlier to detect the winners in various category.
Your information is need to process other vital document before your cash prize can be release to you for claim.
l need those vital information alongside passport photo to proceed with the processing of your winnings.l need urgent response in 24 hrs because you have less 2 weeks .
Regards,Douglas Robin.(FIDUCIARY OFFICER)
Contoh: Spam Email 1 35:1 73:1 77:1 206:1 16176:1 1 2058:1 27162:1 49588:1 1 9:3 94:1 109:1 163:1 405:1 406:1 415:2 416:1 435:3 436:3 437:4 440:4 450:3 456:1 457:1 461:1 466:1 467:1 477:1 478:1 751:1 1015:1 1034:14 1041:1 1216:1 1226:1 1231:1 1666:1 2344:1 2345:1 2505:1 2528:1 3498:1 4339:1 4463:1 7480:1 8143:1 15050:1 17176:1 19051:1 20895:1 22963:1 35908:1 48253:1 49469:1 60004:1 78684:1 84924:1 85550:1 93429:1 95839:1 106782:1 106783:4 106784:2 106785:2 106786:1 106788:1 106802:1 106803:1
Contoh: Non-Spam Email -1 9:1 82:1 92:1 104:1 231:1 308:1 338:1 351:1 390:1 440:2 693:1 933:1 975:1 984:1 1631:1 2404:2 2560:2 2589:2 3361:1 3630:1 4042:1 4059:1 6515:1 7851:1 8762:1 10427:1 16178:1 37517:1 44973:1 53347:1 109089:2 109090:1 110944:1 111668:1 133323:1 140060:1 155590:1
Contoh: Email Tak Berlabel 0 94:1 204:1 257:1 582:1 4898:1 6371:1
Teknik Klasifikasi?ID3Bayesian LearningAlgoritma GenetikaSupport Vector MachineANN: MLPAtau teknik lainnya
Training Set
Email ke- K1 K2 K3 K4 K5 K6 … K200000 Kelas1 3 9 0 0 0 2 … 1 12 7 3 0 2 0 1 … 0 -13 2 0 17 1 0 8 … 0 14 9 2 4 16 5 7 … 8 15 1 0 2 6 0 5 … 16 -16 7 0 0 0 0 0 … 0 17 0 3 0 0 0 8 … 0 -18 5 12 3 1 0 0 … 0 19 6 8 0 18 0 0 … 5 1… … … … … … … … … …
4000 8 2 0 23 0 1 … 9 -1
Supervised Unsupervised
Klasifikasi Clustering
Kelas harus diketahui Kelas tidak harus diketahui
Waktu training lambat Waktu training cepat
Supervised vs Unsupervised
Supervised vs UnsupervisedSupervised Klasifikasi
◦Jumlah kelas diketahui◦Tersedia data latih yang VALID
Unsupervised Clustering◦Jumlah kelas bisa tidak diketahui◦Tidak tersedia data latih yang VALID
User mengajari ANN
ANN memberitahu user
ANNKlasifikasi atau ClusteringMudah implementasiAkurasi tinggi Tahan noiseImplementasi hardaware (CHIP)Harus tersedia data latih dengan kelas
yang jelasWaktu training lamaTraining ulangPenalarannya tidak bisa dijelaskan
(Weights)