back propagation - naomi614.files.wordpress.com · algoritma metode backpropagation ... dalam...

BACK PROPAGATIONBACK PROPAGATION

Arsitektur JaringanArsitektur Jaringan

Salah satu metode pelatihan terawasi padaSalah satu metode pelatihan terawasi padajaringan syaraf adalah metodejaringan syaraf adalah metodeBackpropagation, di mana ciri dari metodeBackpropagation, di mana ciri dari metodeini adalah meminimalkan error pada outputini adalah meminimalkan error pada outputyang dihasilkan oleh jaringan.yang dihasilkan oleh jaringan.

Dalam metode Backpropagation, biasanyaDalam metode Backpropagation, biasanyadigunakan jaringan multilayer.digunakan jaringan multilayer.

Sebagai contoh pada gambar berikutSebagai contoh pada gambar berikutdiberikan jaringan dengan sebuah hiddendiberikan jaringan dengan sebuah hiddenlayer.layer.

Salah satu metode pelatihan terawasi padaSalah satu metode pelatihan terawasi padajaringan syaraf adalah metodejaringan syaraf adalah metodeBackpropagation, di mana ciri dari metodeBackpropagation, di mana ciri dari metodeini adalah meminimalkan error pada outputini adalah meminimalkan error pada outputyang dihasilkan oleh jaringan.yang dihasilkan oleh jaringan.

Dalam metode Backpropagation, biasanyaDalam metode Backpropagation, biasanyadigunakan jaringan multilayer.digunakan jaringan multilayer.

Sebagai contoh pada gambar berikutSebagai contoh pada gambar berikutdiberikan jaringan dengan sebuah hiddendiberikan jaringan dengan sebuah hiddenlayer.layer.


Pada gambar, unit input dilambangkanPada gambar, unit input dilambangkandengan X, hidden unit dilambangkandengan X, hidden unit dilambangkandengan Z, dan unit outputdengan Z, dan unit outputdilambangkan dengan Y.dilambangkan dengan Y.

Bobot antara X dan Z dilambangkanBobot antara X dan Z dilambangkandengan v sedangkan bobot antara Zdengan v sedangkan bobot antara Zdan Y dilambangkan dengan w.dan Y dilambangkan dengan w.

Pada gambar, unit input dilambangkanPada gambar, unit input dilambangkandengan X, hidden unit dilambangkandengan X, hidden unit dilambangkandengan Z, dan unit outputdengan Z, dan unit outputdilambangkan dengan Y.dilambangkan dengan Y.

Bobot antara X dan Z dilambangkanBobot antara X dan Z dilambangkandengan v sedangkan bobot antara Zdengan v sedangkan bobot antara Zdan Y dilambangkan dengan w.dan Y dilambangkan dengan w.

Algoritma Metode BackpropagationAlgoritma Metode Backpropagation

Pada intinya, pelatihan denganPada intinya, pelatihan denganmetode backpropagation terdiri darimetode backpropagation terdiri daritiga langkah, yaitu:tiga langkah, yaitu:–– Data dimasukkan ke input jaringanData dimasukkan ke input jaringan

(feedforward)(feedforward)–– Perhitungan dan propagasi balik dariPerhitungan dan propagasi balik dari

error yang bersangkutanerror yang bersangkutan–– Pembaharuan (adjustment) bobot danPembaharuan (adjustment) bobot dan

bias.bias.

Pada intinya, pelatihan denganPada intinya, pelatihan denganmetode backpropagation terdiri darimetode backpropagation terdiri daritiga langkah, yaitu:tiga langkah, yaitu:–– Data dimasukkan ke input jaringanData dimasukkan ke input jaringan

(feedforward)(feedforward)–– Perhitungan dan propagasi balik dariPerhitungan dan propagasi balik dari

error yang bersangkutanerror yang bersangkutan–– Pembaharuan (adjustment) bobot danPembaharuan (adjustment) bobot dan

bias.bias.


Saat umpan maju (feedforward), setiap unitSaat umpan maju (feedforward), setiap unitinput (Xinput (Xii) akan menerima sinyal input dan) akan menerima sinyal input danakan menyebarkan sinyal tersebut pada tiapakan menyebarkan sinyal tersebut pada tiaphidden unit (Zhidden unit (Zjj).).

Setiap hidden unit kemudian akanSetiap hidden unit kemudian akanmenghitung aktivasinya dan mengirim sinyalmenghitung aktivasinya dan mengirim sinyal(z(zjj) ke tiap unit output.) ke tiap unit output.

Kemudian setiap unit output (YKemudian setiap unit output (Ykk) juga akan) juga akanmenghitung aktivasinya (ymenghitung aktivasinya (ykk) untuk) untukmenghasilkan respons terhadap input yangmenghasilkan respons terhadap input yangdiberikan jaringan.diberikan jaringan.

Saat umpan maju (feedforward), setiap unitSaat umpan maju (feedforward), setiap unitinput (Xinput (Xii) akan menerima sinyal input dan) akan menerima sinyal input danakan menyebarkan sinyal tersebut pada tiapakan menyebarkan sinyal tersebut pada tiaphidden unit (Zhidden unit (Zjj).).

Setiap hidden unit kemudian akanSetiap hidden unit kemudian akanmenghitung aktivasinya dan mengirim sinyalmenghitung aktivasinya dan mengirim sinyal(z(zjj) ke tiap unit output.) ke tiap unit output.

Kemudian setiap unit output (YKemudian setiap unit output (Ykk) juga akan) juga akanmenghitung aktivasinya (ymenghitung aktivasinya (ykk) untuk) untukmenghasilkan respons terhadap input yangmenghasilkan respons terhadap input yangdiberikan jaringan.diberikan jaringan.


Saat proses pelatihan (training), setiap unit outputSaat proses pelatihan (training), setiap unit outputmembandingkan aktivasinya (ymembandingkan aktivasinya (ykk) dengan nilai) dengan nilaitarget (ttarget (tkk) untuk menentukan besarnya error.) untuk menentukan besarnya error.

Berdasarkan error ini, dihitung faktorBerdasarkan error ini, dihitung faktor kk, di mana, di manafaktor ini digunakan untuk mendistribusikan errorfaktor ini digunakan untuk mendistribusikan errordari output kembali ke layer sebelumnya.dari output kembali ke layer sebelumnya.

Dengan cara yang sama, faktorDengan cara yang sama, faktor jj juga dihitungjuga dihitungpada hidden unit Zpada hidden unit Zjj, di mana faktor ini digunakan, di mana faktor ini digunakanuntuk memperbaharui bobot antara hidden layeruntuk memperbaharui bobot antara hidden layerdan input layer.dan input layer.

Setelah semua faktorSetelah semua faktor ditentukan, bobot untukditentukan, bobot untuksemua layer diperbaharui.semua layer diperbaharui.

Saat proses pelatihan (training), setiap unit outputSaat proses pelatihan (training), setiap unit outputmembandingkan aktivasinya (ymembandingkan aktivasinya (ykk) dengan nilai) dengan nilaitarget (ttarget (tkk) untuk menentukan besarnya error.) untuk menentukan besarnya error.

Berdasarkan error ini, dihitung faktorBerdasarkan error ini, dihitung faktor kk, di mana, di manafaktor ini digunakan untuk mendistribusikan errorfaktor ini digunakan untuk mendistribusikan errordari output kembali ke layer sebelumnya.dari output kembali ke layer sebelumnya.

Dengan cara yang sama, faktorDengan cara yang sama, faktor jj juga dihitungjuga dihitungpada hidden unit Zpada hidden unit Zjj, di mana faktor ini digunakan, di mana faktor ini digunakanuntuk memperbaharui bobot antara hidden layeruntuk memperbaharui bobot antara hidden layerdan input layer.dan input layer.

Setelah semua faktorSetelah semua faktor ditentukan, bobot untukditentukan, bobot untuksemua layer diperbaharui.semua layer diperbaharui.

Algoritma Metode BackpropagationAlgoritma Metode Backpropagationsecara detailsecara detail

StepStep 00 : Inisialisasi bobot dan bias: Inisialisasi bobot dan bias–– Baik bobot maupun bias dapat disetBaik bobot maupun bias dapat diset

dengan sembarang angka (acak) dandengan sembarang angka (acak) danbiasanya angka di sekitarbiasanya angka di sekitar 00 dandan 11 atauatau --11(bias positif atau negatif)(bias positif atau negatif)

StepStep 11 :Jika stopping condition masih:Jika stopping condition masihbelum terpenuhi, jalankan stepbelum terpenuhi, jalankan step 22--99..

StepStep 22 :Untuk setiap data training,:Untuk setiap data training,lakukan steplakukan step 33--88..

StepStep 00 : Inisialisasi bobot dan bias: Inisialisasi bobot dan bias–– Baik bobot maupun bias dapat disetBaik bobot maupun bias dapat diset

dengan sembarang angka (acak) dandengan sembarang angka (acak) danbiasanya angka di sekitarbiasanya angka di sekitar 00 dandan 11 atauatau --11(bias positif atau negatif)(bias positif atau negatif)

StepStep 11 :Jika stopping condition masih:Jika stopping condition masihbelum terpenuhi, jalankan stepbelum terpenuhi, jalankan step 22--99..

StepStep 22 :Untuk setiap data training,:Untuk setiap data training,lakukan steplakukan step 33--88..

Algoritma Metode BackpropagationAlgoritma Metode Backpropagationsecara detailsecara detail

Umpan maju (feedforward)Umpan maju (feedforward) Step 3Step 3 : Setiap unit input (X: Setiap unit input (Xii,i=1,…,n) menerima,i=1,…,n) menerima

sinyal input xsinyal input xii dan menyebarkan sinyal tersebut padadan menyebarkan sinyal tersebut padaseluruh unit pada hidden layer. Perlu diketahui bahwaseluruh unit pada hidden layer. Perlu diketahui bahwainput xinput xii yang dipakai di sini adalah input training datayang dipakai di sini adalah input training datayang sudah diskalakan.yang sudah diskalakan.

Step 4Step 4 : Setiap hidden unit (Z: Setiap hidden unit (Zjj,j=1,…,p) akan,j=1,…,p) akanmenjumlahkan sinyalmenjumlahkan sinyal--sinyal input yang sudah berbobot,sinyal input yang sudah berbobot,termasuk biasnyatermasuk biasnya

Umpan maju (feedforward)Umpan maju (feedforward) Step 3Step 3 : Setiap unit input (X: Setiap unit input (Xii,i=1,…,n) menerima,i=1,…,n) menerima

sinyal input xsinyal input xii dan menyebarkan sinyal tersebut padadan menyebarkan sinyal tersebut padaseluruh unit pada hidden layer. Perlu diketahui bahwaseluruh unit pada hidden layer. Perlu diketahui bahwainput xinput xii yang dipakai di sini adalah input training datayang dipakai di sini adalah input training datayang sudah diskalakan.yang sudah diskalakan.

Step 4Step 4 : Setiap hidden unit (Z: Setiap hidden unit (Zjj,j=1,…,p) akan,j=1,…,p) akanmenjumlahkan sinyalmenjumlahkan sinyal--sinyal input yang sudah berbobot,sinyal input yang sudah berbobot,termasuk biasnyatermasuk biasnya

Algoritma MetodeAlgoritma MetodeBackpropagation secara detailBackpropagation secara detail

dan memakai fungsi aktivasi yang telahdan memakai fungsi aktivasi yang telahditentukan untuk menghitung sinyal outputditentukan untuk menghitung sinyal outputdari hidden unit yang bersangkutan,dari hidden unit yang bersangkutan,

lalu mengirim sinyal output ini ke seluruhlalu mengirim sinyal output ini ke seluruhunit pada unit outputunit pada unit output

dan memakai fungsi aktivasi yang telahdan memakai fungsi aktivasi yang telahditentukan untuk menghitung sinyal outputditentukan untuk menghitung sinyal outputdari hidden unit yang bersangkutan,dari hidden unit yang bersangkutan,

lalu mengirim sinyal output ini ke seluruhlalu mengirim sinyal output ini ke seluruhunit pada unit outputunit pada unit output


StepStep 55 : Setiap unit output: Setiap unit output(Y(Ykk,k=,k=11,…,m) akan menjumlahkan,…,m) akan menjumlahkansinyalsinyal--sinyal input yang sudahsinyal input yang sudahberbobot, termasuk biasnya,berbobot, termasuk biasnya,

StepStep 55 : Setiap unit output: Setiap unit output(Y(Ykk,k=,k=11,…,m) akan menjumlahkan,…,m) akan menjumlahkansinyalsinyal--sinyal input yang sudahsinyal input yang sudahberbobot, termasuk biasnya,berbobot, termasuk biasnya,


dan memakai fungsi aktivasi yangdan memakai fungsi aktivasi yangtelah ditentukan untuk menghitungtelah ditentukan untuk menghitungsinyal output dari unit output yangsinyal output dari unit output yangbersangkutan:bersangkutan:

dan memakai fungsi aktivasi yangdan memakai fungsi aktivasi yangtelah ditentukan untuk menghitungtelah ditentukan untuk menghitungsinyal output dari unit output yangsinyal output dari unit output yangbersangkutan:bersangkutan:


Propagasi error (backpropagation of error)Propagasi error (backpropagation of error) StepStep 66 : Setiap unit output (Y: Setiap unit output (Ykk,k=,k=11,…,m),…,m)

menerima suatu target pattern (desiredmenerima suatu target pattern (desiredoutput) yang sesuai dengan input trainingoutput) yang sesuai dengan input trainingpattern untuk menghitung kesalahan (error)pattern untuk menghitung kesalahan (error)antara target dengan output yang dihasilkanantara target dengan output yang dihasilkanjaringan:jaringan:

Propagasi error (backpropagation of error)Propagasi error (backpropagation of error) StepStep 66 : Setiap unit output (Y: Setiap unit output (Ykk,k=,k=11,…,m),…,m)

menerima suatu target pattern (desiredmenerima suatu target pattern (desiredoutput) yang sesuai dengan input trainingoutput) yang sesuai dengan input trainingpattern untuk menghitung kesalahan (error)pattern untuk menghitung kesalahan (error)antara target dengan output yang dihasilkanantara target dengan output yang dihasilkanjaringan:jaringan:


FaktorFaktor kk ini digunakan untuk menghitungini digunakan untuk menghitungkoreksi error (koreksi error (wwjkjk) yang nantinya akan) yang nantinya akandipakai untuk memperbaharui wdipakai untuk memperbaharui wjkjk, di mana:, di mana:wwjkjk==kkzzjj

Selain itu juga dihitung koreksi biasSelain itu juga dihitung koreksi bias ww00kkyang nantinya akan dipakai untukyang nantinya akan dipakai untukmemperbaharui wmemperbaharui w00kk, di mana:, di mana:ww00kk==kk

FaktorFaktor kk ini kemudian dikirimkan ke layerini kemudian dikirimkan ke layeryang berada pada stepyang berada pada step 77..

FaktorFaktor kk ini digunakan untuk menghitungini digunakan untuk menghitungkoreksi error (koreksi error (wwjkjk) yang nantinya akan) yang nantinya akandipakai untuk memperbaharui wdipakai untuk memperbaharui wjkjk, di mana:, di mana:wwjkjk==kkzzjj

Selain itu juga dihitung koreksi biasSelain itu juga dihitung koreksi bias ww00kkyang nantinya akan dipakai untukyang nantinya akan dipakai untukmemperbaharui wmemperbaharui w00kk, di mana:, di mana:ww00kk==kk

FaktorFaktor kk ini kemudian dikirimkan ke layerini kemudian dikirimkan ke layeryang berada pada stepyang berada pada step 77..


StepStep 77 : Setiap hidden unit: Setiap hidden unit(Z(Zjj,j=,j=11,…,p) menjumlah input delta,…,p) menjumlah input delta(yang dikirim dari layer step(yang dikirim dari layer step 66) yang) yangsudah berbobot.sudah berbobot.

StepStep 77 : Setiap hidden unit: Setiap hidden unit(Z(Zjj,j=,j=11,…,p) menjumlah input delta,…,p) menjumlah input delta(yang dikirim dari layer step(yang dikirim dari layer step 66) yang) yangsudah berbobot.sudah berbobot.


Kemudian hasilnya dikalikan denganKemudian hasilnya dikalikan denganturunan dari fungsi aktivasi yangturunan dari fungsi aktivasi yangdigunakan jaringan untukdigunakan jaringan untukmenghasilkan faktor koreksi errormenghasilkan faktor koreksi error jj, di, dimana:mana:jj== _in_injj f’(z_inf’(z_injj))

Kemudian hasilnya dikalikan denganKemudian hasilnya dikalikan denganturunan dari fungsi aktivasi yangturunan dari fungsi aktivasi yangdigunakan jaringan untukdigunakan jaringan untukmenghasilkan faktor koreksi errormenghasilkan faktor koreksi error jj, di, dimana:mana:jj== _in_injj f’(z_inf’(z_injj))


FaktorFaktor jj ini digunakan untuk menghitungini digunakan untuk menghitungkoreksi error (koreksi error (vvijij) yang nantinya akan) yang nantinya akandipakai untuk memperbaharui vdipakai untuk memperbaharui vijij, di mana:, di mana:vvijij==jjxxii

Selain itu juga dihitung koreksi biasSelain itu juga dihitung koreksi bias vv0j0jyang nantinya akan dipakai untukyang nantinya akan dipakai untukmemperbaharui vmemperbaharui v0j0j, di mana:, di mana:vv0j0j==jj

FaktorFaktor jj ini digunakan untuk menghitungini digunakan untuk menghitungkoreksi error (koreksi error (vvijij) yang nantinya akan) yang nantinya akandipakai untuk memperbaharui vdipakai untuk memperbaharui vijij, di mana:, di mana:vvijij==jjxxii

Selain itu juga dihitung koreksi biasSelain itu juga dihitung koreksi bias vv0j0jyang nantinya akan dipakai untukyang nantinya akan dipakai untukmemperbaharui vmemperbaharui v0j0j, di mana:, di mana:vv0j0j==jj


Pembaharuan bobot dan bias:Pembaharuan bobot dan bias: StepStep 88 ::

–– Setiap unit output (YSetiap unit output (Ykk,k=,k=11,…,m) akan,…,m) akanmemperbaharui bias dan bobotnya dari setiapmemperbaharui bias dan bobotnya dari setiaphidden unit.hidden unit.wwjkjk(baru)=w(baru)=wjkjk(lama) +(lama) + wwjkjk

–– Demikian pula untuk setiap hidden unit akanDemikian pula untuk setiap hidden unit akanmemperbaharui bias dan bobotnya dari setiapmemperbaharui bias dan bobotnya dari setiapunit input.unit input.vvijij(baru)=v(baru)=vijij(lama) +(lama) + vvijij

Pembaharuan bobot dan bias:Pembaharuan bobot dan bias: StepStep 88 ::

–– Setiap unit output (YSetiap unit output (Ykk,k=,k=11,…,m) akan,…,m) akanmemperbaharui bias dan bobotnya dari setiapmemperbaharui bias dan bobotnya dari setiaphidden unit.hidden unit.wwjkjk(baru)=w(baru)=wjkjk(lama) +(lama) + wwjkjk

–– Demikian pula untuk setiap hidden unit akanDemikian pula untuk setiap hidden unit akanmemperbaharui bias dan bobotnya dari setiapmemperbaharui bias dan bobotnya dari setiapunit input.unit input.vvijij(baru)=v(baru)=vijij(lama) +(lama) + vvijij


StepStep 99 : Memeriksa stopping: Memeriksa stoppingconditioncondition–– Jika stop condition telah terpenuhi, makaJika stop condition telah terpenuhi, maka

pelatihan jaringan dapat dihentikan.pelatihan jaringan dapat dihentikan.

StepStep 99 : Memeriksa stopping: Memeriksa stoppingconditioncondition–– Jika stop condition telah terpenuhi, makaJika stop condition telah terpenuhi, maka

pelatihan jaringan dapat dihentikan.pelatihan jaringan dapat dihentikan.


Untuk menentukan stopping conditionUntuk menentukan stopping conditionterdapat dua cara yang biasa dipakai, yaitu:terdapat dua cara yang biasa dipakai, yaitu:–– Membatasi iterasi yang ingin dilakukan.Membatasi iterasi yang ingin dilakukan.

Misalnya jaringan akan dilatih sampai iterasi yang keMisalnya jaringan akan dilatih sampai iterasi yang ke--500500..

Yang dimaksud dengan satu iterasi adalah perulanganYang dimaksud dengan satu iterasi adalah perulanganstepstep 33 sampai stepsampai step 88 untuk semua training data yanguntuk semua training data yangada.ada.

–– Membatasi error.Membatasi error. Misalnya menentukan besar Mean Square Error antaraMisalnya menentukan besar Mean Square Error antara

output yang dikehendaki dan output yang dihasilkan olehoutput yang dikehendaki dan output yang dihasilkan olehjaringan.jaringan.

Untuk menentukan stopping conditionUntuk menentukan stopping conditionterdapat dua cara yang biasa dipakai, yaitu:terdapat dua cara yang biasa dipakai, yaitu:–– Membatasi iterasi yang ingin dilakukan.Membatasi iterasi yang ingin dilakukan.

Misalnya jaringan akan dilatih sampai iterasi yang keMisalnya jaringan akan dilatih sampai iterasi yang ke--500500..

Yang dimaksud dengan satu iterasi adalah perulanganYang dimaksud dengan satu iterasi adalah perulanganstepstep 33 sampai stepsampai step 88 untuk semua training data yanguntuk semua training data yangada.ada.

–– Membatasi error.Membatasi error. Misalnya menentukan besar Mean Square Error antaraMisalnya menentukan besar Mean Square Error antara

output yang dikehendaki dan output yang dihasilkan olehoutput yang dikehendaki dan output yang dihasilkan olehjaringan.jaringan.


Jika terdapat sebanyak m trainingJika terdapat sebanyak m trainingdata, maka untuk menghitung Meandata, maka untuk menghitung MeanSquare Error digunakan persamaanSquare Error digunakan persamaanberikut:berikut:•• MSE=MSE=00,,55x{(tx{(tkk11--yykk11))22+ (t+ (tkk22--yykk22))22+…+ (t+…+ (tkmkm--

yykmkm))22}}

Jika terdapat sebanyak m trainingJika terdapat sebanyak m trainingdata, maka untuk menghitung Meandata, maka untuk menghitung MeanSquare Error digunakan persamaanSquare Error digunakan persamaanberikut:berikut:•• MSE=MSE=00,,55x{(tx{(tkk11--yykk11))22+ (t+ (tkk22--yykk22))22+…+ (t+…+ (tkmkm--

yykmkm))22}}


Setelah pelatihan selesai, jika kemudianSetelah pelatihan selesai, jika kemudianjaringan diberi input, jaringan akanjaringan diberi input, jaringan akanmenghasilkan output seperti yangmenghasilkan output seperti yangdiharapkan.diharapkan.

Cara mendapatkan output adalah denganCara mendapatkan output adalah denganmengimplementasikan metodemengimplementasikan metodebackpropagation, tetapi hanya pada bagianbackpropagation, tetapi hanya pada bagianumpan majunya saja, yaitu dengan langkahumpan majunya saja, yaitu dengan langkah--langkah sebagai berikut:langkah sebagai berikut:

Setelah pelatihan selesai, jika kemudianSetelah pelatihan selesai, jika kemudianjaringan diberi input, jaringan akanjaringan diberi input, jaringan akanmenghasilkan output seperti yangmenghasilkan output seperti yangdiharapkan.diharapkan.

Cara mendapatkan output adalah denganCara mendapatkan output adalah denganmengimplementasikan metodemengimplementasikan metodebackpropagation, tetapi hanya pada bagianbackpropagation, tetapi hanya pada bagianumpan majunya saja, yaitu dengan langkahumpan majunya saja, yaitu dengan langkah--langkah sebagai berikut:langkah sebagai berikut:


StepStep 00: Inisialisasi bobot sesuai dengan: Inisialisasi bobot sesuai denganbobot yang telah dihasilkan pada prosesbobot yang telah dihasilkan pada prosespelatihan di atas.pelatihan di atas.

StepStep 11: Untuk setiap input, lakukan step: Untuk setiap input, lakukan step 22--44..

StepStep 22: Untuk setiap input i=: Untuk setiap input i=11,…,n skalakan,…,n skalakanbilangan dalam range fungsi aktivasi sepertibilangan dalam range fungsi aktivasi sepertiyang dilakukan pada proses pelatihan diyang dilakukan pada proses pelatihan diatas.atas.

StepStep 00: Inisialisasi bobot sesuai dengan: Inisialisasi bobot sesuai denganbobot yang telah dihasilkan pada prosesbobot yang telah dihasilkan pada prosespelatihan di atas.pelatihan di atas.

StepStep 11: Untuk setiap input, lakukan step: Untuk setiap input, lakukan step 22--44..

StepStep 22: Untuk setiap input i=: Untuk setiap input i=11,…,n skalakan,…,n skalakanbilangan dalam range fungsi aktivasi sepertibilangan dalam range fungsi aktivasi sepertiyang dilakukan pada proses pelatihan diyang dilakukan pada proses pelatihan diatas.atas.


StepStep 33: untuk j=: untuk j=11,…,p:,…,p:


StepStep 44 : Untuk k=: Untuk k=11,…,m:,…,m:


Variabel yVariabel ykk adalah output yang masihadalah output yang masihdalam skala menurut range fungsidalam skala menurut range fungsiaktivasi.aktivasi.

Untuk mendapatkan nilai output yangUntuk mendapatkan nilai output yangsesungguhnya, ysesungguhnya, ykk harus dikembalikanharus dikembalikanseperti semula.seperti semula.

Variabel yVariabel ykk adalah output yang masihadalah output yang masihdalam skala menurut range fungsidalam skala menurut range fungsiaktivasi.aktivasi.

Untuk mendapatkan nilai output yangUntuk mendapatkan nilai output yangsesungguhnya, ysesungguhnya, ykk harus dikembalikanharus dikembalikanseperti semula.seperti semula.

Contoh aplikasiContoh aplikasi Berikut ini adalah contoh cara pelatihan jaringan syarafBerikut ini adalah contoh cara pelatihan jaringan syaraf

tiruan sederhana menggunakan metodetiruan sederhana menggunakan metodeBackpropagation.Backpropagation.

Misalkan, jaringan terdiri dariMisalkan, jaringan terdiri dari 22 unit input,unit input, 11 hidden unithidden unit(dengan(dengan 11 hidden layer), danhidden layer), dan 11 unit output.unit output.

Jaringan akan dilatih untuk memecahkan fungsi XOR.Jaringan akan dilatih untuk memecahkan fungsi XOR. Fungsi aktivasi yang digunakan adalah sigmoid binerFungsi aktivasi yang digunakan adalah sigmoid biner

dan learning rate (dan learning rate () =) = 00,,0101..

Berikut ini adalah contoh cara pelatihan jaringan syarafBerikut ini adalah contoh cara pelatihan jaringan syaraftiruan sederhana menggunakan metodetiruan sederhana menggunakan metodeBackpropagation.Backpropagation.

Misalkan, jaringan terdiri dariMisalkan, jaringan terdiri dari 22 unit input,unit input, 11 hidden unithidden unit(dengan(dengan 11 hidden layer), danhidden layer), dan 11 unit output.unit output.

Jaringan akan dilatih untuk memecahkan fungsi XOR.Jaringan akan dilatih untuk memecahkan fungsi XOR. Fungsi aktivasi yang digunakan adalah sigmoid binerFungsi aktivasi yang digunakan adalah sigmoid biner

dan learning rate (dan learning rate () =) = 00,,0101..

Arsitektur jaringan yang akan dilatihArsitektur jaringan yang akan dilatihadalah sebagai berikut:adalah sebagai berikut:

Training data yang digunakan terdiriTraining data yang digunakan terdiridaridari 44 pasang inputpasang input--output, yaitu:output, yaitu:

Sebelum pelatihan, harus ditentukanSebelum pelatihan, harus ditentukanterlebih dahulu stopping conditionnya.terlebih dahulu stopping conditionnya.

Misalnya dihentikan jika error telahMisalnya dihentikan jika error telahmencapaimencapai 00,,4141..

Sebelum pelatihan, harus ditentukanSebelum pelatihan, harus ditentukanterlebih dahulu stopping conditionnya.terlebih dahulu stopping conditionnya.

Misalnya dihentikan jika error telahMisalnya dihentikan jika error telahmencapaimencapai 00,,4141..

LangkahLangkah--langkah pelatihanlangkah pelatihan

StepStep 00: Misalnya inisialisasi bobot dan: Misalnya inisialisasi bobot danbias adalah:bias adalah:vv0101==11,,718946718946vv1111==--11,,263178263178vv2121==--11,,083092083092ww0101==--00,,541180541180ww1111==00,,543960543960

StepStep 00: Misalnya inisialisasi bobot dan: Misalnya inisialisasi bobot danbias adalah:bias adalah:vv0101==11,,718946718946vv1111==--11,,263178263178vv2121==--11,,083092083092ww0101==--00,,541180541180ww1111==00,,543960543960

StepStep 11: Dengan bobot di atas, tentukan error untuk: Dengan bobot di atas, tentukan error untuktraining data secara keseluruhan dengan Mean Squaretraining data secara keseluruhan dengan Mean SquareError:Error:

•• z_inz_in1111==11,,718946718946+{(+{(00 xx --11,,263178263178)+()+(00xx--11,,083092083092)}=)}=11,,718946718946•• zz1111=f(z_in=f(z_in1111)=)=00,,847993847993•• z_inz_in1212==11,,718946718946+{(+{(00xx--11,,263178263178)+()+(11xx--11,,083092083092)}=)}=00,,635854635854•• zz1212=f(z_in=f(z_in1212)=)=00,,653816653816•• z_inz_in1313==11,,718946718946+{(+{(11xx--11,,263178263178)+()+(00xx--11,,083092083092)}=)}=00,,455768455768•• zz1313=f(z_in=f(z_in1313)=)=00,,612009612009•• z_inz_in1414==11,,718946718946+{(+{(11xx--11,,263178263178)+()+(11xx--11,,083092083092)=)=--00,,627324627324•• zz1414=f(z_in=f(z_in1414)=)=00,,348118348118 di mana indeks zdi mana indeks zjnjn berarti hidden unit keberarti hidden unit ke--j dan training data kej dan training data ke--

n.n.

StepStep 11: Dengan bobot di atas, tentukan error untuk: Dengan bobot di atas, tentukan error untuktraining data secara keseluruhan dengan Mean Squaretraining data secara keseluruhan dengan Mean SquareError:Error:

•• z_inz_in1111==11,,718946718946+{(+{(00 xx --11,,263178263178)+()+(00xx--11,,083092083092)}=)}=11,,718946718946•• zz1111=f(z_in=f(z_in1111)=)=00,,847993847993•• z_inz_in1212==11,,718946718946+{(+{(00xx--11,,263178263178)+()+(11xx--11,,083092083092)}=)}=00,,635854635854•• zz1212=f(z_in=f(z_in1212)=)=00,,653816653816•• z_inz_in1313==11,,718946718946+{(+{(11xx--11,,263178263178)+()+(00xx--11,,083092083092)}=)}=00,,455768455768•• zz1313=f(z_in=f(z_in1313)=)=00,,612009612009•• z_inz_in1414==11,,718946718946+{(+{(11xx--11,,263178263178)+()+(11xx--11,,083092083092)=)=--00,,627324627324•• zz1414=f(z_in=f(z_in1414)=)=00,,348118348118 di mana indeks zdi mana indeks zjnjn berarti hidden unit keberarti hidden unit ke--j dan training data kej dan training data ke--

n.n.

y_iny_in1111==--00,,541180541180+(+(00,,847993847993xx00,,543960543960)=)=00,,079906079906 yy1111=f(y_in=f(y_in1111)=)=00,,480034480034 y_iny_in1212==--00,,541180541180+(+(00,,653816653816xx00,,543960543960)=)=--00,,185530185530 yy1212=f(y_in=f(y_in1212)=)=00,,453750453750 y_iny_in1313==--00,,541180541180+(+(00,,612009612009xx00,,543960543960)=)=00,,208271208271 yy1313=f(y_in=f(y_in1313)=)=00,,448119448119 y_iny_in1414==--00,,541180541180+(+(00,,348118348118xx00,,543960543960)=)=--00,,351818351818 yy1414=f(y_in=f(y_in1414)=)=00,,412941412941

Maka E=Maka E=00,,55x{(x{(00--00,,480034480034))22 + (+ (11--00,,453750453750))22) + () + (11--00,,448119448119))22 + (+ (00--00,,412941412941))22}=}=00,,501957501957

y_iny_in1111==--00,,541180541180+(+(00,,847993847993xx00,,543960543960)=)=00,,079906079906 yy1111=f(y_in=f(y_in1111)=)=00,,480034480034 y_iny_in1212==--00,,541180541180+(+(00,,653816653816xx00,,543960543960)=)=--00,,185530185530 yy1212=f(y_in=f(y_in1212)=)=00,,453750453750 y_iny_in1313==--00,,541180541180+(+(00,,612009612009xx00,,543960543960)=)=00,,208271208271 yy1313=f(y_in=f(y_in1313)=)=00,,448119448119 y_iny_in1414==--00,,541180541180+(+(00,,348118348118xx00,,543960543960)=)=--00,,351818351818 yy1414=f(y_in=f(y_in1414)=)=00,,412941412941

Maka E=Maka E=00,,55x{(x{(00--00,,480034480034))22 + (+ (11--00,,453750453750))22) + () + (11--00,,448119448119))22 + (+ (00--00,,412941412941))22}=}=00,,501957501957

StepStep22. Karena error masih lebih besar dari. Karena error masih lebih besar dari 00,,4141 makamakastepstep 33--88 dijalankan.dijalankan.

StepStep 33. x. x11==00; x; x22==00 (iterasi pertama, training data(iterasi pertama, training datapertama)pertama)

StepStep 44.. z_inz_in11==11,,718946718946+{(+{(00xx--11,,263126263126)+()+(00xx--11,,083049083049)}=)}=11,,718946718946.. zz11=f(z_in=f(z_in11)=)=00,,847993847993

StepStep 55.. y_iny_in1111==--00,,541180541180+(+(00,,847993847993xx00,,543960543960)=)=00,,079906079906 yy1111=f(y_in=f(y_in1111)=)=00,,480034480034

StepStep 66.. 11=(=(00--00,,480034480034)f ’()f ’(00,,079906079906)=)=--00,,119817119817 ww1111==00,,0101xx--00,,119817119817xx00,,847993847993==--00,,001016001016 ww0101==00,,0101xx--00,,119817119817==--00,,0011981700119817

StepStep22. Karena error masih lebih besar dari. Karena error masih lebih besar dari 00,,4141 makamakastepstep 33--88 dijalankan.dijalankan.

StepStep 33. x. x11==00; x; x22==00 (iterasi pertama, training data(iterasi pertama, training datapertama)pertama)

StepStep 44.. z_inz_in11==11,,718946718946+{(+{(00xx--11,,263126263126)+()+(00xx--11,,083049083049)}=)}=11,,718946718946.. zz11=f(z_in=f(z_in11)=)=00,,847993847993

StepStep 55.. y_iny_in1111==--00,,541180541180+(+(00,,847993847993xx00,,543960543960)=)=00,,079906079906 yy1111=f(y_in=f(y_in1111)=)=00,,480034480034

StepStep 66.. 11=(=(00--00,,480034480034)f ’()f ’(00,,079906079906)=)=--00,,119817119817 ww1111==00,,0101xx--00,,119817119817xx00,,847993847993==--00,,001016001016 ww0101==00,,0101xx--00,,119817119817==--00,,0011981700119817

StepStep 77.. _in_in11==--00,,0011981700119817xx00,,543960543960==--00,,0006517600065176 11==--00,,0006517600065176xf’(xf’(11,,718946718946)=)=--00,,0000840100008401 vv1111==00,,0101xx--00,,0000840100008401xx00==00 vv2121==00,,0101xx--00,,0000840100008401xx00==00 vv0101==00,,0101xx--00,,0000840100008401==--00,,00000084010000008401

StepStep 88.. ww0101(baru)=(baru)=--00,,541180541180+(+(--00,,0011981700119817)=)=--00,,542378542378 ww1111(baru)=(baru)=00,,543960543960+(+(--00,,001016001016)=)=00,,542944542944 vv0101(baru)=(baru)=11,,718946718946+(+(--00,,00000084010000008401)=)=11,,718862718862 vv1111(baru)=(baru)=--11,,263178263178++00==--11,,263178263178 vv2121(baru)=(baru)=--11,,083092083092++00==--11,,083092083092

Saat ini vSaat ini v1111 dan vdan v1212 masih belum berubah karena kedua inputnyamasih belum berubah karena kedua inputnya==00. Nilai v. Nilai v0101 dan vdan v0202 baru berubah pada iterasi pertama untukbaru berubah pada iterasi pertama untuktraining data yang keduatraining data yang kedua

StepStep 77.. _in_in11==--00,,0011981700119817xx00,,543960543960==--00,,0006517600065176 11==--00,,0006517600065176xf’(xf’(11,,718946718946)=)=--00,,0000840100008401 vv1111==00,,0101xx--00,,0000840100008401xx00==00 vv2121==00,,0101xx--00,,0000840100008401xx00==00 vv0101==00,,0101xx--00,,0000840100008401==--00,,00000084010000008401

StepStep 88.. ww0101(baru)=(baru)=--00,,541180541180+(+(--00,,0011981700119817)=)=--00,,542378542378 ww1111(baru)=(baru)=00,,543960543960+(+(--00,,001016001016)=)=00,,542944542944 vv0101(baru)=(baru)=11,,718946718946+(+(--00,,00000084010000008401)=)=11,,718862718862 vv1111(baru)=(baru)=--11,,263178263178++00==--11,,263178263178 vv2121(baru)=(baru)=--11,,083092083092++00==--11,,083092083092

Saat ini vSaat ini v1111 dan vdan v1212 masih belum berubah karena kedua inputnyamasih belum berubah karena kedua inputnya==00. Nilai v. Nilai v0101 dan vdan v0202 baru berubah pada iterasi pertama untukbaru berubah pada iterasi pertama untuktraining data yang keduatraining data yang kedua

Setelah stepSetelah step 33--88 untuk training data pertamauntuk training data pertamadijalankan, selanjutnya kembali lagi ke stepdijalankan, selanjutnya kembali lagi ke step 33untuk training data yang kedua (xuntuk training data yang kedua (x11==00 dan xdan x22==11).).

Langkah yang sama dilakukan sampai padaLangkah yang sama dilakukan sampai padatraining data yang keempat.training data yang keempat.

Bobot yang dihasilkan pada iterasi pertama,Bobot yang dihasilkan pada iterasi pertama,training data ketraining data ke--22,,33, dan, dan 44 adalah:adalah:

Setelah stepSetelah step 33--88 untuk training data pertamauntuk training data pertamadijalankan, selanjutnya kembali lagi ke stepdijalankan, selanjutnya kembali lagi ke step 33untuk training data yang kedua (xuntuk training data yang kedua (x11==00 dan xdan x22==11).).

Langkah yang sama dilakukan sampai padaLangkah yang sama dilakukan sampai padatraining data yang keempat.training data yang keempat.

Bobot yang dihasilkan pada iterasi pertama,Bobot yang dihasilkan pada iterasi pertama,training data ketraining data ke--22,,33, dan, dan 44 adalah:adalah:

Training data keTraining data ke--22:: ww0101==--00,,541023541023 ww1111==00,,543830543830 vv0101==11,,718862718862 vv1111==--11,,263178263178 vv2121==--11,,083092083092






Setelah sampai pada training data keSetelah sampai pada training data ke--44, maka iterasi, maka iterasipertama selesai.pertama selesai.

Berikutnya, pelatihan sampai pada stepBerikutnya, pelatihan sampai pada step99, yaitu, yaitumemeriksa stopping condition dan kembali pada stepmemeriksa stopping condition dan kembali pada step 22..

Demikian seterusnya sampai stopping condition yangDemikian seterusnya sampai stopping condition yangditentukan terpenuhi.ditentukan terpenuhi.

Setelah pelatihan selesai, bobot yang didapatkan adalah:Setelah pelatihan selesai, bobot yang didapatkan adalah: vv0101==1212,,719601719601 vv1111==--66,,779127779127 vv2121==--66,,779127779127 ww0101==--55,,018457018457 ww1111==55,,719889719889

Setelah sampai pada training data keSetelah sampai pada training data ke--44, maka iterasi, maka iterasipertama selesai.pertama selesai.

Berikutnya, pelatihan sampai pada stepBerikutnya, pelatihan sampai pada step99, yaitu, yaitumemeriksa stopping condition dan kembali pada stepmemeriksa stopping condition dan kembali pada step 22..

Demikian seterusnya sampai stopping condition yangDemikian seterusnya sampai stopping condition yangditentukan terpenuhi.ditentukan terpenuhi.

Setelah pelatihan selesai, bobot yang didapatkan adalah:Setelah pelatihan selesai, bobot yang didapatkan adalah: vv0101==1212,,719601719601 vv1111==--66,,779127779127 vv2121==--66,,779127779127 ww0101==--55,,018457018457 ww1111==55,,719889719889

Jika ada input baru, misalnya xJika ada input baru, misalnya x11==00,,22 dan xdan x22==00,,99 maka outputnyamaka outputnyadapat dicari dengan langkah umpan maju sebagai berikut:dapat dicari dengan langkah umpan maju sebagai berikut:

StepStep 00. Bobot yang dipakai adalah bobot hasil pelatihan di atas.. Bobot yang dipakai adalah bobot hasil pelatihan di atas. StepStep 11. Perhitungan dilakukan pada step. Perhitungan dilakukan pada step 22--44 StepStep 22. Dalam contoh ini, bilangan telah berada dalam interval. Dalam contoh ini, bilangan telah berada dalam interval 00

sampai dengansampai dengan 11, jadi tidak perlu diskalakan lagi., jadi tidak perlu diskalakan lagi. StepStep 33..

z_inz_in11==1212,,719601719601+{(+{(00,,22xx--66,,779127779127)+()+(00,,99xx--66,,779127779127)}=)}=55,,262561262561 zz11=f(=f(55,,262561262561)=)=00,,994845994845

StepStep 44.. y_iny_in11==--55,,018457018457+(+(00,,994845994845xx55,,719889719889)=)=00,,671944671944 yy11=f(=f(00,,671944671944)=)=00,,661938661938

Jadi jika input xJadi jika input x11==00,,22 dan xdan x22==00,,99; output yang dihasilkan jaringan; output yang dihasilkan jaringanadalahadalah 00,,661938661938

Jika ada input baru, misalnya xJika ada input baru, misalnya x11==00,,22 dan xdan x22==00,,99 maka outputnyamaka outputnyadapat dicari dengan langkah umpan maju sebagai berikut:dapat dicari dengan langkah umpan maju sebagai berikut:

StepStep 00. Bobot yang dipakai adalah bobot hasil pelatihan di atas.. Bobot yang dipakai adalah bobot hasil pelatihan di atas. StepStep 11. Perhitungan dilakukan pada step. Perhitungan dilakukan pada step 22--44 StepStep 22. Dalam contoh ini, bilangan telah berada dalam interval. Dalam contoh ini, bilangan telah berada dalam interval 00

sampai dengansampai dengan 11, jadi tidak perlu diskalakan lagi., jadi tidak perlu diskalakan lagi. StepStep 33..

z_inz_in11==1212,,719601719601+{(+{(00,,22xx--66,,779127779127)+()+(00,,99xx--66,,779127779127)}=)}=55,,262561262561 zz11=f(=f(55,,262561262561)=)=00,,994845994845

StepStep 44.. y_iny_in11==--55,,018457018457+(+(00,,994845994845xx55,,719889719889)=)=00,,671944671944 yy11=f(=f(00,,671944671944)=)=00,,661938661938

Jadi jika input xJadi jika input x11==00,,22 dan xdan x22==00,,99; output yang dihasilkan jaringan; output yang dihasilkan jaringanadalahadalah 00,,661938661938

back propagation - naomi614.files.wordpress.com · algoritma metode backpropagation ... dalam...

Documents