03 arsitektur jaringan jst perceptron dan adaline

7/26/2019 03 Arsitektur Jaringan JST Perceptron Dan ADALINE

1/24

1

Architecture Net, SimpleNeural Net


2/24

2

Materi

1. Perceptron

2. ADALINE

3. MADALINE


3/24

3

Perceptron

Perceptron lebih powerful dari Hebb

Pembelajaran perceptron mampu menemukankonvergensi terhadap bobot yang benar

Fungsi aktivasi :

Update bobot

= learning rate


4/24

4

Arsitektur Perceptron

Output : vektor biner

Goal : klasifikasi setiap input ke dalam kelas +1 atau -1


5/24

5

Algoritma Perceptron

Inisialisasi bobot dan bias (w=b=0) dan 0 <


6/24

6

Fungsi AND (biner input & bipolar target)

Inisialisasi: = 1, w=b=0, = 0.2

Epoch = 1

Epoch = 2


7/24

7

Fungsi AND (bipolar input & target)

Inisialisasi: = 1, w=b==0

Epoch = 1

Epoch = 2


8/24

Latihan

8


9/24

Arsitektur Pengenalan 7 Huruf

9


10/24

ADALINE (Adaptive Linear Neuron)

Biasanya menggunakan bipolar dan bias

Random bobot awal dengan bilangan kecil

Dilatih menggunakan aturan delta/LMS dengan

meminimalkan MSE antara fungsi aktivasi dantarget

Fungsi aktivasi : identitas / linier

Update bobot

= learning rate10


11/24

11

Arsitektur ADALINE

Output : vektor biner

Goal : klasifikasi setiap input ke dalam kelas +1 atau -1


12/24

12

Algoritma Training ADALINE

Inisialisasi bobot Biasanya digunakan nilai random yang kecil

Inisialisasi learning rate () Biasanya digunakan nilai yang relatif kecil, yaitu 0.1

Jika nilai terlalu besar, proses learning tidak mencapai konvergen

Jika nilai terlalu kecil, proses learning akan berjalan sangat lambat

Secara praktis, nilai learning rate ditentukan antara 0.1 n 1.0,dimana n adalah jumlah input unit

Ulangi sampai sesuai kondisi kriteria berhenti

Untuk setiap pasangan s:t, lakukan

Set aktivasi input xi= si Hitung

Update bobot dan bias


13/24

13

Algoritma Testing ADALINE

Inisialisasi bobot Dapatkan bobot dari proses learning

Untuk setiap bipolar input pada vektor x

Set aktivasi dari input unit ke x

Hitung nilai jaringan dari input ke output

Terapkan fungsi aktivasi


14/24

14

Fungsi AND (biner input & bipolar target)

ADALINE didesain untuk menemukan bobot yang bertujuanmeminimalkan total error

net input to output target


15/24

MADALINE (Many Adaptive Linear Neuron)

Konsep ADALINE yang menggunakan jaringanmultilayer

Arsitektur MADALINE tergantung padakombinasi ADALINE yang digunakan MADALINE dengan 1 hidden layer (terdiri dari 2

hidden unit ADALINE) dan 1 output unit ADALINE

Fungsi aktivasi untuk hidden dan output layer:

15


16/24

16

Arsitektur MADALINE

Y merupakan fungsi nonlinier dari input vektor (x1dan x2)


17/24

17

Algoritma Training MADALINEMRI (Widrow dan Hoff)

Inisialisasi bobot

v1 =1

2, 2 =

1

2, 3 =

1

2

Bobot yang lain menggunakan bilangan random yang kecil

nilai learning rate ditentukan antara 0.1 n 1.0

Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x

Hitung masukan jaringan ke setiap hidden unit

Tentukan output dari setiap hidden unit

zin1 = 1 + 111 + 221

zin2 = 2 + 112 + 221

1 = ()

2 = ()


18/24

18

Untuk setiap bipolar input pada vektor x Tentukan keluaran dari jaringan

Hitung error dan update bobot, jika t=y maka bobot tidak di-update Jika t=1, update bobot pada Zj

Jika t=-1, update bobot pada semua unit Zk yang punya input positif

yin

= b3 + z1v1 + z2v2

y = f yin

bJ(new) = bJ(old) + (1 zinJ)

wiJ new = wiJ old + 1 zinJ xi

bk(new) = bk(old) + (1 zink)

wik(new) = wik(old) + 1 zink xi

Algoritma Training MADALINEMRI (Widrow dan Hoff)


19/24

19

Algoritma Training MADALINEMRII (Widrow, Winter dan Baxter)

Inisialisasi bobot

v1 =1

2, 2 =

1

2, 3 =

1

2

Bobot yang lain menggunakan bilangan random yang kecil

nilai learning rate ditentukan antara 0.1 n 1.0

Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x

Hitung masukan jaringan ke setiap hidden unit

Tentukan output dari setiap hidden unit

zin1 = 1 + 111 + 221

zin2 = 2 + 112 + 221

1 = ()

2 = ()


20/24

20


Tentukan keluaran dari jaringan

Hitung error dan update bobot, jika tymaka laukanupdate bobot untuk setiap hidden unit dengan inputmendekati 0 Ubah keluaran unit (dari +1 menjadi 1, atau sebaliknya)

Hitung kembali respon dari jaringan. Jika kesalahan berkurang:

Sesuaikan bobot pada unit ini (gunakan nilai keluaran yang barusebagai target dan lakukan aturan Delta)

yin

= b3 + z1v1 + z2v2

y = f yin

Algoritma Training MADALINEMRII (Widrow, Winter dan Baxter

bJ(new) = bJ(old) + (1 zinJ)

wiJ new = wiJ old + 1 zinJ xi

bk(new) = bk(old) + (1 zink)

wik(new) = wik(old) + 1 zink xi


21/24

21

Algoritma Testing MADALINE

Inisialisasi bobot Dapatkan bobot dari proses learning


Set aktivasi dari input unit ke x

Hitung nilai jaringan dari input ke output

Terapkan fungsi aktivasi


22/24

Contoh Aplikasifungsi Xor

Inisialisasi Bobot dg random, learning rate = 0.5

22


23/24


23


24/24


24

03 arsitektur jaringan jst perceptron dan adaline

Documents