neuro computing

7/23/2019 Neuro Computing

http://slidepdf.com/reader/full/neuro-computing 1/25

SESSION 1 - INTRODUCTION TO NEURAL NETWORK

Neural Network adalah sebuah mesin yang dirancang untuk memodelkan cara

yang dilakukan otak manusia dalam mengerjakan tugas-tugas atau fungsi

tertentu. Neural Network mengerjakan komputasi berguna melalui sebuah

proses pembelajaran. Dengan kata lain, Neural Network dapat dipandang

sebagai adaptive machine.

Perkembangan Neural Network :

1.

The 1940s : The Beginning of Neural Nets

McCulloch – Pitts Neuron

Neuron-neuron dapat disusun ke dalam jaringan untuk

menghasilkan berbagai output yang dapat digambarkan

sebagai kombinasi fungsi logic.

Mereka melakukan kombinasi beberapa processing unit

sederhana bersama-sama yang mampu meningkatkan

kemampuan komputasi.

Hebb Learning

Hukum pembelajaran pertama untuk ANN

Jika 2 neuron diaktifkan secara bersamaan maka kekuatan

koneksi antara keduanya juga meningkat.

Fitur : weight adjustment (penyesuaian berat)

2.

The 1950s and 1960s : The First Golden Age of Neural Networks

-

Perceptrons

Dikembangkan oleh Frank Rosenblatt

Perceptron terdiri dari input layer (retina) yang dihubungkan oleh

lintasan-lintasan dengan berat (weight) tetap ke associator

neuron.



Berat pada lintasan koneksi dapat disesuaikan.

Aturan pembelajaran menggunakan penyesuaian berat iteratif

yang lebih kuat dari aturan Hebb.

-

Adaline (Adaptive Linear Neuron)

Dikembangkan oleh Bernard Widrow dan Marcian Hoff

Berkaitan erat dengan aturan pembelajaran Perceptron

Aturan pembelajaran Perceptron menyesuaikan berat koneksi ke

unit kapanpun ketika respon unit salah

Aturan delta menyesuaikan berat untuk mengurangi perbedaan

antara jaringan input ke unit output dan output yang diinginkan

Aturan pembelajaran pada Single Layer Network merupakanperintis aturan Backpropagation pada multi layer.

3.

The 1970s : The Quiet Years

Kohonen

Mengembangkan metode pembelajaran Neural Network yang

tidak terawasi (unsupervised learning) untuk pemetaan.

Berhubungan dengan Assosiative Memory Neural Nets Dasar pengembangan fitur pemetaan self-organizing yang

menggunakan struktur topologi untuk unit cluster.

Anderson

Berhubungan dengan Assosiation Memory Neural Network

Memotong output linear dari model asal untuk menjaga output

agar tidak terlalu besar ketika melakukan iterasi untuk

menghasilkan solusi stabil.

Grossberg

Stephen Grossberg mengembangkan metode yang sangat

matematis dan biologis dalam pengembangan Neural Networks.

Carpenter



Carpenter bersama Grossberg mengembangkan teori self-

organizing neural network yang disebut Adaptive Resonance

Theory untuk pola input biner (ART1 dan ART2).

4.

The 1980s : Renewed Enthusiasm

Backpropagation

Mengatasi masalah yang ditemukan pada dekade sebelumnya

yang disebabkan oleh 2 alasan, yaitu :

-

Kegagalan single layer perceptron untuk menyelesaikan

masalah sederhana (mapping) seperti fungsi XOR

-

Kurangnya metode umum pembelajaran multilayer

Hopfield Nets

Sejumlah neural network telah dikembangkan oleh Hopfield

berdasarkan fixed weight dan adaptive activation.

Mengembangkan jaringan syaraf recurrent yang dapat

digunakan untuk menyimpan informasi dan optimasi.

Jaringan ini dapat berfungsi sebagai jaringan memori asosiasi

dan dapat digunakan untuk menyelesaikan beberapa persoalanseperti TSP.

Neocognitron

Dikembangkan oleh Kunihiko Fukusima

Serangkaian Neural Network khusus untuk pengenalan karakter

telah dikembangkan oleh Kunihiko

Boltzmann Machine

Jaringan dimana weight dan activationnya berubah atas dasar

fungsi probabilitas kepadatan.

Jaringan ini menggabungkan ide-ide klasik seperti simulasi

Annealing dan teori keputusan Bayesian



Keuntungan Neural Network

-

Nonlinearity

-

Pemetaan Input-Output

-

Adaptivitas

-

Respon evidensial

-

Informasi kontekstual

-

Toleransi kesalahan

- Kemampuan melaksanakan VLSI (Very-Large-Scale-Integrated)

-

Keseragaman analisis dan desain

-

Analogi neurobiologis

Karakteristik Otak Manusia

-

Sangat kompleks

-

Non-Linear

-

Parallel computer (information processing system)

Untuk dapat meniru otak manusia, system neural network membutuhkan

“neuron” atau “processing unit”.

Neural Network menyerupai otak dalam 2 hal :

-

Pengetahuan diperoleh oleh jaringan dari lingkungannya melalui

proses pembelajaran

-

Kekuatan koneksi interneuron dikenal sebagai synaptic weight yang

digunakan untuk menyimpan pengetahuan yang diperoleh.

Model Neuron

-

System neural network mengandung banyak processing element yang

disebut neuran

-

Ada 3 elemen dasar dari Neural Model :



Satu set sinapsis atau connecting link, masing-masing ditandai

dengan weight atau strength

Penambah untuk menjumlahkan sinyal input, ditimbang dengan

kekuatan synaptic respektif dari neuran

Fungsi aktivasi untuk membatasi amplitudo output dari neuron

-

Model neural juga mencakup bias yang diterapkan secara eksternal,

yang dilambangkan bk .

-

Bias memiliki pengaruh meningkatkan penurunan jaringan input dari

fungsi aktivasi.

Fungsi Aktivasi

-

Fungsi aktivasi menentukan output dari neuron

-

Ada 2 tipe dasar fungsi aktivasi :

Fungsi Threshold

Di bidang teknik, fungsi ini sering

disebut sebagai Heaviside

Function.

Fungsi SigmoidBentuk paling umum dari fungsi

aktivasi yang digunakan dalam

pembangunan neural networks.

Secara ketat meningkatkan fungsi yang menunjukkan

keseimbangan antara perilaku linear dan nonlinear.

Future of Neural Networks- Neural Networks Model

Multilayer Perceptron (Backpropagation)

Principal-Component Analysis (PCA)

Self-Organizing Network Model (SOM)



-

Application

Pattern Recognition

Image Compression

Optimization

AI dengan Neural Network

-

Advance Robotic

-

Intelligent Control

-

Technical Diagnostic

-

Intelligent Data Analysis and Signal Processing

- Intelligent Expert System

-

Intelligent Security System

-

Intelligent Medicine Device

-

Image and Pattern Recognition

-

Machine Vision

SESSION 2 - NEURAL NETWORK ARCHITECTURE

Neuron (processing units) dari neural network disusun berdasarkan algoritma

pembelajaran yang digunakan untuk melatih sistem.

3 Tipe Arsitektur (Struktur) Jaringan :

1.

Single-Layer FeedForward Networks

Single-Layer FeedForward Networks merupakan bentuk

paling sederhana dari layered network.

Terdapat 2 layer, yaitu :

-

Input Layer

-

Output Layer (Computation Nodes)Figure 2.1 Feedforward

network with a single layer of neurons.

Information Flow



FeedForward maksudnya informasi mengalir dari input ke output dan tidak

sebaliknya.

Input layer pada source node tidak dihitung karena tidak ada komputasi

yang dilakukan.

2. Multilayer FeedForward Networks

-

Multilayer FeedForward Networks memiliki satu

atau lebih hidden layer.

-

Dengan menambahkan hidden layer, jaringan

dapat mengekstrak higher-order statistic dari

inputnya.

-

Pada struktur ini, computation nodes disebut

hidden neuron atau hidden unit

-

Figur disamping disebut sebagai jaringan 10-4-2 :

10 source nodes

4 hidden neurons

2 output neurons

-

Fully Connected vs Partially Connected Fully Connected : Semua node terhubung

secara penuh ke setiap node/neuron pada layer lain tidak

terkecuali

Partially Connected : Tidak semua node terhubung pada node-

node di layer lain, hanya sebagian saja.

3.

Recurrent NetworksRecurrent Neural Network berbeda dengan arsitektur sebelumnya karena

jaringan ini memiliki setidaknya satu feedback loop. Keberadaan feedback

loop memberikan dampak yang mendalam pada kemampuan belajar dari

jaringan dan kinerjanya.

Figure 2.2 Fully connectedfeedforward network withone hidden layer and one

output layer.

Information Flow



Feedback loop melibatkan penggunaan cabang tertentu yang terdiri dari

unit-time delay elements (dilambangkan dengan Z-1).

-

Struktur pada figure 2.3 tidak memiliki self feedback loop dan hidden

neuron

- Struktur pada figure 2.4 memiliki self feedback loop dan hidden neuron

-

Koneksi feedback berasal dari neuron hidden seperti halnya dari neuron

output

Knowledge Representation

Karakteristik dari representasi pengetahuan adalah :

-

Informasi apa yang sebenarnya dibuat eksplisit?

-

Bagaimana informasi secara fisik dikodekan untuk penggunaan

selanjutnya?

Singkatnya, representasi pengetahuan adalah tujuan berarah (goal

directed)

Figure 2.3 Recurrent network with no self-feedback loops and no hidden neurons.

Figure 2.4 Recurrent networkwith hidden neurons.



Mesin “Intelligence” yaitu sistem neural network, dapat menjadi solusi

yang baik tergantung pada representasi yang baik dari pengetahuan.

Problem : bentuk representasi pengetahuan sangat beragam.

Dalam rangka mencapai tujuan, sistem neural network harusmerepresentasikan data dunia nyata (environment) dan memodelkan

dengan cukup secara konsisten dengan dunia nyata.

Pengetahuan dunia terdiri dari 2 jenis informasi :

-

Negara dunia yang dikenal, diwakili dengan fakta-fakta tentang

apa dan apa yang telah diketahui (informasi sebelumnya).

-

Observasi (Pengukuran) dunia, diperoleh dengan cara sensor

dirancang untuk menyelidiki lingkungan, dimana neural networkseharusnya beroperasi.

Contoh real-world data dapat dikategorikan labeled data dan

unlabeled data

Sekumpulan pasangan input-output dengan masing-masing pasangan

terdiri dari sinyal input dan respon sesuai yang diinginkan disebut

sebagai sekumpulan training data atau training sample, dimana

training sample tersebut digunakan untuk melatih sistem neural network.

SESSION 3 – NEURAL NETWORK LEARNING CONCEPT

Konsep pembelajaran dari neural network dapat dikategorikan melaui fungsi

neural network sebagai berikut :

Learning with a teacher (Supervised Learning)

Learning without a teacher, dimana konsep ini dikategorikan lebih jauhmenjadi :

- Reinforcement Learning

-

Unsupervised Learning



Learning With a Teacher (Supervised Learning)

-

Supervised Learning adalah metode pembelajaran yang mempunyai

target tertentu, dan jaringan dianggap sudah mengenali pola jika mampu

menghasilkan output yang sesuai dengan target melalui algoritma

tertentu.

-

Dalam supervised learning, proses pembelajaran berlangsung dibawah

bimbingan “teacher” yang memiliki pengetahuan tentang lingkungan,

dengan pengetahuan yang diwakili dengan kumpulan contoh input-

output.

- Teacher dan neural network keduanya di ekspos ke training vector yang

diambil dari lingkungan yang sama.

-

Teacher menyediakan neural network dengan respon yang diinginkan

untuk training vector tersebut. Respon yang diinginkan menggambarkan

aksi optimum yang dilakukan oleh neural network

Figure 3.1 Block diagram of learning with a teacher; the part ofthe figure printed in red constitutes of a feedback loop.



-

Sinyal error didefinisikan sebagai perbedaan antara respon yang

diinginkan dengan respon aktual jaringan.

- Penyesuaian ini (garis loop merah) dilakukan secara iteratif dalam langkah

demi langkah dengan tujuan membuat neural network dapat meniruteacher, dimana pengetahuan tentang lingkungan yang tersedia pada

teacher ditransfer ke neural network melalui training dan disimpan dalam

bentuk “fixed” synaptic weight (long-term memory).

-

Pada akhirnya, teacher akan dihilangkan dan membiarkan neural network

berhadapan dengan lingkungan dengan sendirinya.

-

Bentuk supervised learning ini adalah dasar dari pembelajaran error-

correction

-

Contoh algoritma : hebbian (hebb rule), perceptron, adaline, boltzman,

hapfield, dan backpropagation.

Learning Without a Teacher

-

Pada konsep ini, tidak ada teacher yang mengawasi proses pembelajaran

-

Tidak ada contoh label dari fungsi yang akan dipelajari oleh network

-

Learning without a teacher di kategorikan menjadi dua : Reinforcement Learning

Unsupervised Learning

Reinforcement Learning

-

Figure 3.2 Block diagram of reinforcement learning; the learning system and theenvironment are both inside the feedback loop.



-

Reinforcement Learning adalah suatu metode pembelajaran pemetaan

input-output yang dilakukan melalui interaksi berlanjut dengan lingkungan

untuk meminimalkan scalar index kinerja.

-

Pada metode ini, neural network tidak akan diberitahukan tindakan manayang benar dan harus diambil. Namun akan di berikan evaluasi (kritik)

dengan cara memberikan reward atau punishment. Kedua hal itulah yang

disebut reinforcement.

-

Pembelajarin ini tidak memberitahukan aksi mana yang harus diambil

melainkan aksi mana yang memberikan reward maksimal.

-

Figure 3.2 menunjukan diagram blok dari satu bentuk sistem reinforcement

learning dibangun sekitar kritik yang mengubah sinyal reinforcement primeryang diterima dari lingkungan menjadi sinyal reinforcement kualitas tinggi

yang disebut heuristic reinforcement signal.

-

Sistem ini dirancang untuk belajar dibawah reinforcement tertunda

(delayed reinforcement).

-

Tujuan dari reinforcement learning adalah untuk meminimalkan fungsi cost-

to-go

-

Delayed reinforcement learning sulit untuk melakukan karena 2 alasan : Tidak ada teacher yang menyediakan respon yang diinginkan pada

setiap langkah proses pembelajaran

Penundaan terjadi dalam penurunan sinyal reinforcement primer

menunjukkan bahwa mesin pembelajaran harus menyelesaikan

temporal credit assignment problem.

-

Meskipun terdapat kesulitan ini, proses pembelajaran Delayed

Reinforcement masih digunakan karena menyediakan dasar bagi sistem

pembelajaran untuk berinteraksi dengan lingkungkan.

-

Contoh algoritmanya adalah Q-Learning, Dual RL, TPOT Reinforcement

Learning dan Collaborative Reinforcement Learning



Unsupervised Learning (Self-Organized Learning

-

Unsupervised Learning adalah suatu metode pembelajaran yang tidak

terawasi dimana tidak ada external teacher ataupun kritikus yang

mengawasi proses pembelajaran tersebut sehingga proses belajar terjadi

secara mandiri.

-

Tujuan dari unsupervised learning adalah untuk mengelompokkan unit-unit

yang hampir sama dalam satu area tertentu, dan biasanya cocok untuk

klasifikasi pola.

-

Ketentuan dibuat untuk ukuran task-independent dari kualitas representasi

bahwa jaringan diperlukan untuk belajar dan parameter bebas dari

jaringan dioptimalkan dengan ukuran.

-

Setelah jaringan menjadi disesuaikan dengan keteraturan statistik dari

data input, jaringan mengembangkan kemampuan untuk membentuk

representasi internal untuk mengkodekan fitur input dan dengan demikian

membuat kelas baru secara otomatis.

-

Untuk melakukan unsupervised learning, kita dapat menggunakan aturan

competitive-learning

-

Untuk contoh, kita dapat menggunakan neural network yang terdiri dari:

Input layer : menerima data yang tersedia

Figure 3.3 Block diagram of unsupervised learning.



Competitive layer : terdiri dari neuron-neuron yang saling bersaing

(sesuai dengan aturan pembelajaran) untuk “opportunity” untuk

merespon fitur yang terdapat di data input.

-

Jaringan mengoperasikan sesuai dengan strategi “winner-takes-all” -

Contoh algoritma neural networks tiruan yang menggunakan metode

unsupervised adalah competitive, hebbian, kohonen, LVQ (Learning

Vector Quantization), dan neocognition.

SESSION 4 – PERCEPTRON

Perceptron adalah neural network pertama yang dideskripsikan secara algoritmik

dan merupakan bentuk paling sederhana dari neural network yang digunakan

untuk klasifikasi pola yang terpisah secara l inear.

Perceptron terdiri dari single neuron dengan adjustable synaptic weight dan bias.

Perceptron yang dibangun sekitar satu single neuron dibatasi untuk mengerjakan

klasifikasi pola dengan hanya 2 kelas (hipotesis).

Figure 4.1 menunjukkan model neural terdiri dari combiner linear yang diikuti hard

limiter (mengerjakan fungsi signum).

Figure 4.1 Signal-flow graph of the perceptron.



Model penjumlahan menghitung kombinasi linear dari input yang diterapkan

pada sinapsisnya, serta menggabungkan bias yang diterapkan secara eksternal.

Jumlah yang dihasilkan diterapkan pada hard limiter. Neuron menghasilkan

output yang equal pada +1 jika hard limiter positif, dan -1 jika negatif.

Synaptic weight dilambangkan dengan w1, w2,.. wm

Input yang diterapkan pada perceptron dilambangkan dengan x1, x2,.. xm

bias dilambangkan dengan b

hard limiter input :

Tujuan dari perceptron adalah untuk mengklasifikasikan dengan benar kumpulan

stimuli x1, x2,.. xm yang diterapkan secara eksternal ke dalam satu dari dua kelas :

ᵩ1 atau ᵩ2.

aturan keputusan :

-

Kelas ᵩ1 jika output perceptron y adalah +1

-

Kelas ᵩ2 jika output perceptron y adalah -1

terdapat 2 daerah keputusan yang dipisahkan oleh

hyperplane, yang didefinisikan oleh :

Hyperplane diilustrasikan dalam figure 4.2 dimana

memiliki 2 variabel input x1 dan x2 yang decision

boundarinya membentuk garis lurus.

m

i

ii b xwv

1

m

i

ii b xw

1

0

Figure 4.2 Illustration of thehyperplane as decision

boundary for a two-dimensional, two-class pattern-

classification problem.



Titik (x1,x2) yang terletak diatas garis batas ditugaskan untuk ᵩ1 dan titik (x1,x2)

yang terletak dibawah garis batas ditugaskan untuk ᵩ2.

Pengaruh bias b hanyalah menggeser batas keputusan jauh dari asal.

Synaptic weight dari perceptron dapat disesuaikan secara iteration-by-iteration.

Untuk penyesuaian, itu bisa dilakukan dengan menggunakan aturan error-

correction yang dikenal sebagai algoritma konvergensi perceptron.

Teorema Konvergensi Perceptron

Pada model sistem ini, bias b(n) diperlakukan sebagai synaptic weight didukung

dengan fixed input yang equal +1. Oleh karena itu, (m+1)-by-1 vektor input dapat

didefinisikan dengan :

n melambangkan time-step dalam menerapkan algoritma.

Sejalan dengan itu, (m+1)-by-1 vektor weight dapat didefinisikan dengan :

Dengan demikian, output combiner linear ditulis dalam bentuk :

Figure 4.3 Equivalent signal-flow graph of the perceptron; dependence

on time has been omitted for clarity.

T

m n xn xn xn x )](),...,(),(,1[)( 21

T

m nwnwnwbnw )](),...,(),(,[)( 21

)(x)(

)()()(0

nnw

n xnwnv

T

m

i

ii



Pada baris pertama, w0(n) sesuai dengan i=0 menggambarkan bias b. Untuk n

tetap, persamaan wTx = 0, diplot diruang m-dimensi dengan koordinat x1,

x2,..,xm, menentukan hyperplane sebagai permukaan keputusan antara 2 kelas

input yang berbeda.

Bagi perceptron, untuk memfungsikan dengan baik, 2 kelas ᵩ1 dan ᵩ2 harus

dipisahkan secara linear. Kebutuhan ini diilustrasikan dalam figure 4.4 untuk kasus

perceptron 2-dimensi. Figure 4.4 (a) adalah situasi (non-linear separable) yang

berada diluar kemampuan komputasi dari perceptron.

secara keseluruhan : variabel dan parameter

Langkah yang dilakukan :

-

Inisialisasi : set w(0)=0, lalu kerjakan komputasi time-step n=1,2,..

-

Aktivasi : pada time-step n, aktifkan perceptron dengan menerapkan

vektor input bernilai kontinu x(n) dan respon yang diinginkan d(n).

Figure 4.4(a) A pair of linearly separable patterns. (b) A pair of

non-linearly separable patterns.

unitythanlessconstant positivea parameter,ratelearning

responsedesired)(

)(quantizedresponseactual)(

bias

)](),...,(),(,[

1)1()(

)](),...,(),(,1[

1)1()(

21

21

nd

n y

b

nwnwnwb

vector weight bymnw

n xn xn x

vector input bymn x

T

m

T

m



-

Komputasi respon aktual : hitung respon aktual dari perceptron dengan

rumus : dimana sgn(.) adalah fungsi signum.

- Adaptasi vektor weight : update vektor weigh perceptron untuk

mendapatkan :

dimana :

-

Kontinuasi : tingkatkan time-step n dengan satu dan kembali ke step 2.

Pembelajaran Perceptron

-

Algoritma aturan delta

-

T adalah output target dan A adalah output aktual

dimana :

i = berhubungan dengan input Xi

W i (n+1) = weight dari i setelah adjustment

W i (n) = weight dari i sebelum adjustment

= koefisien dari learning rate

SESSION 5/6 – THE LEAST-MEAN-SQUARE (LMS) ALGORITHM

Perceptron yang telah dipelajari sebelumnya merupakan algoritma

pembelajaran pertama untuk menyelesaikan masalah klasifikasi pola yang

terpisah secara linear.

Least-Mean-Square adalah algoritma adaptive-filtering linear untuk

menyelesaikan masalah seperti prediksi dan pemerataan communication-

channel. Pengembangan algoritma ini diinspirasi dari perceptron.

Meskipun berbeda dalam penerapan, kedua algoritma ini berbagi fitur umum

karena mereka berdua melibatkan penggunaan combiner linear.

)](x)(sgn[)( nnwn y T

)()]()([)()1( n xn ynd nwnw

2

1

classto belongs)(if 1

classto belongs)(if 1)( {

n x

n xnd

)( AT

iii

ii

nW nW

X

)()1(



Keuntungan algoritma LMS :

-

Dalam hal kompleksitas komputasi, kompleksitas algoritma LMS linear

terhadap parameter yang disesuaikan, yang membuat algoritma ini efisien

dalam komputasi.

-

Efektif dalam kinerja

-

Algoritmanya simple untuk dicode dan karena itu mudah untuk dibuat

-

Algoritma LMS kuat terhadap gangguan eksternal

Struktur Filtering menggunakan Algoritma LMS

-

Pertimbangkan diagram blok dari unknown dynamic

system dalam figure 5.1a yang distimulasikan oleh

vektor input yang terdiri dari unsur-unsur x1(i),

x2(i),..,xm(i), dimana i menunjukkan instant time

dimana stimulus diterapkan pada sistem.

-

Time index i = 1, 2, ..

-

Pada hasilnya, sistem menghasilkan output yang

dilambangkan oleh y(i). Dengan demikian, behavior

eksternal dari sistem dideskripsikan dengan set data :

dimana :

-

Pasangan sample penyusunan didistribusikan secara identik sesuai

dengan unknown probability law.

-

Dimensi M yang berkaitan dengan vektor input x(i) disebut sebagai dimensi

ruang input (dimensionalitas input).

-

Stimulus vektor x(i) dapat dicapai dengan 2 cara, yaitu:

Elemen M dari x(i) berasal dari titik yang berbeda dalam ruang.

Dalam kasus ini kita berbicara x(i) sebagai snapshot data.

Figure 5.1 (a) Unknown dynamicsystem. (b) Signal-flow graph of

adaptive model for the system; the

graph embodies a feedback loop setin color.

...},...,,2,1);(),({: niid i x

T

M i xi xi xi x )](...,),(),([)( 21



elemen M dari x(i) menggambarkan himpunan yang ada dan (M-1)

nilai lama dari beberapa eksitasi yang dispasikan secara seragam

dalam waktu.

-

Masalah : Bagaimana mendesain model multiple-input-single-output dariunknown dynamic system dengan membangunnya sekitar single linear

neuron.

- Berikut adalah kondisi dari model tersebut :

Algoritma mulai dari arbitrary setting dari synaptic weight neuron.

Penyesuaian pada synaptic weight dalam menanggapi variasi

statistikal dalam behavior sistem dibuat secara terus menerus.

Komputasi penyesuaian pada synaptic weight diselesaikan dalamsebuah interval yang merupakan satu periode sampling yang

panjang.

-

Model neural hanya dideskripsikan disebut sebagai adaptive filter.

-

Figure 5.1b menunjukkan grafik alur sinyal dari adaptive filter.

-

Operasi tersebut terdiri dari 2 proses yang kontinu :

Filtering process, yang melibatkan komputasi 2 sinyal : sebuah output

dan sinyal error. Adaptive Process, yang melibatkan penyesuaian automatis dari

synaptic weight neuron sesuai dengan sinyal error e(i).

-

Dengan demikian, kombinasi dari 2 proses yang bekerja sama merupakan

feedback loop yang bertindak di sekitar neuron, seperti yang ditunjukkan

dalam figure 5.1b.

-

Sejak neuron linear, output y(i) persis sama dengan induced local field v(i),

yaitu :

dimana w1(i), w2(i),.., wm(i) adalah synaptic weight M dari neuron, dihitung

pada waktu i.

M

k

k k i xiwivi y1

)()()()(



-

Dalam bentuk matrix, y(i) dapat dinyatakan sebagai produk dalam dari

vektor x(i) dan w(i) sebagai :

dimana :

-

Biasanya, y(i) berbeda dari d(i), karenanya perbandingan mereka

menghasilkan sinyal error :

-

Sinyal error e(i) yang digunakan untuk mengontrol penyesuaian pada

synaptic weight neuron ditentukan oleg fungsi cost yang digunakan untuk

menurunkan algoritma adaptive-filtering

-

Masalah ini berkaitan dengan optimasi.

Optimisasi Tidak Dibatasi (Unconstrained Optimization)

Mempertimbangkan fungsi cost yang merupakan fungsi terdiferensiasi

secara kontinu dari beberapa unknown weight (parameter) vektor w.

Fungsi memetakan elemen w menjadi bilangan real

Tujuannya untuk menemukan solusi optimal w* yang memenuhi kondisi :

Oleh karena itu, kita perlu menyelesaikan unconstrained-optimization problem

yang dinyatakan sebagai berikut :

Kondisi yang dibutuhkan untuk optimalitas :

dimana adalah operator gradient

)()()( iwi xi y T

T

m iwiwiwiw )](...,),(),([)( 21

)()()( i yid ie

)(w

)(w

)(*)( ww

Minimize the cost function with respect to the weight vector w)(w

0*)( w

T

www M

...,,,

21



dan adalah vektor gradient dari fungsi cost

Kelas dari algoritma optimisasi tidak dibatasi yang sangat cocok untuk desain

filter adaptive didasarkan pada gagasan keturunan iteratif :

-

Dimulai dengan dugaan awal yang dilambangkan w(0), menghasilkan

urutan vektor weight w(1), w(2),.., sehingga fungsi cost berkurang pada

setiap iterasi algoritma, yang ditunjukan oleh :

Dimana w(n) nilai lama dari vektor weight dan w(n+1) adalah nilai yang

telah diupdate.

Ini adalah metode unconstrained-optimization yang mengandalkan ide turunan

iteratif dalam bentuk atau lain :

- Metode Steepest Descent

-

Metode Newton

Metode Steepest Descent

Dalam metode Steepest Descent (Keturunan curam), penyesuaian berturut-turut

diterapkan pada vektor weight w yang ada di arah steepest descent.

Dengan demikian, algoritma steepest descent dideskripsikan dalam bentuk :

Dimana adalah konstanta positif yang disebut stepsize dan g(n) adalah

vektor gradient yang dievaluasi pada titik w(n).

Dalam perjalanan dari iterasi n ke n+1, algoritma menerapkan correction :

)(w

T

wwww

M

...,,,)(

21

)(w g

)()()1( n g nwnw

))(())1(( nwnw



Metode Steepes Descent memusatkan pada solusi optimal w* dengan perlahan.

parameter learning-rate memiliki pengaruh besar pada behavior konvergennya

-

Ketika kecil, respon sementara dari algoritma yaitu overdamped

-

Ketika besar, respon sementara dari algoritma yaitu underdamped

-

Ketika melebihi nilai kritis tertentu maka algoritma menjadi unstable

Metode Newton

Untuk teknik optimasi yang lebih rumit, kita dapat melihat ke metode newton. Ide

dasarnya adalah untuk meminimalkan pendekatan kuadrat dari fungsi cost

sekitar titik w(n) saat ini.

Minimalisasi ini dilakukan pada setiap iterasi dari algoritma

g(n) adalah vektor gradient M-by-1 dari fungsi cost yang dievalusi

pada titik w(n).

Matrix H(n) adalah Hessian m-by-m dari , juga dievaluasi pada w(n).

Hessian ditentukan dengan :

)(

)()1()(

n g

nwnwnw

)(w

)()()(

2

1)()(

))(())1(())((

nwn H nwnwn g

nwnwnw

T T

)(w

)(w

)(w

2

2

2

2

1

2

2

2

2

2

2

12

21

2

21

2

2

1

2

2 )(

M M M

M

M

wwwww

wwwww

wwwww

w H



Persamaan diatas membutuhkan fungsi cost agar dua kali

terdiferensiasi secara kontinu dengan sehubungan dengan element w

Membedakan persamaan sehubungan dengan , meminimalkan

perubahan yang dihasilkan ketika :

Menyelesaikan persamaan ini untuk menghasilkan persamaan :

Yaitu :

Dimana H-1(n) inverse dari Hessian .

Metode Newton menyatukan secara asimtot dengan cepat dan tidak

menunjukkan behavior zigzagging yang terkadang mencirikan metode Steepest

Descent. Namun Demikian, Hessian H(n) harus menjadi matrix definite positif untuk

semua n untuk membuat metode Newton bekerja. Secara umum, tidak ada

jaminan bahwa H(n) definit positif pada setiap iterasi dari algoritma.

Algoritma Least-Mean-Square

Algoritma LMS diatur untuk meminimalkan nilai sesaat dari fungsi cost

dimana e(n) adalah sinyal error yang dihitung pada waktu n.

Membedakan sehubungan dengan hasil vektor weight :

)(w

w

)(w

0)()()( nwn H n g

)(nw

)()()( 1n g n H nw

)()()(

)()()1(

1

n g n H nw

nwnwnw

)(w

)(2

1)ˆ( 2

new

w

ne

ne

w

w

)()(

ˆ

)ˆ(

w)ˆ(w



Seperti dengan filter least-square, algoritma LMS mengoperasikan dengan

neuron linear. Dengan demikian, sinyal error dapat dinyatakan dengan :

Karenanya,

dan

Menggunakan hasil terakhir ini sebagai estimasi sesaat dari vektor gradient ,

maka dapat ditulis sebagai :

Akhirnya, kita dapat memformulasikan algoritma LMS sebagai berikut :

)(ˆ)()()( nwn xnd ne T

)()(ˆ

)(n x

nw

ne

)()(

)(ˆ

)ˆ(nen x

nw

w

)()()(ˆ nen xn g

)()()(ˆ)1(ˆ nen xnwnw

neuro computing

Documents