Download - Neuro Computing
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 1/25
SESSION 1 - INTRODUCTION TO NEURAL NETWORK
Neural Network adalah sebuah mesin yang dirancang untuk memodelkan cara
yang dilakukan otak manusia dalam mengerjakan tugas-tugas atau fungsi
tertentu. Neural Network mengerjakan komputasi berguna melalui sebuah
proses pembelajaran. Dengan kata lain, Neural Network dapat dipandang
sebagai adaptive machine.
Perkembangan Neural Network :
1.
The 1940s : The Beginning of Neural Nets
McCulloch – Pitts Neuron
Neuron-neuron dapat disusun ke dalam jaringan untuk
menghasilkan berbagai output yang dapat digambarkan
sebagai kombinasi fungsi logic.
Mereka melakukan kombinasi beberapa processing unit
sederhana bersama-sama yang mampu meningkatkan
kemampuan komputasi.
Hebb Learning
Hukum pembelajaran pertama untuk ANN
Jika 2 neuron diaktifkan secara bersamaan maka kekuatan
koneksi antara keduanya juga meningkat.
Fitur : weight adjustment (penyesuaian berat)
2.
The 1950s and 1960s : The First Golden Age of Neural Networks
-
Perceptrons
Dikembangkan oleh Frank Rosenblatt
Perceptron terdiri dari input layer (retina) yang dihubungkan oleh
lintasan-lintasan dengan berat (weight) tetap ke associator
neuron.
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 2/25
Berat pada lintasan koneksi dapat disesuaikan.
Aturan pembelajaran menggunakan penyesuaian berat iteratif
yang lebih kuat dari aturan Hebb.
-
Adaline (Adaptive Linear Neuron)
Dikembangkan oleh Bernard Widrow dan Marcian Hoff
Berkaitan erat dengan aturan pembelajaran Perceptron
Aturan pembelajaran Perceptron menyesuaikan berat koneksi ke
unit kapanpun ketika respon unit salah
Aturan delta menyesuaikan berat untuk mengurangi perbedaan
antara jaringan input ke unit output dan output yang diinginkan
Aturan pembelajaran pada Single Layer Network merupakanperintis aturan Backpropagation pada multi layer.
3.
The 1970s : The Quiet Years
Kohonen
Mengembangkan metode pembelajaran Neural Network yang
tidak terawasi (unsupervised learning) untuk pemetaan.
Berhubungan dengan Assosiative Memory Neural Nets Dasar pengembangan fitur pemetaan self-organizing yang
menggunakan struktur topologi untuk unit cluster.
Anderson
Berhubungan dengan Assosiation Memory Neural Network
Memotong output linear dari model asal untuk menjaga output
agar tidak terlalu besar ketika melakukan iterasi untuk
menghasilkan solusi stabil.
Grossberg
Stephen Grossberg mengembangkan metode yang sangat
matematis dan biologis dalam pengembangan Neural Networks.
Carpenter
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 3/25
Carpenter bersama Grossberg mengembangkan teori self-
organizing neural network yang disebut Adaptive Resonance
Theory untuk pola input biner (ART1 dan ART2).
4.
The 1980s : Renewed Enthusiasm
Backpropagation
Mengatasi masalah yang ditemukan pada dekade sebelumnya
yang disebabkan oleh 2 alasan, yaitu :
-
Kegagalan single layer perceptron untuk menyelesaikan
masalah sederhana (mapping) seperti fungsi XOR
-
Kurangnya metode umum pembelajaran multilayer
Hopfield Nets
Sejumlah neural network telah dikembangkan oleh Hopfield
berdasarkan fixed weight dan adaptive activation.
Mengembangkan jaringan syaraf recurrent yang dapat
digunakan untuk menyimpan informasi dan optimasi.
Jaringan ini dapat berfungsi sebagai jaringan memori asosiasi
dan dapat digunakan untuk menyelesaikan beberapa persoalanseperti TSP.
Neocognitron
Dikembangkan oleh Kunihiko Fukusima
Serangkaian Neural Network khusus untuk pengenalan karakter
telah dikembangkan oleh Kunihiko
Boltzmann Machine
Jaringan dimana weight dan activationnya berubah atas dasar
fungsi probabilitas kepadatan.
Jaringan ini menggabungkan ide-ide klasik seperti simulasi
Annealing dan teori keputusan Bayesian
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 4/25
Keuntungan Neural Network
-
Nonlinearity
-
Pemetaan Input-Output
-
Adaptivitas
-
Respon evidensial
-
Informasi kontekstual
-
Toleransi kesalahan
- Kemampuan melaksanakan VLSI (Very-Large-Scale-Integrated)
-
Keseragaman analisis dan desain
-
Analogi neurobiologis
Karakteristik Otak Manusia
-
Sangat kompleks
-
Non-Linear
-
Parallel computer (information processing system)
Untuk dapat meniru otak manusia, system neural network membutuhkan
“neuron” atau “processing unit”.
Neural Network menyerupai otak dalam 2 hal :
-
Pengetahuan diperoleh oleh jaringan dari lingkungannya melalui
proses pembelajaran
-
Kekuatan koneksi interneuron dikenal sebagai synaptic weight yang
digunakan untuk menyimpan pengetahuan yang diperoleh.
Model Neuron
-
System neural network mengandung banyak processing element yang
disebut neuran
-
Ada 3 elemen dasar dari Neural Model :
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 5/25
Satu set sinapsis atau connecting link, masing-masing ditandai
dengan weight atau strength
Penambah untuk menjumlahkan sinyal input, ditimbang dengan
kekuatan synaptic respektif dari neuran
Fungsi aktivasi untuk membatasi amplitudo output dari neuron
-
Model neural juga mencakup bias yang diterapkan secara eksternal,
yang dilambangkan bk .
-
Bias memiliki pengaruh meningkatkan penurunan jaringan input dari
fungsi aktivasi.
Fungsi Aktivasi
-
Fungsi aktivasi menentukan output dari neuron
-
Ada 2 tipe dasar fungsi aktivasi :
Fungsi Threshold
Di bidang teknik, fungsi ini sering
disebut sebagai Heaviside
Function.
Fungsi SigmoidBentuk paling umum dari fungsi
aktivasi yang digunakan dalam
pembangunan neural networks.
Secara ketat meningkatkan fungsi yang menunjukkan
keseimbangan antara perilaku linear dan nonlinear.
Future of Neural Networks- Neural Networks Model
Multilayer Perceptron (Backpropagation)
Principal-Component Analysis (PCA)
Self-Organizing Network Model (SOM)
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 6/25
-
Application
Pattern Recognition
Image Compression
Optimization
AI dengan Neural Network
-
Advance Robotic
-
Intelligent Control
-
Technical Diagnostic
-
Intelligent Data Analysis and Signal Processing
- Intelligent Expert System
-
Intelligent Security System
-
Intelligent Medicine Device
-
Image and Pattern Recognition
-
Machine Vision
SESSION 2 - NEURAL NETWORK ARCHITECTURE
Neuron (processing units) dari neural network disusun berdasarkan algoritma
pembelajaran yang digunakan untuk melatih sistem.
3 Tipe Arsitektur (Struktur) Jaringan :
1.
Single-Layer FeedForward Networks
Single-Layer FeedForward Networks merupakan bentuk
paling sederhana dari layered network.
Terdapat 2 layer, yaitu :
-
Input Layer
-
Output Layer (Computation Nodes)Figure 2.1 Feedforward
network with a single layer of neurons.
Information Flow
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 7/25
FeedForward maksudnya informasi mengalir dari input ke output dan tidak
sebaliknya.
Input layer pada source node tidak dihitung karena tidak ada komputasi
yang dilakukan.
2. Multilayer FeedForward Networks
-
Multilayer FeedForward Networks memiliki satu
atau lebih hidden layer.
-
Dengan menambahkan hidden layer, jaringan
dapat mengekstrak higher-order statistic dari
inputnya.
-
Pada struktur ini, computation nodes disebut
hidden neuron atau hidden unit
-
Figur disamping disebut sebagai jaringan 10-4-2 :
10 source nodes
4 hidden neurons
2 output neurons
-
Fully Connected vs Partially Connected Fully Connected : Semua node terhubung
secara penuh ke setiap node/neuron pada layer lain tidak
terkecuali
Partially Connected : Tidak semua node terhubung pada node-
node di layer lain, hanya sebagian saja.
3.
Recurrent NetworksRecurrent Neural Network berbeda dengan arsitektur sebelumnya karena
jaringan ini memiliki setidaknya satu feedback loop. Keberadaan feedback
loop memberikan dampak yang mendalam pada kemampuan belajar dari
jaringan dan kinerjanya.
Figure 2.2 Fully connectedfeedforward network withone hidden layer and one
output layer.
Information Flow
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 8/25
Feedback loop melibatkan penggunaan cabang tertentu yang terdiri dari
unit-time delay elements (dilambangkan dengan Z-1).
-
Struktur pada figure 2.3 tidak memiliki self feedback loop dan hidden
neuron
- Struktur pada figure 2.4 memiliki self feedback loop dan hidden neuron
-
Koneksi feedback berasal dari neuron hidden seperti halnya dari neuron
output
Knowledge Representation
Karakteristik dari representasi pengetahuan adalah :
-
Informasi apa yang sebenarnya dibuat eksplisit?
-
Bagaimana informasi secara fisik dikodekan untuk penggunaan
selanjutnya?
Singkatnya, representasi pengetahuan adalah tujuan berarah (goal
directed)
Figure 2.3 Recurrent network with no self-feedback loops and no hidden neurons.
Figure 2.4 Recurrent networkwith hidden neurons.
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 9/25
Mesin “Intelligence” yaitu sistem neural network, dapat menjadi solusi
yang baik tergantung pada representasi yang baik dari pengetahuan.
Problem : bentuk representasi pengetahuan sangat beragam.
Dalam rangka mencapai tujuan, sistem neural network harusmerepresentasikan data dunia nyata (environment) dan memodelkan
dengan cukup secara konsisten dengan dunia nyata.
Pengetahuan dunia terdiri dari 2 jenis informasi :
-
Negara dunia yang dikenal, diwakili dengan fakta-fakta tentang
apa dan apa yang telah diketahui (informasi sebelumnya).
-
Observasi (Pengukuran) dunia, diperoleh dengan cara sensor
dirancang untuk menyelidiki lingkungan, dimana neural networkseharusnya beroperasi.
Contoh real-world data dapat dikategorikan labeled data dan
unlabeled data
Sekumpulan pasangan input-output dengan masing-masing pasangan
terdiri dari sinyal input dan respon sesuai yang diinginkan disebut
sebagai sekumpulan training data atau training sample, dimana
training sample tersebut digunakan untuk melatih sistem neural network.
SESSION 3 – NEURAL NETWORK LEARNING CONCEPT
Konsep pembelajaran dari neural network dapat dikategorikan melaui fungsi
neural network sebagai berikut :
Learning with a teacher (Supervised Learning)
Learning without a teacher, dimana konsep ini dikategorikan lebih jauhmenjadi :
- Reinforcement Learning
-
Unsupervised Learning
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 10/25
Learning With a Teacher (Supervised Learning)
-
Supervised Learning adalah metode pembelajaran yang mempunyai
target tertentu, dan jaringan dianggap sudah mengenali pola jika mampu
menghasilkan output yang sesuai dengan target melalui algoritma
tertentu.
-
Dalam supervised learning, proses pembelajaran berlangsung dibawah
bimbingan “teacher” yang memiliki pengetahuan tentang lingkungan,
dengan pengetahuan yang diwakili dengan kumpulan contoh input-
output.
- Teacher dan neural network keduanya di ekspos ke training vector yang
diambil dari lingkungan yang sama.
-
Teacher menyediakan neural network dengan respon yang diinginkan
untuk training vector tersebut. Respon yang diinginkan menggambarkan
aksi optimum yang dilakukan oleh neural network
Figure 3.1 Block diagram of learning with a teacher; the part ofthe figure printed in red constitutes of a feedback loop.
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 11/25
-
Sinyal error didefinisikan sebagai perbedaan antara respon yang
diinginkan dengan respon aktual jaringan.
- Penyesuaian ini (garis loop merah) dilakukan secara iteratif dalam langkah
demi langkah dengan tujuan membuat neural network dapat meniruteacher, dimana pengetahuan tentang lingkungan yang tersedia pada
teacher ditransfer ke neural network melalui training dan disimpan dalam
bentuk “fixed” synaptic weight (long-term memory).
-
Pada akhirnya, teacher akan dihilangkan dan membiarkan neural network
berhadapan dengan lingkungan dengan sendirinya.
-
Bentuk supervised learning ini adalah dasar dari pembelajaran error-
correction
-
Contoh algoritma : hebbian (hebb rule), perceptron, adaline, boltzman,
hapfield, dan backpropagation.
Learning Without a Teacher
-
Pada konsep ini, tidak ada teacher yang mengawasi proses pembelajaran
-
Tidak ada contoh label dari fungsi yang akan dipelajari oleh network
-
Learning without a teacher di kategorikan menjadi dua : Reinforcement Learning
Unsupervised Learning
Reinforcement Learning
-
Figure 3.2 Block diagram of reinforcement learning; the learning system and theenvironment are both inside the feedback loop.
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 12/25
-
Reinforcement Learning adalah suatu metode pembelajaran pemetaan
input-output yang dilakukan melalui interaksi berlanjut dengan lingkungan
untuk meminimalkan scalar index kinerja.
-
Pada metode ini, neural network tidak akan diberitahukan tindakan manayang benar dan harus diambil. Namun akan di berikan evaluasi (kritik)
dengan cara memberikan reward atau punishment. Kedua hal itulah yang
disebut reinforcement.
-
Pembelajarin ini tidak memberitahukan aksi mana yang harus diambil
melainkan aksi mana yang memberikan reward maksimal.
-
Figure 3.2 menunjukan diagram blok dari satu bentuk sistem reinforcement
learning dibangun sekitar kritik yang mengubah sinyal reinforcement primeryang diterima dari lingkungan menjadi sinyal reinforcement kualitas tinggi
yang disebut heuristic reinforcement signal.
-
Sistem ini dirancang untuk belajar dibawah reinforcement tertunda
(delayed reinforcement).
-
Tujuan dari reinforcement learning adalah untuk meminimalkan fungsi cost-
to-go
-
Delayed reinforcement learning sulit untuk melakukan karena 2 alasan : Tidak ada teacher yang menyediakan respon yang diinginkan pada
setiap langkah proses pembelajaran
Penundaan terjadi dalam penurunan sinyal reinforcement primer
menunjukkan bahwa mesin pembelajaran harus menyelesaikan
temporal credit assignment problem.
-
Meskipun terdapat kesulitan ini, proses pembelajaran Delayed
Reinforcement masih digunakan karena menyediakan dasar bagi sistem
pembelajaran untuk berinteraksi dengan lingkungkan.
-
Contoh algoritmanya adalah Q-Learning, Dual RL, TPOT Reinforcement
Learning dan Collaborative Reinforcement Learning
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 13/25
Unsupervised Learning (Self-Organized Learning
-
Unsupervised Learning adalah suatu metode pembelajaran yang tidak
terawasi dimana tidak ada external teacher ataupun kritikus yang
mengawasi proses pembelajaran tersebut sehingga proses belajar terjadi
secara mandiri.
-
Tujuan dari unsupervised learning adalah untuk mengelompokkan unit-unit
yang hampir sama dalam satu area tertentu, dan biasanya cocok untuk
klasifikasi pola.
-
Ketentuan dibuat untuk ukuran task-independent dari kualitas representasi
bahwa jaringan diperlukan untuk belajar dan parameter bebas dari
jaringan dioptimalkan dengan ukuran.
-
Setelah jaringan menjadi disesuaikan dengan keteraturan statistik dari
data input, jaringan mengembangkan kemampuan untuk membentuk
representasi internal untuk mengkodekan fitur input dan dengan demikian
membuat kelas baru secara otomatis.
-
Untuk melakukan unsupervised learning, kita dapat menggunakan aturan
competitive-learning
-
Untuk contoh, kita dapat menggunakan neural network yang terdiri dari:
Input layer : menerima data yang tersedia
Figure 3.3 Block diagram of unsupervised learning.
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 14/25
Competitive layer : terdiri dari neuron-neuron yang saling bersaing
(sesuai dengan aturan pembelajaran) untuk “opportunity” untuk
merespon fitur yang terdapat di data input.
-
Jaringan mengoperasikan sesuai dengan strategi “winner-takes-all” -
Contoh algoritma neural networks tiruan yang menggunakan metode
unsupervised adalah competitive, hebbian, kohonen, LVQ (Learning
Vector Quantization), dan neocognition.
SESSION 4 – PERCEPTRON
Perceptron adalah neural network pertama yang dideskripsikan secara algoritmik
dan merupakan bentuk paling sederhana dari neural network yang digunakan
untuk klasifikasi pola yang terpisah secara l inear.
Perceptron terdiri dari single neuron dengan adjustable synaptic weight dan bias.
Perceptron yang dibangun sekitar satu single neuron dibatasi untuk mengerjakan
klasifikasi pola dengan hanya 2 kelas (hipotesis).
Figure 4.1 menunjukkan model neural terdiri dari combiner linear yang diikuti hard
limiter (mengerjakan fungsi signum).
Figure 4.1 Signal-flow graph of the perceptron.
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 15/25
Model penjumlahan menghitung kombinasi linear dari input yang diterapkan
pada sinapsisnya, serta menggabungkan bias yang diterapkan secara eksternal.
Jumlah yang dihasilkan diterapkan pada hard limiter. Neuron menghasilkan
output yang equal pada +1 jika hard limiter positif, dan -1 jika negatif.
Synaptic weight dilambangkan dengan w1, w2,.. wm
Input yang diterapkan pada perceptron dilambangkan dengan x1, x2,.. xm
bias dilambangkan dengan b
hard limiter input :
Tujuan dari perceptron adalah untuk mengklasifikasikan dengan benar kumpulan
stimuli x1, x2,.. xm yang diterapkan secara eksternal ke dalam satu dari dua kelas :
ᵩ1 atau ᵩ2.
aturan keputusan :
-
Kelas ᵩ1 jika output perceptron y adalah +1
-
Kelas ᵩ2 jika output perceptron y adalah -1
terdapat 2 daerah keputusan yang dipisahkan oleh
hyperplane, yang didefinisikan oleh :
Hyperplane diilustrasikan dalam figure 4.2 dimana
memiliki 2 variabel input x1 dan x2 yang decision
boundarinya membentuk garis lurus.
m
i
ii b xwv
1
m
i
ii b xw
1
0
Figure 4.2 Illustration of thehyperplane as decision
boundary for a two-dimensional, two-class pattern-
classification problem.
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 16/25
Titik (x1,x2) yang terletak diatas garis batas ditugaskan untuk ᵩ1 dan titik (x1,x2)
yang terletak dibawah garis batas ditugaskan untuk ᵩ2.
Pengaruh bias b hanyalah menggeser batas keputusan jauh dari asal.
Synaptic weight dari perceptron dapat disesuaikan secara iteration-by-iteration.
Untuk penyesuaian, itu bisa dilakukan dengan menggunakan aturan error-
correction yang dikenal sebagai algoritma konvergensi perceptron.
Teorema Konvergensi Perceptron
Pada model sistem ini, bias b(n) diperlakukan sebagai synaptic weight didukung
dengan fixed input yang equal +1. Oleh karena itu, (m+1)-by-1 vektor input dapat
didefinisikan dengan :
n melambangkan time-step dalam menerapkan algoritma.
Sejalan dengan itu, (m+1)-by-1 vektor weight dapat didefinisikan dengan :
Dengan demikian, output combiner linear ditulis dalam bentuk :
Figure 4.3 Equivalent signal-flow graph of the perceptron; dependence
on time has been omitted for clarity.
T
m n xn xn xn x )](),...,(),(,1[)( 21
T
m nwnwnwbnw )](),...,(),(,[)( 21
)(x)(
)()()(0
nnw
n xnwnv
T
m
i
ii
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 17/25
Pada baris pertama, w0(n) sesuai dengan i=0 menggambarkan bias b. Untuk n
tetap, persamaan wTx = 0, diplot diruang m-dimensi dengan koordinat x1,
x2,..,xm, menentukan hyperplane sebagai permukaan keputusan antara 2 kelas
input yang berbeda.
Bagi perceptron, untuk memfungsikan dengan baik, 2 kelas ᵩ1 dan ᵩ2 harus
dipisahkan secara linear. Kebutuhan ini diilustrasikan dalam figure 4.4 untuk kasus
perceptron 2-dimensi. Figure 4.4 (a) adalah situasi (non-linear separable) yang
berada diluar kemampuan komputasi dari perceptron.
secara keseluruhan : variabel dan parameter
Langkah yang dilakukan :
-
Inisialisasi : set w(0)=0, lalu kerjakan komputasi time-step n=1,2,..
-
Aktivasi : pada time-step n, aktifkan perceptron dengan menerapkan
vektor input bernilai kontinu x(n) dan respon yang diinginkan d(n).
Figure 4.4(a) A pair of linearly separable patterns. (b) A pair of
non-linearly separable patterns.
unitythanlessconstant positivea parameter,ratelearning
responsedesired)(
)(quantizedresponseactual)(
bias
)](),...,(),(,[
1)1()(
)](),...,(),(,1[
1)1()(
21
21
nd
n y
b
nwnwnwb
vector weight bymnw
n xn xn x
vector input bymn x
T
m
T
m
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 18/25
-
Komputasi respon aktual : hitung respon aktual dari perceptron dengan
rumus : dimana sgn(.) adalah fungsi signum.
- Adaptasi vektor weight : update vektor weigh perceptron untuk
mendapatkan :
dimana :
-
Kontinuasi : tingkatkan time-step n dengan satu dan kembali ke step 2.
Pembelajaran Perceptron
-
Algoritma aturan delta
-
T adalah output target dan A adalah output aktual
dimana :
i = berhubungan dengan input Xi
W i (n+1) = weight dari i setelah adjustment
W i (n) = weight dari i sebelum adjustment
= koefisien dari learning rate
SESSION 5/6 – THE LEAST-MEAN-SQUARE (LMS) ALGORITHM
Perceptron yang telah dipelajari sebelumnya merupakan algoritma
pembelajaran pertama untuk menyelesaikan masalah klasifikasi pola yang
terpisah secara linear.
Least-Mean-Square adalah algoritma adaptive-filtering linear untuk
menyelesaikan masalah seperti prediksi dan pemerataan communication-
channel. Pengembangan algoritma ini diinspirasi dari perceptron.
Meskipun berbeda dalam penerapan, kedua algoritma ini berbagi fitur umum
karena mereka berdua melibatkan penggunaan combiner linear.
)](x)(sgn[)( nnwn y T
)()]()([)()1( n xn ynd nwnw
2
1
classto belongs)(if 1
classto belongs)(if 1)( {
n x
n xnd
)( AT
iii
ii
nW nW
X
)()1(
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 19/25
Keuntungan algoritma LMS :
-
Dalam hal kompleksitas komputasi, kompleksitas algoritma LMS linear
terhadap parameter yang disesuaikan, yang membuat algoritma ini efisien
dalam komputasi.
-
Efektif dalam kinerja
-
Algoritmanya simple untuk dicode dan karena itu mudah untuk dibuat
-
Algoritma LMS kuat terhadap gangguan eksternal
Struktur Filtering menggunakan Algoritma LMS
-
Pertimbangkan diagram blok dari unknown dynamic
system dalam figure 5.1a yang distimulasikan oleh
vektor input yang terdiri dari unsur-unsur x1(i),
x2(i),..,xm(i), dimana i menunjukkan instant time
dimana stimulus diterapkan pada sistem.
-
Time index i = 1, 2, ..
-
Pada hasilnya, sistem menghasilkan output yang
dilambangkan oleh y(i). Dengan demikian, behavior
eksternal dari sistem dideskripsikan dengan set data :
dimana :
-
Pasangan sample penyusunan didistribusikan secara identik sesuai
dengan unknown probability law.
-
Dimensi M yang berkaitan dengan vektor input x(i) disebut sebagai dimensi
ruang input (dimensionalitas input).
-
Stimulus vektor x(i) dapat dicapai dengan 2 cara, yaitu:
Elemen M dari x(i) berasal dari titik yang berbeda dalam ruang.
Dalam kasus ini kita berbicara x(i) sebagai snapshot data.
Figure 5.1 (a) Unknown dynamicsystem. (b) Signal-flow graph of
adaptive model for the system; the
graph embodies a feedback loop setin color.
...},...,,2,1);(),({: niid i x
T
M i xi xi xi x )](...,),(),([)( 21
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 20/25
elemen M dari x(i) menggambarkan himpunan yang ada dan (M-1)
nilai lama dari beberapa eksitasi yang dispasikan secara seragam
dalam waktu.
-
Masalah : Bagaimana mendesain model multiple-input-single-output dariunknown dynamic system dengan membangunnya sekitar single linear
neuron.
- Berikut adalah kondisi dari model tersebut :
Algoritma mulai dari arbitrary setting dari synaptic weight neuron.
Penyesuaian pada synaptic weight dalam menanggapi variasi
statistikal dalam behavior sistem dibuat secara terus menerus.
Komputasi penyesuaian pada synaptic weight diselesaikan dalamsebuah interval yang merupakan satu periode sampling yang
panjang.
-
Model neural hanya dideskripsikan disebut sebagai adaptive filter.
-
Figure 5.1b menunjukkan grafik alur sinyal dari adaptive filter.
-
Operasi tersebut terdiri dari 2 proses yang kontinu :
Filtering process, yang melibatkan komputasi 2 sinyal : sebuah output
dan sinyal error. Adaptive Process, yang melibatkan penyesuaian automatis dari
synaptic weight neuron sesuai dengan sinyal error e(i).
-
Dengan demikian, kombinasi dari 2 proses yang bekerja sama merupakan
feedback loop yang bertindak di sekitar neuron, seperti yang ditunjukkan
dalam figure 5.1b.
-
Sejak neuron linear, output y(i) persis sama dengan induced local field v(i),
yaitu :
dimana w1(i), w2(i),.., wm(i) adalah synaptic weight M dari neuron, dihitung
pada waktu i.
M
k
k k i xiwivi y1
)()()()(
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 21/25
-
Dalam bentuk matrix, y(i) dapat dinyatakan sebagai produk dalam dari
vektor x(i) dan w(i) sebagai :
dimana :
-
Biasanya, y(i) berbeda dari d(i), karenanya perbandingan mereka
menghasilkan sinyal error :
-
Sinyal error e(i) yang digunakan untuk mengontrol penyesuaian pada
synaptic weight neuron ditentukan oleg fungsi cost yang digunakan untuk
menurunkan algoritma adaptive-filtering
-
Masalah ini berkaitan dengan optimasi.
Optimisasi Tidak Dibatasi (Unconstrained Optimization)
Mempertimbangkan fungsi cost yang merupakan fungsi terdiferensiasi
secara kontinu dari beberapa unknown weight (parameter) vektor w.
Fungsi memetakan elemen w menjadi bilangan real
Tujuannya untuk menemukan solusi optimal w* yang memenuhi kondisi :
Oleh karena itu, kita perlu menyelesaikan unconstrained-optimization problem
yang dinyatakan sebagai berikut :
Kondisi yang dibutuhkan untuk optimalitas :
dimana adalah operator gradient
)()()( iwi xi y T
T
m iwiwiwiw )](...,),(),([)( 21
)()()( i yid ie
)(w
)(w
)(*)( ww
Minimize the cost function with respect to the weight vector w)(w
0*)( w
T
www M
...,,,
21
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 22/25
dan adalah vektor gradient dari fungsi cost
Kelas dari algoritma optimisasi tidak dibatasi yang sangat cocok untuk desain
filter adaptive didasarkan pada gagasan keturunan iteratif :
-
Dimulai dengan dugaan awal yang dilambangkan w(0), menghasilkan
urutan vektor weight w(1), w(2),.., sehingga fungsi cost berkurang pada
setiap iterasi algoritma, yang ditunjukan oleh :
Dimana w(n) nilai lama dari vektor weight dan w(n+1) adalah nilai yang
telah diupdate.
Ini adalah metode unconstrained-optimization yang mengandalkan ide turunan
iteratif dalam bentuk atau lain :
- Metode Steepest Descent
-
Metode Newton
Metode Steepest Descent
Dalam metode Steepest Descent (Keturunan curam), penyesuaian berturut-turut
diterapkan pada vektor weight w yang ada di arah steepest descent.
Dengan demikian, algoritma steepest descent dideskripsikan dalam bentuk :
Dimana adalah konstanta positif yang disebut stepsize dan g(n) adalah
vektor gradient yang dievaluasi pada titik w(n).
Dalam perjalanan dari iterasi n ke n+1, algoritma menerapkan correction :
)(w
T
wwww
M
...,,,)(
21
)(w g
)()()1( n g nwnw
))(())1(( nwnw
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 23/25
Metode Steepes Descent memusatkan pada solusi optimal w* dengan perlahan.
parameter learning-rate memiliki pengaruh besar pada behavior konvergennya
-
Ketika kecil, respon sementara dari algoritma yaitu overdamped
-
Ketika besar, respon sementara dari algoritma yaitu underdamped
-
Ketika melebihi nilai kritis tertentu maka algoritma menjadi unstable
Metode Newton
Untuk teknik optimasi yang lebih rumit, kita dapat melihat ke metode newton. Ide
dasarnya adalah untuk meminimalkan pendekatan kuadrat dari fungsi cost
sekitar titik w(n) saat ini.
Minimalisasi ini dilakukan pada setiap iterasi dari algoritma
g(n) adalah vektor gradient M-by-1 dari fungsi cost yang dievalusi
pada titik w(n).
Matrix H(n) adalah Hessian m-by-m dari , juga dievaluasi pada w(n).
Hessian ditentukan dengan :
)(
)()1()(
n g
nwnwnw
)(w
)()()(
2
1)()(
))(())1(())((
nwn H nwnwn g
nwnwnw
T T
)(w
)(w
)(w
2
2
2
2
1
2
2
2
2
2
2
12
21
2
21
2
2
1
2
2 )(
M M M
M
M
wwwww
wwwww
wwwww
w H
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 24/25
Persamaan diatas membutuhkan fungsi cost agar dua kali
terdiferensiasi secara kontinu dengan sehubungan dengan element w
Membedakan persamaan sehubungan dengan , meminimalkan
perubahan yang dihasilkan ketika :
Menyelesaikan persamaan ini untuk menghasilkan persamaan :
Yaitu :
Dimana H-1(n) inverse dari Hessian .
Metode Newton menyatukan secara asimtot dengan cepat dan tidak
menunjukkan behavior zigzagging yang terkadang mencirikan metode Steepest
Descent. Namun Demikian, Hessian H(n) harus menjadi matrix definite positif untuk
semua n untuk membuat metode Newton bekerja. Secara umum, tidak ada
jaminan bahwa H(n) definit positif pada setiap iterasi dari algoritma.
Algoritma Least-Mean-Square
Algoritma LMS diatur untuk meminimalkan nilai sesaat dari fungsi cost
dimana e(n) adalah sinyal error yang dihitung pada waktu n.
Membedakan sehubungan dengan hasil vektor weight :
)(w
w
)(w
0)()()( nwn H n g
)(nw
)()()( 1n g n H nw
)()()(
)()()1(
1
n g n H nw
nwnwnw
)(w
)(2
1)ˆ( 2
new
w
ne
ne
w
w
)()(
ˆ
)ˆ(
w)ˆ(w
7/23/2019 Neuro Computing
http://slidepdf.com/reader/full/neuro-computing 25/25
Seperti dengan filter least-square, algoritma LMS mengoperasikan dengan
neuron linear. Dengan demikian, sinyal error dapat dinyatakan dengan :
Karenanya,
dan
Menggunakan hasil terakhir ini sebagai estimasi sesaat dari vektor gradient ,
maka dapat ditulis sebagai :
Akhirnya, kita dapat memformulasikan algoritma LMS sebagai berikut :
)(ˆ)()()( nwn xnd ne T
)()(ˆ
)(n x
nw
ne
)()(
)(ˆ
)ˆ(nen x
nw
w
)()()(ˆ nen xn g
)()()(ˆ)1(ˆ nen xnwnw