regresi kuadrat terkecil
Embed Size (px)
DESCRIPTION
TRANSCRIPT

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
1
Bab 11
Regresi Kuadrat Terkecil

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
2
Pendahuluan
Tujuh titik data dengan variabilitas yang signifikan
Kurva interpolasi polinomial orde-6 menunjukkan adanya osilasi hebat
Garis pencocokan(fitting) kuadrat terkecil yang menunjukkan perbaikan trend

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
3
Regresi Linear
n
iii xaay
110
n
iii xaay
110
Diketahui: n titik(x1, y1), (x2, y2), …, (xn, yn)
Ditanya : Garis y = a0 + a1x yang paling sesuai dengan n titik diatas.
minimize
xaayi 10 maxminimize
minimize
minimize 2
110
n
iiir xaayS

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
4
Pencocokan Kuadrat Terkecil sebuah Garis
02 100
iir xaay
a
S
0][2 101
iiir xxaay
a
S
ii yaxna 10
Untuk meminimize Sr:
dengan dan
221ii
iiii
xxn
yxyxna
iiii yxaxax 12
0
xaya 10
n
yy i
n
xx i

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
5
Contoh Pencocokan Kuadrat Terkecil sebuah Garis
7n
5119. ii yx 1402 ix
28ix 47
28x
24 iy 42857137
24.y
83928570281407
24285119721 .
.
a 07142857048392857042857130 ... a

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
6
Error Kuantifikasi Pada Regresi Linear
2 yyS it
1
n
Ss t
y
210 iir xaayS
t
rt
S
SSr
2
2
n
Ss r
xy /
2222
iiii
iiii
yynxxn
yxyxnr
S kecilr
S besarr
Keduanya dapat di-dekati dengan baik
(coefficient of determination)
(Koefisien korelasi)

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
7
Contoh Aplikasi Regresi Linear
tmcec
gmtv / 1
t
t
c
gmtv
753.
(a)
(b) Seberapa baik perkiraannya
Eq. (a)
Eq. (b)
Measured v
Calculated v
by Eq. (a)
Calculated v
by Eq. (b)
Pencocokkan yang baik akan punya lereng 1,intercept 0 dan r2 = 1.
vmodel = -0.859 + 1.032vmeasure
vmodel = 5.776 + 0.752vmeasure

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
8
Linearisasi Persamaan Nonlinear
Regresi Nonlinear
Transformasi Linear (jika mungkin)
Data yang tidak cocok dengan bentuk linear

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
9
Contoh Linearisasi
Regresi linear pada (log x, log y)
b2 = 1.75
x y log xlog y
1 0.5 0 -0.301
2 1.7 0.301 0.226
3 3.4 0.4770.534
4 5.7 0.6020.753
5 8.4 0.6990.922log y = 1.75 log x – 0.300
log a2 = – 0.300
a2 = 10-0.3 = 0.5y = 0.5x1.75

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
10
Regresi Polinomial
)1(
mn
Ss r
xy /
21
2210
n
i
mimiiir xaxaxaayS ...
21
2210
n
iiiir xaxaayS
Diketahui: n titik (x1, y1), (x2, y2), …, (xn, yn)
Ditanya : Suatu polinomial y = a0 + a1x + a2x2 + … amxm yang meminimizes
Contoh: polynomial 2nd-order y = a0 + a1x + a2x2
02 2210
0iii
r xaxaaya
S
0][2 2210
1iiii
r xxaxaaya
S
0][2 22210
2iiii
r xxaxaaya
S
iii yaxaxna 22
10
iiiii yxaxaxax 23
12
0
iiiii yxaxaxax 22
41
30
2
Standard error:

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
11
m = 2 ∑xi = 15 ∑xi4 = 979
n = 2 ∑yi = 152.6 ∑xiyi = 585.6
∑xi2= 55 ∑xi
2yi = 2488.9
∑xi3= 225
Contoh regresi Polinomial 2nd-order
82488
6585
6152
97922555
2255515
55156
2
1
0
.
.
.
a
a
a
52.x
y = 2.47857 + 2.35929x + 1.86071x2
12136
746573.
./
xys 998510
392513
7465733925132 ..
..
t
rt
S
SSr
43325.y

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
12
Regresi Linear Jamak
0][2 2221102
iiiir xxaxaay
a
S
2
122110
n
iiiir xaxaayS
Diketahui: n titik 3D (y1, x11, x12) (y2, x12, x22), …, (yn, x1n, x2n)
Ditanya : suatu bidang y = a0 + a1x1 + a2x2 yg meminimizes
02 221100
iiir xaxaay
a
S
0][2 1221101
iiiir xxaxaay
a
S
iii yaxaxna 22110
iiiiii yxaxxaxax 122112
101
iiiiii yxaxaxxax 222
212102
Pembuatan sampai ke dimensi ke-m :
hyper plane y = a0 + a1x1 + a2x2 + … + amxm

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
13
Kuadrat Terkecil Linear secara Umum
nmmnnn
m
m
n e
e
e
a
a
a
zzz
zzz
zzz
y
y
y
2
1
1
0
10
21202
11101
2
1
Kuadrat Terkecil Linear: y = a0 + a1x1
Kuadrat Terkecil Multi linear: y = a0 + a1x1 + a2x2 + … + amxm
Kuadrat Terkecil polinomial: y = a0 + a1x + a2x2 + … amxm
2
1 01
2
n
i
m
jjiji
n
iir zayeS
YZAZZ TT
y = a0z0 + a1z1 + a2z2 + … + amzm
{Y} = [Z] {A} + {E} [C] {A} = {D}([C] simetris, misal. linear dan polynomial)

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi
14
Regresi Non Linear
11
00
1 aa
xfa
a
xfxfxf
jiji
jiji
i
jiji
jii eaa
xfa
a
xfxfy
1
10
0
iiiii exfeaaxfy 10 ,;
DZAZZ Tjj
Tj
Misal Kita tahu bahwa data {(x1, y1), (x2,y2), …, (xn, yn)} mirip dengan fungsi f(x) = a0(1 – e-a
1x); bagaimana cara mencari a0 dan a1yang paling tepat ?
Ekspansi deret Taylor + regresi linear+ iterasi
{D} = [Zj] {∆A} + {E}
a0,j+1 = a0,j + ∆a0 and a1,j+1 = a1,j + ∆a1
Ekspansi taylor pada titik data xi and state sakarang j
nnnnn e
e
e
a
a
axfaxf
axfaxf
axfaxf
xfy
xfy
xfy
2
1
1
0
10
1202
1101
22
11
//
//
//
Least squares