pertemuan 08.2 regresi polinomial

REGRESI POLINOMIAL

Rudi Salam

Sekolah Tinggi Ilmu Statistik

[email protected] ‐ 1

Outline

1. Model Regresi Polinomial2. Contoh 1 – Satu Variabel Independen3. Contoh 2 – Dua Variabel Independen4. Metodologi Permukaan Respon


Pengantar

• Model regresi polinomial merupakan satubentuk model dengan respon curvelinear yang penting.

• Model ini merupakan model responcurvelinear yang paling sering digunakansecara praktis, karena kemudahannya untukditangani sebagai kasus khusus dari model regresi linier umum


1Model Regresi Polinomial



Pengantar

Model regresi polinomial bisa mengandung satu, dua, atau lebih dari dua variabel independen.Lebih jauh, variabel independennya bisa dibuatdengan beberapa variasi power (pangkat).Berikut adalah diantaranya.


Pengantar

• Ordo ke‐satu (First Order) hubungannyalinier• Satu peubah penjelas

• Dua peubah penjelas

• K peubah penjelas

εXββY 10

εXβXββY 22110

εXβ....XβXββY kk22110


Pengantar

• Ordo ke‐dua• Satu variabel independen

• Dua variabel independen

• Banyaknya parameter ordo ke‐2 dengan k peubah = ½( k2+3k) + 1

εXβXββY 21110

εXXβXβXβXβXββY 21122

22221112210


Model Regresi

Model second order dengan satu variabelindependen (satu x tapi muncul dengan pangkatsatu dan dua):

Di mana

20 1 11i i i iY x x

i ix X X

0

1

11

: mean respon ketika 0 atau ketika : linear effect coefficient: quadratic effect coefficient

Y x X X


Model Regresi

• Catat bahwa variabel independen pada regresipolinomial dinyatakan sebagai deviasi di sekitar rata‐rata , dan bahwa deviasiobservasi ke‐i ditunjukkan dengan xi.

• Alasan menggunakan deviasi di sekitar rata‐rata adalah bahwa X, X2 dan X dengan pangkatyang lebih tinggi akan mempunyai korelasiyang tinggi.

X


Model Regresi

• Ini juga akan mengakibatkan kesulitanpenghitungan dalam mendapatkan inverse dari XTX.

• Jadi, dengan menyatakan variabel independensebagai deviasi dari rata‐ratanya akanmereduksi multikolinieritas dan akanmemudahkan dalam kalkulasi matematis.


Model Regresi

• Fungsi responnya adalah:

• Merupakan bentuk parabola dan seringdisebut dengan fungsi respon kuadratik

20 1 11E Y x x


Model Regresi

• Contoh Grafik fungsi respon polinomialsecond order


Model Regresi

• Satu variabel independen – third order

• Dimana:

• Fungsi respon:

2 30 1 11 111i i i i iY x x x

i ix X X

2 30 1 11 111E Y x x x


Model Regresi

• Contoh Grafik fungsi respon polinomial third order


2CONTOH 1 :

SATU VARIABEL INDEPENDEN



Contoh

• Seorang analis ingin mengetahui hubunganantara jumlah dispenser kopi pada kafetariadan penjualan kopi. Empat belas kafetariayang mempunyai karakteristik sama dipilih. Sejumlah dispenser ditempatkan secararandom dari nol sampai enam untuk tiap‐tiapkafetaria. Datanya adalah sebagai berikut:


Contoh

X = jumlahdispender

Y = penjualankopi

1 0 508.1 ‐3 92 0 498.4 ‐3 93 1 568.2 ‐2 44 1 577.3 ‐2 45 2 651.7 ‐1 16 2 657 ‐1 17 3 713.4 0 08 3 697.5 0 09 4 755.3 1 110 4 758.9 1 111 5 787.6 2 412 5 792.1 2 413 6 841.4 3 914 6 831.8 3 9

i ix X X

3X

2ixiYiXi


Contoh

Kenapa pake deviasi di sekitar mean:• Korelasi antara X dan X^2 adalah 0.961• Korelasi antara xi‐Xbar dan xi^2 adalah 0.


Contoh

• Matriks X dan Y: 508,1 1 3 9498,4 1 3 9568,2 1 2 4577,3 1 2 4651,7 1 1 1657,0 1 1 1713,4 1 0 0

; 697,5 1 0 0755,3 1 1 1758,9 1 1 1787,6 1 2 4792,1 1 2 4841,4 1 3 9831,8 1 3 9

Y X


ix 2ix

Contoh

(Running seperti regresi berganda)• Koefisien Regresi

CoefficientsStandard Error t‐hitung

Intercept 705.47 3.21 219.91

Variable x 54.89 1.05 52.28

Variable x^2 ‐4.25 0.61 ‐7.01


Contoh

• Anova y dengan x

df SS MS F

Regression 1 168740.64 168740.64 545.49

Residual 12 3712.02 309.34

Total 13 172452.66


Contoh

• Anova y dan x serta x2

df SS MS F

Regression 2 171773.44 85886.72 1390.94

x 1 168740.64 168740.64

x^2 | x 1 3032.80 3032.80

Residual 11 679.22 61.75

Total 13 172452.66


Contoh

• (XTX)‐1 :

• MSE = 61.75• Matriks s2(b) :

12

10, 29 0 1, 470 1,10 0

1,47 0 0,37

Ts MSE X X

b


10,17 0 0,02

0 0,02 00,02 0 0,01

TX X

Contoh

• Fungsi regresi fit‐nya adalah

• Regresi fit masih dalam bentuk x

2ˆ 705,47 54,89 4,25Y x x


Contoh

Fitted 2nd orderRegresi polinomial


Contoh

• Ingat persamaan normal least square:

1 2 02

1 1 1 2 1 12

2 2 1 2 2 2

T T

i i i

i i i i i i

i i i i i i

n X X b YX X X X b X YX X X X b X Y

X X b X Y

0 1 1 2 2

21 0 1 1 1 2 1 2

22 0 2 1 1 2 2 2

i i i

i i i i i i

i i i i i i

Y nb b X b X

X Y b X b X b X X

X Y b X b X X b X


Contoh

• Dengan mengganti Xi1 dengan xi dan Xi2dengan xi2, maka persamaan normal model regresi polinomial second order bisadidapatkan.

• Karena Ʃxi=0, persamaan normal menjadi:2

0 11

2 31 11

2 2 3 40 1 2

i i

i i i i

i i i i i

Y nb b x

xY b x b x

x Y b x b x b x


Analisis Ketepatan Model

• Analisis residual



• Uji fungsi respon kuadratik

• SSPE = (508,1‐503,25)2+(498,4‐503,25)2+(568,2‐572,75)2+…+(831,8‐836,6)2

= 291,58

xi Yi Ybar‐3 508.1‐3 498.4 503.25‐2 568.2‐2 577.3 572.75‐1 651.7‐1 657 654.350 713.40 697.5 705.451 755.31 758.9 757.12 787.62 792.1 789.853 841.43 831.8 836.6


Df : c = 7 n ‐ c = 14 – 7 = 7


• MSPE = SSPE / df = 291,58 / 7 = 41,65• SSLF = SSE – SSPE = 679,22 – 291,58 = 387,64• Df SSLF adalah c – p = 7 – 3 = 4 (ada 3 parameter)

• MSLF = SSLF / df = 387,64 / 4 = 96,91• F* = MSLF / MSPE = 96,91 / 41,65 = 2,33• F(0,95;4,7) = 4,12 ≥ 2,33 gagal tolak H0


Uji β11 – Uji t

• Hipotesis:

• H0 menyatakan tidak ada pengaruh kuadratikpada fungsi respon.

• T‐hitung:

• T(0,975;11) = 2,201• |t*|= 7,012 > 2,201 tolak H0 adapengaruh kuadratik

* 11

11

4, 249 7,0120,606

bts b


Uji β11 – Uji F Parsial

Menggunakan ekstra sum of squares• SSR(x) = 168740,64 • SSR(x2|x) = 3032,80• MSR(x2|x) = 3032,80 / 1 = 3032,80• MSE = 61,75• F*=MSR(x2|x)/MSE = 3032,80 / 61,75 = 49,12• F(0,95;1,11) = 4,84 < 49,12 tolak H0


Estimasi Koefisien Regresi

• Akan dicari batas kepercayaan untuk duakoefisien regresi β1 dan β11 dengan koefisienkepercayaan 0,90 menggunakan metodeBonferroni (Bonferroni joint confidence).

• Jika ada g parameter diestimasi secaragabungan di mana g<p, batas kepercayaannyaadalah

• Di mana B = t( 1 – α / 2g;n – p )

k kb B s b



• g = 2 B = t[1 ‐ 0,10 / 2(2); 11]= t (0,975;11) = 2,201

• b1 = 54,893 ; s(b1) = 1,050• b11 = ‐4,249 ; s(b11) = 0,606• Batas kepercayaan Bonferroni adalah54,893 ± 2,201(1,050) dan‐4,249 ± 2,201(0,606)



• Interval kepercayaan:52,58 ≤ β1 ≤ 57,20‐5,58 ≤ β11 ≤ ‐2,92

• Interval cukup dekat


Koefisien Determinasi Berganda

• Ukuran deskripsi derajat hubungan antarapenjualan kopi dan jumlah dispenser digunakan koefisien determinasi berganda:

• Hasil ini menunjukkan bahwa variasi padapenjualan kopi berkurang 99,6 persen ketikahubungan kuadratik dengan jumlah dispenser digunakan.

2 171773 0,996172453

SSRRSSTO


Koefisien Determinasi Berganda

• Walaupun model regresi hanya mengandungsatu variabel independen, ukuran yang digunakan tetap R2, bukan r2.

• Pada regresi curvelinear, R2 disebut denganindeks korelasi.


Estimasi Mean Respon

• Mean respon untuk Xh=3 dengan koefisienkepercayaan 98%:

2

3 3 01 1

00

h h

h h

h

x X X

xx

X

705, 474

ˆ 1 0 0 54,893 705,4744, 249

Th hY

X b


Estimasi Mean Respon

• Nilai S2{b} sudah diketahui, maka

• T(0,99;11) = 2,718• Batas kepercayaan: 705,474 ± 2,718(3,208)• CI : 696,8 ≤ E{Yh} ≤ 714,2

2 2ˆ

10, 2912 0 1, 4702 1 1 0 0 0 1,1026 0 0 10, 2912

1, 4702 0 0,3675 0ˆ 3, 208

Th h h

h

s Y s

s Y

X b X


Fungsi Regresi dalam Bentuk X

• Fungsi regresi fit ingin dibuat dalam bentuk X bukan lagi bentuk deviasi x = X‐Xbar.

• Fungsi regresi fit yang ekivalen dalam variabelX adalah

• Nilai koefisiennya:

* * * 20 1 11Y b b X b X

* 20 0 1 11*1 1 11*11 11

2

b b b X b X

b b b X

b b


Fungsi Regresi dalam Bentuk X


3CONTOH 2 :

DUA VARIABEL INDEPENDEN



Model Regresi

Model second order dengan dua variabelindependen

Di mana:

Fungsi respon:

1 43

2 20 1 1 2 2 11 1 22 2 12 1 2i i i i i i i iY x x x x x x


1 1 1

2 2 2

i i

i i

x X Xx X X

2 20 1 1 2 2 11 1 22 2 12 1 2E Y x x x x x x

Merupakan bentuk conicΒ12 adalah koefisien efek interaksi

Contoh

• Data i Yi Xi1 Xi2 xi1 xi2 xi1^2 xi2^2 xi1*xi21 150 0.6 10 ‐1 ‐1 1 1 12 86 1.0 10 0 ‐1 0 1 03 49 1.4 10 1 ‐1 1 1 ‐14 288 0.6 20 ‐1 0 1 0 05 157 1.0 20 0 0 0 0 06 131 1.0 20 0 0 0 0 07 184 1.0 20 0 0 0 0 08 109 1.4 20 1 0 1 0 09 279 0.6 30 ‐1 1 1 1 ‐110 235 1.0 30 0 1 0 1 011 224 1.4 30 1 1 1 1 1

mean 1.0 20


pertemuan 08.2 regresi polinomial

Documents