analisis regresi 1 - stat.ipb.ac.id · berganda analisis regresi 2 tujuan instruksional khusus:...

Pokok Bahasan :

Review

Regresi Linier Sederhana dan Berganda

Analisis Regresi 2

Tujuan Instruksional Khusus : Mahasiswa dapat menjelaskan regresi linier sederhana dan

berganda dan asumsi-asumsi yang mendasarinya

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

Regresi Linier Sederhana

Model Regresi Linier Sederhana (1 peubah penjelas)

Model Regresi Linier Berganda ( k peubah penjelas )

Dengan notasi matriks dapat dituliskan :

εxββY 110

penjelas p banyaknyak , 11111

nkknny X

εxβ.....xβxββY kk 22110


Ringkasan Regresi Linier Berganda

Model Regresi Linier Berganda dengan 2 peubah

penjelas :

Model umum Regresi Berganda dengan k peubah

penjelas dalam notasi matriks :

εxβxββY 22110

11111 nkknn

y X



yby HX ˆ

21

10

1101

0100

'

)(ˆ............ ),cov( ),cov(

... ... ...

),(cov ....... )(ˆ ),cov(

),(cov ....... ),(cov )(ˆ

)(ˆ s

bVbbbb

bbbVbb

bbbb bV

bV

kkk

k

k

XX

Nilai dugaan

Matriks dugaan ragam peragam bagi b :

lanjutan

dengan :

s2 = KT sisaan

')'( H XXXX1


KOEFISIEN DETERMINASI

Dugaan simpangan baku


lanjutan

dengan :

s2 = KT sisaanscs jjb j )1)(1(

)'( matriks diagonal 1j keunsur c 1

1)1)(j(j

XX

2

222

'

''R

'

''R

YnYY

YnYXb

YY

YXbadj


Pendugaan model regresi linier

berganda dengan notasi matriks

Notasi Matriks pada Model Regresi Linier Berganda

dengan k = 2

Penduga parameter regresi berganda dg notasi

matriks :

Xy

nny

y

y

.

.

x x1

. . .

. . .

x x1

x x1

.

.

2

1

2

1

0

2n1n

2212

2111

2

1

11)(k)1()1(1)1( ' )'( ybnnkkk XXX

1


Contoh: model regresi linier berganda

dalam notasi matriks

2

1

0

30 2.2 1

25 2.8 1

40 3.9 1

30 3.2 1

20 3.0 1

25 3.4 1

30 3.1 1

2.3

2.5

4.0

2.9

3.0

3.2

3.5

Xy

Data : Model Regresi dalam notasi Matriks :

Xyy x1 x2

3.5 3.1 30

3.2 3.4 25

3.0 3.0 20

2.9 3.2 30

4.0 3.9 40

2.5 2.8 25

2.3 2.2 30


Contoh : Menduga parameter regresi

linier berganda dg matriks

11)(k)1()1(1)1( ' )'( ybnnkkk XXX

1

30 2.2 1

25 2.8 1

40 3.9 1

30 3.2 1

20 3.0 1

25 3.4 1

30 3.1 1

Dugaan bagi parameter regresi :

Dari data contoh tsb. didapat :

30 25 40 30 20 25 30

2.2 2.8 3.9 3.2 3.0 3.4 1.3

1 1 1 1 1 1 1

X’X =

3 x 7

7 x 3


Contoh : Menduga parameter regresi

linier berganda dg matriks

X X

7 0 216 200 0

216 683 626 0

200 0 626 0 5950 0

. . .

. . .

. . .

Dengan perhitungan cara matriks didapat :

0.005 0.028- 0.064-

0.028- 0.760 1.529-

0.064- 1.529- 6.683

)'( 1XX

30 25 40 30 20 25 30

2.2 2.8 3.9 3.2 3.0 3.4 1.3

1 1 1 1 1 1 1

0.005 0.028- 0.064-

0.028- 0.760 1.529-

0.064- 1.529- 6.683

2.3

2.5

4.0

2.9

3.0

3.2

3.5

b =

017.0

898.0

214.0

Dugaan persamaan garis regresinya :

21 017.0898.0214.0ˆ xxy y

lanjutan

(X’X) -1 X’


Pemeriksaan Model Regresi Berganda :

uji-t

Uji-t dimaksudkan untuk menguji pengaruh setiap peubah penjelas secara satu per satu terhadap peubah responnya

0atau

0atau

0 :

0 :

1

0

j

j

j

j

H

H

Peubah penjelas Xj tidak berhubungan linier dg Y

Peubah penjelas Xj berhubungan linier dg Y

Peubah penjelas Xj berhubungan linier positif dg Y

Peubah penjelas Xj berhubungan linier negatif dg Y

Model Regresi Berganda dg 2 peubah penjelas :

εxβxββY 22110


Pemeriksaan Model untuk Regresi

Berganda : uji-t

0atau

0atau

0 :

0 :

1

1

11

10

H

Hscs

s

bjjb

b

jj

j

j

, t )1)(1(hit

Hipotesis :

1.

Statistik uji-nya :

Derajat bebasnya = n – k - 1

Unsur ke (j+1) diagonal (X’X)-1

Akar dari KT sisaan

k = banyaknya peubah penjelas

2.

0atau

0atau

0 :

0 :

2

2

21

20

H

H

lanjutan


Contoh : uji-t dengan notasi matriks

Dengan menggunakan data contoh pada slide

sebelumnya ingin diuji apakah X1 dan atau X2

berpengaruh linier thdp Y

Didapatkan bahwa

Dugaan garis regresi-nya:

Hipotesisnya :

0.005 0.028- 0.064-

0.028- 0.760 1.529-

0.064- 1.529- 6.683

)'( 1XX

21 017.0898.0214.0ˆ xxy

0 :

0 :

1

0

j

j

H

H

Peubah penjelas Xj tidak berhubungan linier dg Y

Peubah penjelas Xj berhubungan linier dg Y



Statistik uji-nya :

lanjutan

scss

bjjb

b

jj

j

j

, t )1)(1(hit

55.3253.0

898.0t 0.25300.2902 x 76.0s 1,juntuk hitb1

. . . 2 1

467 44 671031 0 08422 S2=

829.00205.0

017.00205.00.2902 x 005.0s 2,juntuk hitb2

t



Tolak H0Tolak H0

a/2=.025

-tn-3,α/2

Terima H0

0

a/2=.025

-2.776 2.776

d.b. = 7 - 3 = 4 t4,.025 = 2.776

(lanjutan)

tn-3,α/2

Untuk j=1 t hit = 3.55 tolak H0

Untuk j=2 t hit = 0.829 terima H0

KESIMPULAN :

1. Cukup bukti untuk mengatakan

bahwa ada hub linier antara x1 dan Y

2. Tidak cukup bukti untuk mengatakan

bahwa ada hub linier antara x2 dan Y


Contoh : uji-t dengan Minitab

Regression Analysis: Y versus X1, X2

The regression equation is

Y = - 0.214 + 0.898 X1 + 0.0175 X2

Predictor Coef SE Coef T P

Constant -0.2138 0.7502 -0.29 0.790

X1 0.8984 0.2530 3.55 0.024

X2 0.01745 0.02116 0.82 0.456

S = 0.290208 R-Sq = 83.3% R-Sq(adj) = 74.9%

lanjutan

> 0.05

Terima H0


Dengan uji F ini kita dapat mengetahui :

peubah-peubah penjelas yang ada dalam model

berpengaruh secara serempak terhadap respon atau

tidak. (model regresi layak atau tidak)

Penambahan satu peubah penjelas ke dalam model

setelah peubah penjelas lainnya ada dalam model

berpengaruh nyata atau tidak terhadap respon

Penambahan sekelompok peubah penjelas ke dalam

model setelah peubah penjelas lainnya ada dalam

model berpengaruh nyata atau tidak terhadap respon

Pemeriksaan Model

Regresi Berganda : uji-F


Uji Parameter Regresi Linier Berganda :

uji-F untuk model keseluruhan

Sumber

Keragaman

Derajat Bebas (db)

Jumlah Kuadrat (JK) Kuadrat Tengah

(KT)

b1, b2,..,bk| b0 k b’X’Y – Y’11’Y/n

Sisaan n – k-1 Y’Y – b’X’Y

Total

(terkoreksi)n - 1 Y’Y – Y’11’Y/n

k

JKRegresi

sisaan

regresi

hitKT

KTF

k1,2,.....,j ,0satu ada min:

0...:

1

210

j

k

H

H

1-kn

JKsisaan

H0 : peubah respon tidak memp hub linier dg peubah penjelas ke-1 s.d ke-k

H1 : peubah respon memp hub linier dg min 1 peubah penjelas ke-1 s.d ke-k

KRITERIA PENOLAKAN : α1,knk,0 FF jika HTolak


The regression equation isTekanan Darah = 50,5 + 12,8 Ukuran Tubuh + 0,848 Umur

+ 9,11 Merokok

S = 7,88677 R-Sq = 72,6% R-Sq(adj) = 69,6%

Analysis of VarianceSource DF SS MS F PRegression 3 4610,3 1536,8 24,71 0,000Residual Error 28 1741,6 62,2Total 31 6352,0

KESIMPULAN:

Tekanan darah memiliki hubungan linier dg min satu peubah penjelas

KEPUTUSAN:

tolak H0. = 5%

OUT PUT MINITAB : DATA TEKANAN DARAH

a

lanjutan

k1,2,..,j ,0 1 ada min:

0...:

1

210

j

k

H

H

F tabel : F (3,28), 5% =2,95




Statistik uji-nya:

Keputusan:

Kesimpulan:

Tolak H0

Cukup bukti untuk mengatakan

bahwa minimum ada satu peubah

penjelas yg berhubungan linier dg Y0

a = .05

F.05 = 2,95Tolak H0Terima H0

F

1,2,3j ,0satu ada min:

0:

1

3210

jH

H

71,24KT

KTF

sisaan

regresi

hit



F tabel : F (3,28), 5% =2,95

lanjutan


Uji-F Parsial dan uji-F Sekuensial

Terhadap semua peubah penjelas yang tersedia :

Diuji peubah penjelas apa yg berpengaruh nyata thd respon.

Dari yang ada dalam model, usahakan yang dipakai hanya

peubah penjelas yang keberadaannya dalam model menyum-

bangkan keragaman kepada garis regresi cukup besar

Jika suatu peubah penjelas keberadaannya dalam model

sudah dapat diwakili oleh yg lainnya, maka peubah penjelas

tsb tidak perlu lagi digunakan dlm model

Lebih disenangi model yang memiliki banyaknya peubah

penjelas yang lebih sedikit.

PADA ANALISIS REGRESI LINIER BERGANDA :


0:

Y model dalam 0:

21

2211020

H

xxH

Sumber

Keragaman

Derajat Bebas (db)

Jumlah Kuadrat (JK)Kuadrat Tengah

(KT)

b1, b2 | b0 2 b’X’Y – Y’11’Y/n

Sisaan n – 3 Y’Y – b’X’Y

Total

(terkoreksi)n - 1 Y’Y – Y’11’Y/n

3-nJKsisaan

Apakah penambahan X2 ke dalam model

berpengaruh terhadap YεxββY 110

sisaan

b,b|b

hitKT

KTF 102102 b,b b 1 01021 b |bb |b,b JKJK

sisaan

b,b |b

JK

JK10 2

Pemeriksaan Model

Regresi Berganda : uji-F


KOEFISIEN DETERMINASI BERGANDA

Proporsi keragaman pada Y dijelaskan oleh

semua peubah X secara bersama-sama

yyyy

yy

SS

SSE

SS

SSESSR

1

Keragaman Total

dijelaskan ygKeragaman 2


KOEFISIEN DETERMINASI BERGANDA


R2 besarnya tidak pernah turun ketika peubah X

ditambahkan ke dalam model

Hanya nilai Y yang menentukan besarnya SSyy

Tidak ada gunanya kalau membandingkan model yg satu dg yg

sdh ditambah peubah penjelasnya.

Solusi: Adjusted R2

Setiap penambahan peubah penjelas akan menurunkan nilai

adjusted R2.

22 1

1

11 R

SSyy

SSE

SS

SSE

kn

nR

yya


Adjusted R2


Validitas Model

PRESS = Prediction Sum of Squares, adalah prosedur yang

merupakan kombinasi dari: semua kemungkinan regresi,

analisis sisaan, dan teknik validasi.

Digunakan untuk mengukur validitas model.

2i,-i

2

,

e

ˆPRESS

iii yy

2

2 PRESS1R

yyi

PRED

yi : nilai respon pada x=xi (data lengkap)

: nilai ramalan y pd x=xi yg diramal

melalui dugaan persamaan regresi

dari data tanpa amatan ke-i

Model valid jika memiliki PRESS yg kecil

iiy ,ˆ

2

1 1

n

i ii

i

h

e=

R2pred adalah statistik la-

innya yg berhub dg PRESS. Model valid jika R2

pred besar.


(lanjutan)PROSEDUR PRESS

Mis. k adalah banyaknya peubah dalam suatu persamaan regresi,

n adalah banyaknya amatan

kyy 11ˆ

nknkk yyyyyy ˆ ..., ,ˆ ,ˆ3322

2

1

ˆ

n

i

iki yyPRESS

Langkah-langkahnya:

1. Sisihkan amatan ke-1, amatan ke-1 tidak digunakan, data tinggal n-1.

2. Dugalah semua ”kemungkinan model regresi” thdp n-1 data tersebut. (jika

k=1 banyaknya ”kemungkinan model” hanya 1)

3. Ramal y1 dengan model yang didapat pd no.2. (lakukan untuk semua

kemungkinan model hanya 1 jika k=1)

4. Hitung perbedaan y1 yg disisihkan tadi dengan hasil no.3.

5. Ulangi langkah 1-4 dengan menyisihkan amatan ke-2, ke-3,...., ke-n.

Didapat

6. Untuk setiap model regresi yang mungkin hitung :

7. Pilih model yang relatif memiliki nilai PRESS terkecil, dan melibatkan

peubah penjelas sedikit.

Validitas Model


(lanjutan)

Y XDugaan Garis Regresi dg Data tanpa

amatan ke-i

ramalan Yi tnp

amatan ke-i ei,-i e i,-i kuadrat

7,46 10 Y tnp 1 = 3,01 + 0,505 X tnp 1 8,06 -0,6 0,36

6,77 8 Y tnp 2 = 3,05 + 0,497 X tnp 2 7,026 -0,256 0,06553

12,74 13 Y tnp 3 = 4,01 + 0,345 X tnp 3 8,495 4,245 18,02003

7,11 9 Y tnp 4 = 3,04 + 0,500 X tnp 4 7,54 -0,43 0,18490

7,81 11 Y tnp 5 = 2,95 + 0,514 X tnp 5 8,604 -0,794 0,63043

8,84 14 Y tnp 6 = 2,46 + 0,577 X tnp 6 10,538 -1,698 2,88320

6,08 6 Y tnp 7 = 2,97 + 0,502 X tnp 7 5,982 0,098 0,00960

5,39 4 Y tnp 8 = 2,72 + 0,526 X tnp 8 4,824 0,566 0,32035

8,15 12 Y tnp 9 = 2,84 + 0,528 X tnp 9 9,176 -1,026 1,05267

6,42 7 Y tnp 10 = 3,03 + 0,498 X tnp10 6,516 -0,096 0,00921

5,73 5 Y tnp 11 = 2,88 + 0,511 X tnp11 5,435 0,295 0,08703

Total = PRESS = 23,6229

Contoh Proses PRESS, untuk n=11 dan k=1

Validitas Model


Output Minitab untuk data contoh tsb

(lanjutan)

The regression equation isY = 3,00 + 0,500 X

Predictor Coef SE Coef T PConstant 3,002 1,124 2,67 0,026X 0,4997 0,1179 4,24 0,002

S = 1,23631 R-Sq = 66,6% R-Sq(adj) = 62,9%

PRESS = 23,6210 R-Sq(pred) = 42,70%

Analysis of VarianceSource DF SS MS F PRegression 1 27,470 27,470 17,97 0,002Residual Error 9 13,756 1,528Total 10 41,226

• Hasil PRESS melalui proses

= hasil Minitab

• Untuk k=1 hanya ada 1 model

• Amatan ke-3 memberikan

simpangan ramalan terbesar

• Amatan ke-3 dapat dipandang

sebagai amatan berpengaruh

• Dugaan parameter regresi

tanpa amatan ke-3 sangat

berbeda dg lainnya dugaan

yg ini relatif yg benar/baik

Keluarkan amatan ke-3 dari analisis. Cek nilai PRESS-nya. Cek nilai R2nya

Validitas Model



Y tnp 3 = 4,01 + 0,345 X tnp 3


Constant 4,00619 0,00221 1811,78 0,000

X tnp 3 0,345334 0,000237 1454,74 0,000

S = 0,00308655 R-Sq = 100,0

PRESS = 0,000174853 R-Sq(pred) = 100,00%

Analysis of Variance

Source DF SS MS F P

Regression 1 20,161 20,161 2116264,34 0,000

Residual Error 15 0,000 0,000

Total 16 20,161

Output Minitab data lengkap Output Minitab data tanpa amatan ke-3


Y = 3,00 + 0,500 X


Constant 3,002 1,124 2,67 0,026

X 0,4997 0,1179 4,24 0,002

S = 1,23631 R-Sq = 66,6%

PRESS = 23,6210 R-Sq(pred) = 42,70%

Analysis of Variance

Source DF SS MS F P

Regression 1 27,470 27,470 17,97 0,002

Residual Error 9 13,756 1,528

Total 10 41,226

(lanjutan)

Menyisihkan amatan ke-3 mempengaruhi dugaan parameter, menurunkan nilai PRESS

Dari sisi model, “persamaan tanpa amatan ke-3” yg terbaik.

R-Sq(pred)=100,00% model sangat valid PELUANG salah memprediksi = 0

Validitas Model


X

Y

15,012,510,07,55,0

13

12

11

10

9

8

7

6

5

4

Fitted Line PlotY = 3,002 + 0,4997 X

X tnp 3

Y t

np

3

15,012,510,07,55,0

9

8

7

6

5

Fitted Line PlotY tnp 3 = 4,006 + 0,3453 X tnp 3

(lanjutan)

Dugaan garis regresi dg data lengkap

PRESS = 23,6210 R-Sq(pred) = 42,70%

Dugaan garis regresi tanpa amatan ke-3

PRESS = 0,000174853 R-Sq(pred) = 100,0%

Semakin kecil nilai PRESS-nya model semakin valid semakin baik untuk

memprediksi. Setiap 1 model regresi thdp 1 set data memiliki 1 nilai PRESS

Validitas Model


ASUMSI ASUMSI YANG HARUS DIPENUHI DALAM ANALISIS REGRESI BERGANDA :

1. Kondisi Gauss-Marcov

siautokorela adabebas/tdk saling ji ,0][ 3.

)ticity homoscedas (

xnilai setiapuntuk homogen sisaan ragam ,][var ]E[ 2.

nol sisaan taan harapan/ra-nilai 0][ .1

22

i

sisaanE

E

ji

i

3. Galat bebas terhadap peubah bebas,

2. Galat menyebar Normal

i ,0),cov(xi j

4. Tidak ada multikolinieritas pd peubah bebas, ji ,0)x,cov(x ji

analisis regresi 1 - stat.ipb.ac.id · berganda analisis regresi 2 tujuan instruksional khusus:...

Documents