regresi stepwise backward forward fix

Upload: rindangsukmanita

Post on 30-Oct-2015

123 views

Category:

Documents


1 download

TRANSCRIPT

REGRESI STEPWISE, BACKWARD, FORWARDRegresi Stepwise merupakan salah satu metode untuk mengatasi adanya kasus multikolinieritas, yaitu suatu kondisi dimana terjadi korelasi yang kuat diantara varia-bel-variabel bebas (X). Untuk mendeteksi adanya kasus multikolinieritas dapat dilihat dari besarnya nilai VIF yang lebih dari 10. Metode Stepwise merupakan gabungan dari metode backward elimination dan forward selection.

Model dalam regresi Stepwise adalah:

Y = 0 + 1X1 + 2X2 + 3X3 + . + nXn

Sedangkan Hipotesis yang digunakan dalam Regresi Stepwise adalah:

H0 : 1, 2, 3 = 0

Dengan hipotesis alternatif adalah:

Ha : 1, 2, 3 0

Untuk itu akan dibahas metode backward elimination, forward selection, dan stepwise regression. Metode Backward Elimination

Metode backward bekerja dengan mengeluarkan satu per satu variabel prediktor yang ti-dak signifikan dan dilakukan terus menerus sampai tidak ada variabel prediktor yang ti-dak signifikan, langkah-langkah metode backward adalah sebagai berikut :1. Membuat model dengan meregresikan variabel respon Y dengan semua variabel prediktor.2. Mengeluarkan satu persatu dengan melakukan pengujian terhadap parameternya de-ngan menggunakan partial F test. Nilai Fparsial terkecil dibandingkan dengan Ftabel :

Jika Fparsial < Ftabel, maka X yang bersangkutan dikeluarkan dari model dan di-lanjutkan dengan pembuatan model baru tanpa variabel tersebut. Jika Fparsial > Ftabel, maka proses dihentikan artinya tidak ada variabel yang perlu dikeluarkan dan persamaan terakhir tersebut yang digunakan/dipilih.Contoh Kasus : Apendix B (Drapper and Smith)No.X1X2X3X4Y

172666078.5

2129155274.3

31156820104.3

4113184787.6

575263395.9

61155922109.2

7371176102.7

8131224472.5

9254182293.1

102147426115.9

11140233483.8

121166912113.3

131068812109.4

1. Meregresikan variabel Y dengan X1, X2, X3, X4Regression Analysis: y versus x1; x2; x3; x4

The regression equation is

y = 62,4 + 1,55 x1 + 0,510 x2 + 0,102 x3 - 0,144 x4

Predictor Coef SE Coef T P VIFConstant 62,41 70,07 0,89 0,399

x1 1,5511 0,7448 2,08 0,071 38,496

x2 0,5102 0,7238 0,70 0,501 254,423

x3 0,1019 0,7547 0,14 0,896 46,868

x4 -0,1441 0,7091 -0,20 0,844 282,513

S = 2,44601 R-Sq = 98,2% R-Sq(adj) = 97,4%

Analysis of Variance

Source DF SS MS F P

Regression 4 2667,90 666,97 111,48 0,000

Residual Error 8 47,86 5,98

Total 12 2715,76

2. Memilih variabel prediktor yang akan dikeluarkanPrediktor X3 memiliki nilai Fparsial sebesar (0,14)2 yaitu 0,0196 yang terendah. Pout ditentukan sebesar 0,1, maka F(1,v,out) = F(1, 8, 0.1) = 3,46. Karena nilai Fparsial sebesar 0,0196 yang berarti kurang dari F(1, 8, 0.1), maka prediktor X3 harus dikeluarkan dari model.3. Meregresikan Y tanpa X3 (Y dengan X1, X2, X4)

Regression Analysis: y versus x1; x2; x4

The regression equation is

y = 71,6 + 1,45 x1 + 0,416 x2 - 0,237 x4

Predictor Coef SE Coef T P

Constant 71,65 14,14 5,07 0,001

x1 1,4519 0,1170 12,41 0,000

x2 0,4161 0,1856 2,24 0,052

x4 -0,2365 0,1733 -1,37 0,205S = 2,30874 R-Sq = 98,2% R-Sq(adj) = 97,6%

Analysis of Variance

Source DF SS MS F P

Regression 3 2667,79 889,26 166,83 0,000

Residual Error 9 47,97 5,33

Total 12 2715,76

4. Memilih prediktor untuk dikeluarkan

Prediktor X4 memiliki nilai Fparsial sebesar (-1,37)2 yaitu 1,8769 yang terendah. Nilai F(1,v,out) = F(1, 9, 0.1) = 3,36. Karena nilai Fparsial sebesar 1,8769 yang berarti kurang dari F(1, 9, 0.1), maka prediktor X4 harus dikeluarkan dari model.

5. Meregresikan Y tanpa X3, X4 (Y dengan X1, X2)

Regression Analysis: y versus x1; x2

The regression equation is

y = 52,6 + 1,47 x1 + 0,662 x2

Predictor Coef SE Coef T P

Constant 52,577 2,286 23,00 0,000

x1 1,4683 0,1213 12,10 0,000

x2 0,66225 0,04585 14,44 0,000 S = 2,40634 R-Sq = 97,9% R-Sq(adj) = 97,4%

Analysis of Variance

Source DF SS MS F P

Regression 2 2657,9 1328,9 229,50 0,000

Residual Error 10 57,9 5,8

Total 12 2715,8

6. Model Y sebagai fungsi X1 dan X2 menghasilkan nilai Fparsial terendah sebesar (12,10)2 yaitu 146,41. Nilai F(1,v,out) = F(1, 10, 0.1) = 3,29. Karena nilai Fparsial sebesar 146,41 lebih dari F(1, 10, 0.1), maka prediktor X4 tidak dikeluarkan dari model dan tahap ini selesai.

Dengan demikian model terbaik dari metode backward adalah dengan menggunakan 2 prediktor yaitu X1 dan X2 yang sudah tidak terdapat kasus multikolinieritas dengan model pada langkah 5, yaitu :

Regression Analysis: y versus x1; x2

The regression equation is

y = 52,6 + 1,47 x1 + 0,662 x2

Predictor Coef SE Coef T P VIFConstant 52,577 2,286 23,00 0,000

x1 1,4683 0,1213 12,10 0,000 1,055

x2 0,66225 0,04585 14,44 0,000 1,055

S = 2,40634 R-Sq = 97,9% R-Sq(adj) = 97,4%

Analysis of Variance

Source DF SS MS F P

Regression 2 2657,9 1328,9 229,50 0,000

Residual Error 10 57,9 5,8

Total 12 2715,8

Langkah-langkah metode backward elimination dengan menggunakan program Minitab yaitu :1. Memasukkan data pada Worksheet.

2. Klik Stat ( Regression ( pilih Stepwise.

3. Pada variabel Response masukkan Y, dan Predictors masukkan semua prediktor X1 sampai X4.

4. Klik tombol Methods ( pilih Backward Elimination. Pada kotak dialog paling atas terdapat dua cara, yaitu dengan menggunakan nilai alpha dan nilia F, pilih Use alpha values. Pada kotak dialog Alpha to remove diisi 0,1 ( Klik OK.

5. Klik OK, akan menghasilkan output sebagai berkut : Stepwise Regression: y versus x1; x2; x3; x4

Backward elimination. Alpha-to-Remove: 0,1

Response is y on 4 predictors, with N = 13Step 1 2 3

Constant 62,41 71,65 52,58

x1 1,55 1,45 1,47

T-Value 2,08 12,41 12,10

P-Value 0,071 0,000 0,000

x2 0,510 0,416 0,662

T-Value 0,70 2,24 14,44

P-Value 0,501 0,052 0,000

x3 0,10

T-Value 0,14

P-Value 0,896

x4 -0,14 -0,24

T-Value -0,20 -1,37

P-Value 0,844 0,205

S 2,45 2,31 2,41

R-Sq 98,24 98,23 97,87

R-Sq(adj) 97,36 97,64 97,44

Mallows Cp 5,0 3,0 2,7

Regresi stepwise dengan metode backward menggunakan Minitab menunjukkan beberapa step yaitu pada step pertama variabel yang digunakan adalah semua variabel X (X1, X2, X3, dan X4), dengan melihat P-value yang lebih dari 0,1 dan terbesar yaitu X3, maka pada step selanjutnya variabel X3 tidak diikutkan dalam model. Pada step kedua masih terdapat P-value yang > 0,1, yaitu X4 maka pada step selanjutnya variabel X4 dikeluarkan dari model. Pada step ketiga yang tersisa yaitu variabel X1 dan X2 yang memiliki P-value kurang dari 0,1 sehingga proses berhenti dan variabel yang dipilih atau digunakan dalam model yaitu X1 dan X2.Langkah-langkah metode backward dengan menggunakan program SPSS yaitu :1. Memasukkan data pada SPSS data editor.

2. Klik Analyze ( Regression ( pilih Linear.

3. Pada kotak dialog Dependent masukkan Y, Independent masukkan semua varia-bel prediktor X1 sampai X4. Klik pada Method akan muncul beberapa pilihan, pilih Backward.

4. Klik OK, akan muncul output sebagai berikut :

Variables Entered/Removed(b)ModelVariables EnteredVariables RemovedMethod

1X4, X3, X1, X2(a).Enter

2.X3Backward (criterion: Probability of F-to-remove >= ,100).

3.X4Backward (criterion: Probability of F-to-remove >= ,100).

a All requested variables entered.

b Dependent Variable: Y

Model 1 menunjukkan variabel yang dimasukkan yaitu semua variabel prediktor X1, X2, X3, dan X4. Model 2 menunjukkan variabel yang dikeluarkan dari model yaitu X3 dengan menggunakan nilai F-to remove sebesar 0,1, dan pada model 3 variabel yang dikeluarkan dari model yaitu X4.Coefficients(a)Model Unstandardized CoefficientsStandardized CoefficientstSig.

BStd. ErrorBeta

1(Constant)62,40570,071 ,891,399

X11,551,745,6072,083,071

X2,510,724,528,705,501

X3,102,755,043,135,896

X4-,144,709-,160-,203,844

2(Constant)71,64814,142 5,066,001

X11,452,117,56812,410,000

X2,416,186,4302,242,052

X4-,237,173-,263-1,365,205

3(Constant)52,5772,286 22,998,000

X11,468,121,57412,105,000

X2,662,046,68514,442,000

a Dependent Variable: Y

Pada model 1, P-value yang signifikan (< 0,1) hanya terdapat variabel X1, nilai P-value yang paling besar tidak signifikan akan dikeluatkan dari model yaitu X3. Model 2 tanpa menggunakan variabel X3 menunjukkan P-value yang tidak signifikan terdapat pada variabel X4, sehingga variabel X4 dikeluarkan dari model. Pada model 3 diperoleh nilai P-value X1, dan X2 sudah signifikan, sehingga tidak ada variabel yang perlu dikelu-arkan dari model dan variabel yang dipilih atau digunakan dalam model yaitu variabel X1, dan X2.Dari ketiga cara diatas, langkah-langkah manual, program Minitab, dan program SPSS menghasilkan model yang sama yaitu model dengan menggunakan variabel X1, dan X2 sebagai variabel prediktornya dan model terbaik yang diperoleh adalah :

Regression Analysis: y versus x1; x2

The regression equation is

y = 52,6 + 1,47 x1 + 0,662 x2

Predictor Coef SE Coef T P

Constant 52,577 2,286 23,00 0,000

x1 1,4683 0,1213 12,10 0,000

x2 0,66225 0,04585 14,44 0,000

S = 2,40634 R-Sq = 97,9% R-Sq(adj) = 97,4%

Analysis of Variance

Source DF SS MS F P

Regression 2 2657,9 1328,9 229,50 0,000

Residual Error 10 57,9 5,8

Total 12 2715,8

Metode Forward Selection Kebalikan dari metode backward, metode forward adalah pemodelan dimulai dari nol peubah (empty model), kemudian satu persatu peubah dimasukan sampai krite-ria tertentu dipenuhi. Langkah-langkah metode forward adalah sebagai berikut :

1. Membuat model dengan meregresikan variabel respon Y dengan setiap variabel prediktor. Kemudian dipilih model yang mempunyai nilai R2 tertinggi. Misal model tersebut adalah yang memuat prediktor Xa, yaitu .

2. Meregresikan variabel respon Y, dengan prediktor Xa, ditambah dengan setiap pre-diktor selain Xa dan prediktor lain. Kemudian dipilih model yang nilai R2 nya ter-tinggi, misal mengandung tambahan prediktor Xb, yaitu model . Prediktor terpilih Xb berarti mempunyai Fsequensial tertinggi. Formula Fsequensial untuk Xb adalah . Nilai Fsequensial untuk Xb juga dapat diperoleh dengan cara mengkuadratkan nilai statistik uji T pre-diktor Xb.

3. Proses diulang sampai didapatkan Fsequensial > Fin. Nilai Fin = F(1,v,), sehingga model terbaik yang dipilih adalah model yang tidak mempunyai prediktor dengan Fsequensial < Fin.Contoh Kasus: Apendix B (Drapper and Smith)No.X1X2X3X4Y

172666078.5

2129155274.3

31156820104.3

4113184787.6

575263395.9

61155922109.2

7371176102.7

8131224472.5

9254182293.1

102147426115.9

11140233483.8

121166912113.3

131068812109.4

1. Meregresikan variabel Y dengan setiap variabel prediktor yaitu X1, X2, X3, dan X4. Regression Analysis: y versus x1

The regression equation is

y = 81,5 + 1,87 x1

Predictor Coef SE Coef T P

Constant 81,479 4,927 16,54 0,000

x1 1,8687 0,5264 3,55 0,005S = 10,7267 R-Sq = 53,4% R-Sq(adj) = 49,2%

Regression Analysis: y versus x2

The regression equation is

y = 57,4 + 0,789 x2

Predictor Coef SE Coef T P

Constant 57,424 8,491 6,76 0,000

x2 0,7891 0,1684 4,69 0,001

S = 9,07713 R-Sq = 66,6% R-Sq(adj) = 63,6%

Regression Analysis: y versus x3

The regression equation is

y = 110 - 1,26 x3

Predictor Coef SE Coef T P

Constant 110,203 7,948 13,87 0,000

x3 -1,2558 0,5984 -2,10 0,060

S = 13,2781 R-Sq = 28,6% R-Sq(adj) = 22,1%

d.Regression Analysis: y versus x4

The regression equation is

y = 118 - 0,738 x4

Predictor Coef SE Coef T P

Constant 117,568 5,262 22,34 0,000

x4 -0,7382 0,1546 -4,77 0,001

S = 8,96390 R-Sq = 67,5% R-Sq(adj) = 64,5%

2. Memilih model yang mempunyai nilai R2 tertinggi yaitu Y = 118 - 0,738 X4 dengan R2 sebesar 67,5% dan Fsequensial = T2 = (-4,77)2 = 22,7529. Nilai Fin = F(1,v,in) = F(1, 11, 0.05) = 4,48. Karena Fsequensial > Fin maka proses memilih variabel untuk membang-un model terbaik terus dilakukan.

3. Meregresikan variabel Y dan X4 dengan setiap variabel X1, X2, dan X3.

Regression Analysis: y versus x4; x1

The regression equation is

y = 103 - 0,614 x4 + 1,44 x1

Predictor Coef SE Coef T P Constant 103,097 2,124 48,54 0,000

x4 -0,61395 0,04864 -12,62 0,000 x1 1,4400 0,1384 10,40 0,000 S = 2,73427 R-Sq = 97,2% R-Sq(adj) = 96,7%

Regression Analysis: y versus x4; x2

The regression equation is

y = 94,2 - 0,457 x4 + 0,311 x2

Predictor Coef SE Coef T P VIF

Constant 94,16 56,63 1,66 0,127

x4 -0,4569 0,6960 -0,66 0,526 18,7

x2 0,3109 0,7486 0,42 0,687 18,7

S = 9,32137 R-Sq = 68,0% R-Sq(adj) = 61,6%

Regression Analysis: y versus x4; x3

The regression equation is

y = 131 - 0,725 x4 - 1,20 x3

Predictor Coef SE Coef T P VIF

Constant 131,282 3,275 40,09 0,000

x4 -0,72460 0,07233 -10,02 0,000 1,0

x3 -1,1999 0,1890 -6,35 0,000 1,0

S = 4,19211 R-Sq = 93,5% R-Sq(adj) = 92,2%

Memilih model yang mempunyai nilai R2 tertinggi yaitu Y = 103 - 0,614 X4 + 1,44 X1 dengan R2 sebesar 97,2%. dan Fsequensial = T2 = (10,40)2 = 108,16. Nilai Fin = F(1,v,in) = F(1, 10, 0.05) = 4,96. Karena Fsequensial > Fin maka proses memilih variabel untuk membangun model dilanjutkan dengan proses penambahan variabel prediktor untuk memperoleh model terbaik.4. Meregresikan variabel respon Y, dengan prediktor X4 dan X1 , ditambah dengan se-tiap prediktor X2 dan X3.Regression Analysis: y versus x4; x1; x2

The regression equation is

y = 71,6 - 0,237 x4 + 1,45 x1 + 0,416 x2

Predictor Coef SE Coef T P

Constant 71,65 14,14 5,07 0,001

x4 -0,2365 0,1733 -1,37 0,205

x1 1,4519 0,1170 12,41 0,000

x2 0,4161 0,1856 2,24 0,052

S = 2,30874 R-Sq = 98,2% R-Sq(adj) = 97,6%

Regression Analysis: y versus x4; x1; x3

The regression equation is

y = 112 - 0,643 x4 + 1,05 x1 - 0,410 x3

Predictor Coef SE Coef T P

Constant 111,684 4,562 24,48 0,000

x4 -0,64280 0,04454 -14,43 0,000

x1 1,0519 0,2237 4,70 0,001

x3 -0,4100 0,1992 -2,06 0,070

S = 2,37665 R-Sq = 98,1% R-Sq(adj) = 97,5%

Model yang mempunyai nilai R2 tertinggi yaitu Y = 71,6 - 0,237 X4 + 1,45 X1 + 0,416 X2 dengan R2 sebesar 97,2%, dan Fsequensial = T2 = (10,40)2 = 1,876. Nilai Fin=F(1,v,)=F(1,9,0.1)=3,36, nilai Fsequensial pada prediktor X4 lebih kecil dari Fin. Sehingga prediktor proses sudah berhenti, dan prediktor yang dipilih/digunakan dalam model adalah X1 dan X4.Pemilihan model terbaik dengan metode forward selection adalah menggunakan 2 prediktor yaitu X1 dan X4, dimana model tersebut sudah memenuhi asumsi tidak terjadi kasus multiko-linearitas yang ditunjukkan pada langkah 3, yaitu :

Regression Analysis: y versus x4; x1

The regression equation is

y = 103 - 0,614 x4 + 1,44 x1

Predictor Coef SE Coef T P VIFConstant 103,097 2,124 48,54 0,000

x4 -0,61395 0,04864 -12,62 0,000 1,1

x1 1,4400 0,1384 10,40 0,000 1,1

S = 2,73427 R-Sq = 97,2% R-Sq(adj) = 96,7%

Analysis of Variance

Source DF SS MS F P

Regression 2 2641,0 1320,5 176,63 0,000

Residual Error 10 74,8 7,5

Total 12 2715,8

Langkah-langkah metode forward selection dengan menggunakan program Minitab yaitu :1. Memasukkan data pada Worksheet.

2. Klik Stat ( Regression ( pilih Stepwise.

3. Pada variabel Response masukkan Y, dan Predictors masukkan semua prediktor X1 sampai X4.

4. Klik tombol Methods ( pilih Forward Selection. Pada kotak dialog paling atas terdapat dua cara, yaitu dengan menggunakan nilai alpha dan nilia F, pilih Use alpha values. Pada kotak dialog Alpha to remove diisi 0,05 ( Klik OK.

5. Klik OK, akan menghasilkan output sebagai berkut : Stepwise Regression: y versus x1; x2; x3; x4

Forward selection. Alpha-to-Enter: 0,05

Response is y on 4 predictors, with N = 13

Step 1 2

Constant 117,6 103,1

x4 -0,738 -0,614

T-Value -4,77 -12,62

P-Value 0,001 0,000

x1 1,44

T-Value 10,40

P-Value 0,000

S 8,96 2,73

R-Sq 67,45 97,25

R-Sq(adj) 64,50 96,70

Mallows C-p 138,7 5,5

Regresi stepwise dengan menggunakan metode forward selection pada kasus di atas menunjukkan bahwa untuk pemilihan model terbaik dilakukan 2 langkah/step. Langkah per-tama variabel X4 terpilih untuk dimasukkan ke dalam model. Pada variabel X4, besarnya T2 yaitu 22,7529 > F(1, 11, 0.05) yaitu sebesar 4,48, maka diperlukan tahap kedua untuk memasuk-kan variabel prediktor lain ke model. Langkah kedua ditambahkan variabel X1 ke dalam mo-del. Dengan T2 yaitu 108,16 < F(1, 10, 0.05) yaitu sebesar 4,96, maka langkah berikutnya tidak diperlukan lagi, sehingga variabel yang digunakan dalam model adalah X1 dan X4.Langkah-langkah metode forward selection dengan menggunakan program SPSS yaitu :1. Memasukkan data pada SPSS data editor.

2. Klik Analyze ( Regression ( pilih Linear.

3. Pada kotak dialog Dependent masukkan Y, Independent masukkan semua varia-bel prediktor X1 sampai X4. Klik pada Method akan muncul beberapa pilihan, pilih Forward.

4. Klik OK, akan muncul output sebagai berikut :Variables Entered/Removeda

ModelVariables EnteredVariables RemovedMethod

1X4.Forward (Criterion: Probability-of-F-to-enter F(1,12,0,1) maka X2 tidak perlu dikeluarkan dari model. Dengan demikian model terbaik adalah :#CARA 2

Dengan menggunakan fasilitas yang disiapkan MINITAB yaitu :

Klik Stat Regression Stepwise

Isi kotak dialog response dengan variabel Y dan predictor dengan variabel X1, X2, X3, X4, dan X5.

Klik Methods Backward Elimination

Isi kotak dialog Alpha to remove dengan nilai yang telah ditentukan yaitu 0,10 (10%).

Outputnya adalah sebagai berikut :

Regresi stepwise dengan metode backward menggunakan Minitab menunjukkan beberapa step yaitu pada step pertama variabel yang digunakan adalah semua variabel X dengan melihat P-value yang yang lebih dari 0,1 dan terbesar yaitu X5, maka pada step selanjutnya variabel X5 tidak diikutkan dalam model. Pada step kedua masih terdapat P-value yang > 0,1 yaitu X3 maka pada step selanjutnya variabel X3 dikeluarkan dari model. Pada step ketiga yang tersisa yaitu variabel X1 dan X2 yang memiliki P-value kurang dari 0,1 sehingga proses berhenti dan variabel yang dipilih atau digunakan dalam model yaitu X1 dan X2.B. FORWARD SELECTION

Cara yang digunakan pada forward selection ada beberapa cara, yaitu :

#CARA I

1. Model regresi Y dengan setiap predictor

Yang dipilih adalah model yang melibatkan X1 karena mempunyai R2 tertinggi yaitu 83,8%. Bentuk model yaitu Y = 126 + 3,89 X12. Penambahan setiap predictor selain X1 satu persatu pada model Y = 126 + 3,89 X1

Yang dipilih untuk dimasukkan atau ditambahkan adalah prediktor X2, karena mempunyai tambahan Fsequensial ter-tinggi, yaitu sebesar 2711/92 = 29,467 atau didapatkan dari (5,42)2 = 29,4. Perbedaan terjadi karena pembulatan. Pilihan pada X2 ini juga dapat dideteksi dari R2 model Y = 73.7 + 2.33 X1 + 0.539 X2 sebesar 95,3% merupakan nilai tertinggi diantara model dengan dua prediktor.

3. Pemodelan dengan menambahkan satu predictor selain X1 dan X2

Prediktor X3, X4, X5 menghasilkan Seq SS masing-masing sebesar 235881 dan 367483. Adapun nilai Fsequenensial masing-masing adalah (-0,91)2, (0.53)2 dan (0,41)2. Bila nilai F(1,11,0.1) = 3,23, maka Fsequenensial prediktor X3, X4, X5 lebih kecil dari pada Fin, sehingga tidak perlu dimasukkan ke dalam model. Dengan demikian model terbaik adalah :

#CARA 2

Dengan menggunakan fasilitas yang disiapkan MINITAB yaitu :

Klik Stat Regression Stepwise

Isi kotak dialog response dengan variabel Y dan prediktor dengan variabel X1, X2, X3, X4, dan X5.

Klik Methods Forward Selection

Isi kotak dialog Alpha to enter dengan nilai yang telah ditentukan yaitu 0,10 (10%). Outputnya adalah sebagai berikut :Regresi stepwise dengan metode forward selection menggunakan Minitab menunjukkan ada dua step. Langkah pertama variable X1 terpilih untuk dimasukkan ke dalam model. Pada variable X1, besarnya T2 yaitu 35,2836> F(1,13,0.1) yaitu sebesar 3,14, maka diperlukan tahap kedua untuk memasukkan variable predictor lain ke model. Langkah kedua ditambahkan variabel X2 ke dalam model. Hasilnya menjadi :

C. STEPWISE REGRESSION

Cara yang digunakan pada stepwise regression ada beberapa cara, yaitu :

#CARA I

1. Model regresi Y dengan setiap predictor

Korelasi yang paling besar terdapat pada predictor X1 yaitu sebesar 0,916 sehingga variabel X1 dipertahankan dalam model. Modelnya yaitu

Y = 126 + 3,89 X12. Menghitung korelasi parsial

Korelasi antara X2* dengan Y* atau korelasi parsial antara X2 dengan Y yang terkoreksi oleh X1 dinotasikan r2Y,1 adalah sebesar -0,620. Ini merupakan nilai korelasi parsial terbesar, maka X2 dimasukkan ke dalam model.

3. Meregresikan Y terhadap X1 dan X2Predictor X1 dan X2 keduanya berpengaruh secara bermakna, maka keduanya dipertahankan berada didalam model.

4. Menghitung korelasi parsial lanjutan

Selanjutnya dihitung korelasi parsial dengan dua variabel pengoreksi, yaitu X1 dan X2. Hasilnya ditampilkan sebagai berikut:

Tampak bahwa r3Y,12 = -0,057, r4Y,12 = 0,157 dan r5Y,12 = 0,123. Nilai yang kecil dan tidak bermakna, ditandai oleh nilai P masing-masing 0,839, 0,575 dan 0,663 yang nilainya lebih besar dari = 0,10 maka tidak perlu dimasukkan ke dalam model. Sehingga model yang dipilih dengan menggunakan X1 dan X2 yaitu

#CARA 2

Dengan menggunakan fasilitas yang disiapkan MINITAB yaitu :

Klik Stat Regression Stepwise

Isi kotak dialog response dengan variabel Y dan prediktor dengan variabel X1, X2, X3, X4, dan X5.

Klik Methods Stepwise

Lalu pilih use alpha value isi kotak dialog Predictor in initial model dengan variabel X1, X2, X3, X4, dan X5. Isi jug kotak dialog Alpha to enter dan Alpha to remove dengan 0,10 (10%).

Outputnya adalah sebagai berikut:

Pada step pertama regresi stepwise menggunakan Minitab, variabel yang digunakan adalah variabel X1 kemudian pada step kedua menambahkan variabel X2 sebagai prediktor, dengan melihat P-value yang signifikan sehingga proses berhenti model X1 dan X2 yaitu

DAFTAR PUSTAKADraper, N dan Smith, H. (1992). Analisis Regresi Terapan Edisi Kedua.Jakarta: PT. Gramedia Pustaka Utama.

The regression equation is

y = 64.7 + 2.03 x1 + 0.552 x2 + 2.44 x3 + 0.91 x4 + 0.61 x5

Predictor Coef SE Coef T P

Constant 64.66 27.27 2.37 0.042

x1 2.0257 0.9097 2.23 0.053

x2 0.5523 0.1216 4.54 0.001

x3 2.439 9.340 0.26 0.800

x4 0.910 2.067 0.44 0.670

x5 0.610 3.642 0.17 0.871

S = 10.8830 R-Sq = 95.5% R-Sq(adj) = 93.0%

Analysis of Variance

Source DF SS MS F P

Regression 5 22561.4 4512.3 38.10 0.000

Residual Error 9 1066.0 118.4

Total 14 23627.3

The regression equation is

y = 66.1 + 1.96 x1 + 0.554 x2 + 2.75 x3 + 1.04 x4

Predictor Coef SE Coef T P

Constant 66.11 24.57 2.69 0.023

x1 1.9619 0.7850 2.50 0.031

x2 0.5539 0.1151 4.81 0.001

x3 2.745 8.703 0.32 0.759

x4 1.037 1.828 0.57 0.583

S = 10.3407 R-Sq = 95.5% R-Sq(adj) = 93.7%

Analysis of Variance

Source DF SS MS F P

Regression 4 22558.0 5639.5 52.74 0.000

Residual Error 10 1069.3 106.9

Total 14 23627.3

Regression Analysis: Y versus X1; X2; X3

The regression equation is

Y = 75,8 + 2,34 X1 + 0,535 X2 - 1,03 X3

Predictor Coef SE Coef T P VIF

Constant 75,77 17,17 4,41 0,001

X1 2,3366 0,4115 5,68 0,000 2,213

X2 0,5345 0,1065 5,02 0,000 2,296

X3 -1,033 5,432 -0,19 0,853 1,058

S = 10,0170 R-Sq = 95,3% R-Sq(adj) = 94,1%

Analysis of Variance

Source DF SS MS F P

Regression 3 22523,6 7507,9 74,82 0,000

Residual Error 11 1103,7 100,3

Total 14 23627,3

Regression Analysis: y versus x1, x2

The regression equation is

y = 73.7 + 2.33 x1 + 0.539 x2

Predictor Coef SE Coef T P

Constant 73.69 12.70 5.80 0.000

x1 2.3266 0.3914 5.94 0.000

x2 0.53911 0.09946 5.42 0.000

S = 9.60631 R-Sq = 95.3% R-Sq(adj) = 94.5%

Analysis of Variance

Source DF SS MS F P

Regression 2 22520 11260 122.02 0.000

Residual Error 12 1107 92

Total 14 23627

Y = 73,7 + 2,33 X1 + 0,539 X2

Stepwise Regression: y versus x1, x2, x3, x4, x5

Backward elimination. Alpha-to-Remove: 0.1

Response is y on 5 predictors, with N = 15

Step 1 2 3 4

Constant 64.66 66.11 72.51 73.69

x1 2.03 1.96 2.13 2.33

T-Value 2.23 2.50 3.90 5.94

P-Value 0.053 0.031 0.002 0.000

x2 0.552 0.554 0.541 0.539

T-Value 4.54 4.81 5.27 5.42

P-Value 0.001 0.001 0.000 0.000

x3 2.4 2.7

T-Value 0.26 0.32

P-Value 0.800 0.759

x4 0.9 1.0 0.6

T-Value 0.44 0.57 0.53

P-Value 0.670 0.583 0.608

x5 0.6

T-Value 0.17

P-Value 0.871

S 10.9 10.3 9.91 9.61

R-Sq 95.49 95.47 95.43 95.31

R-Sq(adj) 92.98 93.66 94.18 94.53

Mallows Cp 6.0 4.0 2.1 0.3

Regression Analysis: y versus x1

The regression equation is

y = 126 + 3.89 x1

Predictor Coef SE Coef T P

Constant 126.03 14.72 8.56 0.000

x1 3.8866 0.4733 8.21 0.000

S = 17.1385 R-Sq = 83.8% R-Sq(adj) = 82.6%

Analysis of Variance

Source DF SS MS F P

Regression 1 19809 19809 67.44 0.000

Residual Error 13 3818 294

Total 14 23627

Regression Analysis: Y versus X2

The regression equation is

Y = 63,2 + 0,974 X2

Predictor Coef SE Coef T P VIF

Constant 63,19 24,00 2,63 0,021

X2 0,9738 0,1286 7,57 0,000 1,000

S = 18,3296 R-Sq = 81,5% R-Sq(adj) = 80,1%

Analysis of Variance

Source DF SS MS F P

Regression 1 19260 19260 57,32 0,000

Residual Error 13 4368 336

Total 14 23627

Regression Analysis: Y versus X3

The regression equation is

Y = 259 - 11,8 X3

Predictor Coef SE Coef T P VIF

Constant 258,81 34,73 7,45 0,000

X3 -11,78 22,23 -0,53 0,605 1,000

S = 42,1790 R-Sq = 2,1% R-Sq(adj) = 0,0%

Analysis of Variance

Source DF SS MS F P

Regression 1 499 499 0,28 0,605

Residual Error 13 23128 1779

Total 14 23627

Regression Analysis: Y versus X5

The regression equation is

Y = 277 - 12,8 X5

Predictor Coef SE Coef T P VIF

Constant 277,44 35,10 7,90 0,000

X5 -12,77 11,84 -1,08 0,300 1,000

S = 40,8441 R-Sq = 8,2% R-Sq(adj) = 1,2%

Analysis of Variance

Source DF SS MS F P

Regression 1 1940 1940 1,16 0,300

Residual Error 13 21687 1668

Total 14 23627

Regression Analysis: Y versus X4

The regression equation is

Y = 153 + 7,88 X4

Predictor Coef SE Coef T P VIF

Constant 153,07 23,21 6,60 0,000

X4 7,880 1,965 4,01 0,001 1,000

S = 28,5036 R-Sq = 55,3% R-Sq(adj) = 51,9%

Analysis of Variance

Source DF SS MS F P

Regression 1 13065 13065 16,08 0,001

Residual Error 13 10562 812

Total 14 23627

Regression Analysis: Y versus X1; X2

The regression equation is

Y = 73,7 + 2,33 X1 + 0,539 X2

Predictor Coef SE Coef T P VIF

Constant 73,69 12,70 5,80 0,000

X1 2,3266 0,3914 5,94 0,000 2,177

X2 0,53911 0,09946 5,42 0,000 2,177

S = 9,60631 R-Sq = 95,3% R-Sq(adj) = 94,5%

Analysis of Variance

Source DF SS MS F P

Regression 2 22520 11260 122,02 0,000

Residual Error 12 1107 92

Total 14 23627

Source DF Seq SS

X1 1 19809

X2 1 2711

Regression Analysis: y versus x1, x3

The regression equation is

y = 137 + 3.86 x1 - 7.23 x3

Predictor Coef SE Coef T P

Constant 137.44 20.83 6.60 0.000

x1 3.8632 0.4813 8.03 0.000

x3 -7.226 9.187 -0.79 0.447

S = 17.3956 R-Sq = 84.6% R-Sq(adj) = 82.1%

Analysis of Variance

Source DF SS MS F P

Regression 2 19996.0 9998.0 33.04 0.000

Residual Error 12 3631.3 302.6

Total 14 23627.3

Source DF Seq SS

x1 1 19808.9

x3 1 187.2

Regression Analysis: y versus x1, x4

The regression equation is

y = 125 + 3.75 x1 + 0.43 x4

Predictor Coef SE Coef T P

Constant 125.28 15.70 7.98 0.000

x1 3.7487 0.8119 4.62 0.001

x4 0.433 2.027 0.21 0.835

S = 17.8046 R-Sq = 83.9% R-Sq(adj) = 81.2%

Analysis of Variance

Source DF SS MS F P

Regression 2 19823.3 9911.7 31.27 0.000

Residual Error 12 3804.0 317.0

Total 14 23627.3

Source DF Seq SS

x1 1 19808.9

x4 1 14.4

Regression Analysis: Y versus X1; X5

The regression equation is

Y = 121 + 3,93 X1 + 1,20 X5

Predictor Coef SE Coef T P VIF

Constant 121,50 25,79 4,71 0,001

X1 3,9253 0,5226 7,51 0,000 1,130

X5 1,198 5,484 0,22 0,831 1,130

S = 17,8030 R-Sq = 83,9% R-Sq(adj) = 81,2%

Analysis of Variance

Source DF SS MS F P

Regression 2 19824,0 9912,0 31,27 0,000

Residual Error 12 3803,4 316,9

Total 14 23627,3

Source DF Seq SS

X1 1 19808,9

X5 1 15,1

Regression Analysis: y versus x1, x2, x3

The regression equation is

y = 75.8 + 2.34 x1 + 0.535 x2 - 1.03 x3

Predictor Coef SE Coef T P

Constant 75.77 17.17 4.41 0.001

x1 2.3366 0.4115 5.68 0.000

x2 0.5345 0.1065 5.02 0.000

x3 -1.033 5.432 -0.19 0.853

S = 10.0170 R-Sq = 95.3% R-Sq(adj) = 94.1%

Analysis of Variance

Source DF SS MS F P

Regression 3 22523.6 7507.9 74.82 0.000

Residual Error 11 1103.7 100.3

Total 14 23627.3

Source DF Seq SS

x1 1 19808.9

x2 1 2711.1

x3 1 3.6

Regression Analysis: y versus x1, x2, x4

The regression equation is

y = 72.5 + 2.13 x1 + 0.541 x2 + 0.60 x4

Predictor Coef SE Coef T P

Constant 72.51 13.29 5.45 0.000

x1 2.1321 0.5462 3.90 0.002

x2 0.5406 0.1026 5.27 0.000

x4 0.597 1.128 0.53 0.608

S = 9.90837 R-Sq = 95.4% R-Sq(adj) = 94.2%

Analysis of Variance

Source DF SS MS F P

Regression 3 22547.4 7515.8 76.55 0.000

Residual Error 11 1079.9 98.2

Total 14 23627.3

Source DF Seq SS

x1 1 19808.9

x2 1 2711.1

x4 1 27.4

Regression Analysis: y versus x1, x2, x5

The regression equation is

y = 68.9 + 2.37 x1 + 0.539 x2 + 1.26 x5

Predictor Coef SE Coef T P

Constant 68.91 17.58 3.92 0.002

x1 2.3668 0.4174 5.67 0.000

x2 0.5393 0.1031 5.23 0.000

x5 1.258 3.068 0.41 0.690

S = 9.95762 R-Sq = 95.4% R-Sq(adj) = 94.1%

Analysis of Variance

Source DF SS MS F P

Regression 3 22536.6 7512.2 75.76 0.000

Residual Error 11 1090.7 99.2

Total 14 23627.3

Source DF Seq SS

x1 1 19808.9

x2 1 2711.1

x5 1 16.7

Y = 73,7 + 2,33 X1 + 0,539 X2

Stepwise Regression: y versus x1, x2, x3, x4, x5

Forward selection. Alpha-to-Enter: 0.1

Response is y on 5 predictors, with N = 15

Step 1 2

Constant 126.03 73.69

x1 3.89 2.33

T-Value 8.21 5.94

P-Value 0.000 0.000

x2 0.539

T-Value 5.42

P-Value 0.000

S 17.1 9.61

R-Sq 83.84 95.31

R-Sq(adj) 82.60 94.53

Mallows Cp 21.2 0.3

Y = 73,7 + 2,33 X1 + 0,539 X2

Correlations: y, x1, x2, x3, x4, x5

y x1 x2 x3 x4

x1 0.916

0.000

x2 0.903 0.735

0.000 0.002

x3 -0.145 -0.062 -0.199

0.605 0.827 0.477

x4 0.744 0.796 0.574 -0.495

0.001 0.000 0.025 0.060

x5 -0.287 -0.339 -0.252 -0.111 -0.073

0.300 0.217 0.366 0.694 0.795

Correlations: y*, x2*, x3*, x4*, x5*

y* x2* x3* x4*

x2* -0.620

0.014

x3* -0.014 0.687

0.961 0.005

x4* -0.049 0.394 0.641

0.862 0.146 0.010

x5* 0.021 0.639 0.936 0.477

0.940 0.010 0.000 0.072

Regression Analysis: y versus x1, x2

The regression equation is

y = 73.7 + 2.33 x1 + 0.539 x2

Predictor Coef SE Coef T P

Constant 73.69 12.70 5.80 0.000

x1 2.3266 0.3914 5.94 0.000

x2 0.53911 0.09946 5.42 0.000

S = 9.60631 R-Sq = 95.3% R-Sq(adj) = 94.5%

Analysis of Variance

Source DF SS MS F P

Regression 2 22520 11260 122.02 0.000

Residual Error 12 1107 92

Total 14 23627

Correlations: y**, x3**, x4**, x5**

y** x3** x4**

x3** -0.057

0.839

x4** 0.157 -0.765

0.575 0.001

x5** 0.123 -0.145 0.345

0.663 0.606 0.208

Y = 73,7 + 2,33 X1 + 0,539 X2

Stepwise Regression: y versus x1, x2, x3, x4, x5

Alpha-to-Enter: 0.1 Alpha-to-Remove: 0.1

Response is y on 5 predictors, with N = 15

Step 1 2

Constant 126.03 73.69

x1 3.89 2.33

T-Value 8.21 5.94

P-Value 0.000 0.000

x2 0.539

T-Value 5.42

P-Value 0.000

S 17.1 9.61

R-Sq 83.84 95.31

R-Sq(adj) 82.60 94.53

Mallows Cp 21.2 0.3

Y = 73,7 + 2,33 X1 + 0,539 X2

40

_1312268149.unknown

_1312268151.unknown

_1312268152.unknown

_1312268150.unknown

_1312268148.unknown