bab 2 landasan teori -...

24
BAB 2 LANDASAN TEORI 2.1. Regresi 2.1.1. Pengertian Persamaan Regresi Persamaan regresi adalah persamaan matematik yang memungkinkan kita meramalkan nilai-nilai suatu peubah tak bebas dari nilai-nilai satu atau lebih peubah bebas (Walpole, 1995, p340 ). 2.1.2. Pengertian Regresi Linier dan Regresi Non Linier Secara umum, regresi adalah suatu metode untuk meramalkan nilai harapan yang bersyarat. Regresi dikatakan linear apabila hubungan antara peubah bebas dan peubah tak bebas adalah linear, sedangkan apabila hubungan antara peubah bebas dan peubah tak bebas tidak linear, maka regresi dikatakan regresi non linear. Hubungan antara peubah bebas dan peubah tak bebas dapat dikatakan linear apabila diagram pencar data dari peubah-peubah tersebut mendekati pola garis lurus. 2.1.3. Regresi Linier Sederhana 2.1.3.1.Pengertian Regresi Linier Sederhana Regresi Linear Sederhana adalah suatu persamaan regresi di mana peubah bebasnya berbentuk skalar.

Upload: lamcong

Post on 24-May-2019

215 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

BAB 2

LANDASAN TEORI

2.1. Regresi

2.1.1. Pengertian Persamaan Regresi

Persamaan regresi adalah persamaan matematik yang memungkinkan kita

meramalkan nilai-nilai suatu peubah tak bebas dari nilai-nilai satu atau lebih

peubah bebas (Walpole, 1995, p340 ).

2.1.2. Pengertian Regresi Linier dan Regresi Non Linier

Secara umum, regresi adalah suatu metode untuk meramalkan nilai

harapan yang bersyarat. Regresi dikatakan linear apabila hubungan antara peubah

bebas dan peubah tak bebas adalah linear, sedangkan apabila hubungan antara

peubah bebas dan peubah tak bebas tidak linear, maka regresi dikatakan regresi

non linear. Hubungan antara peubah bebas dan peubah tak bebas dapat dikatakan

linear apabila diagram pencar data dari peubah-peubah tersebut mendekati pola

garis lurus.

2.1.3. Regresi Linier Sederhana

2.1.3.1.Pengertian Regresi Linier Sederhana

Regresi Linear Sederhana adalah suatu persamaan regresi di mana peubah

bebasnya berbentuk skalar.

Page 2: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

9

2.1.3.2.Persamaan Regresi Linier Sederhana

Model Regresi Linear Sederhana dapat dinyatakan dalam persamaan :

(2.1)

Keterangan :

Yi : nilai peubah tak bebas pada percobaan ke-i

β0, β1 : koefisien regresi

Xi : nilai peubah bebas pada percobaan ke - i

єi : error dengan mean E{єi}=0 dan varians σ2{єi}= σ2

, єi & єj tidak berkorelasi.

i : 1,…,n

2.1.3.3.Pendugaan Koefisien Regresi

Metode kuadrat terkecil adalah suatu metode untuk menghitung koefisien

regresi sampel (b0 & b1) sebagai penduga koefisien regresi populasi (β0 & β1),

sedemikian rupa sehingga jumlah kesalahan kuadrat memiliki nilai terkecil.

Dengan bahasa matematik, dapat dinyatakan sebagai berikut :

Model sebenarnya : Yi = β0 + β1Xi + εi

Model perkiraan : Ŷi = b0 + b1Xi

Kesalahan error i : ei = Yi – (b0 + b1Xi)

Jumlah kesalahan kuadrat : ∑ei2

= ∑ [Yi – ( b0+ b1Xi)] 2

Jadi metode kuadrat terkecil adalah metode menghitung b0 dan b1 sedemikian

rupa sehingga ∑ei2 minimum. Caranya adalah dengan membuat turunan parsial

iii XY εββ ++= 10

Page 3: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

10

∑ei2 mula-mula terhadap b0 kemudian terhadap b1 dan menyamakannya dengan

nol, sehingga kita dapat memperoleh rumus :

(2.2.)

(2.3)

2.1.4. Regresi Linier Berganda

2.1.4.1.Pengertian Regresi Linier Berganda

Regresi Linear Berganda adalah regresi yang mempunyai hubungan antara

satu peubah tidak bebas Y dengan beberapa peubah lain yang bebas X1, X2,... ,Xk.

2.1.4.2.Persamaan Regresi Linier Berganda

Untuk meramalkan Y, apabila semua nilai peubah bebas diketahui,

dipergunakan model persamaan regresi linear berganda. Hubungan Y dan X1, X2,...

,Xk

yang sebenarnya adalah sebagai berikut :

(2.4)

Keterangan :

β0, β1, β2, βk : parameter / koefisien yang akan ditaksir

εi : nilai peubah gangguan yang berkaitan dengan pengamatan ke-i

i : 1, 2, 3, ..., n

xbyb 10 −=

∑ ∑∑ ∑ ∑

−= 221 )( XiXin

YiXiXiYinb

ikk XiXiXiYi εββββ +++++= ...22110

Page 4: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

11

Apabila b0, b1, b2, .... bk adalah penduga atas β0, β1, β2, .... βk maka persamaan

penaksir yang sebenarnya adalah :

(2.5)

Apabila dinyatakan dalam bentuk persamaan matriks, sebagai berikut :

(2.6)

Keterangan :

Y, β, ε : vector

X : matriks x

2.1.5. Pendugaan Koefisien Regresi Berganda

Koefisien β harus diestimasi berdasarkan data hasil penelitian sampel

acak. Prosedur estimasi tergantung mengenai variabel X dan kesalahan

pengganggu µ. Beberapa asumsi yang penting adalah sebagai berikut :

1. Nilai harapan setiap kesalahan pengganggu sama dengan nol E(µi) = 0

untuk semua i.

2. Kesalahan pengganggu yang satu tidak berkorelasi terhadap kesalahan

pengganggu lainnya E(µiµj) = 0 untuk i ≠ j, akan tetapi mempunyai

varians yang sama E(µi2) = σ2 untuk semua i.

3. X1, X2,... ,Xk merupakan bilangan riil, tanpa mengandung kesalahan.

4. Matriks X mempunyai rank k < n. Banyaknya observasi n harus lebih

banyak dari banyaknya peubah, atau lebih banyak dari koefisien regresi

parsial yang akan diestimasi.

eiXibXibXibbiY kk +++++= ...ˆ22110

εβ += XY

Page 5: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

12

Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode kuadrat

terkecil akan menghasilkan Best Linear Unbiased Estimator terhadap koefisien β.

Dengan menggunakan metode kuadrat terkecil maka b0 dan b1 merupakan

penduga tidak bias dan mempunyai varians minimum diantara semua penduga

linear tak bias. Berikut adalah rumusan penduga koefisien b :

Misalkan b sebagai penduga β :

Y = Xb + e

e = Y - Xb

ei = Yi - b1Xi1 - b2Xi2 - ... – bkXik

Maka jumlah pangkat dua simpangan yang harus diminimumkan :

∑ ei2 = ∑ ( Yi - b1Xi1 - b2Xi2 - ... - bkXik)2

Estimasi vektor β dengan menggunakan metode kuadrat terkecil, ialah

vektor b sedemikian rupa sehingga jumlah kuadrat kesalahan pengganggu :

(2.7)

Caranya ialah dengan menurunkan penurunan parsial ∑ ei2 terhadap setiap

komponen vektor b dan menyamakannya dengan 0.

(2.8)

min2∑ == eieeT

δ∑ei2/ δb1 = 2 ∑ ( Yi - - b1Xi1 - b2Xi2 - ... – bkXik ) (-X1i) = 0

δ∑ei2/ δb2 = 2 ∑ ( Yi - - b1Xi1 - b2Xi2 - ... – bkXik ) (-X2i) = 0

. .

. .

δ∑ei2/ δbk = 2 ∑ ( Yi - - b1Xi1 - b2Xi2 - ... – bkXik ) (-Xki) = 0

Page 6: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

13

Persamaan tersebut dapat disederhanakan menjadi :

(2.9)

Apabila dinyatakan di dalam bentuk matriks, persamaan normal di atas

akan menjadi :

(2.10)

Dengan demikian b sebagai penduga β dapat diperoleh melalui rumus :

(2.11)

2.1.6. Koefisien Korelasi

Koefisien korelasi merupakan suatu ukuran kuantitatif yang

menggambarkan kekuatan hubungan linear di antara 2 variabel. Koefisien korelasi

(r) mempunyai nilai di antara –1.0 dan +1.0. Suatu korelasi yang mempunyai nilai

+1.0 menunjukkan hubungan linear yang sempurna. Dan apabila nilai korelasi

adalah 0 berarti kedua peubah tidak mempunyai hubungan linear.

b1∑Xi12 + b2∑Xi1Xi2 + ... + bk∑Xi1Xik = ∑Xi1Yi

b2 ∑Xi2Xi1 + b2∑Xi12 + … + bk∑Xi2Xik = ∑Xi2Yi

. .

. .

.bk ∑XikXi1 + b2∑XikXi2 + ... + bk∑Xik 2 = ∑XikYi

YXXbX TT =

YXXXb TT 1)( −=

Page 7: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

14

Berikut adalah rumus untuk menghitung korelasi antara peubah bebas dan

peubah tak bebas :

(2.12)

Sedangkan untuk menghitung korelasi di antara dua peubah bebas

menggunakan rumus :

(2.13)

2.1.7. Koefisien Determinasi

Koefisien determinasi adalah ukuran variasi total pada peubah tak bebas

yang dapat dijelaskan oleh hubungannya dengan peubah bebas. Koefisien

determinasi juga disebut sebagai R2. Nilai dari R2 antara 0 dan 1.0. Apabila

terdapat suatu hubungan linear yang sempurna di antara dua peubah maka

koefisien determinasi akan bernilai 1.0 ( di mana garis regresi kuadrat terkecil

akan melalui setiap titik pada scatter plot ). R2 sering digunakan sebagai ukuran

untuk mengindikasikan seberapa baik garis regresi linear terhadap data. Semakin

baik maka R2 akan mendekati nilai +1.0 dan apabila terdapat hubungan linear

yang lemah maka R2 akan mendekati 0.

∑ ∑∑

−−

−−=

22 )()(

))((

yyxx

yyxxr

∑ ∑

= =

=

−−

−−=

n

i

n

iii

n

iii

xxxx

xxxxr

1

2

122

211

12211

)()(

))((

Page 8: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

15

Untuk menghitung koefisien determinasi digunakan rumus sebagai

berikut:

(2.14)

SSE ( Sum of Squares Error ) menunjukkan jumlah total kuadrat peubah

tak bebas yang tidak dijelaskan oleh garis regresi kuadrat terkecil. Sedangkan

SSR ( Sum of Squares Regression ) merupakan jumlah total kuadrat yang dapat

dijelaskan oleh garis regresi. Dan TSS ( Total Sum of Squares ) merupakan

jumlah dari SSE dan SSR.

(2.15)

(2.16)

(2.17)

(2.18)

Setelah menghitung koefisien determinasi, maka kita akan dapat

mengetahui seberapa besar variasi peubah tak bebas yang dapat dijelaskan oleh

model regresi.

2.1.8. Masalah Regresi Linier Berganda

Di dalam regresi linier berganda dapat terjadi beberapa keadaan yang

dapat menyebabkan estimasi koefisien regresi dengan menggunakan metode

kuadrat terkecil tidak lagi menjadi penduga koefisien tak bias terbaik. Beberapa

TSSSSRR =2

∑ −= 2)ˆ( yySSR

∑ −= 2)( yyTSS

∑ −= 2)ˆ( yySSE

SSRSSETSS +=

Page 9: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

16

masalah / kondisi yang dapat terjadi pada regresi linier berganda adalah sebagai

berikut :

2.1.8.1.Otokorelasi

Di dalam suatu model regresi, dianggap bahwa kesalahan pengganggu εi

,di mana i = 1,2,3,…,n merupakan variabel acak yang bebas. Dengan kata lain

bahwa kesalahan observasi yang berikutnya diperoleh secara bebas terhadap

kesalahan sebelumnya. Artinya E(εi,εi+r ) = 0, untuk semua i dan semua r ≠ 0.

Apabila asumsi tersebut tidak berlaku, maka akan terdapat banyak

kesukaran di dalam analisis ekonomi. Jika terjadi suatu otokorelasi, maka apabila

metode kuadrat terkecil diterapkan untuk memperkirakan parameter / koefisien

regresi, maka penduga penduga yang dihasilkan bukan lagi penduga tak bias yang

terbaik. Selain itu, apabila terjadi otokorelasi di antara kesalahan pengganggu

maka pengujian nyata berdasarkan statistik uji t dan F sebetulnya tidak berlaku

lagi.

Solusi untuk masalah otokorelasi adalah data asli harus ditransformasikan

terlebih dahulu untuk menghilangkan otokorelasi di antara kesalahan pengganggu

tersebut. Untuk menguji ada tidaknya otokorelasi dapat menggunakan Statistik d

Durbin-Watson (The Durbin-Watson d Statistics).

Statistik d Durbin-Watson adalah sebagai berikut :

(2.19) ∑

=

=−−

= n

ii

n

iii

e

eed

2

2

2

21 )(

Page 10: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

17

Keterangan :

d : statistik d Durbin dan Watson

ei : residu ( kesalahan penggangu)

Durbin dan Watson sudah membuat tabel yang disebut Statistik d Durbin-

Watson pada tingkat nyata 5% dan 1%. Di dalam tabel, dimuat nilai batas atas

(du) dan nilai batas bawah (d1) untuk berbagai nilai n dan k (banyaknya variable

bebas). Statistik d Durbin-Watson tersebut digunakan untuk menguji hipotesis :

Ho : tak ada korelasi serial (otokorelasi) yang positif

H1 : ada korelasi serial ( otokorelasi) yang positif

2.1.8.2.Heterokedastisitas

Apabila matriks ragam (variance) kesalahan adalah sebagai berikut :

(2.20)

Dan apabila beberapa elemen pada diagonal utama tidak sama dengan satu

(Vii≠1), maka kesalahan pengganggu tersebut disebut heteroskedastis. Dengan

kata lain kesalahan pengganggu merupakan variabel bebas, tetapi kesalahan

pengganggu tersebut mempunyai varians yang berbeda untuk setiap nilai X yang

berbeda, di mana X merupakan variabel bebas.

Cara untuk mengatasi masalah heterokedastisitas adalah mengubah matrik

kovarian menjadi matrik yang memenuhi homokedastisitas Untuk mendapatkan

Page 11: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

18

penduga b dengan metode kuadrat terkecil, mula-mula kita cari matrik T

sedemikian rupa sehingga :

(2.21)

Matrik T adalah sebagai berikut :

1/x1 0 … 0

T = 0 1/x2 … 0

0 0 … 1/xn

Jika Y = XB + ε kalikan dengan T, maka diperoleh TY =TXB + T ε. Kemudian

dapat kita peroleh rumus b sebagai penduga B dengan metode kuadrat terkecil

adalah sebagai berikut :

(2.22)

2.1.8.3.Multikolinieritas

Multikolinieritas adalah masalah yang timbul pada regresi linier apabila

terdapat suatu hubungan atau ketergantungan linier di antara beberapa atau

semua dari peubah-peubah bebas. Jika peubah-peubah bebas tersebut saling

berkorelasi, maka akan sangat sulit untuk memisahkan pengaruh mereka masing-

masing terhadap peubah tak bebas dan untuk mendapatkan penaksir yang baik

bagi koefisien-koefisien regresi. Masalah multikolinieritas sering terjadi pada

bidang economy, agriculture, chemometrics, sociology.

InTTE TT 2)( σεε =

TYTXTXTXb TTTT 1)(* −=

Page 12: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

19

Masalah multikolinieritas seperti ini mungkin juga terdapat dalam analisis

regresi sederhana. Masalah kolinieritas yang sempurna pada regresi linear

sederhana terjadi jika nilai Xi yang diamati itu sama dengan X rata-rata.

Apabila kita mempunyai persamaan hubungan linear sebagai berikut :

Yi = β0 + β1Xi 1 + β2Xi 2 + εi

Secara ekstrim, ada kemungkinan terjadi 2 peubah bebas atau lebih yang

mempunyai hubungan yang sangat kuat sehingga pengaruh masing-masing

peubah tersebut terhadap Y sukar untuk dibedakan.

Dari persamaan diatas peubah X1 dan X2 mempunyai hubungan

sedemikian rupa sehingga X2i = kX1i, dimana k adalah bilangan konstan. Untuk

memperkirakan β0, β1, β2, kita harus menggunakan data hasil observasi sebanyak

n, untuk variabel X1 dan X2 sebagai berikut :

X1 X11 X12 … X1n X2 X21 X22 … X2n Y Y1 Y2 … Yn

Dalam hal ini, metode kuadrat terkecil tidak dapat menghasilkan penduga

b0, b1, b2,…, bk dengan variansi kecil, karena r(X’X)= 2<k, dimana r = rank

matriks, sehingga det (XTX) = 0. Karena det (XTX) = 0, maka penduga b = (XTX)-1

X’Y tidak dapat dicari.

Perhatikan uraian berikut :

n ΣX1i ΣX2i

XTX = ΣX1i ΣX1i2 ΣX1iX2i

ΣX2i ΣX2iX1i ΣX2i2

karena X2i = kX1i, maka

Page 13: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

20

n ΣX1i kΣX1i

XTX = ΣX1i ΣX1i2 kΣX1i

2

kΣX1i kΣX1i2 k2ΣX1i

2

Berdasarkan teori matriks, nilai determinan suatu matriks tidak berubah kalau

suatu kolom/ baris dikalikan dengan suatu bilangan konstan, kemudian

baris/kolom lain dikurangi dengan baris/kolom tersebut. Dalam hal ini, Jika

matrik korelasi yang kita peroleh dikalikan baris 2 dengan k kemudian baris 3

dikurangi dengan baris 2, maka kita memperoleh matrik sebagai berikut :

n ΣX1i kΣX1i

XTX = ΣX1i ΣX1i2 kΣX1i

2

0 0 0

Menurut teori matriks, apabila semua elemen dari suatu baris / kolom

matriks tersebut bernilai nol maka determinan yang bersangkutan adalah nol.

Oleh karena itu det(XTX) = 0 maka XTX adalah matrik singular dan karena (XTX)-1

tidak ada, maka metode kuadrat terkecil tidak dapat digunakan untuk menduga b0,

b1, b2,…, bk .

Nilai eigenvalues λ1 ≤λ2≤…≤ λ1 dari matriks X’X juga dapat digunakan

sebagai indikasi multikolinieritas. Apabila nilai λ1 terkecil adalah 0 berarti matriks

adalah singular dan data merupakan data multikolinier.

Akibat dari multikolinieritas adalah :

a. Apabila hubungan tersebut sempurna, maka koefisien regresi parsial tak

akan dapat diestimasi.

Page 14: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

21

b. Apabila hubungan tersebut tidak sempurna, maka koefisien regresi parsial

masih dapat diestimasi, tetapi kesalahan baku dari penduga koefisien

regresi parsial sangat besar. Hal ini menyebabkan pendugaan/ramalan

nilai Y dengan menggunakan X1 dan X2 kurang teliti.

Cara menghadapi masalah multikolinieritas antara lain :

a. Menggunakan a priori extraneous information

Metode ini dilakukan dengan menggantikan variabel-variabel

bebas yang saling berkorelasi ke variabel baru. Namun penggunaan a

priori extraneous information sangat bergantung pada beberapa hal

misalnya jenis informasi yang ada, tujuan analisis, dan daya kaya khayal/

imajinasi peneliti karena tidak ada aturan yang tetap untuk hal tersebut.

b. Melakukan transformasi bentuk linier ke bentuk tak linier (model regresi

polinomial).

c. Menggunakan model Ridge Regression

Metode tersebut dilakukan dengan cara mengembangkan metode

kuadrat terkecil yang biasa dengan menambahkan parameter k untuk

menentukan penaksir bias.

2.2. Variance Inflation Factor

Salah satu cara sederhana untuk mendeteksi multikolinieritas adalah

mengamati apakah korelasi antara peubah bebas X cukup besar. Cara lain yang

lebih peka dan lebih formal untuk mendeteksi adanya multikolinieritas adalah

variance inflation factor yang biasa disingkat

Page 15: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

22

VIF. VIF digunakan untuk mengukur seberapa besar perubahan varians koefisien

apabila peubah bebas tidak saling berkorelasi.

Elemen diagonal (VIF)k disebut variance inflation factor untuk bk. Dapat

dibuktikan bahwa variance inflation factor sama dengan :

(2.23)

Keterangan :

k = 1, 2, 3, …, k

Rk2 = koefisien determinasi berganda bila Xk diregresikan terhadap p-1 peubah

X yang lain dalam model regresi tersebut.

(VIF)k =1 bila Rk2 = 0, yaitu bila Xk tidak berkorelasi dengan peubah X

yang lain. Apabila Rk2 > 0, maka (VIF)k <1 yang menunjukkan adanya antar

korelasi di antara peubah X. Jika peubah X saling berkorelasi sempura maka Rk2 =

1 dan (VIF)k = ~.

2.3. Ridge Regression

Pada teorema umum, teorema Gauss-Markov akan menghasilkan penduga

tidak bias yang mempunyai varians minimum. Teorema estimasi Gauss-Markov

bagus digunakan apabila X’X adalah matriks unit dan apabila X’X bukan matriks

unit, maka penggunaan teorema ini akan mengakibatkan beberapa kesulitan.

Menurut RE. Walpole dan R.H. Myers (1985), dengan adanya multikolinieritas,

penggunaan teorema Gauss-Markov dapat mengakibatkan penduga koefisien

211)(

kk R

VIF−

=

Page 16: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

23

regresi sangat tidak stabil dan sensitif terhadap perubahan data selain itu dapat

menyebabkan perbedaan penduga koefisien βj di mana j = 1, 2, .., p untuk data

sampel yang berbeda cenderung besar. Oleh karena itu diperlukan suatu metode

penaksiran alternatif yang memberi hasil penaksiran lebih baik yang

menghasilkan penduga koefisien regresi yang bias tetapi cenderung mempunyai

ketepatan yang lebih baik daripada teorema Gauss-Markov.

Prosedur ridge regression diusulkan pertama kali oleh A.E. Hoerl pada

tahun 1962 dan dibahas secara mendalam dalam dua tulisan Hoerl dan Kennard.

Prosedur tersebut ditujukan untuk mengatasi situasi multikolinieritas dan kolom

matriks dari X tidak bebas linier yang menyebabkan matriks X’X hampir singular.

Pada metode ridge regression, penduga koefisien regresi yang dihasilkan

adalah penduga bias. Penaksiran metode alternatif tidak sebaik metode kuadrat

terkecil karena jumlah kuadrat residual tidak terlalu kecil dan koefisien korelasi

ganda tidak terlalu besar tetapi lebih berpotensial untuk ketepatan yang lebih baik.

2.3.1. Standarized Regression Model

Untuk pengukuran dampak dari multikolinieritas akan lebih mudah bila

kita menggunakan model regresi yang dibakukan (standardized regression

model).

Apabila semua peubah ditransformasi oleh transformasi korelasi, maka

bentuk persamaan regresi sebagai berikut :

(2.24) iiXiXiXYi kk εββββ +++++= ''...'''''' 22110

Page 17: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

24

Transformasi korelasi untuk peubah yang dibakukan adalah :

( k = 1, … , k )

(2.25)

(2.26)

di mana :

( k = 1, … , k )

(2.27)

(2.28)

Hubungan antara model regresi yang dibakukan dengan model regresi

semula adalah sebagai berikut :

(2.29)

(2.30)

ksksyk ')( ββ =

kk XXXY ββββ ...22110 ++−=

−=

k

kikik s

xxn

x1

1'

−=

syyy

ny i

ik 11'

( )1

2

−=∑

n

xxs i

kik

k

( )1

2

−=∑

n

yys i

i

y

Page 18: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

25

Bentuk matriks X’X untuk model regresi yang dibakukan adalah matriks

korelasi antara peubah X yang mempunyai elemen semua pasangan korelasi

peubah X :

(2.31)

Bentuk matriks korelasi antara peubah Y dengan setiap peubah X :

(2.32)

Dan persamaan di atas maka diperoleh persamaan regresi yang dibakukan

yaitu :

X’X b = X’Y

(Rxx) b = Ryx

(2.33)

(2.34)

=→

1...................

..........1.......

...

1

'

2,

,2

1,112

1,

21

k

k

p

k

kxkxx

r

rrr

r

rRXX

=→

ky

y

y

y

kxyx

r

r

r

r

RYX

,

3

2

1

1...

'

yxxx RRb 1)( −=

=

bk

bbb

bkx

...'3'2'1

1

Page 19: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

26

Penduga regresi ridge diperoleh dengan menambahkan ke dalam

persamaan normal metode kuadrat terkecil suatu konstan yang bias k ≥ 0 dalam

bentuk sebagai berikut :

(2.35)

Di mana I adalah matrks identitas k x k. Solusi terhadap persamaan memberikan

koefisien regresi ridge yang dibakukan :

(2.36)

Konstanta k merupakan besarnya bias dari penduga. Bila k = 0, persamaan akan

menjadi persamaan koefisien regresi biasa. Bila k > 0, koefisien regresi ridge

bersifat bias tetapi cenderung lebih stabil.

2.3.2. Keakuratan Ridge Regression

Untuk mengukur keakuratan ridge regression dapat diketahui dari rata-

rata kuadrat residualnya (mean squared error). Taksiran ridge regression

cenderung mempunyai rata-rata kuadrat residual yang lebih kecil daripada

taksiran kuadrat terkecil.

Dua fungsi yang umum diaplikasikan untuk mengukur kedekatan

penduga b dengan parameter β yang tidak diketahui didefinisikan sebagai berikut:

1. mean squared estimation error

(2.37)

yxR

xx RbkIR =+ )(

yxxxR RkIRb 1)( −+=

2

1)(1 )()()( i

p

ii

Tb bEbbEM βββ ∑

=

−=−−=

Page 20: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

27

2. mean squared prediction error

(2.38)

Di mana :

(2.39)

(2.40)

(2.41)

(2.42)

Telah dibuktikan oleh Hoerl and Kennard (1970a) bahwa:

(2.43)

(2.44)

di mana

(2.45)

Dengan mengganti iα dan 2σ dengan iα̂ dan 2σ̂ maka diperoleh

persamaan baru yaitu :

(2.46)

∑=

−=−−=p

iiii

TT cEbXXbEbM1

22 )()()()( αλββ

bQc T=

βα TQ=

)(...21 XXeig Tp =≥≥≥ λλλ

),.,.,,( 21 pTT diagXQXQ λλλ=

∑=

++==p

iiiiM kkkMkf

1

222211 )/()())(*()( λασλβ

∑=

++==p

iiiiiM kkkMkf

1

222222 )/()())(*()( λασλλβ

)/(22 pnXy −−= βσ

∑=

++=p

iiiiM kkkf

1

22221 )/()ˆˆ()(ˆ λασλ

Page 21: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

28

(2.47)

di mana :

(2.48)

(2.49)

2.3.3. Ridge Trace

Cara yang biasa dilakukan untuk menentukan konstanta k adalah

berdasarkan ridge trace. Ridge trace adalah plot dari p nilai dugaan koefisien

regresi yang dibakukan bkR dan nilai k yang berbeda-beda antara 0 dan 1. Pilih

nilai k terkecil dan koefisien regresi bkR menjadi stabil pertama kali pada ridge

trace plot. Berikut adalah contoh Ridge Trace :

Gambar 2.1. Contoh Ridge Trace

∑=

++=p

iiiiiM kkkf

1

22222 )/()ˆˆ()(ˆ λασλλ

)/(ˆˆ2

2 pnXy −−= βσ

βα ˆˆ TQ=

Page 22: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

29

2.4. Metode Newton Rhapson

Untuk menentukan nilai parameter ridge regression k yang optimum dapat

dilakukan dengan cara meminimumkan fungsi mean squared estimation error

(2.51) dan mean squared prediction error (2.52). Untuk meminimumkan fungsi

tersebut dapat dilakukan dengan algoritma yang berdasarkan metode Newton-

Rhapson. Metode Newton-Rhapson adalah suatu metode yang terkenal dan sangat

handal untuk menemukan akar dari persamaan 0)( =xf . Metode Newton dapat

diturunkan dari Taylor’s series :

(2.50)

Metode Newton-Raphson adalah metode yang berdasarkan ide bahwa f(x)

pada x=b dapat dihitung apabila nilai dari f(a), f’(a), dan f’’(a) diketahui. Apabila

x=x0 maka kita dapat menghitung x=x1 :

f(x1) = f(x0) + f'(x0)(x1- x0)

Jika x1=0 maka

0= f(x0) + f '(x0)(x1- x0)

x1= x0-(f(x0)/f’(x0))

Atau secara umum persamaan Newton Rhapson adalah :

(2.51) ))('/)((1 nnnn xfxfxx −=+

...)('')(!2

1)(')()()( 12

1111 +−+−+= xfxxxfxxxfxf

Page 23: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

30

Iterasi berulang sehingga

(2.52)

Di mana e adalah suatu angka yang bernilai kecil misalnya 0.0001

2.5. R Language

R Language merupakan implementasi dari S Language yang

dikembangkan oleh Bell Laboratories oleh Rick Becker, John Chambers dan

Allan Wilks. R Language adalah suatu paket software yang mempunyai fasilitas

untuk manipulasi data, kalkulasi dan tampilan grafik. Paket software tersebut

sangat cocok digunakan pada lingkungan windowing systems seperti Unix,

Macintosh, dan lain-lain. R Language telah banyak dikembangkan untuk analisis

data interaktif ke dalam paket-paket yang dapat diperoleh secara cuma-cuma.

Bahasa pemrograman ini merupakan high level language sehingga cukup mudah

untuk dipahami dan dipelajari.

2.6. Penelitian Relevan

Perancangan Program Aplikasi Peramalan Biaya Pemasaran dengan

Model Regresi Ridge (Studi Kasus: PD. Daichi Mas) merupakan penelitian yang

telah dilakukan oleh Chandra Suyanto, mahasiswa Universitas Bina Nusantara

(2005). Penelitian ini dilakukan untuk memprediksi biaya pemasaran sebelum

dilakukan proses pemasaran berdasarkan volume penjualan dan biaya ekspedisi

dan pembungkusan.

exxxabs nnn <−+ )/)(( 1

Page 24: BAB 2 LANDASAN TEORI - library.binus.ac.idlibrary.binus.ac.id/eColls/eThesisdoc/Bab2/2006-2-01282-MTIF-Bab 2.pdf · 12 Apabila asumsi di atas dapat dipenuhi, maka penggunaan metode

31