Analisis Regresi Sederhana

By : Paidi Hidayat

Chapter 4

☞ Bentuk regresi pertama sekali diperkenalkan oleh Francis Galton pada tahun 1886.

☞ Galton menemukan bahwa ada kecenderungan hubungan antara tinggi orang tua dan tinggi anak.

☞ Hasil studi Galton ini menghasilkan hukum regresi semesta atau Law of Universal Regression.

Sejarah Awal Regresi

Konsep Analisis Regresi

Analisis regresi adalah studi tentang hubungan antara variabel dependen dengan satu atau lebih variabel independen.

Analisis regresi digunakan untuk mengetahui hubungan antara variabel dependen dengan variabel independen.

Apabila hanya ada satu variabel dependen dan satu variabel dependen disebut analisis regresi sederhana.

Apabila terdapat beberapa variabel independen disebut analisis regresi berganda.

1. Untuk menaksir nilai rata-rata dari variabel terikat berdasarkan nilai-nilai variabel bebas yang ada.

2. Untuk menguji hipotesis tentang sifat ketergantungan antarvariabel yakni hipotesis berdasarkan teori ekonomi.

3. Untuk memprediksi atau meramalkan nilai rata-rata dari variabel terikat berdasarkan nilai variabel bebas yang berada diluar rentang sampel.

Tujuan Analisis Regresi

Kriteria Ordinary Least Squares (OLS)Garis regresi sampel yang baik apabila nilai prediksinya

sedekat mungkin dengan data aktualnya. Dengan kata lain nilai intercept dan slope yang menyebabkan residual sekecil mungkin.

ii0ii

iii

iii

ii10i

XˆˆY

ˆY

ˆY

XˆˆY

e

Ye

eY

e

Variabel Gangguan (error term = e)

2i

21

2i

2i

2

i10i2i

2

ii2i

ˆ

orXˆˆY

ˆY

xye

e

Ye

Variabel Gangguan (Error term)

Variabel pengganggu (ei) merupakan pengganti semua variabel yang dihilangkan dari model namun secara kolektif mempengaruhi variabel terikat.

Metode OLS merupakan suatu metode yang mengestimasi suatu garis regresi dengan jalan meminimalkan jumlah dari kuadrat kesalahan setiap observasi terhadap garis tersebut.

ei = ∑ (Yi – Yi*)2

ei = Yi aktual – Yi prediksi

Adanya variabel yang dihilangkan atau diabaikan karena peranannya yang kecil.

Perilaku manusia yang tidak dapat sepenuhnya diramalkan atau dijelaskan secara rasional, sehingga e mencerminkan sifat acak (random) dari perilaku manusia.

Ketidaksempurnaan model matematis atau kesalahan dalam memilih bentuk hubungan fungsional antar variabel yang diteliti.

Model yang digunakan terlalu sederhana. Kesalahan dalam mengumpulkan atau

memproses data serta akibat penjumlahan.

Pentingnya Variabel Gangguan

Estimator Slope

2i

ii1

2

i

ii1

2i

2i

iiii1

yˆ

XX

YYXXˆ

XXn

YXYXnˆ

x

x

Y rata-rata nilai Y ; YYy

X rata-rata nilai X ; XX

Dimana

ii

ii

x

Estimator Intercept

Xˆ-Yˆn

Xˆn

Yˆ

XXn

YXXYXˆ

10

i1

i0

2i

2i

iiii2i

0

Y rata-rata nilai Y ; YYy

X rata-rata nilai X ; XX

Dimana

ii

ii

x

Asumsi Model Regresi Linier Klasik

1.Hubungan antara variabel dependen dan independen adalah linier dalam parameter :

Yi = b1 + b2Xi + ei

2.Variabel bebas (Xi) tidak berkorelasi dengan faktor gangguan acak, e (error term). Tetapi jika variabel bebas tersebut bersifat nonstokhastik (nilainya telah ditentukan sebelumnya) maka asumsi ini secara otomatis terpenuhi.

3.Dengan nilai variabel bebas (Xi) tertentu, maka nilai harapan atau rata-rata dari faktor gangguan acak (ei) adalah nol.

E(ei I Xi) = 0

4.Varians dari faktor gangguan acak ei adalah konstan atau homoskedastisitas (varians yang sama)

var (ei) = σ2

5.Tidak ada serial korelasi diantara dua faktor gangguan acak. Asumsi ini menyatakan tidak ada autokorelasi.

cov (ei , ej) = 06.Model regresi ditentukan secara tepat

dan sebagai alternatif tidak ada bias spesifikasi pada model yang digunakan.

Asumsi Model Regresi Linier Klasik

Kriteria BLUE1. Estimator slope adalah linier yaitu

linier terhadap variabel stokastik Y sebagai variabel dependen.

2. Estimator slope tidak bias yaitu nilai rata-rata atau nilai harapan E sama dengan nilai yang sebenarnya.

3. Estimator slope mempunyai varian yang minimum. Estimator yang tidak bias dengan varian minimum disebut estimator yang efisien (efficient estimator).

1

1 1

1

Karakteristik Garis Regresi

1. Garis regresi melalui rata-rata sampel X dan Y.2. Nilai rata-rata Y yang ditaksir adalah sama dengan nilai

rata-rata Y yang sebenarnya.3. Nilai rata-rata residual ei adalah nol.

Varian dan Kovarian Varians adalah bilangan yang

menyatakan bervariasinya nilai suatu variabel terhadap nilai rerata hitungnya. Secara definitif adalah selisih nilai pengamatan dengan nilai rerata hitung (rerata penyimpangan kuadrat dari nilai pengamatan dengan nilai rerata hitungnya).

Kovarian adalah bilangan yang menyatakan bervariasinya nilai suatu variabel dalam nisbah asosiatifnya dengan variabel lain.

Faktor Penentu Varian dan Kovarian

1.Ketidakpastian nilai Y yang menyebabkan ketidakpastian nilai b0, b1 dan hubungan diantaranya.

2.Semakin besar penyebaran nilai-nilai X maka semakin besar kepercayaan terhadap b0 dan b1.

3.Semakin besar ukuran sampel (N) maka semakin kecil varian dan kovarian yang ada.

4.Varian b0 adalah besar apabila nilai-nilai X jauh dari nol.

5.Perubahan slope, b1 tidak memiliki efek pada intercept dan b0 apabila rata-rata sampel adalah nol. Jika rata-rata sampel positif, kovarian antara b0 dan b1 akan menjadi negatif dan sebaliknya.

Scatter Diagram

Analisis Regresi

Year X Y

1 10 44

2 9 40

3 11 42

4 12 46

5 11 48

6 12 52

7 13 54

8 13 58

9 14 56

10 15 60

Analisis Regresi

Standard error digunakan untuk mengukur ketepatan estimasi dari estimator intercept dan slope.

Standard Error

2i

2

11

2i

2

1

22i

2i

00

22i

2i

0

ˆVarˆSe

ˆVar

n

XˆVarˆSe

n

XˆVar

x

x

x

x

k-n

eˆ

2i2

Contoh Estimasi

1 10 44 -2 -6 122 9 40 -3 -10 303 11 42 -1 -8 84 12 46 0 -4 05 11 48 -1 -2 26 12 52 0 2 07 13 54 1 4 48 13 58 1 8 89 14 56 2 6 12

10 15 60 3 10 30120 500 106

4910101149

30

Time tX tY tX X tY Y ( )( )t tX X Y Y 2( )tX X

1

12012

10

nt

t

XX

n

1

50050

10

nt

t

YY

n

106ˆ 3.53330

b

ˆ 50 (3.533)(12) 7.60a

2 2

1 1

ˆ( ) 65.4830n n

t t tt t

e Y Y

2

1

( ) 30n

tt

X X

2

ˆ 2

ˆ( ) 65.48300.52

( ) ( ) (10 2)(30)t

bt

Y Ys

n k X X

1 10 44 42.90

2 9 40 39.37

3 11 42 46.43

4 12 46 49.96

5 11 48 46.43

6 12 52 49.96

7 13 54 53.49

8 13 58 53.49

9 14 56 57.02

10 15 60 60.55

1.10 1.2100 4

0.63 0.3969 9

-4.43 19.6249 1

-3.96 15.6816 0

1.57 2.4649 1

2.04 4.1616 0

0.51 0.2601 1

4.51 20.3401 1

-1.02 1.0404 4

-0.55 0.3025 9

65.4830 30

Time tX tY tY ˆt t te Y Y 2 2ˆ( )t t te Y Y 2( )tX X

Contoh Estimasi

Hasil Estimasi Eviews

2^

Var (bi)