sub mutiple regresi - website staff...

MULTIPLE REGRESIMULTIPLE REGRESIMULTIPLE REGRESIMULTIPLE REGRESI

1/26/2010 Statistik untuk Bisnis 8 1

Dwi Martani

Masalah dalam multiple regresiMasalah dalam multiple regresiMasalah dalam multiple regresiMasalah dalam multiple regresi

�Multicollinearity Analysis �Auto-Correlations�Heteroskedastisitas

Dummy Variable


�Dummy Variable�Outlier Test�Analysis MLR


MultikolinearitasMultikolinearitasMultikolinearitasMultikolinearitas

MulticollinearityMulticollinearityMulticollinearityMulticollinearity

� Dikenalkan oleh Frisch� Terdapat hubungan linear di antara variabel-

variabel bebas dalam model regresi� Perfect multicollinearity / hubungannya


� Perfect multicollinearity / hubungannya sempurna.

� Multicollinearity tidak sempurna/ Ada hubungan tetapi tidak sempurna

� Variabel-variabel dikatakan orthogonal jika variabel-variabel tersebut tidak berkorelasi

Hakekat MulticollinearityHakekat MulticollinearityHakekat MulticollinearityHakekat Multicollinearity

� Multikollinearitas pada hakekatnya adalah fenomena sampel. Sampel tidak memenuhi asumsi dasar mengenai ketidaktergantungan di antara variabel bebas yang masuk dalam model

� Multikolinearitas adalah persoalan derajat (degree) dan bukan persoalan jenis (kind). Bukan


dan bukan persoalan jenis (kind). Bukan mempersoalkan apakah korelasi variabel bebas positif atau negatif tetapi merupakan persoalan korelasi di antara variabel bebas.

� Mutikolinearitas adalah masalah yang timbul berkaitan dengan adanya hubungan linear di antara variabel bebas. Semakin tinggi hubungannya semakin terlihat moltikolinearitas.

Penyebab MultikolinearitasPenyebab MultikolinearitasPenyebab MultikolinearitasPenyebab Multikolinearitas

� Sifat dari variabel berubah bersama-sama sepanjang waktu.� Penghasilan, tabungan, investasi, konsumsi,

kesempatan kerja cenderung meningkat pada masa makmur dan menurun pada masa


masa makmur dan menurun pada masa depresi.

� Penggunaan nilai lag dari variabel bebas tertentu dalam model regresi

� Multikolinearitas hampir terjadi di semua model ekonomi

Akibat MultikolinearitasAkibat MultikolinearitasAkibat MultikolinearitasAkibat Multikolinearitas

� Penaksir-penaksir dengan menggunakan OLS tidak bisa ditentukan terutama jika moltikolinearitasnya sempurna

� Hasil estimasi tetap tidak bias� Varian dan kovarian (standard error) dari penaksir-penaksir

menjadi besar hingga tak terhingga (molt. Sempurna). Standard error akan menjadi besar sehingga potensi kesalahan tipe II (tidak menolak hipotesis yang salah) akan meningkat.


(tidak menolak hipotesis yang salah) akan meningkat.� R2 tinggi namun tidak satu pun (sangat sedikit) koefisien regresi

yang signifikan secara statistik.� Nilai R2 dan F yang tidak berkolinearitas tidak berpengaruh oleh

munculnya kolinearitas� Taksiran parameter OLS dan standard error akan sensitif

terhadap perubahan dalam data / sampel.

IlustrasiIlustrasiIlustrasiIlustrasi

� Y = a + b1X1 + b2X2 + e� Y = -367,83 + 0,5113 X1 + 0,0427 X2

se (1,0307) (0,0942)t 0,496 0,453R2 = 0,835


R2 = 0,835� Y = a + b1X1 + e� Y = -471,43 + 0,9714X1

se (1,157)t 6,187R2 = 0,861

Pengujian untuk mendeteksi Pengujian untuk mendeteksi Pengujian untuk mendeteksi Pengujian untuk mendeteksi MultikolinearitasMultikolinearitasMultikolinearitasMultikolinearitas

� Koefisien korelasi antar variabel tinggi� Beberapa peneliti secara arbitrer menentukan

0,8 dan tinggi kolinearitasnya jika nilainya lebih tinggi dari 0,8.

High Variance Inflation Factors (VIF)


� High Variance Inflation Factors (VIF)� VIF adalah estimasi seberapa besar

multikolinearitas meningkatkan varian pada suatu koefisien estimasi sebuah variabel

� Multikolinearitas dikatakan berat jika nilai VIF melebihi 10

Perbaikan MultikolinearitasPerbaikan MultikolinearitasPerbaikan MultikolinearitasPerbaikan Multikolinearitas

� Membiarkan saja� Multikolienaritas tidak akan selalu mengurangi

nilai t.� Perbaikan multikolinearitas perlu

dipertimbangkan hanya apabila


dipertimbangkan hanya apabila konsekuensinya menyebabkan nilai t tidak signifikan atau estimasi regresi menjadi tidak reliabel.

� Menghapuskan variabel dapat membahayakan karena muncul bias spesifikasi


� Menghapus variabel yang berlebihan� Cara menghapus dengan melihat R2 dan t,

variabel yang dihapus adalah yang dapat meningkatkan R2 dan t-nya variabel lain yang masih ada.


masih ada.� Dukungan teori, mana variabel yang paling

mempengaruhi

Perbaikan Multikolinearitas Perbaikan Multikolinearitas Perbaikan Multikolinearitas Perbaikan Multikolinearitas ---- contohcontohcontohcontoh

� Menghapus variabel yang berlebihan� Cara menghapus dengan melihat R2 dan t,

variabel yang dihapus adalah yang dapat meningkatkan R2 dan t-nya variabel lain yang masih ada.


masih ada.� Dukungan teori, mana variabel yang paling

mempengaruhi

Perbaikan Multikolinearitas contohPerbaikan Multikolinearitas contohPerbaikan Multikolinearitas contohPerbaikan Multikolinearitas contoh� Y = a + b1X1 + b2X2 + e� Y = -367,83 + 0,5113 X1 + 0,0427 X2

se (1,0307) (0,0942)t 0,496 0,453R2 = 0,835

� Y = a + b1X1 + e� Y = -471,43 + 0,9714X1


� Y = -471,43 + 0,9714X1se (1,157)t 6,187R2 = 0,861

� Y = a + b2X2 + e� Y = -199,44 + 0,08876X2

se (0,01443)t 6,153R2 = 0,860


� Transformasi variabel motikolinearitas� Membentuk sebuah kombinasi dari variabel-

variabel moltikolinearitas. � Contoh dibentuk X3 = X1 + x2

Melakukan transformasi persamaan menjadi


� Melakukan transformasi persamaan menjadi persamaan beda pertama (first difference equation)

� Dibentuk ΔXt = Xt – Xt-1


� Memperbesar ukuran sampel� Data yang lebih besar akan memungkinkan

hasil estimasi yang lebih akurat daripada data uanelih sedikit, karena ukuran data yang lebih besar secara normal akan mengurangi varian


besar secara normal akan mengurangi varian koefisien estimasi yang akibatnya akan menurunkan moltikolinearitas.

� Misal dengan melakukan pool data �mengumpulkan kombinasi data cross section dengan data times series


OtokorelasiOtokorelasiOtokorelasiOtokorelasi

OtokorelasiOtokorelasiOtokorelasiOtokorelasi

� Otokorelasi merupakan pelanggaran asumsi klasik �� pengamatan-pengamatan yang berbeda tidak

terdapat korelasi antara error termOtokorelasi terjadi pada kebanyakan pada


� Otokorelasi terjadi pada kebanyakan pada serangkaian data times series� Error term pada pada satu periode waktu

secara sistematis tergantung pada error term pada periode waktu yang lain

Otokorelasi murniOtokorelasi murniOtokorelasi murniOtokorelasi murni

� Otokorelasi murni � asumsi klasik yang menyatakan bahwa tidak ada korelasi antar error term pada periode pengamatan yang berbeda dilanggar dalam sebuah persamaan yang telah terspesifikasi dengan benar

� Otokorelasi urutan pertama (first order autocorrelation) �pengamatan error term saat ini merupakan suatu fungsi pengamatan error term sebelumnya.


pengamatan error term sebelumnya.� Et = pEt-1 + e� Besarnya p menggambarkan kekuatan otokorelasi� -1 < p < 1

� Otokorelasi urutan kedua (second order autocorrelation)� Et = p1Et-1 + p2Et-2+ e

Otokorelasi positf dan negatifOtokorelasi positf dan negatifOtokorelasi positf dan negatifOtokorelasi positf dan negatif

� Otokorelasi positif p>0� Error term cenderung memiliki arah yang

sama dari satu periode waktu ke periode waktu berikutnya

Otokorelasi negatif


� Otokorelasi negatif� Error term memiliki kecenderungan berubah

tanda dari negatif ke positif dan seterusnya saling berganti tanda pada pengamatan-pengamatan.

Otokorelasi tidak murniOtokorelasi tidak murniOtokorelasi tidak murniOtokorelasi tidak murni

� Otokorelasi tidak murni � otokorelasi yang disebabkan oleh kesalahan spesifikasi seperti menghilangkan variabel yang penting atau bentuk fungsi yang salah� Error term pada persamaan yang tidak terspesifikasi


� Error term pada persamaan yang tidak terspesifikasi dengan benar didalamnya termasuk efek variabel penting yang dihilangkan.

� Memperbaiki otokorelasi tidak murni dengan mencoba untuk menemukan variabel yang dihilangkan sehingga bentuk fungsi menjadi benar.

� Y = b0 + b1X1 + b2X2 + Et� Y = b0 + b1X1 + Et* dimana Et* = b2X2 + Et

Konsekuensi OtokorelasiKonsekuensi OtokorelasiKonsekuensi OtokorelasiKonsekuensi Otokorelasi

� Otokorelasi murni tidak menyebabkan bias koefisien-koefisen estimasi� Sifat OLS adalah minimum varian bagi

estimator-estimator tidak bias linearOtokorelasi meningkatkan varian padda


� Otokorelasi meningkatkan varian padda distribusi koefisien estimasi

� Otokorelasi menyebabkan OLS menaksir terlalu rendah atas Standard error koefisien

Pengujian OtokorelasiPengujian OtokorelasiPengujian OtokorelasiPengujian Otokorelasi

� Uji Durbin Watson secara umum digunakan untuk menguji otokorelasi

� Statistik d Durbin Watson digunakan untuk menentukan otokorelasi urutan pertama pada error term.


error term.� Asumsi Durbin Watson:

� Model regresi melibatkan intersep� Otokorelasi adalah otokorelasi urutan pertama� Model regresi tidak lagi memasukkan variabel

dependen sebagai variabel independen

Statistik durbin WatsonStatistik durbin WatsonStatistik durbin WatsonStatistik durbin Watson

� Formula

� Otokorelasi memiliki nilai ekstrim positif d=0Et = Et-1 maka Et – Et-1 = 0, d=0

2

1

21

2

)(

)(

∑

∑ −−=

t

t

t

t

t

E

EEd


Et = Et-1 maka Et – Et-1 = 0, d=0� Otokorelasi memiliki nilai ekstrim negatif d=4

Et = - Et-1 maka Et – Et-1 = 2, substitusikan dalam persamaan diperoleh d≈4

� Tidak ada otokorelasi d = 2

Pengujian Statistik Durbin WatsonPengujian Statistik Durbin WatsonPengujian Statistik Durbin WatsonPengujian Statistik Durbin Watson

� Pengujian Durbin Watson tidak biasa digunakan dalam dua hal :� Tidak pernah menguji hipotesis dari sisi negatif

karena Otokorelasi negatif dari nilai residual sulit diterangkan secara teoritas baik dalam analisis ekonomi dan bisnis. Keberadaannya sering


diterangkan secara teoritas baik dalam analisis ekonomi dan bisnis. Keberadaannya sering merupakan otokorelasi tidak murni yang disebabkan oleh kesalahan spesifikasi.

� Uji Durbin Watson tidak tersimpulkan, selain ada area diterima dan tidak diterima ada area tidak tersimpulkan

Pengujian Statistik Durbin WatsonPengujian Statistik Durbin WatsonPengujian Statistik Durbin WatsonPengujian Statistik Durbin Watson

� Tahap pengujian :� Cari nilai residu dengan OLS dan hitung statistik d� Menentukan ukuran sampel dan jumlah variabel

independen kemudian lihat dalam tabel statistik Durbin Watson untuk mendapatkan nilai kritis d


Durbin Watson untuk mendapatkan nilai kritis d yaitu dUpper dan dLower

� Hipotesis H0: p <= 0 ; H1 : p > 0d > dL tolak hod < dU tidak tolak hodL< d < dU tidak dapat disimpulkan

�

Durbin WatsonDurbin WatsonDurbin WatsonDurbin Watson

� Durbin Watson tidak membedakan otokorelasi murni dan tidak murni

� Otokorelasi negatif memandakan suatu isyarat bahwa otokorelasi adalah tidak murni


isyarat bahwa otokorelasi adalah tidak murni� Jika korelasinya murni maka GLS digunakan

untuk memperbaiki


HeteroskedastisitasHeteroskedastisitasHeteroskedastisitasHeteroskedastisitas

HeteroskedastisitasHeteroskedastisitasHeteroskedastisitasHeteroskedastisitas

� Asumsi OLS adalah varian residual bersifat homoskedastis atau bersifat konstan.

� Varian resisul tidak konstan �heteroskedastisitas.

� Heteroskedastisitas sering terjadi pada data


� Heteroskedastisitas sering terjadi pada data cross section.

� Error term terdistribusi normal dengan variab tidak konstan meliputi semua pengamatan.

� Varian error berkorelasi dengan variabel independen

Penyebab HeteroskedastisitasPenyebab HeteroskedastisitasPenyebab HeteroskedastisitasPenyebab Heteroskedastisitas

� Data dari satu atau lebih variabel mengandung nilai dengan jarak (range) yang lebar antara data paling kecil dengan data yang paling besar.Perbedaan laju pertumbuhan antara variabel


� Perbedaan laju pertumbuhan antara variabel dependen dan independen signifikan pada periode pengamatan untuk data times series.

� Dalam data sendiri terdapat heteroskedastisitas

Konsekuensi HeteroskedastisitasKonsekuensi HeteroskedastisitasKonsekuensi HeteroskedastisitasKonsekuensi Heteroskedastisitas

� Koefisien tetap tidak bias namun nilai koefisien berfluktuasi tajam jika model diperbaharui dengan menambah data atau sampel yang berbeda.Estimasi menjadi tidak akurat


� Estimasi menjadi tidak akurat

Mendeteksi HeteroskedastisitasMendeteksi HeteroskedastisitasMendeteksi HeteroskedastisitasMendeteksi Heteroskedastisitas

� Banyak cara untuk mendeteksi Heteroskedastisitas diantaranya ;� Gambar grafik nilai residu

� Jika dalam plot grafik nilai residu membentuk pola yang makin meningkat (menjauhi nol)


pola yang makin meningkat (menjauhi nol) dengan semakin meningkatnya variabel independen

� Uji godlfeld Quant� Uji Park

Cara mengatasi HeteroskedastisitasCara mengatasi HeteroskedastisitasCara mengatasi HeteroskedastisitasCara mengatasi Heteroskedastisitas

� Mentransformasi data dengan suatu faktor yang tepat � GLS

� Mentransformasi data dalam bentuk translog� Membagi variabel dengan nilai tertentu


� Membagi variabel dengan nilai tertentu � Melogaritmakan variabel tersebut (logVar)


Dummy VariabelDummy VariabelDummy VariabelDummy Variabel

Variabel DummyVariabel DummyVariabel DummyVariabel Dummy

� Variabel dummy digunakan untuk menjelaskan variabel kualitatif terutama variabel dummy yang bersifat ada atau tidak ada.� Misal pria dan wanita; kulit hitam dan putih;


� Misal pria dan wanita; kulit hitam dan putih; � Variabel dummy sering disebut variabel

indikator, variabel kategorik, variabel kualitatif atau variabel dikotomi

� Variabel dummy hanya memiliki dua nilai 0 dan 1

Variabel DummyVariabel DummyVariabel DummyVariabel Dummy

� Variabel dummy akan mempengaruhi nilai konstanta untuk observasi yang nilai dummy 1.

� Variabel dummy dapat digunakan untuk mengukur perubahan suatu fungsi sepanjang waktu yaitu dengan memasukkan tahun


mengukur perubahan suatu fungsi sepanjang waktu yaitu dengan memasukkan tahun sebagai dummy variabel.

� Variabel dummy dapat digunakan dalam analisis musiman dengan memasukkan variabel dummy kuartal

Variabel Dummy Variabel Dummy Variabel Dummy Variabel Dummy ---- InteraksiInteraksiInteraksiInteraksi

� Variabel dapat digunakan untuk mengukur perubahan slope jika variabel dummy tersebut diinteraksikan dengan variabel independen.

� Contoh Y = a + b1X1 + b2D1Y = a + b1X1 + b2(X1*D1)


Y = a + b1X1 + b2(X1*D1)untuk D=0 � Y = a + b1X1untuk D=1 � Y = a + (b1+b2)X1

� Pencantuman variabel dummy harus dapat dipastikan bahwa pengaruhnya akan mempengaruhi konstanta atau slope

Dummy sebagai dependen VariabelDummy sebagai dependen VariabelDummy sebagai dependen VariabelDummy sebagai dependen Variabel

� Jika variabel terikat memiliki sifat kualitatif maka variabel dummy dapat mewakilinya sebagai variabel terikat :� Faktor yang menentukan penugasan audit diterima

atau tidak� Faktor yang mempengaruhi seorang direksi


� Faktor yang mempengaruhi seorang direksi diperpanjang masa tugasnya

� Kelemahan dari fungsi ini � Variabel error tidak terdistribusi secara normal� Asumsi homoskedastisitas tidak valid� Predicted value dari variabel terikat dapat keluar dari

interval 0 sampai dengan 1 � cara mengatasinya dengan model logit

OUTLIEROUTLIEROUTLIEROUTLIER

� Outlier adalah data yang sangat ekstrem: sangat besar atau sangat kecil.

� Data dikatakan sangat ekstrem “biasanya digunakan” ukuran 3 standard deviasi.

� Jika terdapat outlier maka langkah yang dilakukan adalah membuang data tersebut


adalah membuang data tersebut� Dengan sistem dapat ditentukan batas outlier yang

dikehendaki oleh peneliti, sehingga data yang dimasukkan dalam regresi hanyalah data yang tidak mengandung outlier.

� Penghapusan data harus dilakukan dengan hati-hati karena justru dapat menghilangkan karakteristik dari sampel

sub mutiple regresi - website staff...

Documents