REGRESI LINEAR SEDERHANA

Hendro Widjanarko

Jurusan Manajemen

UPN “Veteran” Yogyakarta

Latar Belakang

Terdapat kejadian– kejadian , kegiatan- kegiatan, atau masalah- masalah yang saling berhubungan satu sama lain

Dibutuhkan analisis hubungan antara kejadian tersebut

Perlu dibahas mengenai bentuk hubungan yang ada atau diperkirakan ada antara kedua peubah tersebut

Pengertian

Untuk mengukur besarnya pengaruh variabel bebas terhadap variabel tergantung dan memprediksi variabel tergantung dengan menggunakan variabel bebas. Gujarati (2006) mendefinisikan analisis regresi sebagai kajian terhadap hubungan satu variabel yang disebut sebagai variabel yang diterangkan (the explained variabel) dengan satu atau dua variabel yang menerangkan (the explanatory). Variabel pertama disebut juga sebagai variabel tergantung dan variabel kedua disebut juga sebagai variabel bebas. Jika variabel bebas lebih dari satu, maka analisis regresi disebut regresi linear berganda. Disebut berganda karena pengaruh beberapa variabel bebas akan dikenakan kepada variabel tergantung.

Tujuan

Tujuan menggunakan analisis regresi ialah Membuat estimasi rata-rata dan nilai variabel

tergantung dengan didasarkan pada nilai variabel bebas.

Menguji hipotesis karakteristik dependensi Untuk meramalkan nilai rata-rata variabel

bebas dengan didasarkan pada nilai variabel bebas diluar jangkaun sample.

Asumsi

Penggunaan regresi linear sederhana didasarkan pada asumsi diantaranya sbb:

Model regresi harus linier dalam parameter Variabel bebas tidak berkorelasi dengan disturbance term (Error)

. Nilai disturbance term sebesar 0 atau dengan simbol sebagai

berikut: (E (U / X) = 0 Varian untuk masing-masing error term (kesalahan) konstan Tidak terjadi otokorelasi Model regresi dispesifikasi secara benar. Tidak terdapat bias

spesifikasi dalam model yang digunakan dalam analisis empiris. Jika variabel bebas lebih dari satu, maka antara variabel bebas

(explanatory) tidak ada hubungan linier yang nyata

Persyaratan Penggunaan Model Regresi

Model kelayakan regresi linear didasarkan pada hal-hal sebagai berikut:

Model regresi dikatakan layak jika angka signifikansi pada ANOVA sebesar < 0.05

Predictor yang digunakan sebagai variabel bebas harus layak. Kelayakan ini diketahui jika angka Standard Error of Estimate < Standard Deviation

Koefesien regresi harus signifikan. Pengujian dilakukan dengan Uji T. Koefesien regresi signifikan jika T hitung > T table (nilai kritis)

Tidak boleh terjadi multikolinieritas, artinya tidak boleh terjadi korelasi yang sangat tinggi atau sangat rendah antar variabel bebas. Syarat ini hanya berlaku untuk regresi linier berganda dengan variabel bebas lebih dari satu.

Tidak terjadi otokorelasi. Terjadi otokorelasi jika angka Durbin dan Watson (DB) sebesar < 1 dan > 3

Keselerasan model regresi dapat diterangkan dengan menggunakan nilai r2 semakin besar nilai tersebut maka model semakin baik. Jika nilai mendekati 1 maka model regresi semakin baik. Nilai r2 mempunyai karakteristik diantaranya: 1) selalu positif, 2) Nilai r2 maksimal sebesar 1. Jika Nilai r2 sebesar 1 akan mempunyai arti kesesuaian yang sempurna. Maksudnya seluruh variasi dalam variabel Y dapat diterangkan oleh model regresi. Sebaliknya jika r2 sama dengan 0, maka tidak ada hubungan linier antara X dan Y.

Terdapat hubungan linier antara variabel bebas (X) dan variabel tergantung (Y) Data harus berdistribusi normal Data berskala interval atau rasio Kedua variabel bersifat dependen, artinya satu variabel merupakan variabel

bebas (disebut juga sebagai variabel predictor) sedang variabel lainnya variabel tergantung (disebut juga sebagai variabel response)

Linieritas

Ada dua macam linieritas dalam analisis regresi, yaitu linieritas dalam variabel dan linieritas dalam parameter. Yang pertama, linier dalam variabel merupakan nilai rata-rata kondisional variabel tergantung yang merupakan fungsi linier dari variabel (variabel) bebas. Sedang yang kedua, linier dalam parameter merupakan fungsi linier parameter dan dapat tidak linier dalam variabel.

Uji Hipotesis

Pengujian hipotesis dapat didasarkan dengan menggunakan dua hal, yaitu: tingkat signifikansi atau probabilitas (α) dan tingkat kepercayaan atau confidence interval. Didasarkan tingkat signifikansi pada umumnya orang menggunakan 0,05. Kisaran tingkat signifikansi mulai dari 0,01 sampai dengan 0,1. Yang dimaksud dengan tingkat signifikansi adalah probabilitas melakukan kesalahan tipe I, yaitu kesalahan menolak hipotesis ketika hipotesis tersebut benar. Tingkat kepercayaan pada umumnya ialah sebesar 95%, yang dimaksud dengan tingkat kepercayaan ialah tingkat dimana sebesar 95% nilai sample akan mewakili nilai populasi dimana sample berasal. Dalam melakukan uji hipotesis terdapat dua hipotesis, yaitu:

H0 (hipotessis nol) dan H1 (hipotesis alternatif)

Contoh uji hipotesis misalnya rata-rata produktivitas pegawai sama dengan 10 (μ x= 10), maka bunyi hipotesisnya ialah:

H0: Rata-rata produktivitas pegawai sama dengan 10

H1: Rata-rata produktivitas pegawai tidak sama dengan 10

Hipotesis statistiknya: H0: μ x= 10 H1: μ x > 10 Untuk uji satu sisi (one tailed) atau H1: μ x < 10 H1: μ x ? 10 Untuk uji dua sisi (two tailed)

Beberapa hal yang harus diperhatikan dalam uji hipotesis ialah;

Untuk pengujian hipotesis kita menggunakan data sample. Dalam pengujian akan menghasilkan dua kemungkinan, yaitu pengujian

signifikan secara statistik jika kita menolak H0 dan pengujian tidak signifikan secara statistik jika kita menerima H0.

Jika kita menggunakan nilai t, maka jika nilai t yang semakin besar atau menjauhi 0, kita akan cenderung menolak H0; sebaliknya jika nila t semakin kecil atau mendekati 0 kita akan cenderung menerima H0.

Menggunakan kurva untuk menguji hipotesis dapat digambarkan sebagai berikut:

a) Untuk uji dua sisi

0

Area penerimaan

α = 2,5%

α = 2,5%

95%

a) Untuk uji sebelah kanan

0

Area penerimaan

α = 5%

95%

a) Untuk uji sebelah kiri

0

Area penerimaan α = 5%

95%

Karakteristik Model yang Baik

Model dikatakan baik menurut Gujarati (2006), jika memenuhi beberapa kriteria seperti di bawah ini:

Parsimoni: Suatu model tidak akan pernah dapat secara sempurna menangkap realitas; akibatnya kita akan melakukan sedikit abstraksi ataupun penyederhanaan dalam pembuatan model.

Mempunyai Identifikasi Tinggi: Artinya dengan data yang ada, parameter-parameter yang diestimasi harus mempunyai nilai-nilai yang unik atau dengan kata lain, hanya akan ada satu parameter saja.

Keselarasan (Goodness of Fit): Tujuan analisis regresi ialah menerangkan sebanyak mungkin variasi dalam variabel tergantung dengan menggunakan variabel bebas dalam model. Oleh karena itu, suatu model dikatakan baik jika eksplanasi diukur dengan menggunakan nilai adjusted r2 yang setinggi mungkin.

Konsitensi Dalam Teori: Model sebaiknya segaris dengan teori. Pengukuran tanpa teori akan dapat menyesatkan hasilnya.

Kekuatan Prediksi: Validitas suatu model berbanding lurus dengan kemampuan prediksi model tersebut. Oleh karena itu, pilihlah suatu model yang prediksi teoritisnya berasal dari pengalaman empiris.

Bentuk Hubungan ????

REGRESI

APA YANG DIUKUR DARI HUBUNGAN TERSEBUT Bagaimana hubungan fungsional dua

kejadian tersebut atau bagaimana persamaan matematis yang mempresentasikan hubungan dua kejadian tersebut ( analisis regresi)

Bagaiman kekuatan atau keeratan hubungan dua kejadian tersebut (analisis korelasi)

Dua variabel dalam regresi

Variabel bebas X Variabel terikat Y

UKURAN DALAM REGRESI

Koefisien Regresi

mengukur besarnya pengaruh X terhadap Y

Koefisien korelasi

mengukur Kuat tidaknya hubungan X dan Y

UJI HIPOTESIS DALAM REGRESI uji keberartian koefisien regresi Uji keberartian model regresi / Uji linearitas Uji Korelasi

JENIS REGRESI LINEAR SEDERHANA Linear positif Linear negatif

APA ITU GARIS REGRESI?

Garis linear yang menunjukan pola hubungan antara dua variabel misalnya variabel X dan Y sebenarnya hanya merupakan garis taksiran yang dipakai untuk mewakili pola sebaran data tersebut

MODEL REGRESI LINEAR SEDERHANA

Y = + X + Dimana adalah error random (kasalahan

pengganggu) N ( 0, 2 ).

METODE KUADRAT TERKECIL kesalahan tidak dapat dihilangkan sama

sekali, maka resiko betapapun kecilnya selalu ada.

Resiko hanya bisa diperkecil dengan memperkecil kesalahan

persamaan garis regresi yang paling baik adalah persamaan garis regresi yang mempunyai total kuadrat kesalahan kecil

2)Y(Y ˆ

TOTAL KUADRAT KESALAHAN

2)Y(Y ˆ

No. Subyek Var. Bebas (X) Var. Terikat (Y)

1 x1 y1

2 x2 y2

3 x3 y3

n xn yn

MODEL DARI n DATA

yi = + xi + i , untuk i = 1,2, . . ., n

i = yi - - xi

( i)2 = ( yi - - xi )2

J=

n

i

n

iiii xy

1 1

22)(

J Diturunan terhadap dan

0)(21

i

n

ii xy

J

0)(21

ii

n

ii xxy

J

Persamaan baru

011

n

ii

n

ii xny

01

2

11

n

ii

n

ii

n

iii xxxy

a dan b taksiran dari dan

n

ii

n

ii

n

ii

n

ii

xbyna

xbnay

11

11

0

n

i

in

i

i

n

xb

n

ya

11

xbya

AKIBAT

0

0)(

0

1

2

11 1

1

2

11

1

2

11

n

ii

n

ii

n

i

n

iiii

n

ii

n

ii

n

iii

n

ii

n

ii

n

iii

xbxxbxyxy

xbxxbyxy

xbxaxy

011

1

2

111 11

n

ii

n

ii

n

ii

n

i

n

ii

n

iiii xbxx

nbxy

nxy

n

ii

n

ii

n

iii

n

ii

n

ii xy

nxyx

nxb

111

2

11

2 11

Hasil

2

11

2

111

1

1

n

ii

n

ii

n

ii

n

ii

n

iii

xn

x

xyn

xyb

2

11

2

111

n

ii

n

ii

n

ii

n

ii

n

iii

xxn

xyxynb

RUMUSAN LAIN

2

1

2

1

xnx

xynxyb

n

ii

n

iii

n

ii

n

iii

xx

xxyyb

1

2

1

SIMPANGAN KUADRAT X DAN Y

2

11

22

1

1

n

ii

n

i

n

iixxxx x

nxxxSJi

2

11

22

1

1

n

ii

n

i

n

iiyyyy y

nyyySJi

n

ii

n

ii

n

iii

n

iiixyxy yx

nyxyyxxSJ

1111

1

AKIBAT

xy

xx

J

Jb

JUMLAH KUADRAT

Jumlah kuadrat total (JKT) Jumlah kuadrat regresi (JKR) Jumlah kuadrat sesatan (JKS)

JUMLAH KUADRAT TOTAL (JKT)

2

11

22

1

1

n

ii

n

i

n

iiyyyy y

nyyySJi

JUMLAHKUADRAT REGRESI (JKR)

n

ii

n

ii xbabxayy

1

2

1

2ˆ

n

ii

n

ii

xxb

xbbx

1

22

1

2

= b2Jxx

= b Jxy

JUMLAH KUADRAT SESATAN (JKS)

n

iii

n

iii bxayyy

1

2

1

2ˆ

n

iiiii

n

iii

n

iii

xxbxxbyyyy

xxbyy

bxxbyy

1

222

1

2

1

2

)()()(2)(

()

LANJUTAN JKS

xyyy

xxxyyy

n

ii

n

iii

n

ii

bJJ

JbbJJ

xxbxxyybyy

2

1

2

11

2

2

22

=Jyy - bJxy

HUBUNGAN JKT, JKR, JKS

JKT = JKR + JKS

DERAJAT KEBEBASAN(DK) MASING-MASING JK Derajat kebebasan untuk JKT adalah n -1 Derajat kebebasan untuk JKR adalah 1 Derajat kebebasan untuk JKS adalah n -2

HUBUNGAN DK

(n -1) = (n -2) + 1

RATA-RATA JUMLAH KUADRAT (RJK) kuadrat tengah / kuadrat rata- rata /rata-rata

jumlah kuadrat didefinisikan dengan jumlah kuadrat dibagi oleh derajat bebasnya dinamakna

..

....

DK

JKRJK

JENIS-JENIS RJK

RJK REGRESI (RJKR)

RJKR = JKR RJK SESATAN (RJKS)

2n

JKSRJKS

Ringkasan

Analisis regresi berbeda dengan analisis korelasi. Jika analisis korelasi digunakan untuk melihat hubungan dua variable; maka analisis regresi digunakan untuk melihat pengaruh variable bebas terhadap variable tergantung serta memprediksi nilai variable tergantung dengan menggunakan variable bebas. Dalam analisis regresi variable bebas berfungsi untuk menerangkan (explanatory) sedang variable tergantung berfungsi sebagai yang diterangkan (the explained). Dalam analisis regresi data harus berskala interval atau rasio. Hubungan dua variable bersifat dependensi. Untuk menggunakan analisis regresi diperlukan beberapa persyaratan yang harus dipenuhi.

Pertanyaan

Apa yang dimaksud dengan analisis regresi? Apa tujuan kita menggunakan analisis regresi? Apa perbedaan dasar antara regresi linier sederhana dan

regresi linier berganda? Sebutkan asumsi dalam analisis regresi? Sebutkan persyaratan dalam menggunakan analisis regresi? Apa yang dimaksud dengan linieritas dalam analisis regresi? Ada berapa jenis hipotesis dalam analisis regresi? Bagaimana menguji suatu model regresi dikatakan sudah

baik? Terangkan uji hipotesis dua sisi dan satu sisi? Sebutkan syarat-syarat model yang baik?