regresi binary logistic

34
Agung Priyo Utomo - STIS MODEL REGRESI MODEL REGRESI LOGISTIK LOGISTIK Oleh: Agung Priyo Utomo [email protected] [email protected]

Upload: nanendra-adipitoyo

Post on 30-Jul-2015

416 views

Category:

Documents


57 download

TRANSCRIPT

Page 1: Regresi Binary Logistic

Agung Priyo Utomo - STIS

MODEL REGRESI MODEL REGRESI LOGISTIKLOGISTIK

Oleh:Agung Priyo [email protected]@gmail.com

Page 2: Regresi Binary Logistic

Agung Priyo Utomo - STIS

VARIABEL VARIABEL KUALITATIF/KATEGORIKKUALITATIF/KATEGORIK Variabel Kualitatif/Kategorik sebagai variabel

bebas– Jenjang Pendidikan: SD, SLTP, SLTA, SLTA+– Jenis kelamin: Laki-laki, Perempuan– Status daerah: Kota, Desa– Status bekerja: Bekerja, Tidak Bekerja

Variabel Kualitatif sebagai variabel tak bebas– Pilihan Investasi: Saham, Valas, Obligasi,

Deposito, Emas– Pilihan Moda Transportasi ke tempat kerja:

Kereta, Bus, Motor, Mobil Pribadi, Jalan kaki– Lapangan kerja yg dimasuki: Pertanian, Non

pertanian

Page 3: Regresi Binary Logistic

Agung Priyo Utomo - STIS

REGRESI DG VARIABEL TAK REGRESI DG VARIABEL TAK BEBAS KUALITATIFBEBAS KUALITATIF

1. Apa yang mempengaruhi pilihan transportasi kerja?

Variabel Tak bebas: Pilihan moda transportasi (kategorik): Kereta, bus, motor, mobil pribadiVariabel bebas: Jarak ke tempat kerja, Pendapatan (rupiah), Harga BBM, Kondisi Jalan, Kenyamanan

2. Apakah punya rumah atau tidakVariabel tak bebas: Kepemilikan rumah Variabel bebas: Pendapatan Keluarga, Banyaknya Anggota Keluarga, Jenis rumah, Usia Kepala Keluarga.

Page 4: Regresi Binary Logistic

Agung Priyo Utomo - STIS

REGRESI DG VARIABEL TAK REGRESI DG VARIABEL TAK BEBAS KUALITATIFBEBAS KUALITATIF

3. Apa yang mempengaruhi kemiskinan? Variabel Tak bebas: Status Kemiskinan (Miskin/Tidak Miskin)Variabel bebas: Tingkat Pendidikan, Lapangan Kerja yg dimasuki, Pendapatan, Pengeluaran, Jumlah ART

4. Apakah yang mempengaruhi lapangan kerja yg dimasuki?

Variabel tak bebas: Lapangan Kerja Variabel bebas: Usia, Jenis Kelamin, Pendidikan, Status Perkawinan

Page 5: Regresi Binary Logistic

Agung Priyo Utomo - STIS

PEMODELAN MATEMATISPEMODELAN MATEMATIS

Yi = 1 + 2 Xi + i

X = pendapatan keluargaY = 1 ; bila suatu keluarga punya rumah

0 ; bila suatu keluarga tidak punya rumah

Secara matematis, dengan mengasumsikan E(i) = 0,

E(Yi Xi) = 1 + 2Xi

Secara statistik, ekspektasi kondisional dari Yi jika diberikan Xi E(Yi Xi) = (Yi=1) P(Yi=1Xi) + (Yi=0) P(Yi=0Xi)

= P(Yi = 1 Xi)

Page 6: Regresi Binary Logistic

Agung Priyo Utomo - STIS

PEMODELAN MATEMATISPEMODELAN MATEMATIS

Misal pi :probabilita bahwa keluarga i memiliki rumah, yaitu bila Yi = 1; (1 – pi ) :probabilita bahwa keluarga i tidak memiliki rumah, yaitu bila Yi = 0,maka,E(Yi X) = (Yi=0) P(Yi=0Xi) + (Yi=1) P(Yi=1Xi)

= P(Yi=1Xi) = pi

Akibatnya: E(Yi Xi) = 1 + 2Xi = pi

Karena 0 pi 1, akibatnya: 0 1 + 2 Xi 1

Page 7: Regresi Binary Logistic

Agung Priyo Utomo - STIS

CONTOHCONTOH

Akan dilihat hubungan antara pernah-tidaknya melakukan perjalanan ke luar negeri, dan penghasilan per bulan.

Model: Yi = 1 + 2 Xi + i

Yi = 1; Pernah melakukan perjalanan ke luar negeri

= 0; Tidak pernah melakukan perjalanan ke luar

negeriXi = Pendapatan

Apakah estimator hasil OLS dapat menjamin bahwa besaran 1 + 2 Xi terletak antara 0 dan 1?

Page 8: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Kel.Pernah ke

Luar Negeri

Pendapatan

(Juta Rp.)Kel.

Pernah ke Luar

Negeri

Pendapatan

(Juta Rp.)

01 0 2,8 21 1 4,3

02 1 3,4 22 1 5,6

03 1 5,3 23 0 1,4

04 0 2,1 24 0 0,9

05 0 1,9 25 1 7,3

06 1 3,6 26 0 1,3

07 1 3,7 27 1 6,3

08 0 1,7 28 1 3,7

09 0 1,2 29 0 1,9

10 0 1,5 30 0 2,0

11 1 1,9 31 1 4,2

12 1 2,0 32 0 3,2

13 0 2,1 33 1 4,0

14 1 2,9 34 1 3,0

15 0 1,1 35 0 1,0

16 1 1,8 36 0 0,9

17 1 7,0 37 1 2,4

18 0 2,2 38 1 2,3

19 0 2,0 39 0 1,7

20 1 6,0 40 1 5,0

DATA

Page 9: Regresi Binary Logistic

Agung Priyo Utomo - STIS

ANALISISANALISIS

Taksiran model yang ditaksir dengan OLS sbb:Yi = -0,0637 + 0,1986 Xi

R2 = 0,4665

Interpretasi ModelIntercept = -0,0637;

– Bila pendapatan Rp. 0, maka probabilitas bahwa orang tersebut pernah melakukan perjalanan ke luar negeri adalah negatif.

– Bila pendapatan lebih kecil dari Rp 321.000, probabilitas orang tersebut pernah melakukan perjalanan ke luar negeri masih negatif.

Page 10: Regresi Binary Logistic

Agung Priyo Utomo - STIS

– Bila pendapatan lebih besar Rp. 321.000 probabilitas orang tersebut pernah melakukan perjalanan ke luar negeri positif.

– Tetapi, bila pendapatan lebih besar dari Rp. 5,4 juta, probabilitas pernah melakukan perjalanan ke luar negeri lebih dari satu.

Slope = 0,1986, artinya bila pendapatan naik 1 unit (Rp.1 juta) probabilitas seseorang untuk melakukan perjalanan keluar negeri naik 20%.

ANALISISANALISIS

Page 11: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Masalah: Persyaratan 0 E(Yi Xi) 1 sulit untuk dipenuhi, bagaimana mengatasinya?

Ada dua cara untuk mengatasi hal tersebut : Estimate modelnya dengan OLS.

– Bila E(Yi Xi) terletak antara 0 dan 1 berarti tidak ada masalah

– Bila E(Yi Xi) > 1, kita anggap E(Yi Xi) = 1– Bila E(Yi Xi) < 0, kita anggap E(Yi Xi) = 0

E(Yi Xi) akhirnya akan terletak antara 0 dan 1. Metode ini tidak populer karena kurang realistis.

Page 12: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Masalah: Persyaratan 0 E(Yi Xi) 1 sulit untuk dipenuhi, bagaimana mengatasinya?

Kita estimate model Yi = 1 + 2 Xi + εi dengan suatu metode yang akan menjamin bahwa E(Yi Xi) terletak antara 0 dan 1.

Ada dua macam teknik yang dapat digunakan, yaitu :(i). Logit Logistic Regression(ii). Probit Probit Regression

Page 13: Regresi Binary Logistic

Agung Priyo Utomo - STIS

LOGIT (FUNGSI LOGISTIK) LOGIT (FUNGSI LOGISTIK)

Didefinisikan:

)X(iii i21e1

1)X1Y(Ep

atau

iZie11p

; dimana : Zi = 1 + 2 Xi

Pengamatan :• pi terletak antara 0 dan 1, karena Zi terletak

antara - dan .Bila Z , maka pi 1Bila Z - , maka pi 0

• pi mempunyai hubungan non linier dengan Zi

Page 14: Regresi Binary Logistic

Agung Priyo Utomo - STIS

LOGIT (FUNGSI LOGISTIK) LOGIT (FUNGSI LOGISTIK)

• Secara keseluruhan, Model Logit adalah Model Non-Linier, baik dalam parameter maupun dalam variabel

• Oleh karena itu, metode OLS tidak dapat digunakan untuk mengestimasi model logit.

Page 15: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Definisi Logit:

izie11p

i

i

i z

z

zi e1

e

e1

1p1

Sekarang, perhatikan rasio antara pi dan 1 – pi :

i21i

i

i

i

ixz

z

z

z

z

i

i eee

1

e1e

e11

p1

p

Page 16: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Perbandingan itu disebut Odds atau sering juga disebut resiko.

Untuk contoh perjalanan ke luar negeri, maka odd ratio merupakan perbandingan antara probabilitas seseorang pernah pergi ke luar negeri dengan probabilitas seseorang tidak pernah pergi ke luar negeri.

Misalkan saja bahwa probabilitas seseorang pernah ke luar negeri adalah 80%. Dengan demikian, probabilitas bahwa seseorang tidak pernah pergi ke luar negeri adalah 20%. Sehingga nilai odds adalah 4 banding 1.

Page 17: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Makin besar odds ini, makin besar kecenderungan seseorang pernah pergi ke luar negeri.

Ekstrimnya, bila p kecil sekali, maka 1 – p dekat dengan 1. Akibatnya odds mendekati nol.

Sebaliknya, bila p dekat dengan 1, maka 1 – p mendekati nol. Sehingga odds sangat besar.

Dengan perkataan lain, odds adalah suatu indikator kecenderungan seseorang pernah pergi ke luar negeri

Ringkasnya, bila odds mendekati nol berarti kecenderungan seseorang pernah pergi ke luar negeri sangat kecil sekali.

Page 18: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Bila odds ini kita log-kan, akan kita dapatkan log odds sebagai berikut:

i21ii

ii xz

p1

plnL

Sehingga model yang akan kita perhatikan atau kita analisis menjadi :

i21i

ii x

p1

plnL

L disebut log odds

Catatan :• L linier dalam X, juga linier dalam 1 dan 2

• L disebut model Logit• Karena 0 p 1, L terletak antara - dan • L tidak linier dalam p

Page 19: Regresi Binary Logistic

Agung Priyo Utomo - STIS

2 menyatakan perubahan dalam L bila x berubah 1 unit

1 menyatakan log odds pada saat pendapatan sama dengan nol.

• Bila kita mengetahui tingkat pendapatan keluarga, katakanlah xi, kita dapat menghitung probabilitas bahwa seseorang pernah ke luar negeri dengan cara menghitung :

• Masalahnya sekarang bagaimana menaksir 1 dan 2 ? → MLE

)x(i i21e1

1p

Page 20: Regresi Binary Logistic

Agung Priyo Utomo - STIS

PENGUJIAN SIGNIFIKANSI MODEL & PARAMETERUji seluruh parameter (Uji G)

H0 : 1 = 2 = ….. = P = 0

H1 : sekurang-kurangnya terdapat satu j 0

Statistik uji yang digunakan :

A) (Model likelihood

B) (Model likelihoodln2G

Model B: model yang hanya terdiri dari konstanta sajaModel A: model yang terdiri dari seluruh variabel

Page 21: Regresi Binary Logistic

Agung Priyo Utomo - STIS

PENGUJIAN SIGNIFIKANSI MODEL & PARAMETER

P2 ,

• G berdistribusi Khi Kuadrat dengan derajat bebas p atau G ~ p

2.

• H0 ditolak jika G > ; : tingkat signifikansi.

• Bila H0 ditolak, artinya model A signifikan pada tingkat signifikansi .

Page 22: Regresi Binary Logistic

Agung Priyo Utomo - STIS

UJI SIGNIFIKANSI TIAP-TIAP UJI SIGNIFIKANSI TIAP-TIAP PARAMETER: UJI WALDPARAMETER: UJI WALD

21

2

j

jj ~

)ˆ ( .e.s

ˆW

H0: βj = 0, untuk suatu j = 0, 1, …, pH1: βj ≠ 0

Statistik Uji yang digunakan:

Pada tingkat signifikansi , H0 akan ditolak bila

Artinya parameter yang diuji signifikan pada tingkat signifikansi

21,jW

Page 23: Regresi Binary Logistic

Agung Priyo Utomo - STIS

INTERPRETASI MODEL / INTERPRETASI MODEL / PARAMETERPARAMETER

Interpretasi koefisien-koefisien dalam model regresi logistik dilakukan melalui odds ratio (perbandingan resiko) atau adjusted probability (probabilitas terjadi).

Odds didefinisikan dg p/(1-p), dimana p menyatakan probabilitas sukses (terjadinya peristiwa y = 1) dan 1-p menyatakan probabilitas gagal (terjadinya peristiwa y = 0).

Odds Ratio (perbandingan resiko), adalah perbandingan nilai Odds (resiko) pada dua individu ; misalkan individu A dan individu B.

Page 24: Regresi Binary Logistic

Agung Priyo Utomo - STIS

INTERPRETASI MODEL / INTERPRETASI MODEL / PARAMETERPARAMETER

Odds Ratio dituliskan sebagai.

;

)X(p1)X(p

)X(p1)X(p

B

B

A

A

XA : karakteristik individu AXB : karakteristik individu B

Page 25: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Adjusted probabilitas merupakan probabilitas terjadinya suatu peristiwa y = 1 dengan karakteristik yang telah diketahui.

Dituliskan dg:

dimana z = 0 + 1 x1 + …. + p xp

(z) exp 1(z) .exp

)x|1y(P

ADJUSTED PROBABILITYADJUSTED PROBABILITY

Page 26: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Variabel bebas: kategorik Membandingkan nilai odds dari salah satu nilai

pada variabel tersebut dengan nilai odds dari nilai lainnya (Referensi).

Misalkan kedua kategori tersebut adalah 1 dan 0 dengan 0 yang digunakan sebagai kategori referensi, maka interprestasi koefisien pada variabel ini adalah rasio dari nilai odds untuk kategori 1 terhadap nilai odds untuk kategori 0; dituliskan sebagai:

).(exp)0x(p1

0) x(p

)1p(x - 1

1) p(x j

j

j

j

j

INTERPRETASI PARAMETERINTERPRETASI PARAMETER

Page 27: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Artinyaresiko terjadinya peristiwa y=1 pada kategori xj = 1 sebesar exp. ( j ) kali resiko terjadinya peristiwa y=1 pada kategori xj = 0.

Variabel Bebas: Kontinyu (tidak kategorik)Setiap kenaikan C unit satuan pada variabel bebas akan mengakibatkan resiko terjadinya y = 1 sebesar exp ( C.j ) kali lebih besar

Page 28: Regresi Binary Logistic

Agung Priyo Utomo - STIS

• Siapa pilih ParPol ITU?

• Analisis hubungan antara karakteristik pemilih dengan pilihan parpol

• Variabel yg diduga berpengaruh terhadap pilihan:1. Pendidikan

Pendidikan dapat mencerminkan tingkat pengetahuan dan kecocokannya dengan program partai

2. Lapangan pekerjaan Pekerjaan sebagai proksi tingkat strata ekonomi pemilih

ILUSTRASIILUSTRASI

Page 29: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Variabel Tak Bebas: Apakah memilih partai ITU pada PEMILU lalu? Misal Ya = 1 dan Tidak = 0

Variabel bebas: Pendidikan tertinggi yg ditamatkan:• Tidak Sekolah, Tidak tamat SD & Tamat SD

= 1• SLTP dan SLTA = 2• Diploma I/II/III/Akademi, S-1, dan S-2/S-3 =

3

Definisi operasional:• Pendidik1 = 1; Tdk sekolah, Tidak tamat SD,

& Tamat SD = 0; Lainnya

• Pendidik2 = 1; SLTP dan SLTA = 0; Lainnya Pembanding: kelompok yg lulus pendidikan

tinggi

Page 30: Regresi Binary Logistic

Agung Priyo Utomo - STIS

Lapangan Pekerjaan Utama:Pertanian = 1Industri = 2Perdagangan = 3

Definisi operasional:Pekerja1 = 1; Pertanian = 0; LainnyaPekerja2 = 1; Industri = 0; Lainnya

Pembanding: lapangan usaha Perdagangan.

Identifikasi Model: Ln (p/1-p) = + 1 Pendidik1 + 2 Pendidik2 + 1 Pekerja1 + 2 Pekerja2 + Model terestimasi:Ln (p/1-p) = 2,383 – 2,280 Pendidik1 – 1,831 Pendidik2 – 1,130 Pekerja1 – 0,299 Pekerja2

Page 31: Regresi Binary Logistic

Agung Priyo Utomo - STIS

• Uji G: Nilai –2 log likelihood = 189,331, berarti model signifikan secara statistik

• Uji Wald: semua koefisien signifikan secara statistik pada = 5%, kecuali koefisien pada variabel pekerja(2)

• Perlukah variabel tersebut dikeluarkan dari model?

Interpretasi• Bila pendidikan = 0, dan lapangan usaha = 0,

atau disaat pendidikan seseorang tinggi, dan bekerja di sektor perdagangan, maka probabilitas mereka mendukung Partai ITU adalah sebesar:Ln (p/1-p) = 2,383(p/1-p) = e2,383

p = e2,383/ (1 + e2,383) = 91,55%.

Page 32: Regresi Binary Logistic

Agung Priyo Utomo - STIS

• Slop untuk variabel Pendidik1 adalah –2,280, artinya peluang penduduk berpendidikan rendah untuk mendukung Partai ITU lebih rendah.

• Terbukti dari nilai Exp(B= -2,280) = 0,102, berarti bahwa peluang penduduk berpendidikan rendah hanya 0,102 kali peluang penduduk berpendidikan tinggi untuk memilih partai ITU

• Slop Pendidik2 adalah –1,831, artinya peluang penduduk berpendidikan SLTP/SLTA untuk mendukung Partai ITU lebih rendah.

• Terbukti dari nilai Exp (B= -1,831) = 0,16, artinya bahwa peluang penduduk berpendidikan menengah hanya 0,16 kali peluang penduduk berpendidikan tinggi.

Page 33: Regresi Binary Logistic

Agung Priyo Utomo - STIS

• Secara analog, peluang penduduk yang bekerja di sektor pertanian atau industri untuk mendukung partai lebih rendah dibanding penduduk yang bekerja di sektor perdagangan

• Peluang penduduk yang bekerja di sektor pertanian untuk mendukung partai hanya 0,323 kali penduduk yang bekerja di sektor perdagangan

• Penduduk yang bekerja di sektor industri hanya 0,742 kali penduduk yang bekerja di sektor perdagangan

Page 34: Regresi Binary Logistic

Agung Priyo Utomo - STIS

MODEL MULTINOMIAL LOGITMODEL MULTINOMIAL LOGIT

Kasus: Pilihan Investasi (Deposito, Saham, Obligasi, SBI)

Kasus: Pilihan alat transportasi (Kereta api, Bus atau kendaraan umum bukan KA, Mobil pribadi, Motor)

Model logistik dg 4 kategori mempunyai 3 fungsi logit:

– Fungsi logit untuk Y = 1 relatif terhadap fungsi logit untuk Y = 0

– Fungsi logit untuk Y = 2 relatif terhadap fungsi logit untuk Y = 0

– Fungsi logit untuk Y = 3 relatif terhadap fungsi logit untuk Y = 0

– Kategori Y = 0 kita sebut sebagi kategori rujukan (reference group).