maksimum likelihood estimation pada regresi
TRANSCRIPT
Maksimum Likelihood Estimation pada Regresi Linier dan Regresi Logistikhttp://oc.its.ac.id/jurusan.php?fid=1&jid=3
Prosedur penaksiran parameter menggunakan metode MLE adalah berikut :1. Menuliskan model dugaan.2. Menuliskan PDF variabel respon setiap eksperimen, disesuaikan dengan model dugaan.3. Mengalikan n PDF variabel respon (bila terdapat n eksperimen); ini merupakan fungsi likelihood.4. Melakukan operasi ln pada fungsi likelihood.5. Menurunkan fungsi ln likelihood terhadap parameter yang akan ditaksir, yaitu : koefisien regresi (0 & 1) dan variansi error(2), bila model dugaan adalah mo- del regresi sederhana.
Penerapan metode MLE pada regresi linier sederhana1. Model dugaan setiap eksperimen : Yi = 0 + 1Xi + i, i ~ N(0,2) Yi ~ N(i, ,2), i = E(Yi) = E(0 + 1Xi + i) = 0 + 1Xi 2 = var(Yi) 2. PDF variabel respon setiap eksperimen :Eksperimen
kePDF
1
2
n
.
.
.
3. Fungsi Likelihood :
L X
X . . . X
.
4. ln fungsi likelihood :
lnL maksimum bila minimum;
ini merupakan jumlah kuadrat error metode least square, sehingga rumus penaksir koefisien regresi seperti pada metode least square; termasuk rumus untuk standart error penaksir koefisien regresi.
5. Penurunan fungsi likelihood
Penaksir ini bias, yang tak bias ialah :
Penaksir parameter mejadi takbias bila n besar.
Selang kepercayaan parameter didapatkan seperti pada metode least square, begitu pula dengan pengujian hipo-tesis secara parsial.
Pengujian hipotesis secara sequensial menggunakan sta-tistik uji perbandingan nilai likelihood. Nilai likelihood ialah nilai yang didapatkan dengan cara mensubstitusikan nilai penaksir parameter pada fungsi likelihood.
Contoh :x 1 2 3 4 5 6 7 8y 1 1,2 1,8 2,5 3,6 4,7 6,6 9,1
Model dugaan : Yi = 0 + 1Xi + , atau Yi = b0 + b1Xi
Nilai penaksir :b0 = -1,20 b1 = 1,11 SSE = 5,03 s1
2 = SSE/8 = 0,6288MSE = SSE/6 = 0,84Nilai likelihood, yaitu L(y;b0,b1, s1
2) = = (10,7397)-4
Nilai likelihood untuk model-model yang lain :L(y;b0,s0
2) = (121,8426)-4 , L(y;b0,b1,b2 ,s22) = (0,4270)-4
Perumusan hipotesis dan statistik uji menggunakan per-bandingan nilai likelihood :Perumusan hipotesis Statistik uji, dinotasikan X2
H0: 1 = 0 H1: 1 ≠ 0
= 19,43
H0: 2 = 0 H1: 2 ≠ 0
= 25,8
H0: 1 = 2
= 0
= 45,23
Catatan : L(y;b0,b1,b2 ,s22) untuk model kuadratik.
Perumusan hipotesis
Distribusi Statistik uji bila H0 benar
Titik KritisDaerah
Penolakan H0Kesimpulan
H0: 1 = 0 H1: 1 ≠ 0 = . . .
. . .
H0: 2 = 0 H1: 2 ≠ 0 = . . .
. . .
H0: 1 = 2 = 0
= . . .
. . .
Isilah titik-titik pada tabel di atas dengan hasil tabel atau perhitungan yang benar.Model mana yang terbaik? Berilah alasan.
Penerapan metode MLE pada Regresi Logistik
Regresi Logistik ialah regresi dengan variabel respon ter-diri dari dua kejadian, sukses atau gagal, disebut respon biner; sehingga hasil kejadian tersebut dapat didekati o-leh distribusi Binomial. Selanjutnya, yang dimodelkan ialah probabilitas terjadi sukses, dengan prediktor yang diduga berkontribusi terhadap kejadian sukses.
Model regresi logistik dinyatakan dengan persamaan :
i = 1, 2, ... , s
dengan : P(xi) adalah probabilitas terjadi sukses pada kelompok ke i, xi
T = 0 + 1xi , bila digunakan satu prediktor.
Proses penaksiran parameter didahului oleh pembentukan fungsi likelihood. Misal eksperimen menggunakan s ke-lompok, setiap kelompok dinamai kelompok ke i, i = 1, 2, ... , s. Pada setiap kelompok terdapat ni subyek atau u-nit eksperimen, dan diantaranya terdapat ri sukses. Dengan asumsi terjadinya sukses atau tidak sukses ber-distribusi binomial, maka PDF banyak sukses setiap ke-lompok ke i, dengan ni subyek dan probabilitas setiap subyek sukses P(xi), adalah :
Tanda * pada persamaan di atas seharusnya diisi kombi-
nasi(ni,ri) atau , tetapi ini akan hilang pada proses
hasil pendeferensialan disamadengankan 0, sehingga ti-dak perlu dituliskan.
Fungsi Likelihood menjadi :
L() =
ln L() =
Khusus untuk satu prediktor, xiT = 0 + 1xi, sehingga ln
fungsi likelihood menjadi :
Selanjutnya ln fungsi likelihood diturunkan terhadap 0 dan 1 , kemudian masing-masing disamadengankan 0, sehingga didapatkan :
Buktikan!Penaksir 0 dan 1 didapatkan dari solusi dua persamaan di atas. Solusi tidak dapat dihitung secara langsung, teta-pi harus melalui iterasi yang lazim digunakan pada meto-de numerik.
Adapun perumusan hipotesis dan statistik uji (dilakukan dengan menggunakan perbandingan nilai likelihood) a-dalah sebagai berikut :
H0 : 1 = 0 , artinya pengaruh prediktor terhadap kejadian sukses tidak bermakna,H1 : 1 0
Statistik uji :
dengan :
Distribusi Statistik uji bila H0 benar adalah :
Langkah selanjutnya seperti pada Tabel di atas.
Regresi logistik juga dapat dipandang sebagai regresi terboboti dengan :
- variabel respon
- variabel prediktor X
- model regresi: = 0 + 1xi + i.
- var ~
- pembobot, wi = 1/var =
- V adalah matrik diagonal dengan elemen :
Proses selanjutnya seperti regresi WLS.
Penaksir probabilitas sukses pada prediktor bernilai x0 :
Contoh :Suatu penelitian dilakukan untuk memodelkan hubungan antara proporsi lymphoblasts yang menyimpang dengan dosis pemaparan streptonigrin. Unit eksperimen yang di-gunakan adalah kelinci. Data eksperimen sbb :
Dosis streptoni-grin (mg/kg berat
badan)
Banyak Lymphoblasts
(ni)
Banyak yg menyimpang
(ri)
Proporsi yang menyimpang
030607590
600500600300300
1596187100145
0,0250,1920,3120,3330,483
Hasil perhitungan respon dan pembobot adalah sbb :
DosisPembobot
(wi)
-3,6636-1,4373-0,7908-0,6946-0,0680
030607590
14,62577,568128,79466,63374,913
Sumber : Classical And Modern Regression With Appli- cations, Second Edition, oleh Raymond H Myers, 1990, halaman 320.
Lakukan pengolahan data menggunakan WLS dan Mak-simum Likelihood, untuk mendapatkan model dan meng-evaluasi kemaknaan pengaruh prediktor.
Kunci Jawaban :
= -2,56488 + 0,02806 X