ml estimator.doc

Topik 2. Estimasi Titik

1. Statistika Inferensial

Untuk mengetahui karakteristik yang bersifat

numerik dari suatu populasi, observasi terhadap satu

atau lebih variabel acak yang terkait perlu dilakukan.

Hasil observasi ini kemudian dianalisis dengan

menggunakan teknik-teknik tertentu untuk

mengestimasi karakteristik (dalam model parametrik

disebut parameter) populasi atau menguji hipotesis

tentang populasi. Bagian statistika yang membahas

teori estimasi dan uji hipotesis dinamakan statistika

inferensial (inferential statistics).

Estimasi parameter dibedakan menjadi dua

macam, yaitu estimasi titik dan estimasi interval. Bab

ini membahas estimasi titik. Estimasi interval dan uji

hipotesis akan di bahas di bab-bab yang akan datang.

2. Statistik dan Estimator

Pandang variabel-variabel acak terobservasi X1, X2,

…, Xn. Sebagai contoh adalah sampel acak berukuran

n dari suatu populasi (distribusi).

Definisi 2.1

Sebuah fungsi dari variabel acak terobservasi

T=T(X1, X2, …, Xn) yang tidak tergantung pada

parameter populasi dinamakan statistik.

Contoh 2.1

Misalkan X1, X2, …, Xn merupakan sampel acak dari

suatu populasi. Berikut ini dua contoh statistik:

a. ,dinamakan sampel mean.

b. , dinamakan sampel

varians.

Teorema 2.2

Jika X1, X2, …, Xn, merupakan sampel acak dari

sebarang distribusi dengan mean =E(Xi) dan

variansi 2=Var(Xi) maka

a. .

b. .

c. .

Untuk selanjutnya anggap populasi dimodelkan

dengan variabel acak X yang mempunyai distribusi

dengan fungsi densitas f(x,) dimana

merupakan parameter populasi. Parameter

mungkin berupa vektor. Misalkan () suatu fungsi

dari parameter . Misalkan X1, X2, …, Xn sampel

acak dari X.

Definisi 2.3

Sebuah statistik T(X1, X2, …, Xn) yang digunakan

untuk mengestimasi nilai dari () dinamakan

estimator untuk ().

3. Metode-metode Estimasi

3.1 Metode Momen

Prinsip dari metode momen adalah menyamakan

momen ke k dari populasi, yakni E(Xk), dengan

momen ke k dari sampel, yakni . Estimator untuk

parameter diperoleh dengan menyelesaikan sistem

persamaan

(3.1)

dan akan dinotasikan dengan .

Contoh 3.1

Misalkan X1, X2, …, Xn, merupakan sampel acak dari

distribusi eksponensial, X~EXP( ) dengan fungsi

densitas

Karena E(X)= maka, dengan menggunakan rumus

(3.1) dengan mengambil j=1, diperoleh .

Contoh 3.2


sebarang distribusi dengan mean dan variansi 2,

maka dengan mudah dapat ditunjukkan bahwa

dan .

Perhatikan bahwa dimana S2 adalah sampel

varians.

3.2 Metode Maksimum Likelihood

Ide dasar dari metode maksimum likelihood adalah

mencari nilai parameter yang memberi kemungkinan

(likelihood) yang paling besar untuk mendapatkan

data yang terobservasi sebagai estimator.

Definisi 3.1

Fungsi densitas bersama f(x1,…,xn; ) dari variabel-

variabel acak X1, X2, …, Xn dinamakan fungsi

likelihood.

Untuk x1,…,xn yang tetap fungsi likelihood

merupakan fungsi dari dan akan dinotasikan

dengan L( ), yakni L( )= f(x1,…,xn; ). Jika X1, X2,

…, Xn adalah sampel acak dari f(x,) maka

Definisi 3.2

Misalkan L( )= f(x1,…,xn; ), , merupakan

fungsi densitas bersama dari variabel-variabel acak

X1, X2, …, Xn. Estimator maksimum likelihood

(Maximum Likelihood Estimator / MLE) untuk ,

dinotasikan dengan adalah nilai yang

memaksimumkan fungsi likelihood L( ).

Jika merupakan interval terbuka dan jika L( )

terdiferensialkan dan mencapai nilai maksimum pada

maka MLE merupakan penyelesaian dari

persamaan maksimum likelihood

atau secara ekuivalen merupakan penyelesaian dari

persamaan maksimum likelihood

Persamaan yang terakhir umumnya lebih mudah

digunakan untuk mencari estimator maksimum

likelihood .

Contoh 3.3


distribusi Poisson, X~POI( ) dengan fungsi densitas

Fungsi likelihood

dan fungsi log likelihood

.

Persamaan maksimum likelihoodnya adalah

yang mempunyai penyelesaian . Jadi MLE dari

adalah .

Terdapat kasus dimana estimator maksimum

likelihood ada tetapi tidak dapat diperoleh dengan

menyelesaikan persamaan likelihood.

Contoh 3.4


distribusi eksponensial dengan dua parameter,

X~EXP(1, ) dengan fungsi densitas

Fungsi likelihood

jika x1:n

dan L( )=0 untuk kasus selainnya. Disini jelas

bahwa MLE untuk adalah .

Teorema 3.3

Jika adalah MLE dari dan u( ) adalah fungsi dari

maka adalah MLE dari u( ).

4. Kriteria Menilai Estimator.

Berikut ini beberapa kriteria yang sering digunakan

untuk menilai estimator.

Definisi 4.1

Sebuah estimator T dikatakan estimator tak bias

untuk ( ) jika

E(T)= ( )

untuk semua . Jika tidak demikian T dikatakan

estimator bias untuk ( ).

Contoh 4.1

Jika X1, X2, …, Xn, merupakan sampel acak dari

sebarang distribusi dengan mean =E(Xi) dan

variansi 2=Var(Xi) maka menurut Teorema 2.2

dan S2 masing-masing adalah estimator tak bias untuk

dan 2, karena dan . Tetapi

estimator pada Contoh 3.2 merupakan

estimator bias untuk 2 karena

.

Definisi 4.2

Jika T adalah estimator untuk ( ), maka bias dari T

didefinisikan sebagai

b(T)=E(T)- ( )

dan mean squared error (MSE) dari T didefinisikan

sebagai

MSE(T)=E[T- ( )]2.

Teorema 4.3

Jika T adalah estimator untuk ( ), maka

MSE(T)=Var(T)+[b(T)]2.

Definisi 4.4

Sebuah estimator T* dikatakan estimator tak bias

dengan variansi minimum secara uniform (uniformly

minimum variance unbiased estimator / UMVUE)

untuk ( ) jika

a. T* estimator tak bias untuk ( ), dan

b. Untuk sebarang estimator tak bias T untuk ( ),

Var(T*) Var(T) untuk semua .

Dalam kasus tertentu UMVUE untuk () dapat

ditemukan dengan menggunakan batas bawah

Cramer-Rao (Cramer-Rao lower bound / CRLB).

Teorema 4.5 (CRLB )

Jika T adalah estimator tak bias untuk ( ), maka

.

Contoh 4.2


sebarang distribusi eksponensial, X~EXP( ) dan

() = . Karena

maka dapat ditunjukkan bahwa

,

sehingga CRLB untuk ( ) sama dengan 2/n. Jelas

bahwa merupakan estimator tak bias untuk ( ) =

. Selanjutnya dapat ditunjukkan bahwa .

Kesimpulannya merupakan UMVUE untuk ( ).

Definisi 4.6

Misalkan T dan T* merupakan estimator tak bias

untuk ( ). Efisisensi relatif dari T terhadap T*


.

T* dikatakan efisien jika re(T,T*) 1 untuk semua

estimator tak bias T untuk ( ) dan semua .

Jika T* adalah estimator efisien untuk ( ) maka

efisiensi dari estimator tak bias T untuk untuk ( )


e(T)= re(T,T*).

5. Sifat-sifat untuk Ukuran Sampel Besar

Definisi 5.1

Barisan estimator {Tn} untuk ( ) dikatakan

konsisten (simpel konsisten) jika untuk setiap > 0

untuk setiap .

Definisi 5.2

Barisan estimator {Tn} untuk ( ) dikatakan MSE

konsisten jika

untuk setiap .

Definisi 5.3

Barisan estimator {Tn} untuk ( ) dikatakan tak bias

asimtotik jika

untuk setiap .

Teorema 5.4

Barisan estimator {Tn} untuk ( ) adalah MSE

konsisten jika dan hanya jika barisan estimator

tersebut tak bias asimtotik dan .

Teorema 5.5

Jika barisan estimator {Tn} untuk ( ) adalah MSE

konsisten maka barisan estimator tersebut juga

simpel konsisten.

Teorema 5.6

Jika barisan estimator {Tn} untuk ( ) adalah simpel

konsisten dan jika g(t) adalah fungsi yang kontinu

pada setiap nilai dari ( ) maka g(Tn) simpel

konsisten untuk g(()).

Definisi 5.7

Misalkan {Tn} dan {Tn*} merupakan estimator tak

bias asimtotik untuk ( ). Efisisensi relatif asimtotik

dari Tn terhadap Tn* didefinisikan sebagai

.

Barisan {Tn*} dikatakan efisien secara asimtotik jika

are(Tn,Tn*) 1 untuk semua barisan estimator tak

bias asimtotik {Tn} untuk ( ) dan semua .

Jika {Tn*} adalah barisan estimator efisien secara

asimtotik untuk ( ) maka efisiensi asimtotik dari

barisan estimator tak bias asimtotik {Tn} untuk untuk

( ) didefinisikan sebagai

ae(Tn)= are(Tn,Tn*).

Di bawah kondisi tertentu, yang dinamakan

kondisi reguler, estimator maksimum likelihood

mempunyai sifat:

a. ada dan tunggal.

b. estimator konsisten untuk .

c. mempunyai limit distribusi normal dengan

mean dan variansi .

d. efisien secara asimtotik.

6. Estimator Bayes dan Minimax

Definisi 6.1

Jika T adalah estimator untuk ( ) maka sebarang

fungsi bernilai real dinamakan loss function jika

memenuhi

L(t;) 0 untuk setiap t

dan

L(t;) =0 jika t= ( ).

Definisi 6.2

Risk function didefinisikan sebagai harga harapan

dari loss, yakni

RT() =E[L(T;)].

Definisi 6.3

Sebuah estimator T1 dikatakan better estimator dari

estimator T2 jika dan hanya jika

untuk semua

dan

untuk paling sedikit satu nilai .

Sebuah estimator T dikatakan admissible jika tidak

ada lagi better estimator.

Definisi 6.4

Sebuah estimator T1 disebut estimator minimax jika

untuk semua estimator T .

Definisi 6.5

Untuk sampel acak dari f(x,), Bayes risk dari sebuah

estimator T relatif terhadap risk function RT() dan

fungsi densitas p() adalah rata-rata risk terhadap

p(), yakni

.

Definisi 6.6

Untuk sampel acak dari f(x,), Bayes estimator T*

relatif terhadap risk function RT() dan fungsi

densitas p() adalah estimator dengan minimum

ekspektasi risk, yakni

untuk setiap estimator T.

Definisi 6.7

Fungsi densitas bersyarat dari bila diberikan

observasi sampel x=(x1, …, xn) dinamakan posterior

density dan diberikan oleh

.

Teorema 6.8

Jika X1, …, Xn adalah sampel acak dari f(x|) maka

Bayes estimator adalah estimator yang

meminimumkan harga harapan loss relatif terhadap

distribusi posterior dari |x, yakni

.

7. Kecukupan estimator

7.1 Statistik cukup

Definisi 1.1

Misalkan X=(X1, X2, …, Xn) mempunyai densitas

bersama f(x,), dimana merupakan vektor

parameter. Statistik S=(S1, S2, …, Sk) merupakan

statistik cukup gabungan untuk jika untuk

sebarang vektor statistik T yang lain, distribusi

bersyarat dari T diberikan S=s, dinotasikan dengan

fT|s(t), tidak tergantung . Dalam kasus dimensi satu S

dinamakan statistik cukup untuk .

Definisi 1.2

Suatu himpunan statistik dikatakan sebagai himpunan

statistik cukup minimal jika anggota-anggotanya

adalah statistik cukup gabungan untuk parameter dan

jika statistik-statistik tersebut merupakan fungsi dari

himpunan statistik cukup gabungan yang lain.

Definisi 1.1 tidak bersifat operasional untuk

menyelidiki bahwa suatu statistik merupakan statistik

cukup. Karena sebarang statistik merupakan fungsi

dari sampel X=(X1, X2, …, Xn) maka untuk

menyelidiki statistik cukup, cukup ditunjukan bahwa

fX|s(x), tidak tergantung .

Contoh 2.1


distribusi eksponensial X~EXP(). Disini

.

Akan ditunjukkan bahwa adalah statistik cukup

untuk . Karena S berdistribusi gamma,

S~GAM( ,n), dengan fungsi densitas

maka

tidak tergantung pada . Jadi S merupakan statistik

cukup untuk .

Untuk menemukan suatu statistik cukup dapat

digunakan teorema berikut.

Teorema 1.3

Jika X1, X2, …, Xn, mempunyai densitas bersama

f(x,) maka S=(S1, S2, …, Sk) merupakan statistik

cukup gabungan untuk jika dan hanya jika

dimana g(s,) tidak tergantung pada x1, …, xn, kecuali

melalui s, dan h(x1, …, xn ) tidak tergantung .

Contoh 2.1


distribusi Bernoulli, X~BIN(1,). Disini

.

dimana dan h(x1, …, xn )=1. Jadi

merupakan statistik cukup untuk .

7.2 Sifat-sifat Statistik Cukup

Teorema 2.1

Jika S1, …, Sk adalah statistik cukup gabungan untuk

dan jika adalah satu-satunya MLE untuk , maka

merupakan fungsi dari S1, …, Sk.

Teorema 2.2

Jika S adalah statistik cukup untuk maka sebarang

Bayes estimator merupakan fungsi dari S.

Teorema 2.3

Jika X1, X2, …, Xn merupakan sampel acak dari

sebarang distribusi kontinu dengan fungsi densitas

bersama f(x,) maka order statistik membentuk

statistik cukup gabungan untuk .

Teorema 2.4 (Rao-Blackwell)

Misalkan X1, X2, …, Xn mempunyai fungsi densitas

bersama f(x,) dan S=(S1, S2, …, Sk) merupakan

statistik cukup gabungan untuk . Jika T adalah

sebarang estimator tak bias untuk () dan T*=E(T|

S) maka

c. T* adalah estimator tak bias untuk ( ),

d. T* adalah fungsi dari S, dan

e. Var(T*) Var(T) untuk setiap dan Var(T*) <

Var(T) untuk suatu jika tidak benar bahwa

T*=T dengan probabilitas 1.

Dalam kasus tertentu UMVUE untuk () dapat

ditemukan dengan menggunakan batas bawah

Cramer-Rao (Cramer-Rao lower bound / CRLB).

8. Kelengkapan dan Kelas Eksponensial

Definisi 8.1

Keluarga fungsi densitas {fT(t, ); } dikatakan

lengkap jika E[u(T)]=0 untuk semua

mengakibatkan u(T)=0 dengan probabilitas 1 untuk

semua .

Sebuah statistik cukup dari anggota keluarga

yang lengkap dinamakan statistik cukup lengkap.

Teorema 8.2 (Lehmann-Scheffe)

Misalkan X1, X2, …, Xn mempunyai fungsi densitas

bersama f(x,) dan S=(S1, S2, …,Sk) satatistik cukup

gabungan untuk . Jika T*=T*(S1, S2, …,Sk) adalah

statistik yang tak bias untuk ( ) dan merupakan

fungsi dari S, maka T* adalah UMVUE untuk

( ).

Definisi 8.3

Sebuah fungsi densitas dikatakan termasuk dalam

anggota keluarga eksponensial reguler jika fungsi

densitas tersebut dapat dituliskan dalam bentuk

dan f(x,)=0 untuk nilai x yang lain, dimana adalah

vektor parameter berdimensi k, jika ruang parameter

berbentuk

={ : ai i bi, i=1,…,k}

dan jika f(x,) memenuhi kondisi reguler 1, 2, dan 3a

atau 3b, yaitu

1. Himpunan A={x: f(x,) >0} tidak tergantung .

2. Fungsi qj( ) tidak trivial, independen, dan

kontinu.

3a. Untuk variabel acak kontinu fungsi turunan

tj’(x) linear independen dan kontinu.

3b. Untuk variabel acak diskret fungsi tj(x) tidak

trivial pada A dan tak satupun yang merupakan

fungsi linear dari yang lain.

Teorema 8.4

Jika X1, X2, …, Xn merupakan sampel acak dari

anggota kelas eksponensial reguler maka satatistik-

statistik

adalah himpunan minimal dari statistik cukup

lengkap untuk 1,…,k.

ml estimator.doc

Documents