statistika matematika ii -...

Konsep Dasar BayesianProsedur Bayesian

Fungsi Keputusan dan Fungsi KerugianPrior Konjugat dan Prior Non-Informatif

Gibbs SamplerMetode Bayesian Modern

Bayes Empirik

Statistika Matematika II

Nanda Arista Rizki, M.Si.

Jurusan MatematikaFakultas Matematika dan Ilmu Pengetahuan Alam

Universitas Mulawarman2017

Nanda Arista Rizki, M.Si. Statistika Matematika II




Bayes Empirik

Referensi:Hogg, R.V., McKean, J.W., dan Craig, A.T. (2013). Introduction toMathematical Statistics, Edisi ke tujuh. New York: Pearson.Penilaian: tugas, UAS, dan kehadiran (min. 80%).





Bayes Empirik

Konsep Monte Carlo

Mengulang Kembali

Misalkan A1 dan A2 masing-masing adalah kejadian tertentu. Jika A1 dan A2adalah kejadian yang saling lepas, maka

P(A1 ∪ A2) = P(A1) + P(A2)

Namun jika A1 ⊂ A2, maka

P(A1) ≤ P(A2)





Bayes Empirik

Konsep Monte Carlo

Peluang Bersyarat

Misalkan jumlah semua mahasiswa/i UNMUL yang sedang mengambil matakuliah StatMat II adalah 15 pria dan 25 wanita. Diketahui bahwa terdapat 20mahasiswi yang mengenakan jilbab. Jika dilakukan penyebutan nama yangada pada absensi kelas secara acak, maka

1. peluang bahwa seseorang mahasiswa/i akan terpanggil adalah ...2. peluang bahwa mahasiswa/i dengan nomor urut pertama yang

terpanggil adalah ...3. peluang bahwa yang terpanggil mengenakan jilbab adalah ...4. peluang yang terpanggil mengenakan jilbab, jika penyebutan nama

hanya dilakukan kepada mahasiswi-mahasiswinya saja adalah ...





Bayes Empirik

Konsep Monte Carlo

Konsep Peluang Bersyarat

Peluang bersyarat dari kejadian A jika kejadian B sudah terjadi adalah

P(A|B) =P(A ∩ B)

P(B), (1)

jika P(B) > 0.

Dari persamaan (1), maka P(A ∩ B) = P(A|B)P(B).





Bayes Empirik

Konsep Monte Carlo

Perhatikan persamaan berikut:

P(A ∩ B) = P(A)P(B|A). (2)

Jika A = A1 ∩ A2 dan B = A3, maka ruas kanan persamaan (2) menjadiP(A1 ∩ A2)P(A3|A1 ∩ A2).

Karena P(A1 ∩ A2) = P(A1)P(A2|A1), maka persamaan (2) bisa ditulis ulangmenjadi:

P(A1 ∩ A2 ∩ A3) = P(A1)P(A2|A1)P(A3|A1 ∩ A2).





Bayes Empirik

Konsep Monte Carlo

Soal Latihan

Misalkan Ω = 1, 2, 3, 4, 5, 6.Diketahui Kejadian-kejadian berikut:

A =1, 2, 3, 4, 5B =2, 4, 6C =1, 2, 3, 4D =2, 3, 4.

Maka A ∩ B = · · ·Berarti P(A|B) = · · ·

P(C|B) = · · ·P(D|B) = · · · .





Bayes Empirik

Konsep Monte Carlo

Soal Latihan


A =1, 2, 3, 4, 5B =2, 4, 6C =1, 2, 3, 4D =2, 3, 4.


P(C|B) = · · ·

P(D|B) = · · · .





Bayes Empirik

Konsep Monte Carlo

Soal Latihan


A =1, 2, 3, 4, 5B =2, 4, 6C =1, 2, 3, 4D =2, 3, 4.


P(C|B) = · · ·P(D|B) = · · · .





Bayes Empirik

Konsep Monte Carlo

Hukum Peluang Total

Misalkan A1,A2,A3 merupakan partisi dari ruang sampel Ω atau dapat ditulissebagai

A1 ∪ A2 ∪ A3 = Ω,

dan P(Ai) > 0, i = 1, 2, 3.

Kemudian ada kejadian lain, katakanlah B,

B = B ∩ (A1 ∪ A2 ∪ A3)

= (B ∩ A1) ∪ (B ∩ A2) ∪ (B ∩ A3),

dengan P(B) > 0.





Bayes Empirik

Konsep Monte Carlo

Karena B ∩ Ai, i = 1, 2, 3 adalah kejadian saling lepas, maka

P(B) = P(B ∩ A1) + P(B ∩ A2) + P(B ∩ A3).

Selanjutnya untuk setiap i = 1, 2, 3; P(B ∩ Ai) = P(Ai)P(B|Ai). Sehingga

P(B) =P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)

=

3∑i=1

P(Ai)P(B|Ai). (3)





Bayes Empirik

Konsep Monte Carlo

Teorema Bayes


P(Aj|B) =P(Aj ∩ B)

P(B), j = 1, 2, . . . , k.

Dengan menggunakan hukum peluang total, maka

P(Aj|B) =P(Aj ∩ B)

P(B)=

P(Aj)P(B|Aj)∑kj=1 P(Aj)P(B|Aj)

. (4)

Persamaan (4) dikenal juga dengan Teorema Bayes.





Bayes Empirik

Konsep Monte Carlo

Dua Kejadian Yang Saling Bebas

Misalkan diketahui suatu kejadian A namun tidak mengubah nilai peluangkejadian B, dengan P(A) > 0,

P(B|A) = P(B).

Maka dalam kasus ini, kejadian A dan B saling bebas. Sehingga menghasilkanaturan perkalian berikut:

P(A ∩ B) = P(A)P(B|A) = P(A)P(B). (5)

Sebaliknya ketika P(B) > 0, maka

P(A|B) =P(A ∩ B)

P(B)=

P(A)P(B)

P(B)= P(A).





Bayes Empirik

Konsep Monte Carlo

Dengan kata lain, jika P(A) > 0 dan P(B) > 0, serta berlaku:

P(A ∩ B) = P(A)P(B),

maka kejadian A dan kejadian B saling bebas.

Bagaimana jika P(A) = 0 atau P(B) = 0?

Maka ruas kanan bernilai 0.Ruas kiri juga bernilai 0 karena A ∩ B ⊂ A dan A ∩ B ⊂ B.





Bayes Empirik

Konsep Monte Carlo

Soal Latihan

1. Misalkan Aj, j = 1, 2, 3, 4, 5 merupakan partisi dari ruang sampel Ω

dengan P(Aj) = j15 dan P(B|Aj) = 5−j

15 , j = 1, 2, 3, 4, 5. TentukanP(Aj|B), j = 1, 2, 3, 4, 5!





Bayes Empirik

Konsep Monte Carlo

Soal Latihan

2. Misalkan disediakan 10 cangkir kopi dan 2 diantaranya mengandung’sinida’. Untuk mendapatkan secangkir kopi yang mengandung ’sinida’,dilakukan pengujian di Laboratorium Stastistika Kimia dengan caramengambil dan menguji satu per satu secara acak tanpa pengembalian.

Berapakah peluang diperoleh 2 cangkir kopi ’sinida’ pada duapengujian yang pertama?

Misalkan S1 dan S2 masing-masing adalah kejadian diperoleh ’sinida’pada pengujian pertama dan kedua.Maka P(S1) = · · ·P(S2|S1) = · · ·Sehingga P(S1 ∩ S2) = · · ·





Bayes Empirik

Konsep Monte Carlo

Soal Latihan

3. Ayu dan Ting Ting secara bersamaan menembak sasaran tertentu.Peluang tembakan Ayu mengenai sasaran adalah 0, 7; sedangkanpeluang tembakan Ting Ting (bebas dari tembakan Ayu) mengenaisasaran adalah 0, 4. Jika sebuah tembakan mengenai sasaran, berapapeluang bahwa itu tembakan Ayu?

Misalkan A= kejadian Ayu menembak sasaran,T= kejadian Ting Ting menembak sasaran,K=kejadian tembakan mengenai (kena) sasaran.Maka,

P(A|K) =P(A ∩ K)

P(K)= · · ·





Bayes Empirik

Konsep Monte Carlo

4. Direktur perusahaan mengundang para karyawan yang memilikisetidaknya satu anak laki-laki (L) ke acara syukuran khitanan. Seorangkaryawan memiliki dua anak. Berapa peluang bahwa kedua anakkaryawan adalah laki-laki, jika karyawan tersebut diundang ke acarasyukuran?

Misalkan L kejadian memiliki anak laki-laki; LK kejadian memilikidua anak laki-laki; dan U kejadian diundang ke acara syukuran. Jadi,

P(LK|U) =P(LK ∩ U)

P(U)

=P(LL ∩ LL,LLc,LcL)

P(LL,LLc,LcL)= · · ·





Bayes Empirik

Konsep Monte Carlo

Studi Kasus Bayesian

Misalkan dihadapkan dua parameter yaitu θ1 dan θ2. Perhatian terfokus padaθ1 yang mengandung θ2, namun θ2 merupakan suatu peubah acak. Apakahhal ini bisa dimodelkan menggunakan konsep Bayesian?





Bayes Empirik

Konsep Monte Carlo

Mengenang Kembali Konsep Monte Carlo

Membangkitkan pengamatan-pengamatan sampel dari suatu distribusi spesi-fik disebut pembangkitan Monte Carlo. Teknik pembangkitan ini untuk me-nyimulasikan proses-proses yang sulit dan meneliti sifat-sifat sampel tersebut.





Bayes Empirik

Konsep Monte Carlo

Sebagai contoh, misalkan X adalah peubah acak yang bernilai 1 jika nilaiangka sebuah dadu yang muncul adalah 1 atau 2. Namun jika tidak, maka Xbernilai 0.

Perhatikan bahwa µ(X) = 1/3. (Kenapa?)Jika U ∼ Uniform(0, 1), maka X dapat dinyatakan sebagai

X =

1, jika 0 < U ≤ 1/30, jika 1/3 < U ≤ 1.





Bayes Empirik

Konsep Monte Carlo

Sintaks Octaven=10;u=unifrnd(n);x=zeros(n,1);for i=1:n if (u(i)<=1/3) x(i)=1;x





Bayes Empirik

Konsep Monte Carlo

Tabel: Contoh Hasil Output

ui 0.4743 0.7891 0.555 0.9693 0.0299xi 0 0 0 0 1ui 0.8425 0.6012 0.1009 0.0545 0.4677xi 0 0 1 1 0

Berdasarkan pengamatan dari sampel-sampel acak berdistribusi X, bahwa da-ri 10 pengamatan nilai realisasi statistik X adalah x = 0, 3.





Bayes Empirik

Distribusi Prior dan Distribusi Posterior

Prosedur Bayesian

Properti Fungsi Gamma

Γ(z) =

∞∫0

xz−1e−xdx jika z ∈ C,Re(z) ≥ 0

Γ(n) = (n− 1)! jika n ∈ Z, n ≥ 1∞∫

0

xne−axdx =Γ(n + 1)

an+1 jika n > −1, a > 0.





Bayes Empirik


Intuisi Bayesian

Perhatikan kembali distribusi Poisson berikut:

P(X = x|θ) = e−θθx

x! , x = 1, 2, . . .E(X) = θ, σ2(X) = θ.θ > 0.





Bayes Empirik


Misalkan suatu sampel berasal dari distribusi Poisson. Lalu berdasarkan pe-nilaian subjektif, bahwa parameternya ada dua kemungkinan, yaitu θ = 2atau θ = 3, dengan peluang prior:

P(Θ = 2) =13, P(Θ = 3) =

23.

Namun ternyata ketika diambil sampel acak berukuran n = 2, diperoleh pe-ngamatan x1 = 4 dan x2 = 2.





Bayes Empirik


Diberikan dua pengamatan tersebut, maka peluang posterior bahwa Θ = 2adalah

P(Θ = 2|x1 = 4, x2 = 2) =P(Θ = 2 dan x1 = 4, x2 = 2)

P(x1 = 4, x2 = 2)

=

( 13

) e−224

4!e−222

2!( 13

) e−224

4!e−222

2! +( 2

3

) e−334

4!e−332

2!

= 0, 245.

Lalu peluang posterior bahwa Θ = 3, jika diberikan dua pengamatan terse-but adalah

P(Θ = 3|x1 = 4, x2 = 2) = 1− P(Θ = 2|x1 = 4, x2 = 2)

= 1− 0, 245= 0, 755.





Bayes Empirik


P(Θ = 2|x1 = 4, x2 = 2) > P(Θ = 2|x1 = 4, x2 = 2), maka berdasarkandua pengamatan tersebut maka parameter Θ lebih mendekati nilai 3 dibandingnilai 2. Sehingga intuisinya x = 3.





Bayes Empirik


Mengenal lebih dekat lagi

Misalkan X1,X2, . . . ,Xniid∼ Bernoulli (θ). Maka, MLE untuk θ adalah

θ = · · · .

Namun, estimator apa yang cocok jika parameter θ juga berdistribusi terten-tu?

Misalkanθ ∼ Beta(α, β)

dengan nilai α dan β yang telah ditentukan, maka θ = · · · .





Bayes Empirik


Mengenal lebih dekat lagi

Misalkan X1,X2, . . . ,Xniid∼ Bernoulli (θ). Maka, MLE untuk θ adalah

θ = · · · .

Namun, estimator apa yang cocok jika parameter θ juga berdistribusi terten-tu? Misalkan

θ ∼ Beta(α, β)

dengan nilai α dan β yang telah ditentukan, maka θ = · · · .





Bayes Empirik


Secara umum dapat ditulis sebagai berikut:

X|θ ∼ f (x|θ)Θ ∼ h(θ).

Misalkan θ adalah nilai yang mungkin dari peubah acak Θ. Maka fungsipeluang h(θ) disebut fungsi peluang prior dari Θ.

Misalkan X1,X2 . . . ,Xn adalah sampel acak dari distribusi X diberikan (ber-syarat) Θ = θ dengan fungsi peluang f (x|θ). Fungsi peluang bersama untukX = (X2,X2, . . . ,Xn) diberikan Θ = θ dapat ditulis menjadi

L(x|θ) = f (x1|θ)f (x2|θ) · · · f (xn|θ).

Maka fungsi peluang bersama dari X dan Θ adalah

g(x, θ) = L(x|θ)h(θ).





Bayes Empirik


Jika Θ adalah peubah acak kontinu, maka fungsi peluang bersama dari Xadalah

g1(x) =

∫ ∞−∞

g(x, θ)dθ. (6)

Fungsi peluang bersyarat dari Θ diberikan X adalah

k(θ|x) =g(x, θ)g1(x)

=L(x|θ)h(θ)

g1(x).

Fungsi k(θ|x) disebut fungsi peluang posterior.

Distribusi prior mengambarkan keyakinan subjektif dari Θ sebelum sampeldigunakan, sementara distribusi posterior adalah distribusi bersyarat dari Θsetelah sampel digunakan.





Bayes Empirik


Latihan Soal

1. Misalkan X|θ ∼ Binomial (20, θ). Peluang prior untuk Θ adalahP(θ = 0, 3) = 2/3 dan P(θ = 0, 5) = 1/3. Jika x = 9, tentukanpeluang posterior untuk θ = 0, 3 dan θ = 0, 5!





Bayes Empirik


Latihan Soal

2. Misalkan X1,X2, . . . ,Xn|λiid∼ Poisson(λ), dengan Λ ∼ Gamma(α, β).

a. Tentukan distribusi posterior dari Λb. Hitung mean dan variansi dari posterior.





Bayes Empirik


Latihan Soal

Jawab:Perhatikan bahwa Y =

n∑i=1

Xi|λ ∼ Poisson(nλ).

a. Fungsi peluang massa marginal Y adalah

g1(y) =

∫ ∞0

(nλ)ye−nλ

y!

1Γ(α)βα

λα−1e−λ/βdλ

=ny

y!Γ(α)βα

∫ ∞0

λ(y+α)−1e−λ

β/(nβ+1) dλ

=ny

y!Γ(α)βαΓ(y + α)

(β

nβ + 1

)y+α

.





Bayes Empirik


Latihan Soal

Sehingga

k(λ|y) =L(y|λ)h(λ)

g1(y)

=λ(y+α)−1e−

λβ/(nβ+1)

Γ(y + α)(

βnβ+1

)y+α ∼ Gamma(

y + α,β

nβ + 1

).





Bayes Empirik


Latihan Soal

b. Karena λ|y ∼ Gamma (y + α, βnβ+1 ) maka

E(λ|y) = (y + α)β

nβ + 1=

β

nβ + 1y +

1nβ + 1

(αβ)

Var(λ|y) = (y + α)β2

(nβ + 1)2 .





Bayes Empirik

Fungsi Keputusan dan Fungsi Kerugian

Misalkan δ adalah sejumlah fungsi untuk memilih sedemikian sehingga δ(x)adalah nilai θ yang diprediksi (nilai eksperimental dari peubah acak Θ), ketikanilai x yang dihitung dan pdf bersyarat k(θ|x) diketahui.





Bayes Empirik

Misalkan Θ adalah peubah acak kontinu, maka suatu estimator Bayes adalahfungsi keputusan δ yang meminimalkan

E L[Θ, δ(x)]|X = x =

∫ ∞−∞

L[θ, δ(x)]k(θ|x)dθ,

dengan L adalah fungsi kerugian. Artinya,

δ(x) = arg min∫ ∞−∞

L[θ, δ(x)]k(θ|x)dθ.





Bayes Empirik

Peubah acak terkait δ(X) disebut estimator Bayes dari θ. Ada dua fungsikerugian yang biasa digunakan, yaitu [θ − δ(x)]2 dan |θ − δ(x)|.

Jika fungsi kerugian dinyatakan dengan L[θ, δ(x)] = [θ − δ(x)]2, maka esti-masi Bayesnya adalah δ(x) = E(Θ|x). Perhatikan bahwa E[(W − b)2] (jikaada) menjadi minimum ketika b = E(W).

Jika fungsi kerugian dinyatakan sebagai L[θ, δ(x)] = |θ−δ(x)|, maka mediandari distribusi Θ bersyarat X = x menjadi solusi Bayes.

Namun jika L[θ, δ(x)] = a(θ − θ)− + b(θ − θ)+, maka estimator Bayesnyaadalah kuantil ke a

a+b dari F(θ|X).





Bayes Empirik

Untuk fungsi kerugian L, estimator Bayes dari l(θ) adalah fungsi keputusanδ yang meminimumkan

EL[l(Θ), δ(x)]|X = x =

∫ ∞−∞

L[l(θ), δ(x)]k(θ|x)dθ.

Ekspektasi bersyarat dari fungsi kerugian diberikan X = x dinotasikan seba-gai ∫ ∞

−∞

∫ ∞−∞

L[θ, δ(x)]k(θ|x)dθ

g1(x)dx

=

∫ ∞−∞

∫ ∞−∞

L[θ, δ(x)]L(x|θ)dx

h(θ)dθ.





Bayes Empirik

Contoh Soal

Pandang model distribusi berikut:

Xi|θiid∼ Binomial(1, θ), untuk i = 1, 2, . . . , n

Θ ∼ Beta(α, β),

dengan α dan β diketahui. Maka pdf priornya

h(θ) =

Γ(α+β)

Γ(α)Γ(β)θα−1(1− θ)β−1; 0 < θ < 1

0; lainnya,

dengan α dan β konstanta positif.

Ingat, estimator untuk distribusi prior iniadalah θ = α/(α + β). Selanjutnya dicari fungsi keputusan δ yang menjadisolusi Bayes.





Bayes Empirik

Contoh Soal

Pandang model distribusi berikut:


Θ ∼ Beta(α, β),

dengan α dan β diketahui. Maka pdf priornya

h(θ) =

Γ(α+β)

Γ(α)Γ(β)θα−1(1− θ)β−1; 0 < θ < 1

0; lainnya,

dengan α dan β konstanta positif. Ingat, estimator untuk distribusi prior iniadalah θ = α/(α + β). Selanjutnya dicari fungsi keputusan δ yang menjadisolusi Bayes.





Bayes Empirik

Perhatikan bahwa statistik cukupnya adalah Y =n∑

i=1Xi|θ yang berdistribusi

Binomial(n, θ). Fungsi peluang bersyarat Y diberikan Θ = θ adalah

g(y|θ) =

(ny

)θy(1− θ)n−y; y = 0, 1, . . . , n

0; untuk lainnya.





Bayes Empirik

Berdasarkan hukum Bayes (jika statistik cukup Y ada):

k(θ|y) ∝ g[y|θ]h(θ),

maka

k(θ|y) ∝ θy(1− θ)n−yθα−1(1− θ)β−1, 0 < θ < 1.

Sehingga

k(θ|y) =Γ(n + α+ β)

Γ(α+ y)Γ(n + β − y)θα+y−1(1− θ)β+n−y−1, 0 < θ < 1,

dengan y = 0, 1, . . . , n.

Oleh karena itu, distribusi untuk posterior adalahBeta(α + y, β + n − y). Selanjutnya, pilih fungsi kerugian error kuadrat,L[θ, δ(y)] = [θ − δ(y)]2. Maka estimator Bayes dari θ adalah mean dari pdfBeta,

δ(y) =α+ y

α+ β + n.





Bayes Empirik

Berdasarkan hukum Bayes (jika statistik cukup Y ada):

k(θ|y) ∝ g[y|θ]h(θ),

maka

k(θ|y) ∝ θy(1− θ)n−yθα−1(1− θ)β−1, 0 < θ < 1.

Sehingga

k(θ|y) =Γ(n + α+ β)

Γ(α+ y)Γ(n + β − y)θα+y−1(1− θ)β+n−y−1, 0 < θ < 1,

dengan y = 0, 1, . . . , n. Oleh karena itu, distribusi untuk posterior adalahBeta(α + y, β + n − y). Selanjutnya, pilih fungsi kerugian error kuadrat,L[θ, δ(y)] = [θ − δ(y)]2. Maka estimator Bayes dari θ adalah mean dari pdfBeta,

δ(y) =α+ y

α+ β + n.





Bayes Empirik

Estimator Bayes tersebut dapat ditulis menjadi

δ(y) =

(n

α+ β + n

)yn

+

(α+ β

α+ β + n

)α

α+ β,

yang merupakan rata-rata terboboti dari maksimum likelihood yang menges-timasi parameter distribusi Binomial dan estimator prior yang berdistribusiBeta. Untuk n yang besar maka estimator Bayes mendekati nilai MLE θ,sehingga δ(Y) merupakan estimator yang konsisten.

Perhatikan bahwa α dan β seharusnya dipilih sedemikian sehingga tidak ha-nya mean prior α/(α + β) yang diinginkan, tetapi juga penjumlahan α + βmengindikasikan nilai opini prior tergantung pada ukuran sampel n. Misal-kan opini prior bahwa ukuran sampelnya 20, maka α + β = 20. Jadi, jikamean priornya 3/4, maka yang dipilih adalah α = 15 dan β = 5.





Bayes Empirik

Contoh Soal

Pandang model berikut:

Xi|θiid∼ N(θ, σ2), (σ2 diketahui)

Θ ∼ N(θ0, σ20), (θ0 dan σ2

0 diketahui).

a. Tentukan distribusi posterior dari Θ

b. Hitung mean dan variansi dari posterior.





Bayes Empirik

Misalkan Y = X adalah statistik cukup, maka

Y|θ ∼ N(θ, σ2/n), (σ2 diketahui)

Θ ∼ N(θ0, σ20), (θ0 dan σ2

0 diketahui).

Lalu

k(θ|y) ∝ g[y|θ]h(θ)

∝ 1√2πσ/

√n

1√2πσ0

exp[− (y− θ)2

2(σ2/n)− (θ − θ0)2

2σ0

]

∝ exp

−(θ − yσ2

0 + θ0(σ2/n)

σ20 + (σ2/n)

)2

2(σ2/n)σ20

[σ20 + (σ2/n)]

.





Bayes Empirik

TUGAS 1

Misalkan X1,X2, . . . ,Xn|λiid∼ Poisson(λ), dengan Λ ∼ Gamma(α, β).

a. Tentukan distribusi posterior dari Λ

b. Hitung mean dan variansi dari posterior.





Bayes Empirik

Prior KonjugatPrior Non-Informatif

Fungsi Peluang Bersama (Marginal)

Misalkan X′ = (X1,X2, . . . ,Xn) menyatakan sampel acak dengan fungsi like-lihood L(x|θ) dan peluang prior h(θ). Maka, fungsi peluang bersama dari Xadalah

g1(x) =

∫ ∞−∞

L(x|θ)h(θ)dθ,

yang dikenal juga sebagai distribusi prediktif dari X, karena mengandungfungsi likelihood dan peluang prior.





Bayes Empirik


Definisi Keluarga Distribusi Konjugat

DefinisiDistribusi prior dan posterior disebut distribusi konjugat jika fungsi peluangposterior memiliki keluarga distribusi yang sama dengan prior. Lalu priornyadisebut prior konjugat.





Bayes Empirik


Contoh Keluarga Distribusi Konjugat

1. Misalkan X1,X2, . . . ,Xn|λiid∼ Poisson(λ), dengan Λ ∼ Gamma(α, β).

Selanjutnya Y =∑n

i=1 Xi|λ ∼ Poisson(nλ). Sehingga diperoleh

k(λ|y) ∼ Gamma(

y + α,β

nβ + 1

).





Bayes Empirik



2. Pandang model berikut:


Θ ∼ N(θ0, σ20), (θ0 dan σ2

0 diketahui).

Maka

Y = X|θ ∼ N(θ, σ2/n), (σ2 diketahui)

Lalu k(θ|y) ∼ Normal. Sehingga posterior juga berdistribusi Normal.





Bayes Empirik



3. Pandang model distribusi berikut:


Θ ∼ Beta(α, β), dengan α dan β diketahui.

Lalu Y =n∑

i=1Xi|θ ∼ Binomial(n, θ). Sehingga

k(θ|y) ∼ Beta (α+ y, β + n− y) .





Bayes Empirik


Secara intuisi, bahwa prior konjugat (secara transparan) menunjukkan bagai-mana fungsi likelihood memperbaharui distribusi prior.





Bayes Empirik


Prior Non-Informatif

Pandang kembali model distribusi berikut:



Thomas Bayes (1763) mencoba nilai α = β = 1, maka diperoleh h(θ) = 1untuk 0 < θ < 1. Artinya beliau mengatakan bahwa tidak punya banyakpengetahuan tentang θ. Lalu diperoleh

δ(y) =

(n

α+ β + n

)yn

+

(α+ β

α+ β + n

)α

α+ β

=

(n

2 + n

)yn

+

(2

2 + n

)12.

Sehingga terjadi penyusutan karena estimator y/n ditarik ke arah rata-rataprior 1/2.





Bayes Empirik






Thomas Bayes (1763) mencoba nilai α = β = 1, maka diperoleh h(θ) = 1untuk 0 < θ < 1. Artinya beliau mengatakan bahwa tidak punya banyakpengetahuan tentang θ.

Lalu diperoleh

δ(y) =

(n

α+ β + n

)yn

+

(α+ β

α+ β + n

)α

α+ β

=

(n

2 + n

)yn

+

(2

2 + n

)12.






Bayes Empirik






Thomas Bayes (1763) mencoba nilai α = β = 1, maka diperoleh h(θ) = 1untuk 0 < θ < 1. Artinya beliau mengatakan bahwa tidak punya banyakpengetahuan tentang θ. Lalu diperoleh

δ(y) =

(n

α+ β + n

)yn

+

(α+ β

α+ β + n

)α

α+ β

=

(n

2 + n

)yn

+

(2

2 + n

)12.






Bayes Empirik


Lalu Haldane (1948) mencoba prior Beta jika α = β = 0, maka penyu-sutan estimator akan berkurang ke MLE y/n. Dan tentu saja fungsi peluangBeta(0,0) bukanlah suatu fungsi peluang.

Kemudian diambillah

h(θ) ∝ 1θ(1− θ)

, 0 < θ < 1.

Ketika prior digunakan, lalu dikombinasikan dengan likelihood diperoleh fung-si peluang posterior yang proper. Sehingga dipadukan dengan konstanta po-sitif, menghasilkan fungsi peluang posterior berikut.

f (θ|y) ∝ θy−1(1− θ)n−y−1, n > y > 0.

Dalam hal ini, mean posterior adalah y/n.





Bayes Empirik


Lalu Haldane (1948) mencoba prior Beta jika α = β = 0, maka penyu-sutan estimator akan berkurang ke MLE y/n. Dan tentu saja fungsi peluangBeta(0,0) bukanlah suatu fungsi peluang. Kemudian diambillah

h(θ) ∝ 1θ(1− θ)

, 0 < θ < 1.

Ketika prior digunakan, lalu dikombinasikan dengan likelihood diperoleh fung-si peluang posterior yang proper. Sehingga dipadukan dengan konstanta po-sitif, menghasilkan fungsi peluang posterior berikut.

f (θ|y) ∝ θy−1(1− θ)n−y−1, n > y > 0.

Dalam hal ini, mean posterior adalah y/n.





Bayes Empirik


Definisi Improper

Definisi

Misalkan X′ = (X1,X2, . . . ,Xn) sampel acak dari suatu distribusi denganfungsi peluang f (x|θ). Suatu prior h(θ) ≥ 0 dikatakan improper jika bukansuatu fungsi peluang, namun membuat k(θ|x) ∝ L(x|θ)h(θ) proper.





Bayes Empirik



Suatu prior dapat dikatakan prior non-informatif jika θ memiliki kesempat-an yang sama (secara uniform) untuk semua kemungkinan. Praktisnya, priorimproper digunakan sebagai prior non-informatif.





Bayes Empirik


Misalkan distribusi N(θ1, θ2) dengan θ1, θ2 > 0 tidak diketahui.

Lalu priorinformatif untuk θ1 adalah

h1(θ1) = 1, −∞ < θ1 <∞.

Jelas ini bukan fungsi peluang. Kemudian prior improper untuk θ2 adalah

h2(θ2) = c2/θ2, 0 < θ2 <∞.

Dalam hal ini, −∞ < log θ2 <∞.

Selanjutnya jika diasumsikan bahwa kedua parameter tersebut saling bebas,maka prior bersama juga improper:

h1(θ1)h2(θ2) ∝ 1/θ2, −∞ < θ1 <∞, 0 < θ2 <∞.





Bayes Empirik


Misalkan distribusi N(θ1, θ2) dengan θ1, θ2 > 0 tidak diketahui. Lalu priorinformatif untuk θ1 adalah

h1(θ1) = 1, −∞ < θ1 <∞.

Jelas ini bukan fungsi peluang. Kemudian prior improper untuk θ2 adalah

h2(θ2) = c2/θ2, 0 < θ2 <∞.

Dalam hal ini, −∞ < log θ2 <∞.

Selanjutnya jika diasumsikan bahwa kedua parameter tersebut saling bebas,maka prior bersama juga improper:

h1(θ1)h2(θ2) ∝ 1/θ2, −∞ < θ1 <∞, 0 < θ2 <∞.





Bayes Empirik


TUGAS 2

1. Tunjukkan bahwa

X1,X2, . . . ,Xn|θiid∼ Eksponensial(θ)

Θ ∼ Gamma(α, β), (α dan β diketahui),

adalah keluarga distribusi konjugat!





Bayes Empirik


TUGAS 2

2. Tentukan distribusi posterior, jika diketahui model Bayesian berikut.

X1,X2, . . . ,Xn|θiid∼ Bernoulli(θ), 0 < θ < 1

Θ ∼ h(θ) = 1.





Bayes Empirik


INFO TUGASKumpulkan TUGAS 1 dan TUGAS 2, paling lambat tanggal 27 November2017 jam 09.10.





Bayes Empirik

PendahuluanGibbs Sampler

Integrasi menggunakan Monte Carlo

Misalkan ingin menghitung1∫

0x dx. Dalam hal ini, yang dihitung adalah luas

dibawa kurva y = x ketika dibatasi x = 0 dan x = 1.

Sintaks Octave% integrasi Monte Carloclc; clear all; N=10000;

x1=0; x2=1;y1=0; y2=1;x=unifrnd(x1,x2,N,1);y=unifrnd(y1,y2,N,1);hitung di bawah kurva=zeros(N,1);





Bayes Empirik


Sintaks Octave (Lanjutan)

for i=1:Nif y(i)<x(i) hitung di bawah kurva(i)=1;endif;endfor;

peluang luas=sum(hitung di bawah kurva)/N;luas di bawah kurva=peluang luas*(x2-x1)*(y2-y1);luas di bawah kurva





Bayes Empirik


Contoh ke 2:2∫−2

x2dx

Sintaks Octave% integrasi Monte Carlo (2)close all; clc; clear all; N=10000;x1=-2; x2=2;y1=0; y2=max(x1ˆ2,x2ˆ2);x=unifrnd(x1,x2,N,1);y=unifrnd(y1,y2,N,1);hitung di bawah kurva=zeros(N,1);

for i=1:Nif y(i)<x(i)*x(i) hitung di bawah kurva(i)=1;endif;endfor;





Bayes Empirik


Sintaks Octave (Lanjutan)

peluang luas=sum(hitung di bawah kurva)/N;luas di bawah kurva=peluang luas*(x2-x1)*(y2-y1);luas di bawah kurva

xxx=x1:0.01:x2;yyy=xxx.ˆ2;

plot(x,y,’b.’,xxx,yyy,’r-’,’linewidth’,2);title(’Integrasi Monte Carlo pada kurva y=xˆ2’);xlabel(’x’); ylabel(’y’);





Bayes Empirik


Gambar: Sampling pada kurva y = x2





Bayes Empirik


Tabel: Simulasi Integrasi Menggunakan Teknik Monte Carlo

N b∫a

f (x)dx100 1000 10000 100000f (x) = x 0,4700 0,4890 0,5074 0,4982 1/2f (x) = x2 4,4800 5,4240 5,2976 5,3794 16/3

Ket:a = 0, b = 1a = −2, b = 2.





Bayes Empirik


Integrasi Monte Carlo

Misalkan g adalah fungsi tertutup dan terbatas pada interval [a, b]. Maka

b∫a

g(x)dx = (b− a)

b∫a

g(x)1

b− adx = (b− a)E[g(x)],

dengan X ∼ U(a, b). Selanjutnya menggunakan teknik Monte Carlo:1 bangkitkan sampel acak X1,X2, . . . ,Xn dari U(a, b)

2 hitung Yi = (b− a)g(Xi) untuk i = 1, 2, . . . , n

3 hitung Y yang merupakan estimator tak bias darib∫

ag(x)dx.





Bayes Empirik


Model Bayesian

Teknik integrasi memainkan peranan penting dalam inferensi Bayesian. Tek-nik Monte Carlo dapat digunakan untuk integrasi dalam inferensi Bayesian.





Bayes Empirik


Misalkan sampel acak berasal dari distribusi N(θ, σ2), dengan parameter σ2

diketahui. Misalkan juga Y = X adalah suatu statistik cukup. Lalu pandangmodel Bayes berikut:

Y|θ ∼ N(θ, σ2/n)

Θ ∼ h(θ) ∝ 1b

exp− (θ−a)b

(1 + exp− (θ−a)b )2

, −∞ < θ <∞,

dengan a, b > 0 yang diketahui.





Bayes Empirik


Karena prior Θ berdistribusi Logistik, maka fungsi peluang posteriornya yaitu

k(θ|y) =

1√2πσ/

√n

exp− 1

2(y−θ)2

σ2/n

b−1e−(θ−a)/b/(1 + e−[(θ−a)/b])2

∞∫−∞

1√2πσ/

√n

exp− 1

2(y−θ)2

σ2/n

b−1e−(θ−a)/b/(1 + e−[(θ−a)/b])2dθ

.

Selanjutnya dengan asumsi kerugian error kuadrat, maka estimator Bayesadalah mean dari distribusi posterior.

Namun perhitungannya melibatkan dua integral, yang tidak dapat dipecah-kan solusinya secara eksplisit.





Bayes Empirik


Solusinya? Teknik Integrasi Monte Carlo?

Karena fungsi likelihood f (y|θ) juga merupakan fungsi dari θ maka dapatdimisalkan bahwa

w(θ) = f (y|θ) =1√

2πσ/√

nexp

−1

2(y− θ)2

σ2/n

.

Sehingga diperoleh estimator Bayes

δ(y) =

∫∞−∞ θw(θ)b−1e−(θ−a)/b/(1 + e−[(θ−a)/b])2dθ∫∞−∞ w(θ)b−1e−(θ−a)/b/(1 + e−[(θ−a)/b])2dθ

=E[Θw(Θ)]

E[w(Θ)].





Bayes Empirik


Langkah selanjutnya adalah mengestimasi menggunakan Monte Carlo. Halini dilakukan dengan cara membangkitkan Θ1, Θ2, . . ., Θm dari distribusiLogistik yang berfungsi peluang h(θ).

Lalu gunakan metode transformasi invers. Adapun invers dari fungsi kumu-latif Logistik, yaitu:

a + b log

u1− u

, 0 < u < 1.

Kemudian dibentuk peubah acak baru,

Tm =

m−1m∑

i=1Θiw(Θi)

m−1m∑

i=1w(Θi)

.





Bayes Empirik


δ(y) =E[Θw(Θ)]

E[w(Θ)],

Tm =

1m

m∑i=1

Θiw(Θi)

1m

m∑i=1

w(Θi)

Dengan hukum lemah dari bilangan besar dan Teorema Slutsky, bahwa

TmP→ δ(y).

Dengan menggunakan bootstrap, maka dapat diperoleh interval kepercayaanuntuk E[Θw(Θ)]/E[w(Θ)].





Bayes Empirik


Teorema

TeoremaMisalkan dibangkitkan peubah acak dengan mengikuti algoritma berikut:

1. bangkitkan Y ∼ fY(y)

2. bangkitkan X ∼ fX|Y(x|Y).Maka X memiliki fungsi peluang, yaitu fX(x).

Bukti: Untuk menghindari kesalahpahaman, misalkan T adalah peubah acakyang dibangkitkan oleh algoritma tersebut. Maka akan dibuktikan bahwa Tmemiliki fungsi peluang, yaitu fX(x).





Bayes Empirik


Ketika ingin menentukan nilai E[W(X)] untuk beberapa fungsi W(x), di-mana E[W2(X)] < ∞. Maka dapat dibangkitkan pasangan secara bebas(Y1,X1), (Y2,X2), . . ., (Ym,Xm), dengan Yi berasal dari fY(y) dan Xi berasaldari fX|Y(x|Y).

Lalu dengan menggunakan hukum lemah dari bilangan besar,

W =1m

m∑i=1

W(Xi)P→∞∫−∞

W(x)fX(x)dx = E[W(X)].





Bayes Empirik


Dengan Teorema Limit Pusat,

√m(W − E[W(X)])

D→ N(0, σ2W), dimana σ2

W = Var(W(X)),

atau diperoleh interval kepercayaan untuk E[W(x)] yaitu

w± zα/2sW√

m,

dimana s2W = (m− 1)−1

m∑i=1

(wi − w)2.





Bayes Empirik


Soal Latihan

Diketahui:

fX(x) =

2e−x(1− e−x), 0 < x <∞0, untuk x yang lainnya

fY(y) =

2e−2y, 0 < y <∞0, untuk y yang lainnya

fX|Y(x|y) =

e−(x−y), y < x <∞0, untuk kondisi lainnya

Misalkan cara membangkitkan peubah acaknya, mengikuti algoritma:

1. Bangkitkan Y ∼ fY(y)

2. Bangkitkan X ∼ fX|Y(x|Y)

F−1Y (u) = · · ·

F−1X|Y(u) = · · ·





Bayes Empirik


Soal Latihan

Diketahui:

fX(x) =

2e−x(1− e−x), 0 < x <∞0, untuk x yang lainnya

fY(y) =

2e−2y, 0 < y <∞0, untuk y yang lainnya

fX|Y(x|y) =

e−(x−y), y < x <∞0, untuk kondisi lainnya

Misalkan cara membangkitkan peubah acaknya, mengikuti algoritma:1. Bangkitkan Y ∼ fY(y)

2. Bangkitkan X ∼ fX|Y(x|Y)

F−1Y (u) = · · ·

F−1X|Y(u) = · · ·





Bayes Empirik


FY(t) =

∫ t

0fY(y)dy = · · ·

FX|Y(t) =

∫ t

yfX|Y(x|y)dx = · · ·

F−1Y (u) = · · ·

F−1X|Y(u) = · · · .





Bayes Empirik


Gibbs Sampler

Algoritma sebelumnyalah yang memotivasi untuk menggunakan algoritmalainnya yang disebut Gibbs Sampler.

Misalkan pasangan peubah acak (X,Y) memiliki fungsi peluang bersamaf (x, y). Tujuannya adalah membangkitkan peubah-peubah acak yang iid,masing-masing yaitu X dan Y .





Bayes Empirik


Gibbs Sampler

Algoritma Gibbs Sampler

Misalkan m dan X0 masing-masing menyatakan bilangan bulat positif dannilai inisial (yang diberikan). Maka untuk i = 1, 2, . . . ,m,

1. Bangkitkan Yi|Xi−1 ∼ f (y|x)

2. Bangkitkan Xi|Yi ∼ f (x|y).





Bayes Empirik


Algoritma Gibbs Sampler (Lanjutan)

Maka untuk i→∞

YiD→Y ∼ fY(y)

XiD→X ∼ fX(x)

dan untuk m→∞

1m

m∑i=1

W(Xi)P→ E[W(X)].





Bayes Empirik


Perhatikan bahwa untuk menghitung pasangan (Xk+1,Yk+1) hanya memer-lukan pasangan (Xk,Yk), tanpa pasangan-pasangan dari 1 sampai ke k − 1.Dalam proses stokastik, rangkaian ini disebut Rantai Markov.





Bayes Empirik


Soal Latihan

Misalkan (X,Y) memiliki fungsi peluang yang merupakan campuran daridiskrit dan kontinu berikut

f (x, y) =

1Γ(α)

1x! y

α+x−1e−2y, α > 0; y > 0; x = 0, 1, 2, . . .0, kondisi lainnya.

Maka

f (y|x) ∝ · · ·f (x|y) ∝ · · ·





Bayes Empirik


Maka algoritma Gibbs Samplernya adalah,untuk i = 1, 2, . . . ,m,

1. Bangkitkan Yi|Xi−1 ∼ Γ(α+ Xi−1, 2)

2. Bangkitkan Xi|Yi ∼ Poi(Yi).Sehingga dengan membesarnya nilai m dan n > m,

Y =1

n− m

n∑i=m+1

YiP→ E(Y)

X =1

n− m

n∑i=m+1

XiP→ E(X).





Bayes Empirik


Dalam hal ini, dapat dibuktikan bahwa

Y ∼ Γ(α, 1)

X ∼ Binomial Negatif(α, 1/2).

Dapat dibuktikan juga nilai ekspektasi untuk X dan Y adalah

E(Y) = E(X) = α.





Bayes Empirik


Sintaks R

gibbser2 = function(alpha,m,n)x0 = 1yc = rep(0,m+n)xc = c(x0,rep(0,m+n-1))for(i in 2:(m+n))yc[i] = rgamma(1,alpha+xc[i-1],2)xc[i] = rpois(1,yc[i])y1=yc[1:m]y2=yc[(m+1):(m+n)]x1=xc[1:m]x2=xc[(m+1):(m+n)]list(y1 = y1,y2=y2,x1=x1,x2=x2)





Bayes Empirik


Sintaks R (Lanjutan)

library(stats)n<-10000;alpha<-8;coba simulasi<-gibbser2(alpha,5000,n);y topi<-mean(coba simulasi$y2)x topi<-mean(coba simulasi$x2)sigma2 y<-var(coba simulasi$y2)sigma2 x<-var(coba simulasi$x2)ba y<-mean(coba simulasi$y2)+1.64*sd(coba simulasi$y2)/sqrt(n)bb y<-mean(coba simulasi$y2)-1.64*sd(coba simulasi$y2)/sqrt(n)ba x<-mean(coba simulasi$x2)+1.64*sd(coba simulasi$x2)/sqrt(n)bb x<-mean(coba simulasi$x2)-1.64*sd(coba simulasi$x2)/sqrt(n)dibuat tabel y<-data.frame(alpha,y topi,sigma2 y,bb y,ba y)dibuat tabel x<-data.frame(alpha,x topi,sigma2 x,bb x,ba x)





Bayes Empirik


Tabel: Interval Kepercayaan 99% untuk Peubah Acak X dan Y

Parameter Estimasi sampel Variansi sampel Interval kepercayaanE(Y) = α = 8 y = 7.908535 s2(y) = 7.693978 (7.854168, 7.962901)E(X) = α = 8 x = 7.8694 s2(x) = 15.86193 (7.791339, 7.947461)E(Y) = α = 10 y = 9.990611 s2(y) = 9.735782 (9.929455, 10.05177)E(X) = α = 10 x = 10.0196 s2(x) = 19.58697 (9.932856, 10.10634)E(Y) = α = 30 y = 30.06515 s2(y) = 30.20128 (29.95743, 30.17286)E(X) = α = 30 x = 30.0674 s2(x) = 58.79374 (29.91711, 30.21769)

Parameter α = 8 tidak berada di dalam interval interval 99%.





Bayes Empirik


Simulasi Histogram





Bayes Empirik


Tabel: Simulasi Interval Kepercayaan 99% ketika α = 8

n Estimasi sampel Variansi sampel Interval kepercayaan10000 y = 7.908535 s2(y) = 7.693978 (7.854168, 7.962901)10000 x = 7.8694 s2(x) = 15.86193 (7.791339, 7.947461)100000 y = 7.998176 s2(y) = 8.005376 (7.980639, 8.015713)100000 x = 8.01055 s2(x) = 16.0435 (7.985724, 8.035376)

1000000 y = 8.004814 s2(y) = 8.003643 (7.999269, 8.010359)1000000 x = 8.007286 s2(x) = 16.01347 (7.999443, 8.015129)





Bayes Empirik


Soal Latihan

1. Misalkan Y ∼ Γ(1, 1) dan

f (x|y) =

e−(x−y), 0 < y < x <∞0, kondisi lainnya.

a. Buatlah algoritma untuk membangkitkan pengamatan iid dengan fungsipeluang fX(x)!

b. Berikan prosedur untuk mencari E[X]!





Bayes Empirik


Jawab:Perhatikan bahwa F−1

X|Y(u) = y− log(1− u). Sehingga

a. Bangkitkan U1 dan U2 yang iid Uniform(0,1)Bangkitkan Y = log(1/(1− U1))Bangkitkan X = Y + log(1/(1− U2)).

b. Untuk n→∞, X =n∑

i=1x/n→ E(X).





Bayes Empirik


Sintaks Octavefunction [kumpulkan] = simulasikan(n)kumpulkan=zeros(n,1);for i=1:ny=-log(1-unifrnd(0,1,1));kumpulkan(i)=y-log(1-unifrnd(0,1,1));end;endfunction

x=simulasikan(1000);mean(x);





Bayes Empirik


Soal Latihan

2. Misalkan

f (x, y) ∝ (n

x

)yx+α−1(1− y)n−x+β−1, x = 0, 1, . . . , n; 0 < y < 1

0, untuk kondisi lainnya,

dengan α, β > 0.a. Tentukan f (x|y) dan f (y|x)!b. Buatlah algoritma Gibbs sampler untuk membangkitkan peubah acak X

dan Y!





Bayes Empirik

Metode Bayesian Modern

Fungsi peluang prior memiliki pengaruh penting dalam kesimpulan Bayesian.

Lebih lanjut, prior juga dapat dipengaruhi oleh peubah acak lain. Perhatikanmodel Bayesian hirarki berikut.

X|θ ∼ f (x|θ)Θ|γ ∼ h(θ|γ)

Γ ∼ ψ(γ).

Parameter γ dapat dikatakan sebagai parameter pengganggu atau hyperparameter.





Bayes Empirik

Metode Bayesian Modern

Fungsi peluang prior memiliki pengaruh penting dalam kesimpulan Bayesian.Lebih lanjut, prior juga dapat dipengaruhi oleh peubah acak lain. Perhatikanmodel Bayesian hirarki berikut.

X|θ ∼ f (x|θ)Θ|γ ∼ h(θ|γ)

Γ ∼ ψ(γ).

Parameter γ dapat dikatakan sebagai parameter pengganggu atau hyperparameter.





Bayes Empirik

Dengan mengasumsikan kerugian error kuadrat, maka estimator Bayesian un-tuk W(θ) adalah

δW(x) =

∞∫−∞

∞∫−∞

W(θ)f (x|θ)h(θ|γ)ψ(γ)dγd(θ)

∞∫−∞

∞∫−∞

f (x|θ)h(θ|γ)ψ(γ)dγdθ.





Bayes Empirik

Contoh Soal

Perhatikan kembali model Bayesian berikut.


Θ ∼ N(0, σ20), (σ2

0 diketahui).

Misalkan Y = X adalah statistik cukup, maka


Θ ∼ N(0, σ20), (σ2

0 diketahui).

Lalu

k(θ|y) ∝ exp

−(θ − yσ2

0

σ20 + (σ2/n)

)2

2(σ2/n)σ20

[σ20 + (σ2/n)]

.Nanda Arista Rizki, M.Si. Statistika Matematika II




Bayes Empirik

Namun ketika σ20 merupakan peubah acak (sebutlah τ 2), maka model dapat

berubah menjadi


Θ|τ 2 ∼ N(0, τ 2)

1τ 2 ∼ Γ(a, b), (a dan b diketahui).

Sehingga diperlukan fungsi peluang bersyarat g(θ|y, τ 2) dan g(τ 2|y, θ). Per-hatikan bahwa

g(θ|y, τ 2) ∝ f (y|θ)h(θ|τ 2)ψ(τ−2)

berdistribusi N(

yτ 2

τ 2+(σ2/n), (σ2/n)τ 2

[τ 2+(σ2/n)]

).





Bayes Empirik

g(

1τ 2 |y, θ

)∝ f (y|θ)g(θ|τ 2)ψ(1/τ 2)

∝ 1τ

exp−1

2θ2

τ 2

(1τ 2

)a−1

exp− 1τ 2

1b

∝(

1τ 2

)a+(1/2)−1

exp− 1τ 2

[θ2

2+

1b

],

yang diketahui berdistribusi Γ

a + (1/2), [(θ2/2) + (1/b)]−1

.





Bayes Empirik

Sehingga Gibbs Sampler untuk model ini adalah

Θ|y, τ 2i−1 ∼ N

(yτ 2

i−1

τ 2i−1 + (σ2/n)

,(σ2/n)τ 2

i−1

[τ 2i−1 + (σ2/n)]

)1τ 2 |y,Θi ∼ Γ

(a +

12,

[θ2

i

2+

1b

]−1),

untuk i = 1, 2, . . . ,m.





Bayes Empirik

Dengan menentukan bilangan m yang besar dan n∗ > m, maka diperoleh him-punan pasangan (Θm, τm), (Θm+1, τm+1), . . . , (Θn∗ , τn∗). Jika diasumsikankerugian error kuadrat, maka

θ =1

n∗ − m

n∗∑i=m+1

Θi.





Bayes Empirik

Karena diketahui distribusi bersyarat

Θ|y, τ 2i−1 ∼ N

(yτ 2

i−1

τ 2i−1 + (σ2/n)

,(σ2/n)τ 2

i−1

[τ 2i−1 + (σ2/n)]

),

maka θ juga dapat diestimasi oleh

θ∗ =1

n∗ − m

n∗∑i=m+1

τ 2i

τ 2i + (σ2/n)

x.





Bayes Empirik

Latihan Soal

Perhatikan kembali model Bayesian berikut.

X1,X2, . . . ,Xn|λiid∼ Poisson(λ)

Λ ∼ Gamma(α, β).

Perhatikan bahwa Y =n∑

i=1Xi|λ ∼ Poisson(nλ). Sehingga

k(λ|y) ∼ Gamma(

y + α,β

nβ + 1

).





Bayes Empirik

Namun jika β = b merupakan peubah acak dan diberikan model Bayesianberikut

X|λ ∼ Poisson(λ)

Λ|b ∼ Γ(1, b)

B ∼ g(b) = τ−1b−2 exp− 1

bτ

; b > 0, τ > 0.

Makaa. tentukan posterior g(λ|x, b)!b. tentukan g(b|x, λ)!





Bayes Empirik

Perhatikan bahwa fungsi peluang bersama

g(x, λ, b) = f (x|λ)h(λ|b)ψ(b).

Diperoleh

g(λ|x, b) ∝ e−λλx

x!

1b

e−λ/b

∝ λx+1−1e−λ[1+(1/b)],

yang merupakan fungsi peluang dari distribusi Γ(x + 1, b/[b + 1]).





Bayes Empirik

Lalu

g(b|x, λ) ∝ 1b

e−λ/bτ−1b−2e−1/(bτ)

∝ b−3 exp−1

b

[1τ

+ λ

]





Bayes Empirik

Misalkan y = 1/b, maka berdasarkan Jacobian dbdy = −y−2.

Sehingga diperoleh

g(b|x, λ) ∝ b−3 exp−1

b

[1τ

+ λ

]g(y|x, λ) ∝ y3 exp

−y[

1τ

+ λ

]y−2

∝ y2−1 exp−y[

1τ

+ λ

],

yang merupakan fungsi peluang dari distribusi Γ(2, τ/[λτ + 1]).





Bayes Empirik

Sehingga diperoleh algoritma Gibbs Sampler, yakni untuk i = 1, 2, . . . ,m

Λi|x, bi−1 ∼ Γ(x + 1, bi−1/[1 + bi−1])

Bi = Y−1i dengan Yi|x, λi ∼ Γ(2, τ/[λiτ + 1]).





Bayes Empirik

Bayes Empirik

Pandang model Bayesian hirarki berikut.

X|θ ∼ f (x|θ)Θ|γ ∼ h(θ|γ).

Lalu bagaimanakah distribusi posterior untuk θ?

Perhatikan bahwa

g(x, θ|γ) =g(x, θ, γ)

ψ(γ)=

f (x|θ)h(θ|γ)ψ(γ)

ψ(γ)= f (x|θ)h(θ|γ).

Diperoleh fungsi likelihood berikut.

m(x|γ) =

∞∫−∞

f (x|θ)h(θ|γ)dθ.

Fokus perhatian tertuju pada bagaimana cara mengestimasi parameter γ?





Bayes Empirik

Bayes Empirik


X|θ ∼ f (x|θ)Θ|γ ∼ h(θ|γ).

Lalu bagaimanakah distribusi posterior untuk θ?Perhatikan bahwa

g(x, θ|γ) =g(x, θ, γ)

ψ(γ)=




m(x|γ) =

∞∫−∞


Fokus perhatian tertuju pada bagaimana cara mengestimasi parameter γ?





Bayes Empirik

Bayes Empirik


X|θ ∼ f (x|θ)Θ|γ ∼ h(θ|γ).

Lalu bagaimanakah distribusi posterior untuk θ?Perhatikan bahwa

g(x, θ|γ) =g(x, θ, γ)

ψ(γ)=




m(x|γ) =

∞∫−∞


Fokus perhatian tertuju pada bagaimana cara mengestimasi parameter γ?Nanda Arista Rizki, M.Si. Statistika Matematika II




Bayes Empirik

Untuk memperoleh estimator γ = γ(x), diperoleh melalui fungsi peluangm(x|γ) dengan metode maksimum likelihood. Nilai γ inilah yang akan di-gunakan untuk melakukan prosedur Bayes empirik melalui fungsi peluangposterior k(θ|x, γ).


statistika matematika ii -...

Documents