ma4181 pengantar proses stokastik bab 3 rantai...

PengantarSilabus dan Tujuan Perkuliahan

IlustrasiRantai Markov

Peluang n-langkahPeluang Transisi Tak Bersyarat

MA4181 PENGANTAR PROSES STOKASTIKBab 3 Rantai Markov

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

“SMART AND STOCHASTIC”

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA4181 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Markov




Pengantar

Tentang peubah acak:

Satu peubah acak X dan kaitannya dengan kejadian A

Dua peubah acak X dan Y yang tidak saling bebas serta“konsekuensinya” (baca: peluang bersyarat dan ekspektasibersyarat)





Misalkan X dan Y peubah acak kontinu dengan fungsi peluangbersama

f (x, y) = e−x(y+1), 0 ≤ x, 0 ≤ y ≤ e− 1

Tentukan P(X > 1|Y = 12) dan E(X|Y = 1

2)





Tunjukkan bahwa

Cov(X,E(Y|X)) = Cov(X,Y)





Mencari uang lewat ketangkasan permainan sering dilakukan. Inimasuk kategori berjudi juga sih. Mau bagaimana lagi? Terlepas dariitu, bermain peluang menjadi alasan Birgitta. Dia dan Bona bermainserangkaian permainan. Peluang Birgitta menang di setiap permainanadalah θ. Pemenang rangkaian permainan tersebut adalah dia yangmemenangkan dua atau lebih permainan. Berapa peluang bahwaBirgitta adalah pemenang? Berapa banyak permainan yangdilakukan?





Pandang peubah acak-peubah acak X0,X1,X2; setiap peubah acakmemiliki nilai {0, 1, 2}. Diketahui:

P(X0 = 0) = 0.3,P(X0 = 1) = 0.4,P(X0 = 2) = 0.3





P(X2 = 0|X1 = 0) = 0.1

P(X2 = 0|X1 = 1) = 0.9

P(X2 = 0|X1 = 2) = 0.1

P(X2 = 1|X1 = 0) = 0.2

P(X2 = 1|X1 = 1) = 0.1

P(X2 = 1|X1 = 2) = 0.8

P(X2 = 2|X1 = 0) = 0.7

P(X2 = 2|X1 = 1) = 0

P(X2 = 2|X1 = 2) = 0.1





HitungP(X0 = 0,X1 = 1,X2 = 2)





Setiap minggu pagi Ying meninggalkan rumahnya untuk berlari pagi.Ying akan pergi lewat pintu depan atau belakang dengan peluangsama. Ketika meninggalkan rumah, Ying memakai sepatu olah ragaatau bertelanjang kaki jika sepatu tidak tersedia di depan pintu yangdia lewati. Ketika pulang, Ying akan masuk lewat pintu depan ataubelakang dan meletakkan sepatunya dengan peluang sama. Diketahuibahwa Ying memiliki 2 pasang sepatu olah raga. Berapa peluangbahwa Ying akan sering berolah raga dengan bertelanjang kaki?





SilabusTujuan

Silabus

Definisi rantai Markov, sifat Markov, peluang transisi n-langkah,persamaan Chapman-Kolmogorov, jenis keadaan, recurrent dantransient, limit peluang transisi (kestasioneran).





SilabusTujuan

Tujuan

1 Mempelajari model rantai Markov2 Menghitung peluang transisi n-langkah3 Menerapkan persamaan Chapman-Kolmogorov4 Menentukan keadaan yang dapat diakses dan berkomunikasi5 Menentukan keadaan-keadaan recurrent dan transient6 Menghitung peluang transisi untuk jangka panjang





Ilustrasi 1

Perilaku bunuh diri kini kian menjadi-jadi. Hesti (nama sebenarnya)adalah sebuah contoh. Dia pernah melakukan percobaan bunuh diri,namun gagal. Menurut pakar, kalau pada suatu waktu seseorangmelakukan percobaan bunuh diri maka besar kemungkinan dia akanmelakukannya lagi di masa mendatang. Jika seseorang belum pernahmelakukan percobaan bunuh diri, di masa mendatang orang tersebutakan mungkin melakukan percobaan bunuh diri. Deskripsikanfenomena diatas sebagai model peluang (probability model).





Ilustrasi 2

Loyalitas konsumen terhadap suatu merek barang. Wilkie (1994)mendefinisikan “brand loyalty as a favorable attitude toward andconsistent purchase of a particular brand”. Lyong (1998): “brandloyalty is a function of a brands’ relative frequency of purchase inboth time-independent and time-dependent situations”. Seorangkonsumen pembeli merek barang A diharapkan akan terus membelibarang A. Mungkinkah ini terjadi? Apakah model statistika yangdapat dengan tepat (atau mendekati tepat) merinci peluang terjadinyahal ini? Apakah model ini membantu dalam strategi pemasaran suatubarang?





Ilustrasi 3

Akhir-akhir ini, hujan dan panas (baca: tidak hujan) datang silihberganti tanpa bisa diduga. Kalau hari ini hujan, besok mungkin hujanmungkin juga panas. Tentu saja peluang besok hujan akan lebih besardibanding peluang besok akan panas. Begitu pula jika hari ini panas.Besok akan lebih mungkin panas dibandingkan hujan. Jika hari Seninhujan, berapa peluang bahwa hari Selasa akan hujan? Berapa peluangbahwa hari Kamis akan hujan?





DefinisiPeluang TransisiLatihan

Definisi

Proses stokastik {Xn} adalah Rantai Markov:

n = 0, 1, 2, . . .

nilai yang mungkin adalah hingga atau terhitung

P(Xn+1 = j|Xn = i,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)= Pij (∗)

distribusi bersyarat Xn+1, diberikan keadaan-keadaan lampau(past states) X0,X1, . . . ,Xn−1 dan keadaan sekarang (presentstate) Xn, hanya bergantung pada keadaan sekarang (“SifatMarkov”)

keadaan-keadaan (states): i0, i1, . . . , in−1, i, j






Pij peluang bahwa proses akan berada di keadaan j dari keadaan i;

Pij ≥ 0, i, j ≥ 0;∞∑

j=0

Pij = 1, i = 0, 1, . . .






Matriks peluang transisi Pij adalah

P =

P00 P01 P02 · · ·P10 P11 P12 · · ·

......

...Pi0 Pi0 Pi0 · · ·...

......






P02

...

P20

0

1 2 P00

P01 P12

P10 P21

P11 P22






Perhatikan (*):

P(Xn+1 = j|Xn = i,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)= P

(Xn+1 = j|Xn = i

)= Pij,

yang disebut sebagai peluang transisi 1-langkah atau one-steptransition probability.






Peluang bersama

P(Xn = i,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)dapat dihitung dengan sifat peluang bersyarat berikut.

P(Xn = i,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)= P

(Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)× P

(Xn = i |Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)= P

(Xn−1 = in−1, . . . ,X1 = i1,X0 = i0

)× P

(Xn = i |Xn−1 = in−1

)= · · ·= pi0 · · · Pin−1,in






Latihan

1. Jika, pada waktu t, Rez mengajukan klaim asuransi, maka Rezakan mengajukan klaim pada waktu t + 1 dengan peluang α; jikaRez tidak mengajukan klaim asuransi saat ini maka di masadepan Rez akan mengajukan klaim asuransi dengan peluang β.Matriks peluang transisinya adalah...






Solusi:

P =

(1− β β1− α α

)dengan keadaan-keadaan:’0’ tidak mengajukan klaim’1’ mengajukan klaim






2. Suatu rantai Markov dengan keadaan-keadaan “0, 1, 2” memilikimatriks peluang transisi:

P =

0.1 0.2 0.70.9 0.1 00.1 0.8 0.1

dan P(X0 = 0) = 0.3,P(X0 = 1) = 0.4,P(X0 = 2) = 0.3.Hitung

P(X0 = 0,X1 = 1,X2 = 2)






Solusi: 0






3. Keadaan hujan pada suatu hari bergantung pada keadaan hujandalam dua hari terakhir. Jika dalam dua hari terakhir hujan makabesok akan hujan dengan peluang 0.7; Jika hari ini hujan dankemarin tidak hujan maka besok akan hujan dengan peluang 0.5;jika hari ini tidak hujan dan kemarin hujan maka besok akanhujan dengan peluang 0.4; jika dalam dua hari terakhir tidakhujan maka besok hujan dengan peluang 0.2. Matriks peluangtransisinya adalah...






Solusi:

P =

0.7 0 0.3 00.5 0 0.5 00 0.4 0 0.60 0.2 0 0.8

dengan keadaan-keadaan:’0’ (00) = hari ini dan kemarin hujan’1’ (10) = hari ini hujan, kemarin tidak hujan’2’ (01) = hari ini tidak hujan, kemarin hujan’3’ (11) = hari ini dan kemarin tidak hujan






4. Tiga item produk A dan tiga item produk B didistribusikandalam dua buah paket/kotak sedemikian hinga setiap paketterdiri atas tiga item produk. Dikatakan bahwa sistem beradadalam keadaan i, i = 0, 1, 2, 3 jika dalam paket pertama terdapati produk A. Setiap saat (langkah), kita pindahkan satu itemproduk dari setiap paket dan meletakkan item produk tersebutdari paket 1 ke paket 2 dan sebaliknya. Misalkan Xn

menggambarkan keadaan dari sistem setelah langkah ke-n.Matriks peluang transisinya adalah...






Solusi:

P =

0 1 0 0

1/9 4/9 4/9 00 4/9 4/9 1/90 0 1 0

dengan keadaan-keadaan:’0’ terdapat 0 produk A di paket pertama’1’ terdapat 1 produk A di paket pertama’2’ terdapat 2 produk A di paket pertama’3’ terdapat 3 produk A di paket pertama






5. Menurut Kemeny, Snell dan Thompson, Tanah Australiadiberkahi dengan banyak hal kecuali cuaca yang baik. Merekatidak pernah memiliki dua hari bercuaca baik secaraberturut-turut. Jika mereka mendapatkan hari bercuaca baikmaka esok hari akan bersalju atau hujan dengan peluang sama.Jika hari ini mereka mengalami salju atau hujan maka besokakan bercuaca sama dengan peluang separuhnya. Jika terdapatperubahan cuaca dari salju atau hujan, hanya separuh dari waktubesok akan menjadi hari bercuaca baik. Tentukan matrikspeluang transisi dari Rantai Markov yang dibentuk darikeadaan-keadaan diatas.






6. Suatu rantai Markov memiliki ruang keadaan {0, 1, 2, 3, 4}.Diketahui P0,4 = 1. Jika rantai berada di keadaan i, i > 0, makakeadaan berikutnya adalah 0, 1, . . . , i− 1 dengan peluang sama(when the chain is in state i, i > 0, the next state is equally likelyto be any of the state 0, 1, . . . , i− 1). Tentukan m.p.t dari rantaiMarkov diatas.






Solusi:

P =

0 0 0 0 11 0 0 0 0

1/2 1/2 0 0 01/3 1/3 1/3 0 01/4 1/4 1/4 1/4 0






7. Tiga dari setiap empat truk yang ada di jalan akan diikuti olehsebuah mobil. Sementara itu, hanya satu dari setiap lima mobilakan diikuti oleh sebuah truk. Bentuk rantai Markov-nya.






Solusi:

P =

(1/4 3/41/5 4/5

)dengan keadaan: ‘0’ truk, ‘1’ mobil.






8. Chen melantunkan 3 koin; M menyatakan keluaran Muka.Misalkan X1 menyatakan banyaknya muncul M. Kemudian,koin-koin yang memiliki keluaran M dilantunkan. Misalkan X2total banyaknya B (termasuk dari koin yang tidak dilantunkan dilantunan kedua). Chen kini melantunkan semua koin yang punyakeluaran B dan misalkan X3 menyatakan total banyaknya M(termasuk dari koin yang tidak dilantunkan). Chen melakukanini terus menerus. Proses {Xn} adalah suatu rantai Markov.Tentukan matriks peluang transisinya






Solusi:

P =

0 0 0 10 0 1/2 1/20 1/4 1/2 1/4

1/8 3/8 3/8 1/8

,

dengan ruang keadaan {0, 1, 2, 3}.






9. Dua tim futsal wanita di MA-ITB akan memainkan tujuhrangkaian pertandingan. Hasil setiap pertandingan saling bebas.Setiap pertandingan akan dimenangkan oleh tim A denganpeluang α dan oleh tim B dengan peluang 1− α. Misalkankeadaan suatu sistem direpresentasikan oleh pasangan (a, b)dimana a menyatakan banyak pertandingan yang dimenangkanA dan b banyak pertandingan yang dimenangkan B. Bentuklahrantai Markov untuk masalah tersebut.






Catatan: a + b ≤ 7 dan rangkaian pertandingan akan berakhir apabilaa = 4 atau b = 4.






Solusi:

α

α α α

1-α 1- α 1- α 1- α

4,1 4,2 4,3 4,0

1- α 1- α 1- α 1- α

1- α

1- α

1- α

1- α

1- α 1- α

1- α 1- α

0,1 0,2 0,4 0,3 0,00 0

α α α α

1,1 1,2 1,4 1,3 1,0

α α α α

2,1 2,2 2,4 2,3 2,0

α α α α

3,1 3,2 3,4 3,3 3,0





Persamaan Chapman-KolmogorovLatihan

Definisi

Misalkan Pnij menyatakan peluang transisi n-langkah suatu proses di

keadaan i akan berada di keadaan j,

Pnij = P(Yk+n = j|Yk = i), n ≥ 0, i, j ≥ 0.

Persamaan Chapman-Kolmogorov adalah alat untuk menghitungpeluang transisi n + m-langkah:

Pn+mij =

∞∑k=0

PnikPm

kj, (Buktikan!)

untuk semua n,m ≥ 0 dan semua i, j. PnikPm

kj menyatakan peluangsuatu proses dalam keadaan i akan berada di keadaan j dalam n + mtransisi, melalui keadaan k dalam n transisi/langkah.






Latihan

1. Jika hari ini hujan maka besok akan hujan dengan peluangα = 0.7; jika hari ini tidak hujan maka besok akan hujan denganpeluang β = 0.4. Matriks peluang transisi 4 langkah adalah...






Solusi:

P4 =

(0.5749 0.42510.5668 0.4332

)






2. Keadaan hujan pada suatu hari bergantung pada keadaan hujandalam dua hari terakhir. Jika dalam dua hari terakhir hujan makabesok akan hujan dengan peluang 0.7; Jika hari ini hujan dankemarin tidak hujan maka besok akan hujan dengan peluang 0.5;jika hari ini tidak hujan dan kemarin hujan maka besok akanhujan dengan peluang 0.4; jika dalam dua hari terakhir tidakhujan maka besok hujan dengan peluang 0.2. Matriks peluangtransisinya adalah sbb:

P =

0.7 0 0.3 00.5 0 0.5 00 0.4 0 0.60 0.2 0 0.8

Jika hari Senin dan Selasa hujan, berapa peluang bahwa hariKamis akan hujan?






Solusi:

P2 =

0.49 0.12 0.21 0.180.35 0.2 0.15 0.30.2 0.12 0.2 0.40.1 0.16 0.1 0.64

Peluang hujan pada hari Kamis adalahP2

00 + P201 = 0.49 + 0.12 = 0.61






3. Tunjukkan bahwa matriks peluang transisi n-langkah memenuhisifat:

∞∑j=0

Pn+mij = 1, i = 0, 1, . . .






Solusi:






4. Laila adalah mahasiswa tingkat akhir di Farmasi UnPadj. Diatinggal tidak jauh dari kampus. Cukup berjalan kaki saja daritempat kos ke kampus dan sebaliknya. Akhir-akhir ini hujandatang hampir setiap hari. Mau tidak mau, Laila menggunakanpayung dalam perjalanan kos-kampus atau kampus-kos. Jika harihujan dan payung ada ditempat Laila berada maka Laila akanmenggunakan payung tersebut. Jika hari tidak hujan, Laila selalulupa untuk membawa payung. Misalkan θ adalah peluang hujansetiap kali Laila akan menuju kampus atau kos. Jika Lailamemiliki 3 buah payung, bentuklah suatu rantai Markov dariproses diatas! Berapa peluang Laila akan basah pada suatu hari?(Kerjakan dahulu matriks peluang transisi n-langkah)






Solusi:

P =

0 0 0 10 0 1− θ θ0 1− θ θ 0

1− θ θ 0 0

dengan keadaan-keadaan:’0’, ’1’, ’2’, ’3’ yang menyatakan jumlah payung





Definisi

Definisi

Misalkanαi = P(X0 = i), i ≥ 0,

dimana∑∞

i=0 αi = 1. Peluang tak bersyarat dapat dihitung denganmensyaratkan pada keadaan awal,

P(Xn = j) =∞∑

i=0

P(Xn = j|X0 = i)P(X0 = i) =∞∑

i=0

Pnij αi


ma4181 pengantar proses stokastik bab 3 rantai...

Documents