Lecture 11 : Rantai Markov

Hanna Lestari, ST, M.Eng

I. Pendahuluan• Model rantai markovdikembangkan oleh A.A Markov tahun 1896.

• Dalam Analisis markov yang dihasilkan adalah suatuinformasi probabilistik yang dapat digunakan untukmembantu pembuatankeputusan.

• Analisis ini bukan teknikoptimisasi melainkan suatuteknik deskriptif

Analisis markov merupakan bentuk khusus dari model probabilistik yang lebih umum dikenal sebagai prosesstokastik

• Analisa Rantai Markov adalah suatu metode yang mempelajari sifat‐sifat suatu variabel pada masa

sekarang yang didasarkan pada sifat‐sifatnya padamasa lalu dalam usaha menaksir sifat‐sifat variabel

tersebut dimasa yang akan datang

• Analisis Markov adalah suatu teknik matematikuntuk peramalan perubahan pada variabel‐

variabel tertentu berdasarkan pengetahuan dariperubahan sebelumnya.

• Deterministik : jika dari pengalaman yang lalu keadaan yang akan datang suatu barisan kejadiandapat diramalkan secara pasti

• Stokastik : jika pengalaman yang lalu hanya dapatmenyajikan struktur peluang keadaan yang akandatang

• t• t

Hull said “setiap nilai yang

berubah terhadap waktu dalam

ketidakpastian, mengikuti proses

stokastik”

Konsep Dasar Analisis Markov :  State dari sistem ataustate transisi.

• Apabila diketahui proses berada dalamsuatu keadaan tertentu, maka peluangberkembangnya proses di masamendatang hanya tergantung padakeadaan saat ini dan tidak tergantungpada keadaan sebelumnya, ataudengan kata lain rantai Markov adalahrangkaian proses kejadian dimanapeluang bersyarat kejadian yang akan datang tergantung pada kejadian sekarang.

SIFAT

AplikasiMembantu membuat keputusan dalam bisnisdan industri

• Ganti Merk• Hutang Piutang• Operasi Mesin• Analisis Pengawasan• etc

Informasi yang dihasilkan tidak mutlak menjadi suatukeputusan, karena sifatnya yang hanya memberikan bantuan dalam proses pengambilan keputusan.

II. Probabilitas Transisi dan Contoh Kasus

• Probabilitas Transisi adalah perubahan dari satustatus ke status yang lain pada periode (waktu) berikutnya dan merupakan suatu proses random yang dinyatakan dalam probabilitas.

Tabel 1 : Matriks Kemungkinan Transisi

• n = jumlah keadaan dalam proses• Pij = kemungkinan transisi dari keadaan saat i kekeadaan j 

• Jika saat ini berada pada keadaan i maka baris idari tabel di atas berisi angka‐angka Pi1, Pi2, Pin merupakan kemungkinan berubah ke keadaanberikutnya. 

• Oleh karena angka tersebut melambangkankemungkinan, maka semuanya merupakanbilangan non negatif dan tidak lebih dari satu.

Contoh Kasus I

Tabel 2 : Matriks Kemungkinan Transisi

• Pada kedua baris berjumlah100, tetapi jumlah kolomtidak

• Informasi ini digunakanuntuk membuat matrikskemungkinan perpindahankeadaan/transisi

• Didefinisikan : Keadaan 1 :  Pembeli berbelanja di W , Keadaan 2 : Pembeliberbelanja di L 

• Dengan demikian matriks kemungkinantransisinya adalah sbb :

• Terlihat bahwa kemungkinan dari setiap barisberjumlah satu.

Tabel 3 : Probabilitas Transisi

Syarat – syarat dalam analisa markov

1. Jumlah probabilitas transisi untuk suatukeadaan awal dari sistem sama dengan 1.

2. Probabilitas‐probabilitas tersebut berlakuuntuk semua partisipan dalam sistem.

3. Probabilitas transisi konstan sepanjangwaktu.

4. Kondisi merupakan kondisi yang independensepanjang waktu.

III. Probabilitas Tree dan Contoh Kasus

• Probabilitas Tree merupakan cara yang mudahuntuk menggambarkan transisi denganjumlah terbatas dari suatu proses Markov.

Contoh KasusSebuah perusahaan transportasi

mempunyai 220 unit mobil. Namun tidaksemua mobil dapat beroperasi dikarenakan

mesin rusak. Data mobil yang sedangberoperasi (narik) dan rusak (mogok) adalah

sebagai berikut :

• test

Dalam waktu dua hari terdapat perubahan, mobil yang tadinya beroperasi ternyata rusak, begitu pula sebaliknya untuk mengetahui perubahan yang terjadiada pada tabel berikut :

Dari data tersebut hitunglah :

a. Probabilitas Transisi

b. Probabilitas hari ke‐3 narik jika hari ke‐1 narik

c. Probabilitas hari ke‐3 mogok jika hari ke‐1 narik

d. Probabilitas hari ke‐3 narik jika hari ke‐1 mogok

e. Probabilitas hari ke‐3 mogok jika hari ke‐1 mogok

Jawab

a. Probabilitas Transisi

Probabilitas Tree

III. Pendekatan Matriks dan ContohKasus

• Ada kalanya kita harus mencari probabilitas pada periode yang sangat besar,

• misalkan periode hari ke‐9, ke‐10 dan seterusnya, akan sangat menyulitkan dan

• membutuhkan media penyajian yang khusus jika kita menggunakanProbabilitas Tree.

• Permasalahan tersebut dapatdiselesaikan dengan menggunakanmetode Pendekatan MatriksProbabilitas.

• Adapun Matriks Probabilitas dari contohkasus di atas adalah sebagai berikut:

III. Pendekatan Matriks• Probabilitas kendaraan narik pada periode ke‐i jika pada periode ke‐1 narik, dilambangkan dengan:

• Probabilitas kendaraan mogok pada periode ke‐3 jikapada periode ke‐1 mogok,dilambangkan dengan:

Jika kendaraan pada hari ke‐1 narik makaberlaku probabilitas sebagai berikut:

Jika probabilitas di atas disusun ke dalamvektor baris, maka kita dapatkan::

Adapun rumus untuk mencari probabilitasperiode berikutnya (i+1) adalah:

Bila rumus di atas kita gunakan untuk mencariprobabilitas hari ke‐2, maka:

Terlihat bahwa hasilnya sama dengan yang diperoleh denganmenggunakan metode Probabilities Tree. Dengan menggunakan cara yang sama kita akan dapatkan status untuk periode‐periodeberikutnya sebagai berikut:

Terlihat bahwa perubahan probabilitas semakin lama semakinmengecil sampai akhirnya tidak tampak adanya perubahan. Probabilitas tersebut tercapai mulai dari periode ke‐7, denganprobabilitas status:

Ini berarti pemilik kendaraan dapat menarik kesimpulan bahwajika awalnya kendaraan berstatus narik, setelah beberapa periodedi masa depan probabilitasnya narik adalah sebesar 0,6398 danprobabilitasnya mogok adalah sebesar 0,3602.

Untuk perhitungan probabilitas status hari pertama mogok dapatkita cari dengan metode yang sama dan akan kita dapatkan probabilitas yang akan sama untuk periode selanjutnya, mulai dariperiode ke‐8. Adapun probabilitas pada periode ke‐8 adalah:

IV. Probabilitas Steady State danContoh Kasus

Dalam banyak kasus, proses markov akan menujupada Steady State (keseimbangan) artinya setelahproses berjalan selama beberapa periode, probabilitas yang dihasilkan akan bernilai tetap, dan probabilitas ini dinamakan ProbabilitasSteady State. 

Dari contoh di atas Probabilitas Steady Statenyaadalah probabilitas narik sebesar 0,6398 danprobabilitas mogok sebesar 0,3602.

Untuk mencari Probabilitas Steady State darisuatu Matriks Transisi, maka kita dapat

menggunakan rumus

Karena Steady State akan menghasilkan probabilitas yang sama pada periodekedepan maka rumus tersebut akan berubah menjadi:

Dari contoh kasus di atas dengan status hari ke‐1 narik, maka kita dapatkan:

Untuk mengurangi keruwetan, periode (i) dapat kita hilangkan, karena pada saatSteady State tercapai periode tidak akan mempengaruhi perhitungan. Sehinggaperhitungan di atas akan menjadi:

Dari perhitungan di atas akan menghasilkan persamaan berikut:

Karena salah satu ciri proses markov adalah:

Dengan menstubstitusikan Mn = 1 ‐Nn ke persamaan (1) didapatkan:

PENGGUNAAN PROBABILITAS STEADY STATE

Lalu kita masukkan nilai Nn = 0,6398 ke dalam persamaan (2) didapatkan: Mn = 0,3602

Dari contoh kasus kita ketahui bahwa Pemilik Kendaraanmemiliki 220 kendaraan. Dengan menggunakan ProbabilitasSteady State yang sudah kita dapatkan, Pemilik dapatmengharapkan jumlah kendaraan setiap harinya narik ataumogok sebanyak:

Misalkan Pemilik kurang puas dengan tingkat operasi yang ada daningin meningkatkannya, sehingga Pemilik mengambil kebijakanuntuk menggunakan suku cadang asli dalam setiap perawatanarmada. Kebijakan ini membuat Matriks Probabilitas Transisiberubah menjadi:

Artinya kebijakan ini membuat Probabilitas saat ini narik, lalu hariberikutnya mogok menurun dari 0,4 menjadi 0,3. ProbabilitasSteady State yang baru adalah:

Sehingga kita dapatkan persamaan berikut:

Substitusikan Nn = 1 ‐Mn ke persamaan (2), sehinggakita dapatkan:

Mn = 0,2885 dan Nn = 0,7116

Artinya setiap harinya Pemilik dapat mengharapkan kendaraanyang narik atau mogok sebanyak:

Narik : Nn x 220 = 0,7116 x 220 = 156,55 atau sebanyak 157 kendaraanMogok : Mn x 220 = 0,2885 x 220 = 63,47 atau sebanyak 63 kendaraan

Kebijakan tersebut menghasilkan kenaikan operasional dari141 kendaraan perhari menjadi 157 kendaraan perhari. Dalam hal ini Pemilik harus mengevaluasi kebijakan ini, apakah kenaikan pendapatan operasional dapat menutupikenaikan biaya operasional karena kebijakan ini. 

Misalkan karena kebijakan ini terjadi kenaikan biayaperawatan kendaraan sebesar Rp. 1.000.000,‐ setiap harinya. Jadi bila kenaikan pendapatan operasional lebih besar dariRp. 1.000.000,‐maka kebijakan tersebut layak untukdijalankan.

Dari contoh ini menunjukkan bahwa AnalisisMarkov tidak memberikan solusi atau

keputusan, namun analisis tersebut memberikaninformasi yang dapat membantu

pembuatan keputusan

Industri personal komputer merupakan industri yang mengalami pergerakansangat cepat dan teknologi menyediakan motivasi kepeda konsumen untukmengganti komputer setiap tahunnya. Kepercayaan merek sangat penting danperusahaan‐perusahaan mencoba segala cara untuk menjaga agar konsumenmenjadi puas. Bagaimanapun juga, beberapa konsumen mencoba untukmengganti dengan merek yang lain (perusahaan lain). Tiga merek tertentuDoorway, Bell, Kumpaq yang meguasai pangsa pasar. Orang yang memilikikomputer merek Doorway akan membeli tipe Doorway yg lain 80% dan sisanyamembeli 2 merek yang lain dengan peluang sama besar. Pemilik komputer Bellakan membeli Bell lagi 90% dari waktu sementara itu 5% akan membeliDoorway dan 5% akan membeli Kumpaq. Sekitar 70% pemilik Kumpaq akanmembeli Kumpaq, 20% akan membeli Doorway. Tiap merk memiliki 200.000konsumen yang berencana untuk membeli sebuah komputer baru pada tahundepan, berapa banyak komputer dari tiap tipe akan dibeli ?

Contoh 1 :

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

7.01.02.005.09.005.01.01.08.0

P

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

0.5150.180.3050.0850.820.1850.1550.180.665

7.01.02.005.09.005.01.01.08.0

7.01.02.005.09.005.01.01.08.0

2P

Penyelesaian :Kasus diatas merupakan kasus rantai Markov

Initial Doorway Bell KumpaqDoorway 200000 0.8 0.1 0.1Bell 200000 0.05 0.9 0.05Kumpaq 200000 0.2 0.1 0.7

Untuk tahun depan :

Doorway Bell KumpaqDoorway 200000 0.665 0.18 0.155Bell 200000 0.095 0.82 0.085Kumpaq 200000 0.305 0.18 0.515

213000 236000 151000

• Pada tahun depan konsumen yang memiliki komputer Doorway akan membeli Doorway lagi 66.5%, membeli Bell 18% dan membeli Kumpaq 15.5%. 

• Untuk konsumen yang memiliki komputer Bell akan membeli Bell lagi 82%, membeli Doorway 9.5% dan membeli Kumpaq 8.5%. 

• Sedangkan untuk konsumen yang memiliki komputer Kumpaq akan membeli Kumpaq lagi 51.5%, membeli Doorway 30.5% dan membeli Bell 18%. 

• Banyaknya komputer yang akan di beli pada tahun depan untuk merek Doorway sebanyak 213000, Bell sebanyak 236000 dan Kumpaq sebanyak 151000.

• Pada tahun depan konsumen yang memiliki komputer Doorway akan membeli Doorway lagi 66.5%, membeli Bell 18% dan membeli Kumpaq 15.5%. 

• Untuk konsumen yang memiliki komputer Bell akan membeli Bell lagi 82%, membeli Doorway 9.5% dan membeli Kumpaq 8.5%. 

• Sedangkan untuk konsumen yang memiliki komputer Kumpaq akan membeli Kumpaq lagi 51.5%, membeli Doorway 30.5% dan membeli Bell 18%. 

• Banyaknya komputer yang akan di beli pada tahun depan untuk merek Doorway sebanyak 213000, Bell sebanyak 236000 dan Kumpaq sebanyak 151000.

Contoh 2Eastville adalah sebuat desa yang letaknya jauh dari desa lain. 7000 nasabah bank di Eastville melakukan kegiatan bisnis perbankan dan

keuangan mereka pada dua bank yang ada di kota tersebut,  National Bank (NB) dan Eastville Bank (EB).  Eastville Bank sedang

mempertimbangkan untuk melakukan penambahan jasa danmenaikkan bunga tabungan. Bagian pemasaran bank melakukanriset dan menemukan bahwa jika seorang pelanggan melakukan

transaksi dengan EB dalam suatu bulan tertentu, terdapatprobabilitas sebesar 0,70 pelanggan akan melakukan transaksi pada

bank yang sama di bulan berikutnya, dan sebesar 0,30 bahwa iaakan transaksi dengan dengan NB di bulan berikutnya. Sebaliknya

jika seorang pelanggan melakukan transaksi dengan NB dalam suatubulan tertentu, terdapat probabilitas sebesar 0,85 pelanggan akanmelakukan transaksi pada bank yang sama di bulan berikutnya, dan

sebesar 0,15  bahwa ia akan pindah ke EB. Buatlah matriksprobabilitas transisi untuk masalah ini. Tentukan probabilitaskeadaan tetap dan indikasikan jumlah pelanggan yang dapat

diantisipasi oleh bank dalam jangka panjang !

Langkah 1:Membuat matriks transisi

Bulan PertamaBulan Berikutnya

National Bank (NB) Eastville Bank (EB)

National Bank (NB) 0,85 0,15

Eastville Bank (EB) 0,30 0,70

Langkah 2:Menentukan Probabilitas Keadaan Tetap

• Operasi Matriks sebagai berikut :N = 0,85N + 0,30EE = 0,15N + 0,70 E

• Dan,N + E = 1,0

• Atau,E = 1,0 ‐ N

• Substitusi akan menghasilkan :N = 0,85N + 0,30 (1,0 –N)= 0,85N + 0,30 – 0,30N= 0,30 + 0,55N = 0,667

• Dan :E= 1 – N = 0,333

• Maka probabilitas keadaan tetapnya adalah :

• Langkah 3 Menentukan jumlah pelanggan untuk setiap bank:‐ National Bank : 0,667 x 7000 = 4669 Pelanggan‐ Eastville Bank : 0,333 x 7000 ‐= 2331 Pelanggan

Latihan :

Industri handphone merupakan industri yang mengalami pergerakansangat cepat dan teknologi menyediakan motivasi kepeda konsumenuntuk mengganti handphone setiap tahunnya. Kepercayaan mereksangat penting dan perusahaan‐perusahaan mencoba segala cara untukmenjaga agar konsumen menjadi puas. Bagaimanapun juga, beberapakonsumen mencoba untuk mengganti dengan merek yang lain(perusahaan lain). Tiga merek tertentu Nokia, Sony Ericson, Siemen yangmeguasai pangsa pasar. Orang yang memiliki handphone merk Nokiaakan membeli tipe Nokia yg lain 90% dan sisanya membeli 2 merek yanglain dengan peluang sama besar. Pemilik handpone Sony Ericson akanmembeli Sony Ericson lagi 75% dari waktu sementara itu 15% akanmembeli Nokia dan 10% akan membeli Siemen. Sekitar 70% pemilikSiemen akan membeli Siemen, 5% akan membeli Nokia. Tiap merkmemiliki 300.000 konsumen yang berencana untuk membeli sebuahhandphone baru pada tahun depan, berapa banyak handphone dari tiaptipe akan dibeli ?