bab 2 momen dan entropi - perpustakaan digital...

BAB 2

MOMEN DAN ENTROPI

2.1 Satu Peubah Acak (Univariat)

Misalkan diketahui suatu peubah acak X. Didefinisikan ekspektasi dari peubah acak X

adalah sebagai berikut

[ ]( )

( )-

, diskrit

E, kontinu

xxP X x X

Xxf x dx X

∞

∞

⎧ =⎪⎪= ⎨⎪⎪⎩

∑

∫ (2.1)

dengan P(X=x) adalah fungsi massa peluang untuk X diskrit dan f(x) adalah fungsi

padat peluang untuk X kontinu. Persamaan (2.1) mempunyai syarat

( )x

x P X x= < ∞∑ dan ( )x

x f x < ∞∑ . Selanjutnya jika dibangun Y yaitu suatu

fungsi dari peubah acak X, dengan Y=g(X) maka

( )( ) ( )

( ) ( )-

, diskrit

E, kontinu

x

g x P X x X

g Xg x f x dx X

∞

∞

⎧ =⎪⎪⎡ ⎤ = ⎨⎣ ⎦⎪⎪⎩

∑

∫ (2.2)

Khusus untuk g(X)= Xk disebut momen ke k dari peubah acak X yang dinotasikan

dengan µk. Jadi, persamaan (2.1), ekspektasi X, E[X] tidak lain adalah momen

pertama atau yang lebih dikenal sebagai rataan (mean).

5

BAB 2 MOMEN DAN ENTROPI 6

Selanjutnya jika ( ) ( )kg X X µ= − , dikenal sebagai momen terpusat ke k dan

dinotasikan sebagai . Khusus untuk momen terpusat ke 2 ini, dikenal sebagai

variansi, dinotasikan dengan σ

'kµ

2. Variansi ini dipakai sebagai ukuran penyebaran dari

peubah acak. Untuk lebih jelas dapat dilihat pada Hogg dan Craig (2005, 55). Momen

terpusat lain yang juga sering digunakan adalah

a. momen ketiga, skewness yang menyatakan kesimetrian distribusi,

didefinisikan 31 3

µγσ

= dan

b. momen keempat, kurtosis yang menyatakan kelandaian atau kelancipan

dari suatu distribusi, didefinisikan sebagai 42 4

µγσ

=

Kemudian, jika ( ) ( )( )

log , untuk diskritlog , untuk kontinu

P X x Xg X

f x X− =⎧⎪= ⎨ −⎪⎩

akan diperoleh suatu

ukuran entropi yang merupakan ukuran ketidakpastian dari suatu peubah acak X dan

dinotasikan H(X=x). Jadi entropi didefinisikan sebagai berikut :

H(X=x)

( )

( )( ) ( )

log ( ) ( ), diskrit

log , kontinu

x

P X x P X x X

f x f x dx X∞

−∞

⎧− = =⎪⎪= ⎨⎪ −⎪⎩

∑

∫ (2.3)

Mengingat definisi dari ekspektasi pada persamaan (2.1) maka entropi dari suatu

peubah acak tidak lain adalah

H(X=x)= ( )E log P X x⎡ ⎤− =⎣ ⎦ (2.4)

Jadi entropi dari peubah acak X tidak lain adalah ekspektasi dari –log fungsi peluang

dari X sendiri. Perhatikan bahwa nilai dari entropi untuk peubah acak X tidak

bergantung pada nilai-nilai dari peubah acak X (seperti yang terjadi di momen)

melainkan pada peluang dari X.


Hal menarik dari entropi, karena diambil ( ) ( )( )logg X P X x= − = maka untuk X

yang diskrit, entropi H(X=x) bernilai non negatif. Sebaliknya untuk peubah acak

kontinu, entropi dapat bernilai negatif atau positif. Entropi bernilai nol, H(X=x)= 0,

jika dan hanya jika X berdistribusi degenerate, dengan bernilai nol hanya jika

.

logp p

0p =

Contoh 2.1

Entropi untuk peubah acak diskrit dengan fungsi massa peluang (fmp)

( )

62 , 1,2,3,4,5,664

1 , 764

x

xP X x

x

−⎧=⎪⎪= = ⎨

⎪ =⎪⎩

dalam satuan meter.

Fungsi Massa Peluang Contoh 1

0

1/10

1/5

3/10

2/5

1/2

3/5

1 2 3 4 5 6 7

X (meter)

P (X

=x)

Gambar 2.1 : Grafik Fungsi Massa Peluang

Dari grafik di atas terlihat bahwa peubah acak ini memiliki nilai peluang maksimum

sebesar 3264

semakin lama menuju ke nol. Berdasarkan persamaan (2.1) dan (2.2),


diperoleh rataan (momen 1) dan variansi (momen terpusat 1) masing-masing adalah

sebagai berikut: 66

1

2 1 1277 1,9844 meter64 64 64

x

xxµ

−

=

= + = =∑ dan

662 2 2

1

2 17 1,9844 1,796764 64

x

xxσ

−

=

⎛ ⎞= + − =⎜ ⎟⎝ ⎠∑ meter 2

Sedangkan untuk entropi adalah

H(X=x)

( )7

1log ( ) ( )

xP X x P X x

=

= − = =∑

32 32 16 16 1 1log log ... log64 64 64 64 64 64

⎡ ⎤⎛ ⎞ ⎛ ⎞ ⎛ ⎞= − + + +⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎢ ⎥⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎣ ⎦

Jika diambil basis dari logaritma di atas adalah 2 maka nilai entropinya menjadi

H(X=x) ( ) ( ) ( )2 616 1 8 2 ... 6 1,968864 32

= − − + − + + − = =⎡ ⎤⎣ ⎦3

Sehingga µ = 1,9844 ; σ2 = 1,7967 dan H(X=x) = 1,9688. Untuk basis lain, dapat

digunakan rumus perubahan basis logloglog

ba

a

xxb

= .

Dalam membicarakan suatu peubah acak, sering dibicarakan beberapa peubah acak

secara bersamaan. Hal ini berguna karena peubah acak yang satu dapat bergantung

dari peubah acak yang lain. Misalnya, didefinisikan suatu peubah acak baru Y=F(X),

dengan F(.) adalah fungsi deterministik. Sehingga dengan mengetahui X berarti dapat

diketahui pula nilai-nilai dari Y. Kedua peubah acak ini juga memiliki ukuran momen

dan entropi dan dibahas pada sub bab berikut.

2.1 Momen dan Entropi Multivariat

Dalam praktek banyak observasi yang melibatkan lebih dari satu peubah acak. Untuk

itu, momen dan entropi multivariat dapat dilihat sebagai berikut. Sebagai batasan


diambil dua peubah acak yang mempunyai keterkaitan maka dapat pula didefinisikan

momen dan entropi dari dua peubah acak (bivariat) dengan syarat fungsi padat

peluang gabungan diketahui. Misal X dan Y masing-masing peubah acak dengan

fungsi peluang gabungan P(X=x,Y=y) untuk diskrit atau f(x,y) untuk kontinu.

Perhatikan persamaan (2.2), maka untuk kasus bivariat momen didefinisikan sebagai

berikut.

( )

- -

( , ) , dan diskrit

E, , dan kontinu

kl

k l

y xk l

XYk l

x y P X x Y y X Y

X Yx y f x y X Y

µ ∞ ∞

∞ ∞

⎧ = =⎪⎪⎡ ⎤= = ⎨⎣ ⎦⎪⎪⎩

∑∑

∫ ∫ (2.5)

Terlihat di atas bahwa untuk X dan Y yang keduanya kontinu, akan muncul integral

lipat. Sedangkan momen terpusat untuk X dan Y dituliskan dengan

( ) ( )( ) ( )

( ) ( ) ( )- -

( , ) , dan diskrit

E, , dan kontinu

XY

m nX Y

y xm nmnX Y

m nX Y

x y P X x Y y X Y

X Yx y f x y dxdy X Y

µ µ

µ µ µµ µ

∞ ∞

∞ ∞

⎧ − − = =⎪⎪⎡ ⎤= − − = ⎨⎣ ⎦ ⎪ − −⎪⎩

∑∑

∫ ∫ (2.6)

H(X=x,Y=y)

( )

( )( )

log ( , ) ( , ), dan diskrit

log , ( , ) , dan kontinu

x yP X x Y y P X x Y y X Y

f x y f x y dxdy X Y∞ ∞

−∞ −∞

⎧− = = = =⎪⎪= ⎨⎪ −⎪⎩

∑∑

∫ ∫

(2.7)

Terlihat bahwa dalam bivariat kontinu akan muncul integral lipat. Dalam hal ini

menghitung tiga persamaan di atas menjadi tidak sesederhana seperti dalam kasus

univariat (Sub Bab 2.1) di atas, khususnya persamaan (2.7), entropi untuk X dan Y

kontinu. Entropi gabungan juga masih dapat dituliskan dalam ekspektasi yaitu

H(X=x,Y=y) ( )E E log ( , )X Y P X x Y y⎡ ⎤= − = =⎡ ⎤⎣ ⎦⎣ ⎦ (2.8)


Sifat lain dari entropi gabungan dapat dilihat pada teorema berikut.

Teorema 2.1

Untuk peubah –peubah acak, X dan Y maka entropi gabungan menjadi

H(X=x,Y=y) ≤ H(X=x) + H(Y=y) (2.9)

dan berlaku kesamaan jika dan hanya jika X dan Y adalah dua peubah acak yang

saling bebas.

Bukti :

Sebagai bukti akan dipilih peubah acak diskrit, sedangkan untuk kasus kontinu,

langkah-langkah yang dilakukan serupa tetapi menggunakan teknik pengintegralan.

Pandang ruas kanan persamaan (2.9), maka berdasarkan definisi pada persamaan

(2.3) maka

H(X=x)+H(Y=y) ( ) ( )log ( ) ( ) log ( ) ( )x y

P X x P X x P Y y P Y y⎛ ⎞

= − = = + = =⎜ ⎟⎝ ⎠∑ ∑ (2.10)

( ) ( )log ( ) ( , ) log ( ) ( , )x y y x

P X x P X x Y y P Y y P X x Y y⎛ ⎞

=− = = = + = = =⎜ ⎟⎝ ⎠∑∑ ∑∑

(2.11)

dengan menggunakan sifat dari logaritma maka

H(X=x) + H(Y=y) ( )log ( ) ( ) ( , )x y

P X x P Y y P X x Y y⎛ ⎞

= − = = = =⎜ ⎟⎝ ⎠∑∑ (2.12)

Kemudian pandang ruas kiri persamaan (2.9), berdasarkan definisi entropi gabungan

X dan Y maka

H(X=x,Y=y) ( )log ( , ) ( , )x y

P X x Y y P X x Y y= − = = = =∑∑ (2.13)

dengan mengurangkan persamaan (2.13) terhadap persamaan (2.12) didapat

H(X=x,Y=y)- H(X=x)- H(Y=y)

( )1log ( , ) log ( ) ( ) ( , )( , )x y x y

P X x Y y P X x P Y y P X x Y yP X x Y y

⎛ ⎞⎛ ⎞= = = + = =⎜ ⎟⎜ ⎟= =⎝ ⎠ ⎝ ⎠∑∑ ∑∑ = =


( ) ( )log ( , ) (sifat dari logaritma)( , )x y

P X x P Y y P X x Y yP X x Y y

⎛ ⎞= == = =⎜ ⎟= =⎝ ⎠∑∑

( )log ( ) ( ) log 1 =0x y

P X x P Y y⎛ ⎞

≤ = = =⎜ ⎟⎝ ⎠∑∑

sehingga H(X=x,Y=y) ≤ H(X=x) + H(Y=y).

Selanjutnya akan dibahas entropi bagi X dan Y yang saling bebas, dengan fungsi

peluang gabungan menjadi lebih sederhana.

2.2 Entropi Untuk Variabel-Variabel Yang Saling Bebas

Seperti yang telah disinggung pada bagian akhir Sub Bab 2.1, dalam distribusi

bivariat dikenal istilah kebebasan yang didefinisikan sebagai berikut. Dua peubah

acak X dan Y dikatakan saling bebas jika

P(X=x,Y=y) = P(X=x)P(Y=y), untuk dua peubah acak diskrit (2.14)

f(x,y) = f(x)f(y) , untuk dua peubah acak kontinu (2.15)

Jika X dan Y independent (saling bebas), maka operator ekspektasi mempunyai sifat-

sifat

[ ] [ ] [ ]E = E + EX Y X Y+ dan [ ] [ ] [ ]E = E EXY X Y (2.16)

dan untuk variansi dari peubah acak gabungannya adalah

( ) ( ) ( )var = var + var X Y X Y+ dan ( ) ( ) ( )var = var var XY X Y (2.17)


Sifat kebebasan dua peubah acak juga dapat berlaku pada entropi. Mengingat sifat

dari logaritma yaitu log (P(X=x)P(Y=y)) = log (P(X=x)) + log (P(Y=y)) maka untuk

X dan Y saling bebas entropinya menjadi H(X=x,Y=y)= H(X=x)+ H(Y=y). Bukti

sebagai berikut, dengan menggunakan definisi entropi pada kasus peubah acak diskrit

pada persamaan (2.8) maka

H(X=x,Y=y) (2.18) ( )log ( ) ( ) ( ) ( )x y

P X x P Y y P X x P Y y= − = = = =∑∑

( ) ( )( )log ( ) log ( ) ( ) ( )x y

P X x P Y y P X x P Y y= − = + = = =∑∑ (2.19)

( ) ( )log ( ) ( ) ( ) log ( ) ( ) (x y

P X x P X x P Y y P Y y P X x P Y y= − = = = + = = =∑∑ ) (2.20)

( ) ( )log ( ) ( ) ( ) log ( ) ( ) ( )x y x y

P X x P X x P Y y P Y y P Y y P X x= − = = = − = = =∑∑ ∑∑ (2.21)

( ) ( )log ( ) ( ) ( ) ( ) log ( ) (x y x y

P X x P X x P Y y P X x P Y y P Y y= − = = = − = = =∑ ∑ ∑ ∑ ) (2.22)

( ) ( )log ( ) ( ) log ( ) (x y

)P X x P X x P Y y P Y y= − = = − = =∑ ∑

(2.23)

= H(X=x) + H(Y=y) (2.24)

Bukti serupa untuk peubah acak kontinu.

Dapat pula didefinisikan entropi marjinal untuk peubah acak diskrit X adalah

H(X=x) ( )log ( ) ( )x

P X x P X x= − = =∑ (2.25)

( )log ( ) ( , )x y

P X x P X x Y y= − = = =∑∑ (2.26)

Begitu pula dengan entropi marjinal untuk peubah acak diskrit Y yaitu

H(Y=y) ( )log ( ) ( )y

P Y y P Y y= − = =∑ (2.27)

( )log ( ) ( , )x y

P Y y P X x Y y= − = = =∑∑ (2.28)


Kebebasan dari dua peubah acak juga dapat dihitung melalui entropi relatif dan

informasi mutual yang dijelaskan pada Sub Bab 2.5. Kasus lain yang ditinjau yaitu

jika dipunyai n peubah acak dituliskan sebagai X1,X2,...,Xn dan diasumsikan masing-

masing peubah acak saling bebas mutual, maka

H(X1, X2,..., Xn) = H(X1) + H(X2)+...+ H(Xn) (2.29)

Contoh 2.2

Ukuran ini juga diterapkan pada kasus peubah acak diskrit, misalnya dua peubah acak

X dan Y yang berdistribusi

( ) ( ), , 0,1,2,3 0,1,230

x yP X x Y y x y

+= = = = =

1,9844µ = , dan H(X=x,Y=y) = 3,3523 2 1,7967σ =

Contoh 2.3

Untuk kasus distribusi kontinu, dapat dilihat contoh sebagai berikut.

( ), 0 1, 0 1

,0, dan lainnya

x y x yf x y

x y+ < < < <⎧

= ⎨⎩

dengan fungsi peluang marjinal masing-masing adalah

( ) ( )1

0

1 , 0 12

0 , lainnya

x xg x x y dy

x

⎧⎛ ⎞+ <⎪⎜ ⎟= + = ⎝ ⎠⎨⎪⎩

∫< dan ( ) ( )

1

0

1 , 0 12

0 , y lainnya

y yh y x y dx

⎧⎛ ⎞+ <⎪⎜ ⎟= + = ⎝ ⎠⎨⎪⎩

∫<

Rataan gabungan dari peubah acak tersebut adalah

( )1 1 1

,0 0 0

1 1 13 2 3X Y xy x y dxdy y y dyµ ⎛ ⎞= + = +⎜ ⎟

⎝ ⎠∫ ∫ ∫ = .

Untuk menghitung kovariansi, terlebih dahulu dicari mean untuk X dan Y yang

diperoleh dari fungsi padat peluang marjinalnya yaitu

µX =1

0

1 12

x dx+ =∫ , µY =1

0

1 12

y dy+ =∫ , sehingga kovariansi X dan Y menjadi


σXY = ( )( )( ) ( )( )( )1 1 1 1

0 0 0 0

11 16X Yx y x y dxdy x y x y dxdyµ µ− − + = − − + =∫ ∫ ∫ ∫

Sedangkan entropi gabungan untuk fungsi peluang gabungan di atas adalah

H(X,Y)= ( )( )1 1

0 0

ln x y x y dxdy− + +∫ ∫ = -0,0909.

2.3 Momen dan Entropi Bersyarat

Seringkali ingin diketahui perilaku variabel X jika variabel Y dikontrol. Dalam teori

peluang ini dinamakan dengan peluang bersyarat. Rataan bersyarat dari X diberikan

adalah Y y=

( )

( )

, dan peubah acak diskritE

| , dan peubah acak kontinu

xxP X x Y y X Y

X Y yxf x y dx X Y

∞

−∞

⎧= =⎪

⎪⎡ ⎤= = ⎨⎣ ⎦⎪⎪⎩

∑

∫ (2.30)

Misal X dan Y menyatakan peubah acak yang mempunyai fungsi massa peluang (fpm)

gabungan (bersama) P(X=x,Y=y), atau fungsi densitas peluang (fdp) f(x,y). Misal

P(X=x), P(Y=y) fmp marjinal dari X dan Y, sedangkan f(x) dan f(y), fdp marjinal dari

X dan Y.

Sehingga fmp bersyarat dari peubah acak Y, diberikan bahwa peubah acak diskrit

adalah P(Y=y|X=x) maka P(X=x,Y=y)=P(X=x)P(Y=y|X=x)=P(Y=y)P(X=x|Y=y).

Fdp bersyarat dari peubah acak Y, diberikan nilai bahwa peubah acak

kontinu adalah f(y|x) maka f(x,y)= f(x) f(y|x)= f(y) f(x|y).

X x=

X x=

Untuk fmp marjinal dari X dan Y masing-masing sebagai berikut

dan ( ) ( ,y

P X x P X x Y y= = = =∑ ) ( ) ( , )x

P Y y P X x Y y= = = =∑ . Sedangkan untuk


peubah acak kontinu, peluang marjinal untuk X dan Y adalah f(x)= ( ),y

f x y dy∫ dan

f(y)= ( ),x

f x y dx∫ .

Momen yang sudah dikenal adalah mean dan variansi bersyarat dan didefinisikn

sebagai berikut. Jika ada, maka E Y x⎡ ⎤⎣ ⎦ adalah mean dan [ ]( )2E |Y E Y x x⎡ ⎤−⎢ ⎥⎣ ⎦

adalah variansi dari distribusi bersyarat dari Y, diberikan X = x, dapat dituliskan

sebagai var(Y|x). Agar memudahkan dalam memahami, dinamakan mean bersyarat

dan variansi bersyarat dari Y, diberikan X = x. Sehingga didapatkan

( ) [ ]( )22var | = E | E | Y x Y x Y x⎡ ⎤ −⎣ ⎦ (2.31)

Sedangkan untuk entropi bersyarat dari Y jika diberikan X = x dapat dituliskan

sebagai

H(Y|X=x) ( )log ( | ) ( | )y

P Y y X x P Y y X x= − = = = =∑ untuk setiap x. (2.32)

Kemudian entropi bersyarat dari Y jika diberikan X dapat dituliskan sebagai

H(Y=y|X=x) H(Y|X=x) untuk setiap x. (2.33) ( )x

P X x= =∑

( )( ) log ( | ) ( |x y

P X x P Y y X x P Y y X x= − = = = = =∑ ∑ )

)⎤⎦

( )log ( | ) ( | ) ( )x y

P Y y X x P Y y X x P X x= − = = = = =∑∑

( )log ( | ) ( , )x y

P Y y X x P X x Y y= − = = = =∑∑

(E log ( | )P Y y X x= − = =⎡⎣ (2.34)

Rumus ini juga berlaku untuk X dan Y peubah acak kontinu. Tentu saja menarik jika

ada keterkaitan antara peubah acak yang satu dengan yang lain. Apabila kedua

peubah acak tidak saling bebas maka entropi bersyarat juga dapat dihitung melalui


aturan rantai menggunakan entropi gabungan kedua peubah acak dengan fungsi padat

peluang gabungan dan marjinal, diketahui P(X=x) atau f(x) yaitu

H(Y=y|X=x) = H(X=x,Y=y) - H(X=x)

Bukti :

H(X=x|Y=y) ( )log ( | ) ( | ) ( )x y

P X x Y y P X x Y y P X x= − = = = = =∑∑

( , )log ( , )( )x y

P X x Y y P X x Y yP X x

⎛ ⎞= == − = =⎜ ⎟=⎝ ⎠∑∑ , ( )Xp x > 0

( ) ( )( )log ( , ) log ( ) ( , )x y

P X x Y y P X x P X x Y y= − = = − = = =∑∑

( ) ( )log ( , ) ( , ) log ( ) ( ,x y x y

P X x Y y P X x Y y P X x P X x Y y= − = = = = + = = =∑∑ ∑∑ )

=

= H(X=x,Y=y) ( )log ( ) ( )x

P X x P X x+ =∑

= H(X=x,Y=y) - H(X=x)

Sifat ini berlaku simetris sehingga H(X=x,Y=y) = H(Y=y|X=x) + H(X=x) =

H(X=x|Y=y) + H(Y=y). Akibat dari sifat tersebut maka H(X=x|Y=y)≤ H(Y=y),

berlaku kesamaan jika dan hanya jika X dan Y saling bebas. Interpretasi entropi

bersyarat dari Y jika diberikan peubah acak X adalah rata-rata informasi yang

dibutuhkan untuk menentukan observasi khusus dari Y dengan diberikan telah

mempunyai observasi X. Sebagai catatan, H(Y=y|X=x)≠ H(X=x|Y=y).

Selanjutnya, akan dibahas entropi untuk kasus tiga peubah acak. Misalkan terdapat

tiga peubah acak X, Y dan Z dengan distribusi peluang masing-masing diketahui maka

entropi gabungannya adalah


H(X=x,Y=y,Z=z)( )( ) ( )

( )( ) ( )

log , , , , , , dan diskrit

log , , , , , , dan kontinu

x y zP X x Y y Z z P X x Y y Z z X Y Z

f x y z f x y z dxdydz X Y Z∞ ∞ ∞

−∞ −∞ −∞

⎧− = = = = = =⎪⎪= ⎨⎪ −⎪⎩

∑∑∑

∫ ∫ ∫

(2.35)

Pada kasus tiga peubah acak ini dapat pula didefinisikan entropi marjinal untuk

peubah acak diskrit X, Y dan Z adalah

H(X=x) ( )( ) ( )log , ,x y z

P X x P X x Y y Z z= − = = = =∑∑∑ (2.36)

H(Y=y) ( )( ) ( )log , ,x y z

P Y y P X x Y y Z z= − = = = =∑∑∑ (2.37)

H(Z=z) ( )( ) ( )log , ,x y z

P Z z P X x Y y Z z= − = = = =∑∑∑ (2.38)

Selain itu, dapat juga dituliskan entropi bersyarat dan entropi gabungan X dan Y

sebagai berikut

H(X=x|Y=y) ( )( ) ( )log | , ,x y z

P X x Y y P X x Y y Z z= − = = = = =∑∑∑ (2.39)

H(X=x,Y=y) ( )( ) ( )log , , ,x y z

P X x Y y P X x Y y Z z= − = = = = =∑∑∑ (2.40)

Entropi bersyarat dari X dan Y jika diberikan Z adalah

H(X=x,Y=y|Z=z) ( )z

P Z z= =∑ H(X,Y|Z=z) (2.41)

( )( ) ( )log , | , ,x y z

P X x Y y Z z P X x Y y Z z= − = = = = = =∑∑∑

sedangkan entropi bersyarat dari X jika diberikan Y dan Z dituliskan

H(X=x|Y=y,Z=z) ( ),y z

P Y y Z z= − = =∑∑ H(X|Y=y,Z=z) (2.42)

( )log ( | , ) ( , , )x y z

P X x Y y Z z P X x Y y Z z= − = = = = = =∑∑∑

Jika pada peubah acak diskrit terdapat tiga penjumlahan maka untuk peubah acak

kontinu, digunakan integral lipat tiga.


Contoh 2.4 (Hogg and Craig,2005, 122)

Pada contoh ini diberikan distribusi tiga peubah acak

( )( )2

, 0 1, 0 1, 0 1, , 30, , , lainnya

x y zx y zf x y zx y z

⎧ + +< < < < < <⎪= ⎨

⎪⎩

Distribusi peluang dan entropi marjinal untuk X adalah

( ) ( ) (1 1

0 0

2 2 13 3

x y zf x d ydz x

+ += =∫ ∫ )+ dan

H(X=x)= ( ) ( )1

0

2 2ln 1 13 3

x x dx⎛ ⎞− + +⎜ ⎟⎝ ⎠∫ ( ) ( )7 1ln 2 ln 3

3 2=− + + = - 0,0187

Sedangkan distribusi peluang dan entropi marjinal untuk Y dan Z yaitu

( ) ( )2 13

f y y= + , ( ) (2 13

f z z= + ) , H(Y=y)= - 0,0187 dan H(Z=z)= - 0,0187

Entropi gabungan untuk X, Y dan Z

H(X=x,Y=y,Z=z)= ( ) ( )1 1 1

0 0 0

2 2ln

3 3x y z x y z

dxdydz⎛ ⎞+ + + +

− ⎜ ⎟⎝ ⎠

∫ ∫ ∫

= ( ) ( )1 5ln 2 ln 33 4

− +1312

= - 0,0588

Fungsi gabungan Y dan Z bersyarat pada X=x0 adalah sebagai berikut

( ) ( )( )

( )

( )( )( )

( )

0

0 00

0 00

0

0 0

2, , 3, | 2 11

3

, 0 1 dan 0 11 1

0 , dan lainnya

x y zf x y z x y z

f y z xf x xx

y zx y zx x

y z

+ ++ +

= = =++

⎧ ++ < < < <⎪= + +⎨

⎪⎩

Terlihat bahwa fungsi ini merupakan penjumlahan suatu konstanta dengan rasio

peubah acak Y dan Z dengan suatu konstanta. Sehingga entropi gabungan Y dan Z

bersyarat pada X=x0 adalah


H(Y=y,Z=z|X=x) = ( )( ) ( )1 1 1

0 0 0

ln , | , ,f y z x f x y z dxdydz−∫ ∫ ∫

= ( )1 1 1

0 0 0

2ln

1 3x y zx y z dxdydz

x+ ++ +⎛ ⎞− ⎜ ⎟+⎝ ⎠∫ ∫ ∫

= ( )1 1 1

0 0 0

2 ln3 1

x y z x y z dxdydzx+ +⎛ ⎞− + +⎜ ⎟+⎝ ⎠∫ ∫ ∫

= - 0,04016

dengan H(Y=y,Z=z|X=x)=H(X=x,Z=z|Y=y)= H(X=x,Y=y|Z=z)=-0,04016.

Fungsi gabungan X bersyarat pada Y dan Z adalah sebagai berikut

( ) ( )

( )

( )

( )

( )

0

00 1 1

0 0

0

2, , 3| ,

2, ,3

, 0 1 dan 0 112

x y zf x y z

f x y zf x y z dx x y z dx

x y zy z

y z

+ +

= =+ +

+ += < < < <⎛ ⎞+ +⎜ ⎟⎝ ⎠

∫ ∫

Dari kasus dua dan peubah acak di atas, dapat diperumum untuk k peubah acak

(multivariat). Entropi dari k peubah acak dapat dituliskan sebagai

H(X1=x1,X2=x2,…,Xk=xk)

( )( ) ( )

( )( ) ( )

1 2

1 1 2 2 1 1 2 2

1 2 1 2 1 2

... log , ,..., , ,..., , peubah acak diskrit

... log , ,..., , ,..., ... , peubah acak kontinu

k

k k k kx x x

k k k

P X x X x X x P X x X x X x

f x x x f x x x dx dx dx∞ ∞ ∞

−∞ −∞ −∞

⎧− = = = = = =⎪⎪= ⎨⎪ −⎪⎩

∑∑ ∑

∫ ∫ ∫(2.43)

2.4 Entropi Relatif dan Informasi Mutual

Konsep umum dari entropi adalah entropi relatif yang dikenal juga dengan Kullback

Leibler distance atau cross entropy. Entropi relatif dinotasikan dengan


(D p r )adalah suatu ukuran jarak antara dua distribusi dan ukuran keadaan dari

mengasumsikan bahwa distribusinya adalah r padahal distribusi sebenarnya adalah p.

Definisi 2.1 : Entropi relatif atau Kullback Leibler distance dari dua fmp, p(x) dan

r(x) didefinisikan sebagai

( ) ( ) ( )( )

( )( )

D log =E logpx

p x p Xp r p x

r x r X∈Χ

⎡ ⎤= ⎢ ⎥

⎢ ⎥⎣ ⎦∑ (2.44)

Sifat-sifat dari entropi relatif

1. bernilai non negatif

2. ( )D p r = 0 jika dan hanya jika p = r

Entropi relatif bersyarat dari dua distribusi adalah

( ) ( )( ) ( ) ( ) ( )( )1 2

2 12 1 2 1 1 2 1

2 1

|D | | | log

|x x

p x xp x x r x x p x p x x

r x x=∑ ∑ (2.45)

( ) ( )( ) ( ) ( )( ) ( ) ( )( )2 1 2 1 1 1 2 1 2 1D , , D Dp x x r x x p x r x p x x r x x= + (2.46)

Konsep lain yang dapat digunakan untuk melihat hubungan dari dua distribusi

peluang adalah informasi mutual dan didefinisikan sebagai berikut. Misalkan dua

peubah acak, X dan Y dengan fungsi peluang gabungannya, p(x,y) dan fmp marjinal

adalah p(x) dan p(y).

Definisi 2.2 : Untuk peubah acak diskrit, informasi mutual didefinisikan sebagai

( ) ( )( ) ( )

( ) ( ) ( )( ) ( )( )

( ) ( ),

,I( ; ) = log,

,D , E log

x y

p x y

p X x Y yX Y p X x Y y

p X x p Y y

p X Yp X x Y y p X x p Y y

p X p Y

= == =

= =

⎡ ⎤= = = = = = ⎢ ⎥

⎢ ⎥⎣ ⎦

∑∑ (2.47)

sedangkan untuk peubah acak kontinu, dituliskan sebagai


( ) ( )( ) ( )

( ) ( ) ( )( )

,I( ; ) = , log

D ,

x y

f x yX Y f x y

f x f y

f x y f x f y=

∑∑ (2.48)

Informasi mutual, I(X;Y), merupakan ukuran kebebasan, yaitu informasi mutual

bernilai nol jika dan hanya jika dua peubah acak saling bebas. Entropi dan informasi

mutual mempunyai hubungan sebagai berikut

( )

, ,

,

( , )I ; = ( , ) log( ) ( )( | )( , ) log

( )

( , ) log ( ) ( , ) log ( |

( ) log ( ) ( , ) log ( | )

x y

x y

x y x y

x x y

P X x Y yX Y P X x Y yP X x P Y yP X x Y yP X x Y y

P X x

)P X x Y y P X x P X x Y y P X x Y y

P X x P X x P X x Y y P X x Y y

= == =

= =

= == = =

=

= − = = = + = = = =

⎛ ⎞= − = = − − = = = =⎜ ⎟

⎝ ⎠

∑∑

∑∑

∑ ∑

∑ ∑

= H(X=x)- H(X=x|Y=y)

Begitu pula dengan informasi mutual, ( ) ( )I ; =I ;X Y Y X = H(Y=y) - H(Y=y|X=x).

Sehingga dapat dituliskan hubungan-hubungan,

I (X;Y) = H(X=x) – H(Y=y)

= H(Y=y) - H(Y=y|X=x)

= H(X=x) + H(Y=y) - H(X=x,Y=y)

= I (Y;X)

dan I (X;X) = H(X=x). Sebagai suatu ukuran, dikenal juga informasi mutual bersyarat

yang didefinisikan sebagai

I (X;Y | Z) = I ((X;Y) | Z) = H(X=x|Z=z) - H(X=x|Y=y,Z=z) (2.49)

Sebagai catatan, penulisan entropi pada bab ini dibedakan dengan entropi untuk

proses stokastik rantai Markov pada Bab 4 karena entropi pada matriks peluang

transisi dilihat sebagai entropi perbaris. Untuk lebih jelas, akan dibahas pada bab 4.

bab 2 momen dan entropi - perpustakaan digital...

Documents