entropi dari beberapa distribusi - · pdf filebab iii entropi dari beberapa distribusi dan...

16
BAB 3 ENTROPI DARI BEBERAPA DISTRIBUSI Untuk lebih memahami mengenai entropi, pada bab ini akan diberikan perhitungan entropi untuk beberapa distribusi diskrit dan kontinu. 3.1 Distribusi Diskrit Pada sub bab ini dibahas rataan, variansi dan entropi dari beberapa distribusi baik diskrit maupun kontinu. a. Geometri (p) Misalkan X menyatakan peubah acak yang berdistribusi Geometri dengan parameter (p) dan fungsi densitas peluang ( ) ( ) 1 1 , 1, 2,... 0 , lainnya k p p k PX k k = = = Rataan : µ = ( ) 1 0 1 k k kp p = = 1 p Variansi : σ 2 = ( ) 2 1 0 1 1 k k k p p p = = ( ) 2 1- p p Entropi: H(X=x) ( ) ( ) ( ) 1 1 0 log 1 1 n k k k p p p p = = = ( ) 1 log log 1 p p p p 23

Upload: leminh

Post on 05-Feb-2018

252 views

Category:

Documents


9 download

TRANSCRIPT

Page 1: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB 3

ENTROPI DARI BEBERAPA

DISTRIBUSI

Untuk lebih memahami mengenai entropi, pada bab ini akan diberikan perhitungan

entropi untuk beberapa distribusi diskrit dan kontinu.

3.1 Distribusi Diskrit

Pada sub bab ini dibahas rataan, variansi dan entropi dari beberapa distribusi baik

diskrit maupun kontinu.

a. Geometri (p)

Misalkan X menyatakan peubah acak yang berdistribusi Geometri dengan

parameter (p) dan fungsi densitas peluang

( ) ( ) 11 , 1, 2,...0 , lainnya

kp p kP X kk

−⎧ − =⎪= = ⎨⎪⎩

Rataan : µ = ( ) 1

0

1 k

k

kp p∞

=

−∑ = 1p

Variansi : σ 2 = ( )2

1

0

1 1 k

k

k p pp

∞−

=

⎛ ⎞− −⎜ ⎟

⎝ ⎠∑ =

( )2

1- pp

Entropi: H(X=x) ( )( ) ( )1 1

0log 1 1

nk k

kp p p p− −

=

= − −∑ = ( )1log log 1pp pp−

− − −

23

Page 2: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

24

Pada distribusi geometri ini, entropi dapat mudah dihitung seperti halnya

menghitung rataan dan variansinya dengan entropi ini berlaku untuk p∈ (0,1).

Tabel perhitungan entropi untuk distribusi geometri dengan beberapa nilai p,

(dengan basis dua) ditampilkan di bawah ini.

p H 0,1 4,6900 0,2 3,6096 0,3 2,9376 0,4 2,4274 0,5 2,0000 0,6 1,6183 0,7 1,2590 0,8 0,9024 0,9 0,5211

Tabel 3.1 : Entropi distribusi Geometri (p)

Entropi distribusi Geometri (p )

00.5

11.5

22.5

33.5

44.5

5

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1p

H

Gambar 3.2 : Grafik entropi untuk distribusi Geometri (p)

Terlihat dari tabel 3.1 dan gambar 3.1 bahwa untuk 0<p<0,4, p meningkat dan

entropi, H(X=x) menurun cukup cepat. Tetapi ketika 0,4<p<1, nilai

entropinya menurun lebih lambat daripada 0<p<0,4.

Page 3: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

25

a. Binomial (n, p)

Misalkan X menyatakan peubah acak yang berdistribusi Binomial dengan

parameter (n,p) dan fungsi padat peluang

( ) ( )1 , 0,1,2,...,

0 , lainnya

n kknp p k

P X k kk

−⎧⎛ ⎞− =⎪⎜ ⎟= = ⎨⎝ ⎠

⎪⎩

n

Rataan :( ) ( )

( )( ) ( ) ( )

0

1

1

! 1! !

1 !1

1 ! !

nn kk

k

nn kk

k

nk p pk n k

nnp p p np

k n k

µ −

=

−−

=

= −−

−= −

− −

∑ =

Variansi : ( ) ( ) ( ) (22

0

! 1 1! !

nn kk

k

nk np p p np pk n k

σ −

=

= − − = −−∑ )

n k

Entropi: H(X=x)0log (1 ) (1 )

nk n k k

k

n np p p p

k k− −

=

⎛ ⎞⎛ ⎞ ⎛ ⎞= −⎜ ⎟⎜ ⎟ ⎜ ⎟

⎝ ⎠ ⎝ ⎠⎝ ⎠∑ −

0

(1 ) log log( ) (1 ) log(1 )n

k n k

k

n np p np p n p

k k−

=

⎛ ⎞ ⎛ ⎞= − − − −⎜ ⎟ ⎜ ⎟

⎝ ⎠ ⎝ ⎠∑ p−

Entropi dari distribusi binomial ini mempunyai bentuk yang cukup rumit

karena dibutuhkan perhitungan logaritma dari kombinasi (n,k) berbeda dengan

mean dan variansinya. Oleh karena itu, penggunaan software seperti Maple

akan lebih memudahkan mencari entropinya. Di gambar berikut ditampilkan

entropi untuk beberapa p dengan n sebesar 50 kali.

Page 4: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

26

Entropi Distribusi Binomial (n,p )

0

20

40

60

80

100

120

0 10 20 30 40 50 60n

H

p=0,03

p=0,25

p=0,5

p=0,6

p=0,99

Gambar 3.3 : Grafik entropi untuk distribusi binomial

Dari grafik di atas, terlihat bahwa n≥20 tapi proporsi, p berbeda, entropi

semakin nyata perbedaannya. Dapat dikatakan bahwa untuk n≥20 tersebut,

entropi binomial mendekati distribusi kontinu. Untuk p=0,25 dan p=0,6

semakin jauh letaknya untuk n≥20.

Selain itu, ingin dilihat pula pengaruh kenaikan proporsi peluang terhadap

entropi. Pada distribusi binomial ini, dapat dilihat bahwa untuk parameter n

yang semakin tinggi sedangkan peluang sukses, p tetap maka entropi dari

distribusi binomial ini juga akan berubah menjadi semakin tinggi.

Page 5: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

27

Sebagai perbandingan, parameter n ditetapkan sebesar 20 sedangkan proporsi

peluangnya meningkat maka hasil perhitungan dapat dilihat pada tabel di

bawah ini.

p 0,1 0,15 0,2 0,25 0,3 0,35 0,4 0,45 0,5

H 16,3547 21,7038 26,0086 29,4606 32,1750 34,2258 35,6608 36,5108 36,7923

p 0,55 0,6 0,65 0,7 0,75 0,8 0,85 0,9

H 36,5108 35,6608 34,2258 32,1750 29,4606 26,0086 21,7038 16,3547

Tabel 3.4 : Entropi untuk distribusi binomial untuk n=20

Hasil perhitungan di atas digambarkan dalam grafik berikut.

Entropi Binomial (p ; n=20)

10.0013.00

16.0019.00

22.0025.00

28.0031.00

34.0037.00

40.00

0 0.2 0.4 0.6 0.8 1

p

H

Gambar 3.5 : Grafik entropi binomial untuk n=20

Dari tabel dan grafik di atas dapat dikatakan bahwa untuk proporsi peluang,

0<p<0,5, entropi meningkat secara eksponensial. Kemudian, hal yang

menarik, untuk 0,5<p<1 entropi menurun secara eksponensial pula. Entropi

mencapai nilai maksimum pada saat p=0,5.

Page 6: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB 3 ENTROPI DARI BEBERAPA DISTRIBUSI

27

n 1 2 3 4 5 6 7 8 9 10

0,1 0,4689 1,1179 1,8349 2,592 3,3768 4,1822 5,0036 5,8379 6,6827 7,53630,2 0,7219 1,7639 2,9266 4,1552 5,4259 6,7262 8,048 9,3863 10,7373 12,09860,3 0,8813 2,1826 3,6424 5,1835 6,7735 8,3956 10,0403 11,7016 13,3754 15,05920,4 0,9709 2,4219 4,0542 5,7756 7,5484 9,3536 11,1811 13,0245 14,88 16,7449

p

0,5 1 2,5 4,1887 5,9694 7,8018 9,6666 11,5534 13,4558 15,3701 17,2936 n 11 12 13 14 15 16 17 18 19 20

0,1 8,3973 9,2647 10,1376 11,0152 11,8971 12,7827 13,6716 14,5634 15,4578 16,35470,2 13,4683 14,8448 16,2271 17,6143 19,0056 20,4006 21,7987 23,1997 24,603 26,00860,3 16,7508 18,4489 20,1524 21,8604 23,5724 25,2877 27,0059 28,7267 30,4498 32,1750,4 18,6173 20,4959 22,3797 24,2678 26,1597 28,0548 29,9528 31,8533 33,7561 35,6609

p

0,5 19,2245 21,1615 23,1036 25,0499 27,0001 28,9535 30,9096 32,8684 34,8293 36,7923Tabel 3.6 : Entropi untuk distribusi Binomial (n,p) dengan 2 sebagai basis logaritma

Page 7: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

28

b. Poisson (λ)

Misalkan X menyatakan peubah acak yang berdistribusi Poisson dengan

parameter (λ) dan fungsi padat peluang,

( ) , 0,1, 2,...!

0 , lainnya

ke kP X k kk

λλ−⎧=⎪= = ⎨

⎪⎩

Rataan : µ = ( )

1

0 1! 1

k k

k k

ek ek k

λλλ λλ

− −∞ ∞−

= =

=!−∑ ∑ =λ

Variansi : σ 2 = ( )2

0 !

k

k

ekk

λλλ−∞

=

−∑ = λ

Entropi : H(X=x) =0log

! !

k k

k

e ek k

λ λλ λ− −∞

=

⎛ ⎞⎜ ⎟⎝ ⎠

∑ = ( ) ( )0

log !1 log

!

k

k

ke

kλ λ

λ λ∞

=

− + ∑

Entropi untuk distribusi Poisson mempusnyai kerumitan dalam perhitungan

yang tidak sederhana dan memerlukan analisis yang lebih kuat.

3.1 Distribusi Kontinu

a. Uniform (a,b)

Misalkan X menyatakan peubah acak yang berdistribusi uniform dengan

fungsi distribusi,

1 , ( )

0, lainnya

a x bf x b a

x

⎧ < <⎪= −⎨⎪⎩

Rataan : µ = 12

b

a

a bx dxb a

+=

−∫

Variansi : σ 2 = ( )2

22 1 12 12

b

a

a bx dx b ab a

⎛ ⎞ +⎛ ⎞− = −⎜ ⎟ ⎜ ⎟− ⎝ ⎠⎝ ⎠∫

Page 8: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

29

Entropi: H(X=x) 1 1lnb

a

dxb a b a

⎛ ⎞= − ⎜ ⎟− −⎝ ⎠∫

( )1ln ln b ab a

⎛ ⎞= − = −⎜ ⎟−⎝ ⎠

Dari perhitungan tersebut, entropi untuk distribusi uniform hanya ditentukan

oleh lebar intervalnya.

b. Normal N(α,β2)

Misalkan X menyatakan peubah acak yang berdistribusi normal dengan

parameter (α,β2) dan fungsi padat peluang,

( ) ( )2

2

1 exp22

xf x

αββ π

⎛ ⎞−⎜= −⎜ ⎟⎝ ⎠

⎟ , -∞ < x < ∞

Rataan : µ = ( )2

2

1 exp22

xx dx

αββ π

−∞

⎛ ⎞−⎜ ⎟−⎜ ⎟⎝ ⎠

∫ = α

Variansi : σ 2= ( ) ( )22

2

1 exp22

xx dx

αα

ββ π

−∞

⎛ ⎞−⎜ ⎟− −⎜ ⎟⎝ ⎠

∫ = β 2

Untuk menghitung entropi dari distribusi-distribusi kontinu, digunakan basis

logaritmanya adalah e sehingga

Entropi : H(X=x)

2 21 12 21 1log

2 2

x x

e eα αβ β

β π β π

⎛ ⎞ ⎛ ⎞− −∞ − −⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

−∞

⎛ ⎞⎜ ⎟= −⎜ ⎟⎝ ⎠

∫ dx

( )( ) ( )21 11 ln 2 ln 22 2

πβ π= + = + β

Entropi dari distribusi normal tidak bergantung pada nilai mean melainkan

pada standar deviasi. Apabila digambarkan dalam kurva maka entropi untuk

distribusi normal meningkat untuk standar deviasi yang meningkat, dengan

mean yang sama.

Page 9: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

30

Gambar 3.7 : Grafik entropi distribusi Normal

Untuk lebih memperjelas, diambil contoh kasus distribusi Normal dengan

mean tetap yaitu 7, tetapi variansi meningkat. Hasilnya ditabelkan seperti di

bawah ini.

β2 0,00001 0,0001 0,001 0,0625 0,125 0,25

H -3,4186 -2,2673 -1,1160 0,9516 1,2982 1,6447

β2 0,5 1 2 4 6 8

H 1,9113 2,3379 2,6845 3,0310 3,2338 3,3776

Tabel 3.8 : Hasil perhitungan entropi distribusi normal

Dari tabel di atas dapat dilihat bahwa untuk variansi yang meningkat maka

nilai entropi juga meningkat. Entropi distribusi normal akan bernilai negatif

untuk variansi yang cukup kecil. Grafik yang didapat juga tampak seperti

pada Gambar 3.5.

Page 10: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

31

c. Gamma (θ,α)

Fungsi padat peluang dari distribusi Gamma adalah

( ) ( )1

, 0

0 , lainnya

x

x e xf x

x

θ α

θθ α

−−⎧⎪⎪ >= ⎨Γ⎪⎪⎩

(3.1)

Rataan : ( ) ( )

( )( )

11 11

xxx ex dx xx e dx

θ αθ α

θ θ

α θµ θα

θ α θ α θ

−∞ ∞− −−

−∞ −∞

Γ += = =

Γ Γ Γ∫ ∫ = (3.2)

Variansi : ( ) ( )1

22

x

x ex dθ α

θ2xσ αθ θα

θ α

−∞ −

−∞

= − =Γ∫ (3.3)

Entropi : H(X=x) ( ) ( )

1 1

0

ln

x x

x e x e dxθ θα α

θ θθ α θ α

− −∞ − −⎛ ⎞⎜ ⎟= − ⎜ ⎟Γ Γ⎜ ⎟⎝ ⎠

∫ (3.4)

( )( ) ( ) ( )ln 1θ α θ θ ψ θ= + Γ + − (3.5)

dengan ( )kψ adalah fungsi digamma, ( ) ( )( )' θ

ψ θθ

Γ=Γ

.

Pada distribusi Gamma, rataan dan variansi dapat dihitung dengan mudah,

sedangkan pada entropinya muncul fungsi digamma. Hal ini menjadi lebih

sulit karena diperlukan turunan dari fungsi gamma, terlebih untuk α bukan

bilangan bulat.

Kasus khusus dari distribusi Gamma adalah distrbusi eksponensial. Untuk

mendapatkan distribusi eksponensial, ditetapkan θ =1 pada persamaan (3.6),

sehingga fungsi padat peluangnya menjadi

( ) , 0

0 , lainnya

x

e xf x

x

α

α

−⎧⎪ >= ⎨⎪⎩

Page 11: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

32

Rataan : µ =

x

ex dxα

α

−∞

−∞∫ = 1 x

xe dxα

α

∞−

−∞∫ = α

Variansi : σ 2 = ( )2

x

ex dxα

αα

−∞

−∞

−∫ = ( )21 x

x e dxααα

∞−

−∞

−∫ = α2

Entropi : H(X=x) 0

ln

x x

e e dxα α

α α

− −∞ ⎛ ⎞⎜ ⎟= − ⎜ ⎟⎜ ⎟⎝ ⎠

( )0

1 ln lnxx

e e dx⎞αα α

λ

−∞− ⎛ ⎛ ⎞

−⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

( )1 ln= − ∫ α= +

Entropi untuk distribusi eksponensial ini akan menjadi negatif untuk α yang

kecil, seperti dapat terlihat pada grafik.

Gambar 3.9 : Grafik entropi distribusi eksponensial

Kasus lain dari distribusi Gamma yaitu distribusi chi kuadrat yang diperoleh

dengan 2rθ = dan 2α = sehingga persamaan (3.6) menjadi

( ) ( )1

2 2/ 2

1 , 0/ 2 2

0 , lainnya

r x

r x e xrf x

x

− −⎧< < ∞⎪Γ= ⎨

⎪⎩

Page 12: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

33

Rataan : µ = ( ) ( )

1 12 2 2 2

/ 2 / 2

1 1/ 2 2 / 2 2

r x r x

r rx x e dx xx e dx rr r

∞ ∞− − − −

−∞ −∞

= =Γ Γ∫ ∫

Variansi : σ ² = ( ) ( )12 2 2

/ 2

1 2/ 2 2

r x

rx r x e dr

∞− −

−∞

x r− =Γ∫

Entropi : H(X=x) ln 2 12 2 2r r r ψ⎛ ⎞⎛ ⎞ ⎛ ⎞ ⎛ ⎞= + Γ + −⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟

⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎝ ⎠ 2r , dengan ( ) ( )

( )' a

aa

ψΓ

.

Perhitungan entropi untuk beberapa r dapat dilihat pada lampiran.

r H

2 1,6931

3 2,0541

4 2,2703

5 2,4231

6 2,5227

7 2,6362

8 2,7165

9 2,7858

10 2,8467

Tabel 3.10 : Perhitungan entropi untuk distribusi chi kuadrat

Pada tabel tersebut, untuk nilai derajat kebebasan (r) yang semakin meningkat

maka entropi untuk peubah acak chi-kuadrat ini juga meningkat. Untuk lebih

jelasnya akan digambarkan dalam grafik seperti berikut.

Page 13: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

34

Entropi khi kuadrat

1.0

1.5

2.0

2.5

3.0

0 2 4 6 8 10 1

r

H

2

Gambar 3.11 : Grafik entropi untuk distribusi chi kuadrat (r)

Dari grafik, entropi pada distribusi chi kuadrat akan meningkat dengan derajat

kebebasan yang meningkat pula. Hal ini dapat dilihat karena informasi yang

terkandung juga semakin banyak.

c. Pareto (α,θ)

Distribusi Pareto sering digunakan untuk bidang-bidang yang berhubungan

dengan sosial, asuransi, geofisika dan sains. Salah satu contohnya adalah

frekuensi kata-kata untuk teks yang panjang, di mana kata-kata pendek sering

digunakan dan kata yang panjang jarang digunakan. Fungsi padat peluang dari

distribusi Pareto dituliskan

( ) ( ) 1 , 0

0 , lainnya

xf x x

x

α

α

αθθ +

⎧>⎪= +⎨

⎪⎩

Rataan : µ = ( ) 1 1

x dxx

α

α

αθ θαθ

+−∞

=−+∫

Page 14: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

35

Variansi : σ ² = ( )

2

11x dx

x

α

α

θ αθα θ

+−∞

⎛ ⎞− =⎜ ⎟−⎝ ⎠ +∫ ( ) ( )

2

21 2θ α

α α− −

Entropi : H(X=x) ( ) ( )1 1

0

ln dxx x

α α

α α

αθ αθθ θ

+ +

⎛ ⎞⎜ ⎟= −⎜ ⎟+ +⎝ ⎠

1ln 1αθ α

⎛ ⎞= +⎜ ⎟⎝ ⎠

+

Untuk distribusi Pareto, bentuk entropi lebih sederhana dan dapat dengan

mudah dihitung seperti halnya mean dan variansi.

d. Lognormal (α,β )

Contoh penggunaan distribusi lognormal yaitu pada long-term return rate

pada investasi barang. Fungsi padat peluang dari distribusi lognormal adalah

( ) ( )2

2

ln( )1 exp22x

f xx

αββ π

⎛ ⎞−⎜ ⎟= −⎜ ⎟⎝ ⎠

, x−∞ < < ∞

Rataan : µ =( )2

22

ln( )1 1exp exp2 22x

x dxx

αα β

ββ π

−∞

⎛ ⎞− ⎛ ⎞⎜ ⎟− = ⎜ ⎟⎜ ⎟ ⎝ ⎠⎝ ⎠∫ +

Variansi : ( )222 2

2

ln( )1 1exp exp2 22

xx dx

σ α βββ π

−∞

⎛ ⎞−⎛ ⎞⎛ ⎞ ⎜ ⎟= − + −⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠⎝ ⎠ ⎝ ⎠∫

( )( ) ( )2 2exp 1 exp 2β α β= − +

Entropi :

H(X=x)= ( ) ( )2 2

2 20

ln( ) ln( )1 1ln exp exp2 22 2x x

dxx x

α αβ ββ π β π

∞ ⎛ ⎞⎛ ⎞ ⎛ ⎞− −⎜ ⎟⎜ ⎟ ⎜ ⎟− − −

⎜ ⎟ ⎜ ⎟⎜ ⎟⎝ ⎠ ⎝ ⎠⎝ ⎠∫

( ) ( )2 21 1 1ln 2 ln 22 2 2

eπβ α π β= + + = +α

Entropi untuk distribusi lognormal bergantung pada parameter α dan β.

Page 15: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

36

Entropi dari beberapa distribusi kontinu pada Bab 3 ditampilkan pada tabel berikut.

N

o

Distribusi Fungsi Padat Peluang µ σ 2 H

1 Uniform

(a,b) 1 ,

( )0, lainnya

a x bf x b a

x

⎧ < <⎪= −⎨⎪⎩

2a b+ ( )21

12b a− ( )ln b a−

2 Normal

(α,β2) ( ) ( )2

2

1 exp22

xf x

αββ π

⎛ ⎞−⎜ ⎟= −⎜ ⎟⎝ ⎠

,

-∞ < x < ∞

α β 2 ( )1 ln 22

πβ+

3 Gamma

(θ,α) ( ) ( )1

, 0

0 , lainnya

x

x e xf x

x

θ α

θθ α

−−⎧⎪⎪ >= ⎨Γ⎪⎪⎩

θα θα2 ( )( ) ( ) ( )ln 1θ α θ θ ψ θ+ Γ + − ,

( ) ( )( )' θ

ψ θθ

Γ=Γ

4 Eksponens

ial (α) ( ) , 0

0 , lainnya

x

e xf x

x

α

α

−⎧⎪ >= ⎨⎪⎩

α

α2 ( )1 ln α+

5 Khi

kuadrat (r) ( ) ( )1

2 2/ 2

1 , 0/ 2 2

0 , lainnya

r x

r x e xrf x

x

− −⎧< < ∞⎪Γ= ⎨

⎪⎩

r 2r ln 2 12 2 2r r r ψ⎛ ⎞⎛ ⎞ ⎛ ⎞ ⎛ ⎞+ Γ + −⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟

⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎝ ⎠

( )

2r

( )( )' a

aa

ψΓ

6 Pareto

(α,θ) ( ) ( ) 1 , 0

0 , lainnya

xf x x

x

α

α

αθθ +

⎧>⎪= +⎨

⎪⎩

α − ( ) ( )

2

21 2θ α

α α− −

1ln 1αθ α

⎛ ⎞ + +⎜ ⎟⎝ ⎠

7 Lognormal

(α,β )

( ) ( )2

2

ln( )1 exp22x

f xx

αββ π

⎛ ⎞−⎜ ⎟= −⎜ ⎟⎝ ⎠

,

x−∞ < < ∞

212e

α β⎛ ⎞+⎜ ⎟⎝ ⎠

( ) ( )2 21 2e eβ α β− +

( )21 ln 2

2eπ β α+

Tabel 3.12 : Entropi untuk distribusi kontinu

Page 16: ENTROPI DARI BEBERAPA DISTRIBUSI - · PDF fileBAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI 25 a. Binomial (n, p) Misalkan X menyatakan peubah acak yang berdistribusi

BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI

37

3.2 Entropi dari Bivariat normal

Untuk kasus bivariat, diambil contoh distribusi bivariat normal dengan fungsi padat

peluang untuk mean, µX dan µY serta variansi σX dan σY dituliskan

( ) ( )

22

22

1 1, exp 22 12 1

y yx x

x x y yx y

y yx xf x yµ µµ µρ

σ σ σ σρπσ σ ρ

⎛ ⎞⎡ ⎤⎛ ⎞ ⎛ ⎞− −⎛ ⎞ ⎛ ⎞− −−⎜ ⎟⎢ ⎥= − ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟+

⎢ ⎥−− ⎝ ⎠ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎣ ⎦⎝ ⎠

x−∞ < < ∞ , (3.11) y−∞ < < ∞

Entropi untuk peubah acak yang berdistribusi bivariate normal adalah

H(x,y)( )

22

22

1 1exp 22 12 1

y yx x

x x y yx y

y yx x dxdyµ µµ µρ

σ σ σ σρπσ σ ρ

∞ ∞

−∞ −∞

⎛ ⎞⎡ ⎤⎛ ⎞ ⎛ ⎞− −⎛ ⎞ ⎛ ⎞− −−⎜ ⎟⎢ ⎥= − ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟⎢ ⎥−− ⎝ ⎠ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎣ ⎦⎝ ⎠∫ ∫ +

Terlihat bahwa entropi untuk kasus bivariat kontinu semakin sulit untuk dihitung

secara manual. Hal ini terpengaruh juga oleh bentuk fungsi padat peluang dari

distribusi bivariat normal.