5

BAB II

DASAR TEORI

Sebelum melangkah lebih jauh pada penentuan portfolio optimal maka

terlebih dahulu dibahas mengenai pengertian investasi, pengertian portfolio,

lemma Ito, persamaan diferensial stokastik, gerak Brown baku (proses Wiener),

fungsi utilitas dan teori kontrol optimal stokastik. Hal ini perlu karena tugas akhir

ini membahas mengenai investasi pada aset beresiko dan tidak beresiko dimana

untuk meminimalkan resiko kerugian maka dibentuklah portfolio optimal.

Portfolio optimal dibentuk dengan menentukan proporsi investasi optimal

menggunakan teori kontrol optimal stokastik dimana di dalamnya digunakan

suatu fungsi utilitas. Selain itu juga karena model portfolio investasi akan

berbentuk persamaan diferensial stokastik yang mengandung proses Wiener.

Persamaan diferensial stokastik tersebut akan diselesaikan dengan menggunakan

lemma Ito untuk kemudian digunakan pada simulasi.

2.1 Investasi

Investasi secara umum berarti mengorbankan sejumlah uang saat ini untuk

memperoleh uang di masa datang. Terdapat dua hal yang terlibat yaitu waktu dan

resiko. Sejumlah uang yang dikorbankan (digunakan) saat ini sudah dalam jumlah

yang pasti sementara hasilnya di masa depan belum bisa dipastikan berapa

besarnya.

Investasi terbagi dua yaitu real investments (investasi riil) dan financial

investments (investasi finansial). Investasi riil melibatkan beberapa aset nyata

seperti tanah, mesin atau pabrik. Investasi finansial melibatkan kontrak yang

tertulis di selembar kertas seperti saham, obligasi dan menabung di bank. Dalam

kehidupan ekonomi di masa lalu kebanyakan investasi merupakan investasi riil

dan dalam kehidupan ekonomi modern kebanyakan investasi merupakan investasi

finansial.

6

Kedua jenis investasi ini tidak saling berkompetisi melainkan saling

melengkapi. Contohnya sebuah perusahaan ingin melebarkan usahanya dengan

membuka pabrik baru. Untuk tujuan tersebut tentu saja ia membutuhkan uang

yang tidak sedikit. Uang tersebut dapat diperoleh dengan cara menerbitkan saham

di bursa efek. Jadi investasi finansial dapat membiayai investasi riil.

Dalam berinvestasi seorang investor dimungkinkan berinvestasi bukan hanya

pada satu aset hal ini dilakukan untuk mengurangi resiko investasi. Kombinasi

beberapa aset tersebut disebut portfolio.

2.2 Portfolio

Portfolio adalah serangkaian kombinasi beberapa aset yang dipegang oleh

investor, baik perorangan maupun lembaga. Kombinasi aset tersebut bisa berupa

aset riil, aset finansial ataupun keduanya. Seorang investor yang menginvestasikan

dana biasanya tidak hanya memilih satu aset saja karena dengan melakukan

kombinasi aset investor bisa meraih return yang optimal sekaligus akan

memperkecil resiko melalui diversifikasi. Memilih portfolio yang optimal

bukanlah hal yang mudah, ini disebut dengan masalah pemilihan portfolio.

Pembentukan portfolio berasal dari usaha diversifikasi investasi untuk

mengurangi resiko. Terbukti bahwa semakin banyak jenis aset yang dikumpulkan

maka resiko kerugian sebuah aset dapat dinetralisir oleh keuntungan yang

diperoleh dari aset lain. Walaupun demikian diversifikasi ini bukanlah suatu

jaminan memperoleh resiko yang minimum dengan keuntungan yang maksimum

sekaligus.

Teori pemilihan portfolio pertama kali dikembangkan oleh Harry Max

Markowitz dengan beberapa asumsi sebagai berikut:

• Seorang investor mempunyai sejumlah uang tertentu

• Sejumlah uang tersebut diinvestasikan untuk jangka waktu tertentu

yang disebut holding period.

• Pada akhir holding period investor akan menjual sahamnya

• Investor akan selalu mencoba menghindari resiko

7

• Untuk menghindari resiko, investor mencoba melakukan diversifikasi

investasinya.

• Investor menghadapi beberapa portfolio dimana harga sudah pasti.

Masalahnya bagaimana mengalokasikan uang mereka di antara

berbagai portfolio untuk memaksimalkan hasil yang diharapkan.

• Investor mampu mengestimasikan hasil yang diharapkan dari masing-

masing portfolio.

• Semua portfolio secara sempurna dapt dibagi

• Pilihan untuk investasi tidak tergantung pada investor lain

Investor melakukan diversifikasi investasi dalam berbagai portfolio

dikarenakan hasil yang diharapkan dari tiap jenis aset dapat saling menutup. Lebih

lanjut, pemodal mengestimasikan hasil investasi dengan hasil yang tertinggi.

Investor tidak mengetahui sercara pasti return yang diharapkan. Jadi, investor

mencona meramal return yang diharapkan dengan memakai batas kemungkinan

bahwa hasil tidak dapat dicapai. Kemungkinan hasil yang diharapkan tidak dapat

dicapai adalah apa yang disebut resiko. Tujuan pembentukan portfolio adalah

sebagai berikut:

• Pada tingkat resiko tertentu berusaha mencapai keuntungan

semaksimal mungkin.

• Pada tingkat keuntungan tertentu berusaha mencapai resiko yang

minimal.

2.3 Lemma Ito

Lemma Ito adalah metode yang digunakan untuk menyelesaikan Integral

Stokastik. Lemma Ito adalah analogi stokastik dari aturan rantai yang ditemui

dalam diferensiasi biasa. Untuk memahami aturan rantai pada fungsi stokastik

akan dibahas terlebih dahulu mengenai aturan rantai untuk fungsi deterministik.

Misalkan f dan g fungsi yang diferensiabel maka aturan rantai untuk

diferensiasinya adalah

(2.1) [ ] ).())(())(( sgsgfsgf ′′=′

8

Persamaan (2.1) ditulis dalam bentuk integral pada selang ],0[ t menjadi

∫ ∫ ′=′′=−t t

sdgsgfdssgsgfgftgf0 0

)())(()())(())0(())(( . (2.2)

Persamaan (2.1) ditulis dalam bentuk diferensial menjadi dggfgdf )()( ′= yang

bisa ditulis sebagai uraian Taylor

...)]([))((21)())(())(())()(( 2 +′′+′=−+ tdgtgftdgtgftgftdgtgf , (2.3)

disini dg(t)=g(t+dt)-g(t) adalah kenaikan dari g di [t,t+dt]. Orde dua dan orde

yang lebih tinggi dari ekspansi Taylor ini dapat diabaikan untuk dt yang kecil.

Uraian Taylor (2.3) bisa diterapkan untuk kasus yang lebih umum. Misalkan

),( tBtf memiliki turunan parsial yang kontinu paling sedikit orde dua maka

uraian Taylor (2.3) menjadi

,...))(,(),(2

))(,([21),(),(),(),(

22212

21121

+++

++=−+ +

tttt

tttttdtt

dBBtfdBdtBtf

dtBtfdBBtfdtBtfBtfBdttf (2.4)

dimana

.2,1,,),(),(

,2,1,),(),(

21

21

,

21

,21

=∂∂

∂∂

=

=∂∂

=

==

==

jixxfxx

xtf

ixxfx

xtf

xxtxjiij

xxtxii

Seperti pada kalkulus, suku dengan orde lebih tinggi di (2.4) dapat diabaikan,

begitu pula suku dengan 2)(dan dtdtdBt sementara 2)( tdB ditulis sebagai dt.

Dengan mengintegralkan sisi kanan dan sisi kiri persamaan (2.4) dan

mengumpulkan suku dengan dt dan tdB secara terpisah diperoleh

tsdBBxfdxBxfBxfBsfBtf xx

t

s

t

sxxst <+⎥⎦⎤

⎢⎣⎡ +=− ∫∫ ,),(),(

21),(),(),( 22221 . (2.5)

Persamaan (2.5) kemudian dikenal sebagai Lemma Ito yang ditulis secara

lengkap seperti lemma berikut

9

.,),(),(21),(),(),(

dan Ito proses jugaadalah ),( maka dimana Ito prosesadalah Misalkan

2221 tsdBBxfdxBxfBxfBsfBtf

XtfvdWudtdXX

xx

t

s

t

sxxst

tttt

<+⎥⎦⎤

⎢⎣⎡ +=−

+=

∫∫

Lemma Ito

2.4 Persamaan Diferensial Stokastik

Persamaan diferensial stokastik (PDS) adalah persamaan diferensial

deterministik yang diberi gangguan acak. Persamaan diferensial stokastik

merupakan persamaan integral stokastik yang melibatkan integral biasa (integral

Riemann) dan integral stokastik Ito.

Persamaan diferensial stokastik secara matematika dituliskan dalam bentuk

sebagai berikut

dengan tX proses stokastik dan tW proses Wiener baku (berdistribusi N(0,1)).

dtXta t ),( merupakan bagian deterministik dan tt dWXtb ),( merupakan bagian

stokastik dari persamaan (2.6).

2.4.1 Solusi Persamaan Diferensial Stokastik

Persamaan (2.6) dapat dituliskan ke dalam bentuk persamaan integral sebagai

berikut

Integral dsXsat

s ),(0∫ merupakan integral biasa (integral Riemann) dan

penyelesaiannya dapat dilakukan dengan metode integral biasa. Masalah akan

muncul saat menyelesaikan integral s

t

s dWXsb ),(0∫ mengingat tW merupakan

fungsi dengan variasi tak terbatas (unbounded variation) meskipun tW memiliki

realisasi yang kontinu. Integral tersebut tidak dapat diinterpretasikan sebagai

(2.6) , ),(),( tttt dWXtbdtXtadX +=

(2.7) . ),(),(00

0 tsdWXsbdsXsaXX s

t

s

t

st <++= ∫∫

10

integral Riemann-Stieljes yang berbentuk ∫ )()( tdgtf karena integral tersebut ada

jika kondisi-kondisi berikut terpenuhi

• f,g tidak memiliki diskontinuitas di titik yang sama

• f memiliki variasi (p) terbatas dan g memiliki variasi (q) terbatas untuk

suatu p,q>0 sedemikian sehingga 111>+

qp

Karena proses Wiener ( tW ) memiliki variasi tak terbatas maka diperlukan metode

lain untuk menyelesaikan integral tersebut. Integral tersebut dikenal juga sebagai

integral stokastik.

Metode yang banyak digunakan untuk menyelesaikan integral stokastik adalah

dengan menggunakan Lemma Ito. Untuk memudahkan memahami metode ini

maka selanjutnya akan diperlihatkan bagaimana Lemma Ito digunakan.

Perhatikan persamaan difterensial stokastik berikut

(2.8)

Persamaan (2.8) dapat dituliskan ke dalam bentuk integral sebagai berikut

untuk suatu konstanta 0, >σc .

Misalkan ),( tt WtfX = untuk fungsi mulus ),( xtf maka menurut Lemma

Ito tX dapat ditulis menjadi

. ,),()],(21),([

02

02210 tsdWWsfdsWsfWsfXX s

t

s

t

sst <+++= ∫∫ (2.10)

dimana

.2,1,,),(),(

,2,1,),(),(

21

21

,

21

,21

=∂∂

∂∂

=

=∂∂

=

==

==

jixxfxx

xtf

ixxfx

xtf

xxtxjiij

xxtxii

. tttt dBXdtcXdX σ+=

(2.9) , 00

0 tsdWXdsXcXX s

t

s

t

st <++= ∫∫ σ

11

Dengan menyamakan persamaan (2.9) dan (2.10) diperoleh

).,(21),(),( 221 xtfxtfxtcf += (2.11)

),(),( 2 xtfxtf =σ . (2.12)

Dari persamaan (2.12) diperoleh

).,(

)),(().,(),(

2

222

xtfxtf

xtfxtf

σ

σσσ

=

==

. (2.13)

Dengan mensubstitusikan persamaan (2.13) ke persamaan (2.11) diperoleh

),(),()5.0( 12 xtfxtfc =− σ . (2.14)

Selanjutnya untuk mempermudah memperoleh solusi ),( xtf akan ditulis sebagai

hasil kali dua buah fungsi dengan variabel terpisah yaitu

)()(),( xhtgxtf = , (2.15)

sehingga

).()(),().()(),(

2

1

xhtgxtfxhtgxtf′=

′= (2.16)

Dengan menggunakan (2.16) maka persamaan (2.12) dan persamaan (2.14) ditulis

menjadi

)()()5.0( 2 tgtgc ′=− σ . (2.17)

)()( xhxh ′=σ . (2.18)

Persamaan (2.17) dan persamaan (2.18) dapat diselesaikan dengan metode

separasi variabel sehingga diperoleh

.)0()(

.)0()( )5.0( 2

x

tc

ehxhegtgσ

σ

=

= −

(2.19)

Dengan mensubtitusikan persamaan (2.19) ke persamaan (2.15) diperoleh

xtcehgxhtgxtf σσ +−⋅=⋅= )5.0( 2

)0()0()()(),( . (2.20)

Diketahui )0()0()0,0(),0( 00 hgfWfX ⋅=== sehingga persamaan (2.20)

menjadi

tWtctt eXWtfX σσ +−== )5.0(

0

2

),( , (2.21)

12

.)5.0(0

2tWt

t eXX σσµ +−=

dimana persamaan (2.21) merupakan solusi dari persamaan (2.8).

Persamaan diferensial stokastik yang berbentuk seperti persamaan (2.8) adalah

persamaan harga saham yang persamaan diferensial stokastiknya berbentuk

dimana tdX adalah perubahan harga saham, dt perubahan waktu, tdW proses

Wiener, µ rata-rata rate of return (RoR) dan σ volatilitas harga saham.

Rate of Return dihitung dengan formula:

%1000

011 ×−+

=P

PPDRoR ,

dimana 1D adalah dividen, 1P adalah harga saham saat penjualan dan 0P harga saham

saat pembelian.

Dengan menggunakan Lemma Ito dan dengan cara pengerjaan yang sama

dengan contoh di atas maka diperoleh persamaan harga saham yang disebut

persamaan harga saham geometrik yaitu

2.5 Gerak Brown Baku (Proses Wiener)

Dalam matematika, Proses Wiener adalah continuous-time stochastic process.

Proses Wiener juga sering disebut Gerak Brown Baku (Standard Brownian

Motion) yang diberi nama dari seorang ahli biologi Robert Brown. Proses Wiener

terdapat dalam matematika murni, matematika terapan, keuangan dan fisika.

Proses Wiener memainkan peran penting di dalam matematika murni maupun

matematika terapan. Pada matematika murni, proses Wiener memainkan peranan

penting seperti pada kalkulus stokastik dan proses difusi. Pada matematika

terapan, proses Wiener memainkan peranan penting pada bidang teknik

elektronika, teori kontrol dan teori filtering (filtering theory). Proses Wiener

tW memiliki tiga sifat yaitu

,tttt dWXdtXdX σµ +=

13

• 00 =W

• tW mempunyai realisasi kontinu

• tW mempunyai peningkatan yang independen dan stasioner

• tW berdistribusi Normal N(0,1)

Gambar 2.1: Proses Wiener

2.6 Fungsi Utilitas

Fungsi utilitas adalah fungsi kekayaan (wealth) )(wU yang dapat diturunkan

dua kali untuk w>0. Fungsi ini memiliki sifat non-satiation (turunan pertama

)0)( >′ wU dan risk aversion (turunan kedua 0)( <′′ wU ).

Sifat non-satiation (tidak pernah puas) menyatakan bahwa utilitas meningkat

seiring dengan peningkatan kekayaan. Sifat risk aversion (investor tidak

menyukai resiko) menyatakan bahwa fungsi utilitas berbentuk konkaf dengan kata

lain utilitas marginal menurun saat kekayaan meningkat.

Untuk melihat mengapa fungsi utilitas berbentuk konkaf, perhatikan contoh

berikut. Misalkan utilitas marginal didefinisikan sebagai penambahan seratus ribu

rupiah. Bagi orang yang hanya punya kekayaan seratus ribu rupiah, mendapatkan

lagi seratus ribu rupiah menjadi penting. Bagi orang yang punya kekayaan satu

milyar rupiah penambahan seratus ribu rupiah menjadi tidak berarti. Jadi utilitas

marginal menurun saat kekayaan meningkat.

Secara geometrik fungsi utilitas berbentuk konkaf ini akan terletak di atas

sebuah garis lurus yang melalui dua titik sebagai berikut

14

Gambar 2.2: Fungsi utilitas risk aversion

terdapat berbagai macam fungsi utilitas untuk kasus risk aversion yaitu

• Utilitas Kuadratik (Quadratic Utility)

• Utilitas Eksponensial (Exponential Utility)

• Utilitas pangkat (Power Utility)

dari ketiga fungsi utilitas tersebut fungsi yang paling baik dan mudah digunakan

adalah fungsi utilitas berbentuk fungsi pangkat (power function). Berikut ini

adalah gambar fungsi utilitas berbentuk fungsi pangkat ax dengan

0.1dan 05.0,01.0=a .

Gambar 2.3: Fungsi utilitas berbentuk fungsi pangkat (power function)

2.7 Teori Kontrol Optimal Stokastik

Teori Kontrol Optimal Stokastik tidak lain adalah teori kontrol optimal untuk

sistem yang berbentuk stokastik. Keadaan sistem berbentuk persamaan diferensial

stokastik (PDS) dan melibatkan parameter yang mengatur sistem sehingga sistem

tersebut memenuhi keadaan yang diinginkan yaitu keadaan optimal. Parameter

yang mengatur sistem tersebut disebut kontrol.

15

Secara matematika persamaan keadaan yang berbentuk persamaan diferensial

stokastik tersebut dituliskan sebagai berikut

, (2.21)

dengan parameter yang mengatur sistem atau kontrol u yang meminimumkan

atau memaksimumkan suatu indeks performansi

(2.22)

Indeks performansi berupa ekspektasi sebuah fungsi karena dalam sistem

stokastik yang acak (tidak pasti) maka kita hanya bisa mengambil ekspektasi suatu

nilai. Fungsi K dan F adalah fungsi yang diberikan dimana bentuknya tergantung

dari tujuan yang ingin dicapai.

Nilai minimum atau maksimum dari indeks performansi tersebut

dilambangkan oleh ),( xtV (value function) yang berbentuk

(2.23)

dimana value function tersebut harus memenuhi persamaan Hamilton-Jacobi

Bellman (HJB) berikut

(2.24)

Keadaan akhir yang diinginkan adalah

(2.25)

L adalah operator yang mempunyai bentuk

(2.26)

dimana TbbD = ,

sehingga

(2.27)

tttt dWuXtbdtuXtadX ),,(),( +=

.),(),,(),,(0

⎟⎟⎠

⎞⎜⎜⎝

⎛+= ∫

T

xTKdtuxtFEuxtJ

)],,,([max),(atau )],,([min),( uxtJxtVuxtJxtV ==

.0)},(),,(max{atau 0)},(),,(min{ =+=+ xtLVuxtFxtLVuxtF

).,(),( xTKxTV =

,),,(21),,(

2

1,

,

1 ji

d

ji

ji

i

d

i

i

xxuxsD

xuxsa

sL

∂∂∂

+∂∂

+∂∂

= ∑∑==

.),,(21),,(),(

2

1,

,

1 ji

d

ji

ji

i

d

i

i

xxVuxsD

xVuxsa

sVxtLV

∂∂∂

+∂∂

+∂∂

= ∑∑==

16

Parameter yang mengatur sistem atau kontrol u ditentukan dengan langkah-

langkah sebagai berikut

• Tentukan u yang memenuhi persamaan Hamilton-Jacobi-Bellman (HJB)

(2.24) yaitu dengan cara menurunkan persamaan (2.24) terhadap u sebagai

berikut

(2.28)

• u yang didapat dari langkah pertama di atas dimasukkan kembali ke

persamaan (2.24) dan dengan kondisi akhir (2.25) didapat bentuk

),( xtV yang diinginkan.

• Bentuk ),( xtV yang diinginkan tersebut dimasukkan kembali ke u yang

didapat dari persamaan (2.28) maka didapat kontrol u yang mengatur

sistem sehingga mencapai kondisi yang diinginkan.

Selanjutnya akan ditunjukkan masalah kontrol optimal untuk sistem

persamaan diferensial stokastik linear berikut.

Perhatikan sistem yang dijelaskan dalam bentuk persamaan diferensial stokastik

berikut

0,)(),()()( ttdWtGdtXtutBdtXtAdX tttt >++= , (2.29)

dimana )(tA matriks dd × , )(tB matriks pd × dan )(tG matriks md × .

Misalkan indeks performansi yang akan diminimumkan adalah

⎥⎦

⎤⎢⎣

⎡+= ∫

T

xTKdtuxtFEuxtJ0

),(),,(),,( , (2.30)

dengan

utDuxtCxuxtF TT )()(),,( += , (2.31)

)()()(),( TbxTaxTHxxTK TT ++= , (2.32)

dimana )(tC simetri dan definit non-negatif, )(tD simetri dan definit positif.

Value function yang diinginkan

)],,(min[),( uxtJxtV = . (2.33)

.0)),(),,(( =+∂∂ xtLVuxtFu

17

( )ji

d

i

d

jij

T

xxtGtG

xutBxtA

tL

∂∂∂

+∂∂

++∂∂

= ∑∑= =

2

1 1))()((

21)()( , (2.34)

sehingga

))()((21))(())((),( xx

Tx

Tx

Tt VtGtGtrVutBVxtAVxtLV +++= , (2.35)

dimana xxxt VxVV

xVV

tV

=∂∂

=∂∂

=∂∂

2

2

,, .

Persamaan Hamilton-Jacobi-Bellman (HJB)

0)],(),,(min[ =+ xtLVuxtF . (2.36)

.0])()(

))()((21))(())((min[

=++

+++

utDuxtCx

VtGtGtrVutBVxtAV

TT

xxT

xT

xT

t (2.37)

Akan dicari u yang memenuhi persamaan HJB (2.37),yaitu

,0])()(

))()((21))(())(([

=++

+++∂∂

utDuxtCx

VtGtGtrVutBVxtAVu

TT

xxT

xT

xT

t (2.38)

Dari persamaan (2.28) diperoleh

xT VtBtDu )()(

21 1−−= . (2.39)

Dengan mensubtitusikan persamaan (2.39) ke persamaan (2.37) diperoleh

041)(

21 1 =+−++ − CxxVBBDVAxVVGGtrV T

xTT

xT

xxxT

t . (2.40)

Dengan kondisi akhir

)()()(),(),( TbxTaxTHxxtKxTV TT ++== . (2.41)

Kita coba solusi yang berbentuk

)()()(),( tpxtqxtQxxtV TT ++= , (2.42)

dimana )(tQ simetri dan definit non-negatif. Dengan mensubstitusikan persamaan

(2.42) ke persamaan (2.40) didapat persamaan diferensial untuk

)(dan )(),( tptqtQ yang harus diselesaikan secara mundur mulai dari T ke 0t yaitu

18

).()(,041)()(

).()(,0)()().()(,0)(

1

1

1

TbTpqBBDqQGGtrtp

TaTqqBQBDAtqTHTQQBQBDCQAQAtQ

TTT

TT

TT

==−+

==−+

==−+++

−

−

−

&

&

&

(2.43)

Diketahui qQxVx += 2 dan dengan mensubtitusikannya ke persamaan (2.39)

diperoleh

))()(2()()(21 1 tqxtQtBtDu T +−= − . (2.44)

Untuk 0)( =Ta diperoleh 0)( ≡tq maka

xtQtBtDu T )()()( 1−−= . (2.45)

Jadi u yang memberikan nilai yang diinginkan adalah persamaan (2.45).

2.7.1 Persamaan Hamilton-Jacobi-Bellman (HJB)

Persamaan Hamilton-Jacobi-Bellman (HJB) adalah persamaan diferensial

parsial yang penting dalam teori kontrol optimal. Solusi dari persamaan HJB

adalah value function yang memberikan nilai yang optimal untuk suatu sistem

dinamik dengan fungsi ongkos tertentu.

Persamaan HJB ini diperoleh sebagai hasil dari teori pemrograman dinamik

(theory of dynamic programming) yang dimulai oleh Richard Bellman dan rekan-

rekannya pada tahun 1950-an. Persamaan HJB yang berbentuk diskrit, biasa

disebut persamaan Bellman (Bellman equation). Dalam bentuk kontinu persamaan

ini disebut HJB sebagai hasil pengembangan oleh William Rowan Hamilton dan

Carl Gustav Jacob Jacobi.

Perhatikan masalah kontrol optimal deterministik berikut

⎥⎦

⎤⎢⎣

⎡+∫

T

TxDdttutxC0

))(())(),((min , (2.46)

terhadap

)](),([)( tutxFtx =& , (2.47)

19

dimana )(tx adalah state dari sistem, )0(x diberikan dan )(tu untuk

Tt ≤≤0 adalah kontrol yang akan dicari. Untuk sistem yang sederhana ini

persamaan HJB-nya adalah

0),(),(),,(min),( =⎥⎦

⎤⎢⎣

⎡+⎟⎠⎞

⎜⎝⎛∂∂

+∂∂ uxCuxFtxV

xtxV

t u, (2.48)

terhadap kondisi akhir

)(),( xDTxV = . (2.49)

Fungsi ),( txV yang tidak diketahui di atas disebut Bellman Value Function.

Persamaan HJB diselesaikan secara mundur yaitu dimulai dari t=T hingga t=0.

Persamaan HJB adalah syarat cukup (Sufficient Condition) untuk keoptimalan.

Jika kita dapat menemukan V maka kita dapat menemukan kontrol u yang

memberikan hasil optimal. Persamaan HJB ini dapat diperluas untuk sistem

berbentuk stokastik.