02 landasan teorithesis.binus.ac.id/doc/bab2/2011-2-00634-mtif bab 2.pdf · ... terutama dengan cpu...
TRANSCRIPT
BAB 2
LANDASAN TEORI
Pada bab ini, akan diuraikan landasan teori yang mencakup pengertian
dan konsep tentang: Augmented Reality, Reality-Virtuality Continuum, Computer
Vision, Visual Odometry, Optical Flow, dan Metode Lucas-Kanade. Selain itu,
akan dipaparkan pula Metode Perancangan Program dan Teknologi Pendukung
yang digunakan.
2.1 Pengertian Augmented Reality
2.1.1. Augmented Reality
Menurut Bimber dan Raskar (2005), Augmented Reality berarti
mengintegrasikan informasi sintetis ke dalam lingkungan nyata. (Spatial
Augmented Reality: Merging Real and Virtual Words). Menurut penjelasan
Haller, Billinghurst, dan Thomas (2007), riset Augmented Reality bertujuan
untuk mengembangkan teknologi yang memperbolehkan penggabungan secara
real-time terhadap digital content yang dibuat oleh komputer dengan dunia ntata.
Tidak seperti teknologi Virtual Reality (VR) yang membawa user sepenuhnya ke
dalam lingkungan sintetis, Augmentd Reality memperbolehkan pengguna melihat
objek maya tiga dimensi yang diproyeksikan terhadap dunia nyata. (Emerging
Technologies of Augmented Reality: Interfaces and Design).
9
Augmented Reality pada dasarnya adalah sebuah konsep yang
mencitrakan gambar tiga dimensi yang seolah nyata. Proses ini bisa diperinci
menjadi beberapa proses dan komponen.
Untuk mencitrakan gambar tiga dimensi tersebut, sistem Augmented
Reality terlebih dahulu harus melakukan 'penglihatan' atau 'vision' terhadap
lingkungan yang padanya akan dicitrakan objek virtual. kemudian, dilakukanlah
proses 'tracking' terhadap objek spesifik yang menentukan letak citraan objek
virtual tersebut. Kemudian, objek tersebut akan dikenali, atau dianalisis. Setelah
dikenali dan dianalisis posisi dan orientasinya, maka komputer akan melakukan
proses pencitraan objek tersebut, dan akan tampak pada perlengkapan display.
Komponen penting yang harus ada adalah:
a. Perlengkapan tampilan (display)
b. Alat tracking (pencarian)
c. Peralatan input
d. Perangkat komputer
Perlengkapan tampilan digunakan untuk menampilkan 'informasi' -
gambar atau objek tiga dimensi yang dicitrakan terhadap dunia nyata tempat user
melihat. Perlengkapan tampilan terbagi menjadi tiga jenis, yakni Head Mounted
Display, Handheld Display, dan Spatial Display. Head Mounted Display adalah
perlengkapan tampilan yang dikenakan di kepala user dan digunakan sebagai
'kacamata' untuk melihat dunia nyata, yang telah digabungkan dengan objek
virtual yang telah diregistrasikan dalam sistem, Handheld Display adalah
10
perlengkapan ringkas yang dapat dibawa-bawa ke mana saja dan dapat dimuat di
tangan. Contohnya adalah smartphone dan android phone. Spatial Display adalah
sistem pencitraan yang menggunakan proyektor digital untuk mempetakan
informasi grafis pada objek fisik. Yang paling membedakan Spatial Display
adalah bahwa pencitraannya tidak terasosiasi dengan setiap individu user, namun
secara berkelompok.
Tracking biasanya dilakukan dengan teknologi-teknologi menangkap
gambar, misalnya dengan kamera digital, sensor optis lainnya, GPS, kompas, dan
lain sebagainya. Selain itu, alat tracking yang sekarang meningkat popularitasnya
adalah webcam, karena praktis, kecil, mudah dibawa dan diatur untuk dijalankan.
Peralatan input hingga sekarang ini masih banyak menjadi objek
penelitian. Hingga saat ini, alat yang digunakan mencakup alat 'pinch glove',
tongkat bertombol, atau peralatan handheld seperti smartphone.
Perangkat komputer, terutama dengan CPU yang kuat dan jumlah RAM
yang cukup besar untuk memproses gambar yang ditangkap. Sistem yang
digunakan untuk mobilitas biasanya menggunakan laptop yang dilengkapi
dengan webcam, sementara untuk yang bersifat diam menggunakan workstation
dengan kartu grafis yang kuat.
2.1.2. Reality-Virtuality Continuum
Paul Milgram dan Fumio Kishino mendefinisikan sebuah kontinuum
pada tahun 1994, yang bernama 'Milgram's Reality-Virtuality Continuum'.
11
Mereka menjelaskan sebuah kontinuum yang terbentang mulai dari dunia yang
murni nyata, menuju dunia yang murni maya. Di dalam ruang kontinuum
tersebut, terdapat Augmented Reality, yang lebih dekat menuju dunia nyata, dan
Augmented Virtuality, yang lebih dekat menuju dunia maya. Kontinuum ini
diekspansi menjadi ruang dua dimensi, yakni virtualitas dan medialitas, di mana
taksonominya adalah realitas-virtualitas-medialitas. Titik awal / 'origin' (titik 0, 0
dalam ruang linear) dinotasikan dengan 'R', yang mewakili realita yang murni,
dan tidak dimodifikasi. Kontinuum yang menyusuri sumbu 'V', yang mewakili
virtualitas mengandung realita yang diperkuat dengan pencitraan (Augmented
Reality), dan pencitraan yang diperkuat dengan realita (Augmented Virtuality).
Taksonomi ini juga mengandung Modifikasi realita dan virtualitas, yakni
menyusuri kontinuum sumbu 'M', yang mewakili 'medialitas'. Makin jauh ke atas
dalam ruang medialitas, dapat kita temukan 'mediated reality', 'mediated
virtuality', dan kombinasi keduanya. Pada titik terjauh dari pusat R adalah dunia
virtual yang termediasi tinggi. Bahasan mengenai mediated virtuality ini
mencakup Mixed Reality, namun hal tersebut tidak akan dibahas dalam skripsi
ini.
Gambar 2. 1 ‘Milgram’s Continuum’
12
Gambar 2. 2 'Mediated Reality Continuum'
2.2 Pengertian Computer Vision
Menurut Szeliski ( 2010 ), Computer Vision (atau Machine Vision) adalah
ilmu dan teknologi mesin yang 'melihat'. Dalam konteks ini, 'melihat' berarti
mesin tersebut mampu menangkap informasi dari sebuah gambar, untuk
menyelesaikan tugas tertentu, atau untuk 'memahami' atau 'mengenali' gambar
yang tertangkap, baik dalam pengartian secara umum maupun khusus.
(Computer Vision: Algorithms and Applications). Sebagai sebuah disiplin ilmu
sains, Computer Vision terkait dengan teori intelijensia semu, yang menangkap
informasi dari gambar. Data gambar ini bisa berupa bermacam bentuk, seperti
13
video, gambaran dari beberapa kamera sekaligus, maupun data multi-dimensi
dari pemindai medis.
Dewasa ini, Machine Vision adalah bidang yang berkembang dengan
sangat pesat, baik dalam bidang industri maupun sains, bahkan sekarang telah
menginjak dunia entertainment. Sebagai disiplin teknologi, Computer Vision
mengaplikasikan model dan teori-teorinya untuk perancangan dan pembentukan
sistem Computer Vision. Contoh aplikasinya dalam sistem sekarang ini adalah
untuk:
a. Sistem Kendali Proses (contoh: robot industri atau kendaraan otomatis)
b. Deteksi kejadian (contoh: kamera pengawas, penghitungan orang)
c. Organisasi informasi (contoh: melakukan index pada database gambar dan
runtutan gambar)
d. Interaksi (contoh: sebagai input untuk peralatan interaksi manusia dengan
komputer)
Berikut ini adalah sebuah skema yang dapat menggambarkan ruang
lingkup Computer Vision:
a. A
s
j
b
k
R
b. P
d
d
Artificial Int
sistem navig
juga bekerja
belajar. Dala
ke dalam to
Reality.
Physics, atau
dan cahaya.
dengan bantu
Gambar 2. 3 R
telligence be
gasi robot. S
a sama dalam
am penelitia
opik Pattern
u Fisika, terh
. Beberapa
uan Comput
Ruang Lingku
erhubungan
elain itu, Co
m topik lain
an ini, penul
n Recognitio
hubung deng
soal pengu
ter Vision, co
up Computer V
dengan per
omputer Visi
n, seperti Pa
lis akan mem
on ini, dan a
gan Comput
ukuran dalam
ontohnya pe
Vision
rencanaan te
ion dan Artif
ttern Recog
mfokuskan b
aplikasinya
ter Vision da
m Fisika da
ergerakan flu
erotomatisasi
ficial Intellig
gnition dan t
bidang pene
pada Augm
alam bidang
apat diseles
uida.
14
i atau
gence
eknik
elitian
ented
optik
saikan
15
c. Neurobiology yang dalam satu abad terakhir ini terfokus dalam mempelajari
mata, neuron, dan struktur otak yang memproses stimuli visual pada manusia
dan hewan.
d. Signal Processing, khususnya pada proses Signal dua variable atau variabel
banyak, dapat diselesaikan dengan Computer Vision.
e. Selain yang dipaparkan di atas, banyak topik penelitian terkait tentang
Computer Vision yang juga dapat dipelajari dari sudut pandang matematis
murni. Misalnya, banyak sekali metode dalam Computer Vision yang
berdasarkan statistika, optimisasi, dan geometri. Selain itu, peranan bidang
matematika sangat besar pada implementasi Computer Vision, seperti
modifikasi metode-metode untuk meningkatkan kecepatan proses tanpa
penurunan performa.
2.3 Visual Odometry
Visual Odometry adalah proses menentukan posisi dan orientasi 'kamera'
atau 'penglihatan' sebuah alat dengan menganalisis gambar-gambar kamera yang
terkait. Dalam kasus penerapan Augmented Reality ini, Visual Odometry
berperan menentukan posisi relatif kamera dan objek yang dilacak, satu terhadap
yang lain.
Algoritma Visual Odometry melibatkan beberapa tahapan, yakni:
16
a. Memperoleh input gambar, dengan peralatan input seperti kamera dan alat
sejenis
b. Koreksi gambar, dengan menerapkan teknik Image Processing untuk
menghilangkan distorsi kamera
c. Deteksi ciri-ciri, dan mencocokkan ciri-ciri tersebut melalui frame-frame dan
membentuk sebuah Optical Flow Field.
d. Memeriksa vektor Flow Field akan eror yang terjadi dalam tracking
e. Estimasi pergerakan kamera / objek
f. Repopulasi periodik trackpoint untuk menjaga coverage sepanjang gambar
2.4. Optical Flow dan Metode Lucas-Kanade
2.4.1. Optical Flow
Optical Flow adalah pola dari pergerakan objek, permukaan, dan sisi
pinggir atau ujung yang terlihat dalam sebuah pemandangan visual, yang terjadi
karena pergeseran relatif antara pengamat (kamera ataupun mata) dengan
pemandangan yang dilihat. Teknik-teknik Optical Flow seperti motion detection,
object segmentation, time-to-collision and focus of expansion calculations,
motion compensated encoding, dan stereo disparity measurement menggunakan
pergerakan / pergeseran tersebut. Dalam Augmented Reality, Optical Flow ini
berperanan penting untuk mendefinisikan dan tracking terhadap objek yang
17
digunakan sebagai point of interest atau marker yang akan 'dibaca' oleh kamera
dan diinterpretasikan oleh software.
Gambar 2. 4 Skema 'Optical Flow'
2.4.2. Estimasi Optical Flow
Sederet gambar terurut membolehkan kita untuk mengestimasi /
memprediksi pergerakan sebagai kecepatan sesaat gambar, atau disposisi gambar
diskrit. Metode Optical Flow berusaha mengkalkulasikan pergerakan antara dua
frame gambar antara t dan t + δt pada setiap posisi voxel (elemen volumetris).
Metode-metode ini disebut diferensial karena berdasarkan deret Taylor yang
memprediksi signal gambar, dan turunan parsial terhadap koordinat temporal dan
spasial.
Untuk gambar berdimensi 2D+t (3D, atau n-D, karena serupa), sebuah
voxel pada posisi (x, y, t) dengan intensitas I(x, y, t) akan telah bergerak sejauh
δx, δ
ini m
kons
H.O.
Dari
Kare
yang
karen
δy dan δt ant
menjadi berla
I(x, y, t) =
Dengan a
strain pada I(
.T. = Higher
persamaan-
ena didiferen
g akan mengh
na turunan fu
tara dua fram
aku:
= I(x + δx, y
asumsi bahw
(x, y, t) dapa
r-Order-Term
persamaan t
nsialkan terh
hasilkan
fungsi posisi
me gambar,
+ δy, t + δt)
wa pergerak
at dikembang
ms / solusi pe
tersebut, dip
hadap t, menj
terhadap wa
dan persama
kan adalah s
gkan untuk m
endekatan).
eroleh bahw
jadi:
aktu adalah k
aan konstrai
angat kecil
memperoleh
wa
kecepatan,
in gambar be
/ minimal,
:
H.O
18
erikut
maka
O.T.
2
di ma
serta
masi
Atau
tak d
algor
lagi,
meng
2.4.3. Meto
Flow
meng
yang
persa
deng
ana Vx, Vy ad
a , dan
ing-masing. I
u
Ini merup
dapat diseles
ritma Optica
yang dibe
ggunakan sy
ode Lucas-K
Metode L
w yang dikem
gasumsikan
g bersebelah
amaan Optic
gan pendekat
dalah kompo
n adalah
Ix,Iy dan It da
pakan persa
saikan. Kare
al Flow. Untu
erikan oleh
yarat tambah
Kanade
Lucas-Kanad
mbangkan o
bahwa alir
han dengan
cal Flow da
tan Least Sq
onen x dan y
derivatif gam
apat ditulisk
IxVx + IyVy =
amaan denga
ena itulah, in
uk mencari
batasan tam
han untuk me
de adalah s
oleh Bruce D
ran sesunggu
n pixel yan
asar pada s
uares Criter
y dari kecepa
mbar dari pa
kan untuk de
= − It
an dua varia
ni dikenal se
Optical Flow
mbahan. Se
enentukan al
ebuah meto
D. Lucas dan
uhnya kons
ng ditinjau,
emua pixel
rion.
atan Optical
ada (x, y, t) d
rivatif sebag
abel tak terd
ebagai apert
w, diperluka
emua metod
liran yang se
de diferensi
n Takeo Ka
tan dalam l
dan meny
dalam ling
Flow I(x, y,
dengan arah
gai berikut:
definisi, seh
ture problem
an satu persa
de Optical
esungguhnya
ial untuk Op
anade. Metod
lingkungan
yelesaikan s
gkungan ters
19
t)
ingga
m dari
amaan
Flow
a.
ptical
de ini
lokal
semua
sebut,
meto
Optic
pada
karen
infor
dua
lingk
diasu
vekto
Ix(q1)
Ix(q2)
Ix(qn)
dan I
dan w
b di m
Dengan
ode Lucas-K
cal Flow. Se
a gambar, s
na merupak
rmasi Flow d
Metode L
saat berde
kungan titik
umsikan berl
or aliran per
)Vx + Iy(q1)V
)Vx + Iy(q2)V
)Vx + Iy(qn)V
Di mana
Ix(qi), Iy(qi),
waktu t, yan
Persamaa
mana
menggabun
Kanade dapat
elain itu, me
eperti meto
kan metode
dalam daerah
Lucas-Kanad
katan (fram
k p yang
laku untuk s
rgerakan gam
Vy = − It(q1)
Vy = − It(q2)
Vy = − It(qn)
It(qi) adalah
g dievaluasi
an-persamaa
gkan inform
t menyelesa
etode ini jug
ode-metode
lokal murn
h uniform ga
de mengasum
me) adalah
ditinjau. M
suatu daerah
mbar lokal (k
adalah
h turunan par
i pada titik q
an ini dapat d
masi dari p
aikan ambigu
a tidak terla
lain yang t
ni, metode i
ambar.
msikan perp
kecil, dan
Maka, pers
yang terpus
kecepatan) y
h pixel di dal
rsial dari gam
i dan pada sa
dituliskan de
pixel-pixel y
uitas inheren
lu sentitif te
terfokus pad
ini tidak da
indahan pos
mendekati
amaan Opt
sat pada titik
yaitu (Vx,Vy)
am daerah y
mbar I terhad
aat itu (wakt
engan matrik
yang berdek
n dari persa
erhadap gang
da titik. Na
apat membe
sisi gambar a
konstan d
tical Flow
k p. Secara kh
harus meme
yang dimaksu
dap posisi x,
tu sekarang)
ks berbentuk
20
katan,
amaan
gguan
amun,
erikan
antara
dalam
bisa
husus,
enuhi:
ud,
y
.
k Av =
terde
mem
weig
ATAv
v = (A
di ma
deng
dari t
Sistem i
efinisi, sehi
mperoleh sol
ghted. Yang b
v = ATb, atau
ATA) − 1ATb
ana AT adala
gan sigma jum
Matriks A
turunan grad
ini memilik
ingga biasa
lusi kompro
berarti, ini m
u
ah transpose
mlah yang d
ATA seringk
dien sebuah
ki lebih ban
anya over-d
omi dengan
menjawab sis
dari matrix
dimulai dari
kali disebut s
fungsi) dari
nyak persam
determined.
n konsep L
stem 2x2:
A. Yang arti
i=1 sampai n
structure ten
gambar pad
dan
maan daripa
Metode Lu
Least Square
inya, mengh
n.
nsor (matrik
da titik p.
n
ada variabe
ucas-Kanade
es yang be
hitung
ks yang dipe
21
el tak
e ini
ersifat
eroleh
2
prior
Dala
titik
weig
ATWA
atau
v = (A
di m
akan
Weig
2.5. Meto
Man
mem
Solusi de
ritas / kepen
am praktekny
yang lebih d
ghted dari pe
WAv = ATWb
ATWA) − 1AT
mana W adala
n dimasukkan
ght wi biasan
ode Peranca
Untuk ta
agement den
mberikan kel
engan metod
ntingan yan
ya, biasanya
dekat terhada
rsamaan Lea
TWb
ah matriks d
n ke dalam p
nya digunaka
angan Prog
ahapan pera
ngan model
leluasaan da
de Least Sq
ng sama terh
a lebih baik
ap pixel pus
ast Squares,
iagonal n×n
persamaan p
an untuk fun
ram
ancangan p
Luca/Jadav.
alam proses
quares stand
hadap semu
memberikan
at, yakni p.
yang meng
ixel qi. Artin
ngsi Gaussia
rogram, pe
. Alasannya,
perancanga
dar di atas m
ua pixel n d
n weight / n
Untuk itu, k
gandung weig
nya, kita men
an untuk jara
nulis meng
, karena bers
an, serta leb
memberikan
dalam daera
nilai lebih ke
kita gunakan
ght Wii = wi
nghitung
ak antara qi d
ggunakan Pr
sifat fleksibe
bih mudah u
22
taraf
ah qi.
epada
versi
yang
dan p.
roject
el dan
untuk
23
melakukan re-evaluasi dan memperbaiki kesalahan. Adapun skema perancangan
model Luca-Jadav adalah sebagai berikut:
Gambar 2. 5 Skema Model Lucas-Jadav
Dengan mengikuti model ini, setiap fase dapat dikerjakan secara
individual. Apabila terdapat kesalahan pada fase sebelumnya, atau fase manapun,
maka penulis akan dapat mengkaji ulang secara langsung dan menerapkan solusi
secara efektif.
Adapun, tahapan perancangan yang diusulkan adalah:
a. Analisis kebutuhan
Pada tahap ini, akan dianalisis, program Augmented Reality seperti apa yang
paling tepat untuk menjadi hiburan interaktif yang menarik dan dapat
diterima masyarakat
24
b. Riset dan eksplorasi
Pada tahap ini, akan dilakukan riset baik secara literatur maupun riset
lapangan, terhadap tanggapan, tuntutan, dan kebutuhan masyarakat untuk
hiburan interaktif
c. Perancangan protitip
Pada tahap ini, hasil analisis dan riset pada tahapan sebelumnya akan
digunakan untuk merancang sebuah prototip program yang akan
dikembangkan menjadi aplikasi hiburan interaktif
d. Pembuatan program
e. Tahap testing
Pada tahap ini, hasil program yang dibuat pada tahap sebelumnya akan dites,
dicari apakah ada bug atau tidak, dan diuji sambutannya dari masyarakat
f. Revisi dan perbaikan
Pada tahap ini, hasil tes pada tahap sebelumnya akan digunakan untuk
memperbaiki dan mengevaluasi program yang telah dibuat. Kemudian,
kesalahan-kesalahannya akan diperbaiki, dan akan disesuaikan rancangannya
dengan sambutan dan tanggapan masyarakat.
g. Finalisasi
Tahap ini adalah tahapan terakhir, di mana seluruh barisan kode program
akan dirapikan, dan disusun ulang dan dibentuk menjadi aplikasi yang
berfungsi penuh
25
2.6. Teknologi Pendukung
2.6.1. Teknologi ARToolKit
Teknologi yang dikembangkan pertama kali oleh Dr. Hirokazu Kato ini
merupakan sebuah library yang bersifat open-source, yang membantu dalam
pengembangan dan perancangan aplikasi Augmented Reality. ARToolKit ini juga
memberikan kemudahan karena bersifat multi-platform, memiliki support untuk
beberapa bahasa pemrograman, dan API yang sederhana dan modular.
(http://www.hitl.washington.edu/home/)
2.6.2. Microsoft Visual Studio 2010
Microsoft Visual Studio 2010 merupakan sebuah IDE (Integrated
Development Environment) yang dikembangkan oleh Microsoft. IDE ini
mencakup semua bahasa pemrograman berbasis .NET framework yang
dikembangkan oleh Microsoft. Keunggulan Microsoft Visual Studio 2010 ini
antara lain adalah support untuk Windows 7, editor baru dengan WPF (Windows
Presentation Foundation), dan banyak peningkatan fitur lainnya. (Patrice Pelland,
Pascal Paré, dan Ken Haines, 2011)