TRACKING GERAK TANGANBERBASIS PYRAMIDAL LUCAS-KANADE

Affan MahtaramiGame TechnologyGame Technology

NRP: 2207 205 753

Pendahuluan

• Perkembangan teknologi menuntut teknik interaksi yang naturalinteraksi yang natural– Virtual reality, augmented reality, wearable

computer

Pendahuluan

• Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi naturalkandidat metode interaksi natural– Nonintrusiveness– Kaya informasi– Murah

Tujuan & Manfaat

• Tujuan: melakukan tracking gerak tangan berbasis marker menggunakan algoritma berbasis marker menggunakan algoritma Pyramidal Lucas-Kanade– Membandingkan berdasar warna marker (RGB)– Tracking dengan re-identifikasi corner

• Manfaat:Hasil dari penelitian ini diharapkan • Manfaat:Hasil dari penelitian ini diharapkan dapat diimplementasikan sebagai salah satu teknik interaksi pada beberapa bidang aplikasi

Kajian Pustaka

• Tracking ujung jari– Teknik korelasi menggunakan mask berbentuk – Teknik korelasi menggunakan mask berbentuk

lingkaran: Koike (Koike, 2001), Oka (Oka, 2001), dan Letessier (Letessier,2004).

– Teknik template matching: Crowley (Crowley, 1995), dan O’Hagan (O’Hagan, 1997).

– Menggunakan local-maxima bentuk kurva dari – Menggunakan local-maxima bentuk kurva dari batas-luar (boundary) silhuet tangan: Malik (Malik, 2004), Segen (Segen, 1998), dan O’Hagan (O’Hagan, 2002)

Kajian Pustaka

• Penggunaan marker dalam tracking ujung jari:– Maggioni et al. (Maggioni, 1998) menggunakan – Maggioni et al. (Maggioni, 1998) menggunakan

marker berbentuk ellips untuk melakukan estimasi terhadap frame tangan 3D.

– Usabiaga (Usabiaga, 2005) juga menggunakan marker berbentuk ellips namun dengan menggunakan pendekatan multi-kamera.

– Kim dan Felner (Kim, 2004) menggunakan marker berwarna putih yang ditempelkan pada ujung jari dengan latar belakang hitam

Skema Teknik InteraksiBerbasis Gestur

Optical Flow

• Optical flow adalah perkiraan gerakan suatu bagian dari sebuah citra berdasarkan turunan bagian dari sebuah citra berdasarkan turunan intensitas cahayanya pada sebuah sekuen citra.– Seberapa jauh suatu piksel citra berpindah

diantara dua frame citra yang berurutan.

Algoritma Lucas-Kanade

• Algoritma Lucas-Kanade bekerja berdasar pada informasi lokal yang diturunkan dari pada informasi lokal yang diturunkan dari window kecil (patch) disekeliling titik yang diperhitungkan.

• Asumsi:– Konsistensi pencahayaan– Konsistensi pencahayaan– Persistensi temporal– Koherensi spasial.

Algoritma Lucas-Kanade

Algoritma Lucas-Kanade

Pyramidal Lucas-Kanade

Metoda Penelitian

tangan

Pengambilan data

kamera

Sotwarevideo capture

Sekuen video

Pengolahan data

Identifikasi Corner

Tracking

Sekuen videoHasil tracking

Pengambilan Data

• Marker berwarna merah, hijau, dan biru di posisikan pada ujung-ujung jari dan sebuah di posisikan pada ujung-ujung jari dan sebuah di pangkal telapak tangan

• Tangan menghadap kamera

Pengolahan Data

• Dibuat sistem dengan menggunakan software:– Bahasa pemrograman: C++– Bahasa pemrograman: C++– Librari visi komputer :OpenCV– Lingkungan pengembangan: Dev-C++

Hasil & Pembahasan

• Sekuen Video

Hasil & Pembahasan

• Identifikasi Corner7 7

0

1

2

3

4

5

6

7

1 22 43 64 85 106

127

148

169

190

211

232

253

274

295

316

337

358

379

400

421

442

0

1

2

3

4

5

6

7

1 27 53 79 105

131

157

183

209

235

261

287

313

339

365

391

417

443

469

495

521

547

0

1

2

3

4

5

6

7

1 23 45 67 89 111

133

155

177

199

221

243

265

287

309

331

353

375

397

419

441

463

485

Hasil dan Pembahasan

• Deteksi corner pada frame pertama tiap sekuen videosekuen video

Hasil & Pembahasan

• Tracking

0

1

2

3

4

5

6

1 22 43 64 85 106

127

148

169

190

211

232

253

274

295

316

337

358

379

400

421

442

0

1

2

3

4

5

6

7

1 26 51 76 101

126

151

176

201

226

251

276

301

326

351

376

401

426

451

476

501

526

551

0

1

2

3

4

5

6

1 22 43 64 85 106

127

148

169

190

211

232

253

274

295

316

337

358

379

400

421

442

463

484

Hasil & Pembahasan

• Rata-rata jumlah marker yang tepat dapat ditrackingditracking

n 0 2 5 10 25 50 ~

Marker Merah 5.680 5.651 5.727 5.644 5.592 5.338 4.314

Marker Hijau 5.638 5.627 5.584 5.501 5.178 5.119 4.023

Marker Biru 5.512 5.363 5.347 5.311 5.149 5.510 4.618

7,000

0,000

1,000

2,000

3,000

4,000

5,000

6,000

7,000

0 2 5 10 25 50 ~

Marker Merah

Marker Hijau

Marker Biru

Hasil & Pembahasan

• Peningkatan jumlah marker rata-rata yang berhasil ditracking oleh tracking dengan re-berhasil ditracking oleh tracking dengan re-identifikasi corner terhadap tracking tanpa re-identifikasi corner

n 0 2 5 10 25 50 rata2

Marker Merah 1.366 1.337 1.413 1.330 1.278 1.025 1.291 Marker Merah 1.366 1.337 1.413 1.330 1.278 1.025 1.291

Marker Hijau 1.614 1.604 1.560 1.477 1.155 1.095 1.418

Marker Biru 0.894 0.745 0.729 0.693 0.530 0.892 0.747

jumlah 3.874 3.685 3.702 3.501 2.963 3.012 3.456

rata2 1.291 1.228 1.234 1.167 0.988 1.004 1.152

Kesimpulan

• penggunaan proses re-identifikasi corner meningkatkan jumlah rata-rata marker yang meningkatkan jumlah rata-rata marker yang berhasil ditracking jika dibandingkan terhadap tracking tanpa proses re-identifikasi corner– Rata-rata peningkatannya adalah 1,291 untuk

marker merah, 1,418 untuk marker hijau, dan 0,747 untuk marker biru0,747 untuk marker biru

Kesimpulan

• Penggunaan warna marker berbeda, yaitu merah, hijau, dan biru, pada proses tracking merah, hijau, dan biru, pada proses tracking ini tidak memiliki perbedaan hasil yang signifikan– Nilai selisih rata-rata jumlah marker yang berhasil

ditracking terbesar adalah antara marker warna biru dan hijau, yaitu 0,595biru dan hijau, yaitu 0,595