rancang bangun sistem pengenalan simbol toilet untuk tuna netra di...

Rancang Bangun Sistem PengenalanSimbol Toilet untuk Tuna Netra

di Dalam RuanganBerbasis Kamera

Dosen PembimbingRonny Mardiyanto, ST., MT., PhDDr.Ir Djoko Purwanto, M.Eng

1

Tonny Feriandi - 2210100121

2

Tidak mampu mengenali toiletBantuan orang lain

Harus ada orang

Mampu mengenali ruang toilet

MandiriKapanpun

3

PORTABLE LEBIH RINGAN

4

Bagaimana mengenali jenis-jenis simbol toilet secara akuratBagaimana mengkomunikasikan hasil pemrosesan data

visual kepada pengguna menggunakan suara secara baikBagaimana menempatkan kamera, processing unit, dan

earphone agar tidak membebani pengguna

5

1. Ruang toilet memiliki simbol toilet.2. Simbol yang dikenali hanya simbol toilet.3. Terdiri dari 5 jenis simbol toilet, 1 simbol toilet pria dan wanita4. Lokasi pelaksanaan memiliki pencahayaan yang cukup.5. Lokasi pelaksanaan berada di dalam ruangan.6. Jarak Maksimal simbol 3 Meter7. Citra referensi simbol diinputkan secara manual

6

Mengenali jenis-jenis simbol toilet secara akuratMengkomunikasikan hasil pemrosesan data visual kepada

pengguna menggunakan suaraDapat Menempatkan kamera, processing unit, dan earphone

agar tidak membebani pengguna

7

Ilustrasi Sistem

8

Image ProcessingSistem Hardware

Diagram Blok

9

Perancangan Hardware

10

Perancangan Software

1. Tahap pertama proses Grayscale

Igrayscale : Image data grayscaleIr : Image data kanal RED (merah)Ig : Image data kanal GREEN (hijau)Ib : Image data kanal BLUE (biru)

11

2. Tahap kedua SURFa. Lokalisasi Keypoint

Perancangan Software

Threshold – non maxima suppression- lokasi keypoint

Determinan Hessian

diturunkan lokasiHessian determinan

12

2. Tahap kedua SURFb. Deskriptor Keypoint

Perancangan Software

Pembuatan Orientasi – Mencari Vektor

Vektor yang didapat

Menghitung respon haar wavelet arah x dan yRespon horisontal dan vertikal dijumlah untuk mendapatkan orientasi lokal

Titik-titik orientasi lokal

Orientasi keypoint

13

2. Tahap kedua SURFc. Proses Matching

Perancangan Software

FLANN (Fast Library Approximated Nearest Neighbor)

T = (| ѵ – ѵ1 | )/ ѵVektor citra masukan kamera

Vektor citra referensi

Threshold = 0,6Jika T < threshold maka keypoint akan dianggap sama

14

3. Perintah Suara

Perancangan Software

Pk = (| K – K1 | )/K

Jumlah keypoint citra referensiJumlah keypoint citra masukan kamera

Threshold = 0,3Jika Pk < threshold maka perintah suara akan dijalankan

PlaySound(TEXT("toilet.wav"), NULL,SND_SYNC);

15

Di Dalam Ruangan Persimbol

Pagi

0

5

10

15

20

1 1.5 2 2.5 3 3.5 4 4.5 5

Keyp

oint

Jarak

pertama

kedua

ketiga

keempat

kelima

Pria

Wanita

Semakin jauh jaraknya keypoint semakin turunError rata-rata 25.20%

16

Di Dalam Ruangan Persimbol

Malam

0

5

10

15

20

1 1.5 2 2.5 3 3.5 4 4.5 5

Keyp

oint

Jarak

pertama

kedua

ketiga

keempat

kelima

Pria

Wanita

Semakin jauh jaraknya keypoint semakin turunError rata-rata 25.20%

17

Di Tempat Umum

0

2

4

6

1 1.5 2 2.5 3 3.5 4 4.5 5

Keyp

oint

jarak

referensi

sistem

Semakin jauh jaraknya keypoint semakin turunError rata-rata 22.22%

18

Di Dalam Ruangan Referensi Gabungan

Pagi

0

5

10

15

20

1 1.5 2 2.5 3 3.5 4 4.5 5

Keyp

oint

Jarak

pertama

kedua

ketiga

keempat

kelima

Semakin jauh jaraknya keypoint semakin turunError rata-rata 12.844%

19

Di Dalam Ruangan Referensi Gabungan

Malam

0

5

10

15

20

1 1.5 2 2.5 3 3.5 4 4.5 5

Keyp

oint

Jarak

pertama

kedua

ketiga

keempat

kelima

Semakin jauh jaraknya keypoint semakin turunError rata-rata 12.844%

20

Kecepatan Pengguna Menuju Toilet

Pengguna baru memiliki waktu 2x lebih lama Ilustrasi Pengujian

21

Dengan ekstrasi fitur SURF pada suatu citra, walaupun di uji pada waktumalam maupun pagi bila cahaya cukup maka akan menghasilkan nilai yangsama persis.

Performa metode SURF memang sangat berat sehingga terjadi delay 2-3detik saat pemrosesan berlangsung.

Akurasi metode SURF sangat dipengaruhi kamera, pada sistem tugas akhirini, kemampuan efektif kamera menangkap citra dengan baik hanyaberjarak 1 hingga 3 meter.

Dari hasil pengujian pada sistem tugas akhir ini memiliki error sebesar25.20% pada pengujian simbol dengan simbol referensinya sendiri danerror ditempat umum sebesar 22.22% sedangkan untuk pengujian citrareferensi gabungan memiliki error yang paling rendah yakni 12.84%.Sehingga sistem ini memiliki error rata-rata 20% dan akurasi sebesar 80%

22

23

24