pengenalanpengenalan bahasa bahasa isyaratisyarat ... · – matlab versi 7.0 untuk komputasi...
TRANSCRIPT
PengenalanPengenalan BahasaBahasa IsyaratIsyarat Indonesia Indonesia BerbasisBerbasis Sensor Sensor FlexFlex dan dan AccelerometerAccelerometerMenggunakanMenggunakan Dynamic Time WarpingDynamic Time Warping
Mohammad Iqbal Mohammad Iqbal
2209 205 024
Surabaya, Surabaya, 7 7 JuliJuli 20112011
Pembimbing:
Prof. Dr. Ir. Mauridhi Hery Purnomo, M.Eng
Dr. I Ketut Eddy Purnama, ST, MT
Presentasi Ujian TesisPresentasi Ujian Tesis
BAHASA ISYARATBAHASA ISYARAT
• Bahasa Isyarat:– Umum bagi kaum tuna rungu– Asing bagi masyarakat– Perlu perantara penerjemah
antara kaum tuna rungu danantara kaum tuna rungu danmasyarakat untukberkomunikasi
• Seorang penerjemah• Piranti penerjemah
(seperangkat alat)�Penelitian Bahasa Isyarat
Kategori:� Komputer Visi� Sensor
KomponenKomponen PembedaPembeda MaknaMakna SIBISIBI
• SIBI = Sistem Isyarat Bahasa Indonesia• Komponen Penentu (Pembeda) Makna
– Penampil � tekukan jari-jari: menggengam, membuka, …– Posisi � telapak tangan: hadap depan, atas, serong, …– Tempat– Arah– Frekuensi
Jenis Isyarat SIBIJenis Isyarat SIBI
• Jenis isyarat– Isyarat pokok
� kata dasar
– Isyarat tambahan � imbuhan� imbuhan
– Isyarat bentukan� gabungan isyarat
– Abjad jari� digunakan untuk mengeja
huruf/angka
ContohContoh IsyaratIsyarat KataKata
agama
arah gerak
(1) kamus SIBI (2) Video i-CHAT (http://i-chat.web.id)
(1) (2)
PenelitianPenelitian SIBISIBI
• Khusus SIBI– Penelitian oleh Evita [2]
• Berdasarkan data sensor flex � jari, pergelangan lengan, siku, bahu
• Metoda JST (Jaring Saraf Tiruan)• Dataset: 72 isyarat kata statis SIBI• Dataset: 72 isyarat kata statis SIBI• Hasil:
– 83,18% untuk 22 kata (hanya menggunakan senor fingers+wrist )– 49,58% untuk 72 kata (menggunakan semua sensor)
TentangTentang PenelitianPenelitian IniIni
• Untuk memperbaiki kinerja (akurasi):• Skenario:
1. Menambahkan sensor jenis lain � accelerometer 3 axis � akselarasi telapak tangan
2. Membandingkan 2 metode dan 5 ekstraksi ciri untuk 2. Membandingkan 2 metode dan 5 ekstraksi ciri untuk medapatkan akurasi yang optimal• Membandingkan 2 metode classier (pengenalan):
� DTW dan Euclidean Distance• Membandingkan 5 ekstraksi ciri yang mengintegrasikan
pendekatan statistik, histogram dan kuantisasi
Data SensorData Sensor
raw data dari sensor• tekukan jari jempol (c1) • tekukan jari telunjuk (c2) • tekukan jari tengah (c3) • tekukan jari kelingking (c4) • tekukan jari manis (c5)
Tabel 1. Contoh data sekuensial isyarat kata ‘kami’
KOLOMc1 c2 c3 c4 c5 c6 c7 c8 c9
r1 003 002 011 008 013 135 119 131 127r2 003 002 011 008 013 134 108 135 127r3 003 002 010 008 013 128 104 139 127r4 003 002 010 008 013 130 102 139 127
• data counter akselarasi pada sumbu x (c6) • data counter akselarasi pada sumbu y (c7) • data counter akselarasi pada sumbu z (c8) • data counter referensi (c9)
BA
RIS
r4 003 002 010 008 013 130 102 139 127r5 003 002 010 008 013 127 103 135 127r6 003 002 010 008 013 126 101 132 127r7 003 002 010 008 013 134 101 136 127r8 003 002 010 008 013 130 100 137 127r9 002 002 010 007 013 133 104 141 127
r10 002 002 010 007 012 129 107 145 127r11 002 002 010 007 012 130 107 143 127r12 002 002 010 007 012 130 111 142 127r13 003 002 009 006 010 130 120 141 127r14 002 002 007 006 009 144 122 140 127r15 002 002 006 005 008 153 132 138 127r16 002 002 006 005 008 157 142 136 127r17 002 002 006 005 007 145 156 133 127
Panjang data (n )= Jumlah baris = 17
EkstraksiEkstraksi CiriCiri
– Histogram – Nilai rata-rata (mean)
�rata-rata tekukan jari selama gerak isyarat
∑=n
iXn
u1
– Nilai simpangan baku (standard deviation)� perubahan tekukan jari selama gerak isyarat
∑=i
in 1
∑=
−=n
ii XX
ns
1
2)(1
EkstraksiEkstraksi CiriCiri
• Akselarasi Telapak Tangan– nilai akselarasi aktual (a )
a = (c – reff) * 0.0022 * 16 c = data sensor c6;c7;c8 reff = data sensor c9
– kuantisasiakselerasi (a) kuantisasi (k)
a > 2g 16
g < a ≤ 2g 10 < k ≤ 15
0 < a ≤ g 1 < k ≤ 10
a = 0 k = 0
-g ≤ a < 0 -10 ≤ k < 0
-2g ≤ a < -g -15 ≤ k < -10
a < -2g -16
Euclidean DistanceEuclidean Distance
• Misal, dua sekuensial, P dan Q, dengan panjang data samayaitu n, maka
∑=
−=n
iiiEuclidean qpQPd
1
2)(),(=i 1
DTW (DTW (Dynamic Time WarpingDynamic Time Warping))
• Misal, dua sekuensial, Q dan C, denganpanjang masing-masing n dan m
Q = q1, q2, ..., qi, ..., qn
C = c1, c2, ..., cj, ...., cm
• Warping path (W)W = w , w , ..., w , ..., wW = w1, w2, ..., wk, ..., wK
dimana: max(m,n) ≤ K < m+n – 1
• Path (D(i,j))D(i,j) = d(qi,cj) +min{D(i-1,j-1),D(i-1,j),D(i,j-1)}dengan d(qi,cj) = (qi– cj)2
• Warping cost (DTW(Q,C))
DTW(Q,C) = min
∑ =
K
k kw1
PengujianPengujian
• Data Uji– Isyarat kata SIBI yang diisyaratkan dengan satu tangan
yaitu tangan kanan– Jumlah kelas = 50 (isyarat kata)– Jumlah sampel per kelas 20, terbagi atas
• 10 sampel untuk template• 10 sampel untuk testing• 10 sampel untuk testing
• Peranti– Netbook Acer Aspire 3810T dengan spesifikasi Intel
Core2Solo 1,4GHz FSB 800MHz, RAM 2GB DDR3 danGraphic Card Intel GMA 4500MHD
– Sistem operasi: Windows XP Professional SP2
• Tool– Delphi versi 7.0 untuk proses akusisi data,– Matlab versi 7.0 untuk komputasi proses pengenalannya
HasilHasil PengujianPengujian
• Hasil perbandingan– DTW: Akurasi terbesar 99,6%– Euclidean: Waktu testing terkecil 7,797 detik
No Metode dan Ekstraksi Ciri yang digunakan Akurasi (%) Waktu Testing (detik)
1 Euclidean Distance dan Ekstraksi Ciri A 91.8 8.0311 Euclidean Distance dan Ekstraksi Ciri A 91.8 8.031
2 Euclidean Distance dan Ekstraksi Ciri B 97.6 7.797
3 DTW dan Ekstraksi Ciri A 67.4 523.7
4 DTW dan Ekstraksi Ciri B 95.8 25.39
5 DTW dan Ekstraksi Ciri C 96.6 428.23
6 DTW dan Ekstraksi Ciri D 87.2 203.16
7 DTW dan Ekstraksi Ciri E 99.6 109.33
HasilHasil PengujianPengujian
• Fluktuasi sensitivitas– Penambahan jumlah sampel untuk data template tidak selalu
memperbesar sensitivitas– Sistem pengenal mengenali sampel baru yang ditambahkan sebagai
sampel template yang paling mirip dengan sampel testing.
Isyarat KataJumlah Sampel per Kelas Data Template
1 2 3 4 5 6 7 8 9 10
Sen
siti
vita
s
belum * 90 90 100 90 100 100 100 100 100 100
harus * 100 80 100 100 100 100 100 100 100 100
lusa * 80 100 100 90 90 90 90 100 100 100
maaf * 60 40 40 90 100 100 100 100 100 100
pakai * 80 80 90 90 80 80 100 100 100 100
teh * 90 90 80 100 100 100 100 100 100 100
yang * 70 90 90 80 80 80 100 100 100 100
HasilHasil PengujianPengujian
• Isyarat kata tidak dapat dikenali
Isyarat Kata Jumlah Sampel per Kelas Data Template
1 2 3 4 5 6 7 8 9 10
Sen
siti
vita
s
pandai ** 80 80 80 90 90 90 90 90 90 90
– Pandai [034_pandai_019.ibi] � dikenali salah sebagai selesai [038_selesai_004.ibi]
– Senang [039_senang_020.ibi]� dikenali salah sebagai sopan [041_sopan_005.ibi]
Sen
siti
vita
s
senang ** 50 70 80 80 80 80 80 90 90 90
Hasil PengujianHasil Pengujian
• Menghitung akurasi rata-rata– Metode validasi: 3-fold cross validation– Akurasi rata-rata terbesar 95,6%
KESIMPULANKESIMPULAN
1. Metode Dynamic Time Warping (DTW) dengan ekstraksi ciri menggunakan pendekatan statistik dan kuantisasi menghasilkan akurasi yang paling besar pada pengujian perbandingan metode pengenal dan ekstraksi ciri. Akurasi rata-rata terbesar yang diperoleh adalah 95,6% dengan menggunakan teknik validasi 3-adalah 95,6% dengan menggunakan teknik validasi 3-fold cross validation.
2. DTW kurang cocok digunakan untuk mendapatkan tingkat kemiripin dua data sekuensial dengan panjang data sama, jika urutan data pada data sekuensial mempunyai nilai yang sudah ditentukan sebelumnya. Metode yang lebih cocok digunakan adalah Euclidean Distance.
3. .