Oleh:Hosyi’ah Rusdiana2209.100.107

Penyusunan Database Ekspresi WajahPerempuan Indonesia -JawaBerbasis Penanda 3D untuk Pengenalan Emosi

Dosen Pembimbing:Dr. Surya Sumpeno, ST., M.Sc.Muhtadin, ST., MT.

Latar Belakang

2

Bidang interaksi antara manusia dan komputer

• Bidang inter-man-kom merupakan topik yang sering diteliti akhir-akhir ini.

• Bidang inter-man-kom bertujuan untukmembuat antarmuka yang lebih bersahabat bagimanusia.

• Pembuatan avatar yang mirip seperti manusia.

3

Ekspresi Wajah

• Ekspresi wajah berperan sebanyak55% di dalam tersampaikannyasuatu pesan di dalam prosesinteraksi, sedangkan komponenverbal dan vokal berpengaruhsebesar 7% dan 38%. 1

1 Mehrabian, Albert. 1968. Communication without Words. Psychology Today, nomorP-89, halaman 53-56.

Latar Belakang

4

Oleh karena itu,

sebagai pengembangan penelitian mengenai ekspresi wajah,

pada tugas akhir ini dibuatlah

database ekspresi wajah

perempuan Indonesia-Jawa berbasis 3Datau yang disebut

Javanese-Indonesian Female Facial Expression 3D Database

(JIFFE-3D Database)

Latar Belakang

5

Penggunaan orang Indonesia sebagai model penelitian

Dibutuhkan sebuah sistem yang bisa dijadikan bukti bahwa suatudatabase telah memiliki kualitasyang baik.

1. 2.

“Ras atau suku yang berbeda memilikikebudayaan atau kebiasaan tersendiri di

dalam mengekspresikan dan menafsirkanekspresi wajah ke dalam bentuk emosi.” 2,3

2 Burns, Judith. 2013. Facial Expression 'Not Global'. http://news.bbc.co.uk/2/hi/8199951.stm.3 Dailey, Mathew N.; Joyce, Carrie; dkk. 2010. Evidence and a Computational Explanation of Cultural

Differences in Facial Expression Recognition. Emotion, volume 10(6), halaman 874-893.

Permasalahan

6

Penelitian ini bertujuan untuk menghasilkan database ekspresi wajah perempuan Indonesia berbasis 3D yang

dapat bermanfaat untuk mendukung penelitian padabidang lain yang membutuhkan ekspresi wajah sebagai

sumber data, seperti bidang keamanan, hiburan, danpsikologi.

Tujuan & Manfaat

Penelitian ini bertujuan untuk terbentuknya suatu sistempengklasifikasian emosi yang dapat bermanfaat untuk

mengukur kualitas suatu database eksrpesi wajah.

7

Model yang digunakan adalah perempuan Indonesia.1.

Emosi yang diambil adalah netral dan emosi dasar manusia.2.Emosi dasar yang digunakan berdasarkan pembagian emosidasar berasal dari penelitian Ekman, Freisen, dan Tomkins 1, yaitu marah, jijik, takut, terkejut, sedih, dan senang.

1 Paul Ekman, Wallace V. Friesen, Silvan S. Tomkins. 1971. Facial Affect Scoring Technique: A First Validity Study. Semiotica III.

Data berbentuk data 3D yang berbasis pada penanda.3.

Batasan Masalah

Perancangan Sistem

8

JIFFE-3D Database merupakan kumpulan ekspresi wajahperempuan Indonesia dalam bentuk data 3D marker based yang menampilkan emosi-emosi dasar manusia.

Terdapat tujuh emosi yang ditampilkan, yaitu:

• Marah• Sedih• Senang• Terkejut

• Jijik• Takut• Netral

Biodata model yang digunakan:

Data berbentuk pose data (1 frame) .

Biodata Model KeteranganJenis kelamin PerempuanUmur 18 – 25 tahunKebangsaan IndonesiaSuku JawaKesibukan Pelajar dan mahasiswa

9

TahapPersiapan

TahapPenangkapan Ekspresi

TahapPenyusunan Database

TahapPerbaikan Data

Alur Kerja Sistem

10

Tahap Persiapan

11

Spesifikasi pengambilan data:• Model yang digunakan sebanyak 10 orang. • Masing-masing orang 7 ekspresi. • Masing-masing ekspresi 4 kali pengambilan.• Tiap kali pengambilan selama 10 detik (1000 frame).

Contoh prosespenangkapan ekspresi:

Tahap Penangkapan Ekspresi

12

SMOOTHING

Ripple

Smoothing

FILL GAP

Gap atau hole

Fill gap

Tahap Perbaikan DataSWITCH MARKER

Marker tertukar

Switch marker

13

A. Pemilihan Ekspresi• Pemilihan ekspresi dilakukan untuk mendapatkan

ekspresi wajah terbaik selama proses pengambilan data.

EKSPRESI TERBAIK

• Pemilihan ekspresi dilakukan melalui survei.

• Data yang digunakan = 840 pose(masing-masing data diwakili 3 pose)

Tahap Penyusunan Database

14

B. Pemberian Label

YOK_ANG01

Tahap Penyusunan Database

15

NETRAL

JIFFE 3D Database

SENANG SEDIH

16

JIJIK

JIFFE 3D Database

TERKEJUT

MARAH

TAKUT

17

Siang Hari Malam Hari

RuangTerbuka

RuangTertutup

Pengujian Faktor Eksternal

• Parameter Pengujian:

18

• Hasil Pengujian:

Berdasarkan hasil pengujian, proses pengambilan data tidak dapatdilakukan di ruang terbuka pada saat siang hari.

Hasil Pengujian

Proses pengambilan data

Proseswanding

Penentuanground plane

Pemben-tukan face template

Penangka-pan ekspresi

Rua

ngTe

rbuk

a Siang Bisa Bisa Tidak bisa Tidak bisa

Malam Bisa Bisa Bisa Bisa

Rua

ngTe

rtut

up Siang Bisa Bisa Bisa Bisa

Malam Bisa Bisa Bisa Bisa

Pengujian Faktor Eksternal

19

• Tujuan pengujian:Untuk mengetahui mengetahui faktor-faktor yang berpengaruhterhadap kualitas data IFFE-3D Database.

• Variabel pengujian:

Pengujian Akurasi Pengklasifikasian Emosi

KNN

SVM

Naïve Bayes

Pusat koordinat data Data training Metode klasifikasi

20

Pengujian Pusat Koordinat Data• Parameter Pengujian: • Hasil Pengujian:

AkurasiPengenalan Emosi

Pusat Koordinat Data

Koordinatdunia

Penandanose tip

Sum

ber

Dat

a Data .bvh 34.23% 83.21%

Data .trc 13.21% 50%

Berdasarkan hasil pengujian, pusat koordinat data terbaik adalah pada penanda nose tip.

Pusatkoordinat dunia

Pusatkoordinat dari

penanda nose tip

21

Pengujian Data Training• Hasil Pengujian:

Akurasi PengenalanEmosi

Data training

Semua penanda Tanpa penandakepala

Tanpa penandakepala & telinga

Met

ode

Kla

sifik

asi Naive Bayes 39.64 % 38.21 % 40 %

SVM 81.07 % 81.42 % 83.21 %

KNN (K=1) 88.93 % 90.71 % 90.71 %

Berdasarkan hasil pengujian, data training terbaik adalahdata training tanpa penanda kepala dan telinga.

22

Pengujian Metode Klasifikasi

• Hasil Pengujian:

Berdasarkan hasil pengujian, metode klasifikasi terbaik adalahmetode kNN (k=1).

Akurasi PengenalanEmosi

Metode Klasifikasi

Naive Bayes SVM kNN (k=1)

Sum

ber

Dat

a

Data .bvh 40 % 83.21 % 90.71 %

Data .trc 47.85 % 50.00 % 86.07 %

23

Kelas Emosi Specificity Sensitivity Precision Accuracy

Marah 95% 80% 71% 93%

Jijik 98% 70% 82% 94%

Takut 98% 65% 84% 93%

Senang 98% 95% 88% 98%

Netral 94% 98% 74% 95%

Sedih 99% 83% 94% 97%

Terkejut 99% 93% 95% 98%

NilaiTertinggi

NilaiTerendah

Pengujian Specif icity, Sensit ivity, Precision, dan Accuracy pada Kelas Emosi

Catatan:

• Hasil Pengujian:

24

1. Proses pengambilan data JIFFE-3D Database terbaik adalah pada ruangantertutup pada waktu kapan pun, kecuali pada ruangan terbuka di siang hari.

2. Parameter data JIFFE-3D Database untuk menghasilkan nilai akurasipengklasifikasian emosi yang terbaik, yaitu:a) Setiap data harus memiliki kesamaan acuan. b) Penggunaan data training tanpa atribut penanda kepala dan telinga. c) Penggunaan metode klasifikasi KNN (K=1).

3. Kinerja pengklasifikasian emosi pada JIFFE-3D Database.a) Nilai specificity tertinggi: sedih dan terkejut

Nilai specificity terendah: netralb) Nilai sensitivity tertinggi: senang

Nilai sensitivity terendah: takutc) Nilai precision tertinggi: terkejut

Nilai precision terendah: marahd) Nilai accuracy tertinggi: senang dan terkejut

Nilai accuracy terendah: marah dan takut

Kesimpulan

Terima Kasih