semi automatic retargeting untuk ekspresi mimik wajah … · wajah karakter 3d dari beberapa model...

TESISTESIS

SEMI AUTOMATIC RETARGETING UNTUK EKSPRESI MIMIK WAJAH MENGGUNAKAN METODA MIMIK WAJAH MENGGUNAKAN METODA INTERPOLASI BLENDSHAPE BERBASIS FUZZY LOGIC

MOH. ZIKKY (NRP. 2209205204)

DOSEN PEMBIMBINGMochamad Hariadi, S.T, M.Sc, Ph.DM ht di S T M T Muhtadin, S.T, M.T

PROGRAM STUDI MAGISTERBIDANG KEAHLIAN JARINGAN CERDAS MULTIMEDIA (GAME TECHNOLOGY)

JURUSAN TEKNIK ELEKTRO, FAKULTAS TEKNOLOGI INDUSTRI INSTITUT TEKNOLOGI SEPULUH NOPEMBER SURABAYA

AbstrakAbstrak

Untuk menghasilkan ekspresi wajah karakter virtual 3D dari ekspresi alami wajah manusia facial Untuk menghasilkan ekspresi wajah karakter virtual 3D dari ekspresi alami wajah manusia, facial motion capture adalah teknik yang dianggap paling efektif, terutama dari sisi kecepatan produksi. Namun demikian, pada penerapannya masih ada beberapa hasil ekspresi yang kurang ekspresif, terutama jika pada sisi target karakter 3D mempunyai bentuk fitur wajah yang berbeda dibandingkan model acuannya. Pada riset ini dilakukan perbaikan ekspresi dasar mimik berbeda dibandingkan model acuannya. Pada riset ini dilakukan perbaikan ekspresi dasar mimik wajah dalam proses facial motion retargeting menggunakan metoda interpolasi blendshapeberbasis fuzzy logic. Metoda interpolasi blendshape adalah metoda yang digunakan untuk menggabungkan beberapa bentuk menjadi satu perpaduan dengan konsep interpolasi. Pada riset ini, proses blendshape memenuhi konsep interpolasi linier, yaitu pergerakan titik vertex pada bl d h k i l M d bl d h k dij l k b i k k d blendshape menggunakan garis lurus. Metoda blendshape akan dijalankan sebagai korektor pada hasil proses retargeting. Pembobotan dari blendshape akan diberikan secara otomatis dari hasil kalkulasi fuzzy logic yang mengacu terhadap masukan posisi penanda facial motion retargeting. Bobot inilah yang kemudian akan memberikan perbaikan agar ekspresi tercipta lebih ekspresif. Proses ini akan lebih mudah dan lebih cepat dilakukan daripada melakukan customize satu Proses ini akan lebih mudah dan lebih cepat dilakukan daripada melakukan customize satu persatu pada titik vertex secara manual. Untuk menghindari munculnya gerakan tak teratur (haphazard movement), maka perlu diberikan batasan bobot (weight constraint) dengan range [0,1]

Kata Kunci:Blendshape, interpolasi linier, animasi ekspresi wajah, semi automatic retargeting, facial motion capture, logika fuzzy, weight constraint

Latar BelakangLatar Belakang

Untuk membentuk karakter yang meyakinkan hal penting Untuk membentuk karakter yang meyakinkan, hal pentingyang perlu diperhatikan adalah gerakan ekspresi wajah yang nyata dan realistis, karena wajah adalah sumber identitas dan penunjuk situasi mood yang sedang terjadi

Animasi wajah ekspresif sangat penting untuk meningkatkan t li i d k i ti i d k kt naturalisasi dan kesesuaian yang tinggi pada karakter

virtual

Gambar 1. Contoh ekspresi wajah sinsesis dalam proses retargeting pada facial motion capture[1]

Latar Belakang (Lanjutan)Latar Belakang (Lanjutan)

Objek karakter virtual dengan fitur yang variatif (spt Bentuk Objek karakter virtual dengan fitur yang variatif (spt. Bentuk kelonjongan wajah, bentuk hidung, dlsb) terkadang menimbulkan ekspresi yang berbeda antara model peraga dengan target karakter wajah 3D Maka dari itu butuh metoda tambahan yang karakter wajah 3D. Maka dari itu butuh metoda tambahan yang dapat memberikan kesesuaian ekspresi, salah satunya dengan metoda blendshape.D k k Dengan ekspresi mimik wajah karakter 3D yang ekspresif, pesan emosi lebih maksimal tersampaikan.

Gambar 2. Contoh ekspresi wajah yang dibentuk melalui proses blendshape pada Autodesk Maya [12]

Tujuan Tujuan

Tujuan dalam riset ini adalah melakukan retargeting Tujuan dalam riset ini adalah melakukan retargeting dari data facial motion capture selanjutnya dilakukan pendekatan metoda blendshape untuk mendapatkan pendekatan metoda blendshape untuk mendapatkan hasil wajah karakter 3D virtual yang mampu memvisualisasikan ekspresi wajah yang lebih ekspresif memvisualisasikan ekspresi wajah yang lebih ekspresif sehingga pesan emosi akan lebih maksimal tersampaikan tersampaikan.

Rumusan MasalahRumusan Masalah

T t k i j h dih ilk i k li tid k Target ekspresi wajah yang dihasilkan seringkali tidak seekspresif apa yang diperagakan model acuan, terutama jika target mempunyai bentuk fitur wajah yang berbeda.target mempunyai bentuk fitur wajah yang berbeda.

Kurang ekspresifnya hasil animasi wajah 3D yang murni dibentuk Kurang ekspresifnya hasil animasi wajah 3D yang murni dibentuk dari proses motion capture sehingga dibutuhkan suatu metode tertentu sebagai pemicu ekspresi agar lebih ekspresifg p p g p

Batasan MasalahBatasan Masalah

Agar permasalahan yang dibahas tidak bias dan untuk menyederhanakan riset, permasalahan diatas diberi batasan-batasan masalah sebagai berikut: Ekspresi wajah yang akan diuji cobakan hanya

meliputi ekspresi emosi dasar karakter. Output animasi ekspresi emosi hanya terfokus pada Output animasi ekspresi emosi hanya terfokus pada

kerutan dan mimik wajah, tidak sampai membahas efek gerakan kepala ataupun otot leher. efek gerakan kepala ataupun otot leher.

Kajian PustakaKajian Pustaka

Facial Motion Capture Facial Motion CaptureMilistone dan Konsep Facial Motion Capture

Gambar 3: Contoh sistem menangkap gerakan wajah. (a) Mike, The Talking Head, denganalat mekanis pertamanya dalam membuat sintesis ekspresi wajah (b) Vicon, kamera motion capture yang banyak digunakan saat ini


Gambar 4: Evolusi dalam proses facial rigging dari masa kemasa Offline: (a) Parke's facial parameter model Gambar 4: Evolusi dalam proses facial rigging dari masa kemasa. Offline: (a) Parke s facial parameter model, (b) Tony de peltrie, film pendek animasi pertama yang menggunakan model parameter wajah (c) Toy Story, pengenalan film CGI pertama dalam penerapan 12 prinsip animasi, (d) Gollum, karakter realistis CGI dalamfilm Lord of The Ring (e) The Adventure of Tintin. Reltime: (f) Mike, the talking head, animasi virtual real time "pendalangan" pertama, (g) Half Life (1998), awal penerapan animasi wajah pada Video Game 3D, (h) Doom pendalangan pertama, (g) Half Life (1998), awal penerapan animasi wajah pada Video Game 3D, (h) Doom 3 (2004), pergerakan wajah berbasis bone untuk video game, (i) The Samaritan Demo, pengembangan dalamseni animasi wajah real time saat ini. [8]


Proses Scanning dan Pengambilan Data M k F i l M Marker Facial Mocap

biasanya menggunakan 32-300 penanda reflective

kmarker.

Data yang dihasilkan dari kamera Vicon berupa “c3d“, data C3D biasanya dikonversi dulu kedalam bentuk BVH, data inilah yang ditempelkan pada mesh wajah karakter 3D sebagaimana titik-titik yang Gambar 5: (a) ABW Scanner dan (b) contoh hasil scan

dipasang pada model. wajah; (c)sistem motion capture dan (d) pemasanganreflective marker pada model.


Retargeting Animasi Wajah Dalam proses retargeting secara umum adalah proses

artikulasi gerakan mimik wajah dari model terhadap karakter virtual yang dibuat target

Proses ini dapat dijalankan secara real time ataupun offline.

Gambar 6:Contoh Proses Realtime Retargeting :(a) Retargeting Mocap dengan model tunggal; (b) Retargeting Mocap dengan Variasi model yang berbeda (Sumber: YouTube )


Metoda blendshape Gambaran umum dari metoda ini yaitu pembentukan mimik

wajah karakter 3D dari beberapa model ekspresi wajahdasar yang dibuat, seperti halnya membuka mulut,

k tk d hi k bibi d l imengkerutkan dahi, menurunkan bibir, dan lainnya. Target animasi (gambar tengah) default-nya dibuat dalam

bentuk netral sedangkan animasi pembentuk/bobot ekspresibentuk netral, sedangkan animasi pembentuk/bobot ekspresidibentuk pada kondisi maksimal animasi dasar, sehinggaprosentase bobot dapat dikombinasikan dan menghasilkanp p gekspresi yang diinginkan. Misalkan jika diinginkan ekspresimarah, maka diberikan bobot mulut membuka 50%, kerutandahi sebesar 70%, dan seterusnya.

Contoh PenerapanMetoda blendshape

(b)

(a)(c)

Gambar 7: (a) Gambaran skema metoda blendshape (MAYA),

(a)

(b) Proses pembuatan berbagai ekspresi dasar; (b) Runningdengan pembobotan(weight) dalam blendshape.(Sumber: YouTube )

Ekspresi Dasar Wajah Terkait EmosiEkspresi Dasar Wajah Terkait Emosi

Plutchik (2001) menggambarkan penyusun emosi dasar dan keterkaitannya dengan emosi-emosi lainnya dalam bentuk roda emosi sebagaimana digambarkan Gambar 8

Gambar 8: Konsep relasi emosi (Plutchik, 2001)

Parameter Ekspresi WajahParameter Ekspresi Wajah

Gambar 9: Ekspresi dasar wajah (Murat Tekalp dan Jorn Osterman, 2000)

Konsep Fuzzy LogicKonsep Fuzzy Logic

Untuk mendapatkan output bobot blendshape, diperlukan 4 tahapan:1. Pembentukan himpunan fuzzy2 Aplikasi fungsi implikasi (aturan)2. Aplikasi fungsi implikasi (aturan)3. Komposisi aturan4. Penegasan (defuzzifikasi)

Konsep Fuzzy LogicKonsep Fuzzy Logic

P b k hi f V i b l dib i Pembentukan himpunan fuzzy Variabel dibagimenjadi beberapa himpunan fuzzy (membership)

Aplikasi fungsi implikasi (aturan) Yang Aplikasi fungsi implikasi (aturan) Yang digunakan adalah min (aturannya menggunakanAND), Contoh: IF minum banyak AND makanbanyak THEN perut kenyang sekali

Komposisi aturanYang digunakan adalah max, d i b b t d jik kdari beberapa aturan yang ada jika menggunakanMAX, berarti di OR kan (keseluruhan aturan)

Defuzzifikasi Dengan menggunakan nilai Defuzzifikasi Dengan menggunakan nilaimembership masukan dan nilai membership keluaran sebagaiberikut: Nilai keluaran= jumlah (membership masukan * membership masukan membership keluaran) / (membership masukan )

Variabel dibagi menjadi beberapahimpunan fuzzy (membership) Membership segitiga

baxa)x( 1

ddx)x( 2 ba dc

)(

Gambar 10: Himpunan Fuzzy Normal (Kurva Segitiga)

Membership TrapesiumMembership Trapesium

1)x(

d x2 c b x1 a x2 1

xa)( 1dx)( 2 baxa)x( 1

dcdx)x( 2

Gambar 11: Himpunan Fuzzy Trapesium

Metodologi PenelitianMetodologi Penelitian

Gambar 12. Diagram alur metodologi penelitian semi automatic retargeting untuk ekspresi mimik wajah menggunakan metoda interpolasi blendshape berbasis fuzzy logic

Peletakan data BVH pada wajahkarakter target

Gambar 13: Tampilan data BVH pada blender 2.5 danstrukturnya; (a) data bvh tampak dari depan, (b) data bvh tampak dari samping, dan (c) hirarki data bvhp p g ( )

Gambar 14: Area peletakan penanda pada fitur wajah

Desain Model KeyshapeDesain Model Keyshape

Untuk membuat serangkaian model ekspresi dasar yang akan dijadikan pembobot blendshape pada target, pertama yang harus didesain adalah keyshape Pada riset ini akan harus didesain adalah keyshape. Pada riset ini akan diberlakukan setiap satu keyshape memiliki bobot [0,1]. Dimana 0 yang berarti nilai netral dan 1 adalah kondisi y gmaksimal ekspresi diberikan

Gambar 15: Contoh proses pembuatan keyshape dengan ekspresi terkejut; (a) ekspresi netral (mula-mula), (b) menggeser titik vertex untuk mendapatkan kondisi terkejut, (c) kondisi akhir keyshape terkejut setelah pemindahan vertex

Gambar 16: Contoh proses perpindahan bentuk pada keyshapedengan ekspresi terkejut

Desain Ekspresi Pembobot BlendshapeDesain Ekspresi Pembobot Blendshape

Mengacu terhadap penelitian ekspresi-ekspresi dasar yang dikemukakan oleh Ekman, Freisen, dan Tomkins (1971), ada enam ekspresi dasar yang mencakup seluruh emosi yang ada, yaitu marah, sedih, senang, terkejut, jijik dan takut. Oleh karenanya, pada riset ini ekspresi-ekspresi dasar tersebut dibentuk dan dijadikan pembobot pada facial blendshape. Dari lima keyshape yang dibuat, Gambar 3.8 merupakan kondisi maksimal enam y p y g , pekspresi dasar pembobot blendshape pada riset ini


Logika Fuzzy sebagai Pemicu Bobot Blendshape


Dari pembacaan data koordinat translasi x, y, dan z pada Gambar 18, selanjutnya semua koordinatpenanda pada masing masing ekspresi yang

terkejut, (c) kondisi akhir keyshape terkejut setelah pemindahan vertex

penanda pada masing-masing ekspresi yang dijadikan sampel acuan akan dihitung jaraknyaterhadap titik pusat ujung hidung, yaitu Nose Tip. Kemudian setelah jaraknya terhitung hasilnya akan Kemudian setelah jaraknya terhitung, hasilnya akan dibandingkan terhadap ekspresi netral dari masing-masing ekspresi tersebut Gambar 18: Penanda yang akan dibaca sebagai input fuzzy logic

Desain Fuzzy Logic pada MatlabDesain Fuzzy Logic pada Matlab

(a)

(b)

Gambar 19: (a) Desain keseluruhan sistemfuzzy logic pada Matlab, (b) Sebagian desainMembership Function (MF) (c) Pemberian

(b)

Membership Function (MF), (c) Pemberianaturan if-then

(c)

Hasil dan AnalisaHasil dan Analisa

Untuk pengujian bobot blendshape hasil proses logika fuzzy yang dipicukan pada setiap ekspresi dasar proses retargeting, pertama akan diujikan data ekspresi dasar yang akan dijadikan pertama akan diujikan data ekspresi dasar yang akan dijadikan acuan ekspresi,proses pengujian pada sistem logika fuzzy akan dilakukun terhadap 13 data input yang sudah dipilih dan p p y g pdijelaskan pada bab metodologi penelitian. Setelah data acuan didapatkan dan menunjukkan keluaran bobot blendshape yang sesuai, maka akan diujikan contoh data lain dari data ekspresi dasar secara acak

Ekspresi SenangEkspresi Senang

Ekspresi SedihEkspresi Sedih

Ekspresi MarahEkspresi Marah

Ekspresi TakutEkspresi Takut

Ekspresi JijikEkspresi Jijik

Ekspresi TerkejutEkspresi Terkejut

PenutupPenutup

KESIMPULAN

Dari riset yang telah dilakukan, diperoleh beberapa kesimpulan pada proses retargeting interpolasi blendshape dan fuzzy logic Proses proses retargeting, interpolasi blendshape, dan fuzzy logic. Proses retargeting data facial motion capture terhadap karakter wajah 3D tidak selalu menghasilkan wajah yang ekspresif, oleh karenanya peran metoda blendshape terhadap tingkat keekspresifan karakter sangat signifikan.

Pada enam database acuan ekspresi dasar, ekspresi senang paling d h d l b i id ifik i d k b k b mudah dalam pemberian identifikasi datanya, karena banyak sebaran

selisih data yang punya nilai signifikan dan berbeda dengan data ekspresi lainnya. Sedangkan data acuan ekspresi marah cukup sulit untuk p y g p ppemberian identifikasi, karena data nilai selisih terhadap ekspresi netral sangat kecil. Kondisi ini dapat mengakibatkan data baru yang akan diujikan akan kabur atau bisa jadi berakibat condong terhadap nilai diujikan akan kabur atau bisa jadi berakibat condong terhadap nilai ekspresi lainnya.

PenutupPenutup

PENELITIAN LEBIH LANJUT

Agar penelitian ini berlanjut dan membentuk sistem yang sempurna, ada beberapa hal yang harus dilakukan untuk penelitian penelitian ada beberapa hal yang harus dilakukan untuk penelitian-penelitian selanjutnya, diantaranya:

Pengembangan riset facial motion retargeting menggunakan e ge ba ga se ac a o o e a ge g e ggu a a interpolasi blendshape dengan konsep markerless dan bisa adaptif terhadap segala bentuk fitur wajah bisa menjadi riset yang menarik

k dik b k l juntuk dikembangkan selanjutnya.

Proses facial motion retargeting dengan perpaduan metoda blendshape yang diaplikasikan secara realtime akan lebih blendshape yang diaplikasikan secara realtime akan lebih menghemat waktu. Oleh karenanya, pengembangan lebih lanjut, riset ini bisa dikembangkan pada proses retargeting yang dijalankan secara real time.

DAFTAR PUSTAKA (1)DAFTAR PUSTAKA (1)

Ch E ik S (2004) A l i S th i d R t ti f F i l E i S f d U i iChuang, Erika S. (2004). Analysis, Synthesis, and Retargeting of Facial Expressions. Stanford University

Sederberg, Thomas W. , dkk. (1993). 2D Shape Blending: An Intrinsic Solution to the Vertex Path Problem. Computer Graphics, SIGGRAPH.

Cristobal Curio Martin Breidt Mario Kleiner Quoc C Vuong Martin A Giese Heinrich H Buelthoff (2006) Cristobal Curio, Martin Breidt, Mario Kleiner, Quoc C. Vuong, Martin A. Giese, Heinrich H. Buelthoff (2006). Semantic 3D Motion Retargeting for Facial Animation. University Clinic Tuebingen, Germany

B. Robertson, Mike (1988) The Talking Head. Computer Graphics World, SIGGRAPH.

Orvalho,V., Bastos,P., Parke,P., Oliveira, B., dan Alvare, X. (2012). A Facial Rigging Survey. EurographicsOrvalho,V., Bastos,P., Parke,P., Oliveira, B., dan Alvare, X. (2012). A Facial Rigging Survey. Eurographics

Li, King Li, Deng, Zhigang. (2008). Orthogonal-Blendshape-Based Editing System for Facial Motion Capture Data. University of Houston

Patrick S., Andrew. (2006). Muscle-Based Facial Animation Using Blendshape in Superposition. Texas A&M , ( ) g p p pUniversity Thesis

Malherbe, Victor. (2010). Make Human tutorial. http://wiki.blender.org/, diakses pada Mei 2013

Lewis, J.P and Anjoyo, Ken .(2010). Direct Manipulation Blendshapes. IEEE Computer Society

Malherbe, Victor. (2010). Blendshape deformer. http:// autodesk.com/, diakses pada Juli 2013

Kusumadewi, Sri dan Purnomo, Hari. (2010) Aplikasi Logika Fuzzy, Graha Ilmu, Yogyakarta.

Roger Jang, Jyh Shing (1997) Neuro Fuzzy and Soft Computing, Prentice Hall Inc., Upper Saddle River, New g g, y g ( ) y p g, , pp ,Jersey.

DAFTAR PUSTAKA (2)DAFTAR PUSTAKA (2)

h // i F L i S t Di k d J li 2013http://trensains.com. Fuzzy Logic System. Diakses pada Juli, 2013

Rusdiana, Hosyi'ah (2013). Penyusunan Database Ekspresi Wajah Perempuan Indonesia-Jawa Berbasis Penanda 3D untuk Pengenalan Emosi. Tugas Akhir Jurusan Teknik Elektro ITS, Surabaya.

Sumpeno Surya (2011) Antarmuka Cerdas Berbasis Bahasa Alami Berkemampuan Afeksi Disertasi Jurusan Teknik Sumpeno, Surya (2011). Antarmuka Cerdas Berbasis Bahasa Alami Berkemampuan Afeksi. Disertasi Jurusan Teknik Elektro ITS, Surabaya

Tekalp, A. Murat dan Ostermann, Jorn (2000). Face and 2D Mesh Animation in MPEG-4. Signal Processing: Image Communication 15 (2000) 387-421, USA

Ekman, Paul. Friessen, Wallace V. Tomkins, Silvan S. (1971). Facial Affect Scoring Technique: A First Validity Study. Semiotica III

Plutchik, Robert (2001). The Nature of Emotion. American Scientist, Volume 89

TERIMA KASIHTERIMA KASIH

semi automatic retargeting untuk ekspresi mimik wajah … · wajah karakter 3d dari beberapa model...

Documents