PERBANDINGAN METODE HARRIS CORNER DETECTION,

EDGE BASED CORNER DETECTION DAN FAST CORNER

DETECTION DALAM APLIKASI PENDETEKSI SENYUM PADA

WAJAH MANUSIA

Oleh

Eduard Royce Siswanto

NIM : 612009003

Skripsi

Untuk melengkapi syarat-syarat memperoleh

Ijasah Sarjana Teknik

Fakultas Teknik Elektronika dan Komputer

Program Studi Teknik Elektro

Universitas Kristen Satya Wacana

Salatiga

2013

i

INTISARI

Ekspresi wajah adalah salah satu cara komunikasi bagi manusia untuk

mengungkapkan perasaan, maksud, tujuan, dan pendapatnya kepada orang lain.

Senyum merupakan salah satu ekspresi yang mewakili momen, kejadian ataupun

perasaan bahagia dan banyak orang berusaha mengabadikan ekspresi ini. Karena itu,

suatu sistem yang mampu mendeteksi ekspresi senyum, kemudian memerintahkan

sebuah kamera untuk mengambil gambar, akan mempermudah usaha mengabadikan

momen tersebut.

Skripsi ini membandingkan metode Harris Corner Detection, Edge Based

Corner Detection dan FAST Corner Detection dengan kombinasi pra proses color

segmentation dalam mendeteksi senyuman. Untuk menilai performa dari sistem

pendeteksi senyum, digunakan perhitungan akurasi.

Dari hasil pengujian perangkat lunak didapatkan metode Harris Corner

Detection memberikan hasil terbaik jika dikombinasikan dengan pra proses color

segmentation dengan tingkat akurasi sebesar 77.5% dengan waktu komputasi sebesar

49.2 mili detik. Sedangkan FAST Corner Detection memberikan hasil terbaik tanpa

kombinasi pra proses color segmentation dengan tingkat akurasi sebesar 59.5%

dengan waktu komputasi sebesar 13.1 mili detik.

Kata kunci: smile detector, color segmentation, Harris corner detection, edge

based corner detection, FAST corner detection.

ii

ABSTRACT

Facial expression is one among many communication ways for human to

express their feelings, means, purposes, and opinions to others. Smile is an expression

that represents happy moment, event or feeling and many people have tried to capture

this expression. This is the main reason we need a system that is capable of detecting

smile on human face and execute the camera to capture this moment.

This final project compares Harris Corner Detection, Edge Based Corner

Detection and FAST Corner Detection with combination of color segmentation pre

processing in detecting smile on human face. Accuracy calculation is used to calculate

system’s performance.

From the experiments, Harris Corner Detection gives the best result while

combined with color segmentation pre processing resulted 77.5% accuracy and

computation time for 49.2 millisecond. FAST Corner Detection gives the best result

without pre processing combination resulted 59.5% and computation time for 13.1

millisecond.

Keywords: smile detector, color segmentation, Harris corner detection, edge based

corner detection, FAST corner detection.

iii

KATA PENGANTAR

Pertama-tama, penulis panjatkan puji syukur dan terima kasih kepada Yesus

Kristus atas karunia dan berkat-Nya yang melimpah sehingga skripsi ini dapat

diselesaikan dengan baik. Penulis juga ingin mengucapkan terima kasih kepada pihak-

pihak berikut:

1. Ibunda tercinta, Orita Tamara, kakak terkasih, Pamela Marchelli dan nenek

tersayang, Elia Tamara atas kesabaran, pengertian, dukungan semangat serta cinta

kasih yang tak berkesudahan.

2. Fakultas Teknik Elektronika dan Komputer, UKSW atas kesempatan yang

diberikan kepada penulis untuk dapat menuntut ilmu dan pengalaman yang tak

ternilai.

3. Kedua dosen pembimbing, Bpk. Iwan Setyawan dan Ivanna K. Timotius atas ilmu

dan kesempatan yang diberikan kepada penulis untuk dibimbing selama pembuatan

skripsi ini. Tanpa beliau berdua, skripsi ini tidak akan terwujud. 4. Seluruh dosen, laboran, staf administrasi dan pegawai yang bekerja di FTEK.

Terima kasih atas ilmu pengetahuan dan bantuan yang telah diberikan.

5. Teman terdekat penulis di Salatiga, Budhi K. Wangsa, Ricky Jeconiah, Krisma

Putra Salim, Jeffrey Pratama Santoso, Aletheia Anggelia Tonoro dan Anneke Putri

K.W. Terima kasih atas semua dukungan, canda, tawa, air mata dan kenangan

selama 4.5 tahun ini.

6. RH, yang selalu meragukan kemampuan penulis dari awal perkuliahan hingga

skripsi ini selesai ditulis. Terima kasih atas pandangan meremehkan anda, sehingga

karenanya penulis terpacu untuk selalu menjadi lebih baik. Skripsi ini adalah

pembuktian bahwa saya mampu menyelesaikan apa yang sudah saya mulai.

7. Staf pengajar dan teman-teman di Yeti English Course, terutama Ma’am Yeti yang

selalu menjadi sumber inspirasi saya dengan pola pikirnya yang berbeda, unik,

cerdas, dan orisinil serta Miss Ida yang ramah, sabar, dan lemah lembut.

8. Teman-teman FTEK yang sudah mau difoto untuk dijadikan dataset skripsi, baik

secara sukarela maupun terpaksa. Tanpa kalian, skripsi ini tidak akan bisa selesai.

9. Pihak-pihak lain yang tidak dapat disebutkan satu per satu. Terima kasih untuk

segalanya.

iv

Akhir kata, penulis sadar bahwa skripsi yang dikerjakan ini jauh dari kata

sempurna. Tetapi penulis berharap skripsi ini dapat dibaca dan dikembangkan lebih

lanjut oleh pihak lain dan menjadi berkat buat semua yang membutuhkan.

Mengutip dari mantan Koordinator Asisten favorit penulis, Regina Lionnie: HARD

WORK PAYS!

Salatiga, 26 September 2013

Penulis

v

DAFTAR ISI

INTISARI .............................................................................................................. i

ABSTRACT ........................................................................................................... ii

KATA PENGANTAR ............................................................................................ iii

DAFTAR ISI .......................................................................................................... v

DAFTAR GAMBAR ............................................................................................. viii

DAFTAR TABEL .................................................................................................. x

DAFTAR LAMBANG ........................................................................................... xi

DAFTAR SINGKATAN ........................................................................................ xiii

BAB I. PENDAHULUAN...................................................................................... 1

1.1 Latar Belakang Masalah ........................................................................ 1

1.2 Tujuan ................................................................................................... 3

1.3 Batasan Masalah ................................................................................... 3

1.4 Hipotesis Awal ...................................................................................... 4

1.5 Sistematika Pembahasan ....................................................................... 4

BAB II. LANDASAN TEORI ................................................................................ 5

2.1 Metode Viola Jones untuk Mendeteksi Wajah ....................................... 5

2.2 Konversi Citra RGB ke Grayscale......................................................... 5

2.3 Color Segmentation ............................................................................... 6

2.4 Harris Corner Detection ........................................................................ 6

2.5 Edge Based Corner Detection ............................................................... 11

2.6 FAST Corner Detection ........................................................................ 12

2.7 Deteksi Senyum .................................................................................... 14

2.8 Perhitungan Akurasi .............................................................................. 14

BAB III. PERANCANGAN PERANGKAT LUNAK ............................................ 16

3.1 Sistem Pendeteksi Senyum .................................................................... 16

3.2 Pemrosesan Data ................................................................................... 16

3.2.1 Konversi Citra RGB ke Grayscale .......................................... 16

3.2.2 Color Segmentation ................................................................ 17

3.3 Harris Corner Detection ........................................................................ 18

3.4 Edge Based Corner Detection ............................................................... 19

3.5 FAST Corner Detection ........................................................................ 20

3.6 Deteksi Senyum .................................................................................... 21

vi

3.7 Perhitungan Akurasi .............................................................................. 22

3.8 Pembuatan Dataset Skripsi .................................................................... 22

3.9 Graphical User Interface ...................................................................... 23

BAB IV. PENGUJIAN PERANGKAT LUNAK DAN ANALISIS HASIL

PENGUJIAN.......................................................................................................... 25

4.1 Pengambilan Data dan Metode Pengujian .............................................. 25

4.2 Hasil dan Analisis ................................................................................. 26

4.3 Perbandingan Ketiga Metode pada Percobaan Pertama .......................... 26

4.3.1 Harris Corner Detection .......................................................... 27

4.3.2 Edge Based Corner Detection ................................................. 29

4.3.3 FAST Corner Detection .......................................................... 31

4.4 Perbandingan Ketiga Metode pada Percobaan Kedua ............................ 33

4.4.1 Harris Corner Detection .......................................................... 33

4.4.2 Edge Based Corner Detection ................................................. 35

4.4.3 FAST Corner Detection .......................................................... 37

4.5 Perbandingan Ketiga Metode pada Percobaan Ketiga ............................ 37

4.5.1 Harris Corner Detection .......................................................... 39

4.5.2 Edge Based Corner Detection ................................................. 40

4.5.3 FAST Corner Detection .......................................................... 42

4.6 Pendeteksian Senyum pada Citra dengan Subyek Lebih Dari Satu ......... 44

BAB V. KESIMPULAN ........................................................................................ 46

5.1 Kesimpulan ........................................................................................... 46

5.2 Saran ..................................................................................................... 46

DAFTAR PUSTAKA ............................................................................................. 47

LAMPIRAN A. SOURCE CODE PEMROGRAMAN YANG DIBUAT DENGAN

MATLAB .............................................................................................................. 49

A.1 Source Code Color Segmentation ......................................................... 49

A.2 Source Code Harris Corner Detection .................................................. 49

A.3 Source Code Edge Based Corner Detection .......................................... 50

A.4 Source Code FAST Corner Detection ................................................... 51

A.5 Source Code Citra dengan Subyek Lebih Dari Satu .............................. 52

A.6 Source Code Graphical User Interface ................................................. 53

LAMPIRAN B. TABEL HASIL PENGUJIAN PERANGKAT LUNAK ................ 65

B.1 Tabel Hasil Percobaan Pertama............................................................. 65

vii

B.1.1 Metode Harris Corner Detection ............................................ 65

B.1.2 Metode Edge Based Corner Detection .................................... 67

B.1.3 Metode FAST Corner Detection ............................................. 69

B.2 Tabel Hasil Percobaan Kedua ............................................................... 70

B.2.1 Metode Harris Corner Detection ............................................ 70

B.2.2 Metode Edge Based Corner Detection .................................... 72

B.2.3 Metode FAST Corner Detection ............................................. 74

B.3 Tabel Hasil Percobaan Ketiga ............................................................... 75

B.3.1 Metode Harris Corner Detection ............................................ 75

B.3.2 Metode Edge Based Corner Detection .................................... 77

B.3.3 Metode FAST Corner Detection ............................................. 79

B.4 Tabel Hasil Penambahan Batas Nilai Rata-rata Metode FAST Corner

Detection ............................................................................................. 80

LAMPIRAN C. PENURUNAN HUBUNGAN DETERMINAN, TRACE DAN ு

METODE HARRIS CORNER DETECTION .......................................................... 81

LAMPIRAN D. CONTOH DATASET SISTEM PENDETEKSI SENYUM ............ 83

D.1 Dataset Pelatihan ................................................................................. 83

D.2 Dataset Pengujian Ekspresi Tersenyum Percobaan Pertama ................. 88

D.3 Dataset Pengujian Ekspresi Tersenyum Percobaan Ketiga .................... 90

D.4 Dataset Pengujian Ekspresi Bukan Tersenyum ..................................... 92

D.5 Dataset Pengujian Citra dengan Subyek Lebih Dari Satu ...................... 94

viii

DAFTAR GAMBAR

Gambar 2.1 Gradien Garis dari Suatu Piksel ....................................................... 7

Gambar 2.2 Pergeseran Jendela Gaussian ke arah (1,0) ....................................... 8

Gambar 2.3 Pergeseran Jendela Gaussian ke arah (0,1) ....................................... 8

Gambar 2.4 Hasil Harris Corner Detection ......................................................... 11

Gambar 2.5 Hasil Edge Detection Menggunakan Operator Sobel ........................ 12

Gambar 2.6 Jendela FAST Corner Detection ...................................................... 14

Gambar 3.1 Contoh Citra RGB Bibir yang Digunakan Dalam Skripsi ................. 16

Gambar 3.2 Contoh Citra Bibir yang Telah Dikonversi ke Citra Grayscale ......... 16

Gambar 3.3 Diagram Alir Pra Proses Color Segmentation .................................. 17

Gambar 3.4 Diagram Alir Metode Harris Corner Detection ................................ 18

Gambar 3.5 Diagram Alir Metode Edge Based Corner Detection ....................... 19

Gambar 3.6 Diagram Alir metode FAST Corner Detection ................................. 20

Gambar 3.7 Diagram Alir Proses Pendeteksian Senyum...................................... 21

Gambar 3.8 Contoh Dataset dengan Ekspresi Tersenyum Lebar ......................... 23

Gambar 3.9 Contoh Dataset dengan Ekspresi Tersenyum Tipis .......................... 23

Gambar 3.10 Contoh Dataset dengan Ekspresi Bukan Tersenyum ........................ 23

Gambar 3.11 Graphical User Interface Skripsi ..................................................... 24

Gambar 3.12 Contoh Eksekusi Graphical User Interface Skripsi .......................... 24

Gambar 4.1 Grafik Harris Corner Detection Percobaan Pertama ......................... 27

Gambar 4.2 Grafik Perbandingan Akurasi Terhadap Sigma Metode Harris Corner

Detection dengan k = 0.04 Percobaan Pertama................................. 27

Gambar 4.3 Grafik Perbandingan Akurasi Terhadap k Metode Harris Corner

Detection dengan Sigma = 2 Percobaan Pertama ............................. 28

Gambar 4.4 Perbandingan Hasil Penggunaan Nilai Sigma 1.5 dengan Sigma 5 ... 28

Gambar 4.5 Kesalahan Pendeteksian Titik Sudut Bibir pada Nilai Sigma yang

Terlalu Kecil .................................................................................... 29

Gambar 4.6 Grafik Edge Based Corner Detection Percobaan Pertama ................ 30

Gambar 4.7 Grafik Perbandingan Akurasi Terhadap Sigma Metode Edge Based

Corner Detection dengan k = 0.15 Percobaan Pertama..................... 30

Gambar 4.8 Grafik Perbandingan Akurasi Terhadap k Metode Edge Based Corner

Detection dengan Sigma = 1.5 Percobaan Pertama .......................... 31

ix

Gambar 4.9 Grafik FAST Corner Detection pada Percobaan Pertama ................. 32

Gambar 4.10 Hasil Penggunaan Nilai Batas Ambang yang Berbeda Pada Citra

Bibir ................................................................................................ 32

Gambar 4.11 Grafik Harris Corner Detection Percobaan Kedua ........................... 33

Gambar 4.12 Grafik Perbandingan Akurasi Terhadap Sigma Metode Harris Corner

Detection dengan k = 0.08 Percobaan Kedua ................................... 34

Gambar 4.13 Grafik Perbandingan Akurasi Terhadap k Metode Harris Corner

Detection dengan Sigma = 0.5 Percobaan Kedua ............................. 34

Gambar 4.14 Perbandingan Hasil Harris Corner Detection................................... 35

Gambar 4.15 Grafik Edge Based Corner Detection Percobaan Kedua ................... 35

Gambar 4.16 Grafik Perbandingan Akurasi Terhadap Sigma Metode Edge Based

Corner Detection dengan k = 0.04 Percobaan Kedua ....................... 36

Gambar 4.17 Grafik Perbandingan Akurasi Terhadap k Metode Edge Based Corner

Detection dengan Sigma = 1.5 Percobaan Kedua ............................. 36

Gambar 4.18 Grafik FAST Corner Detection Percobaan Kedua ............................ 37

Gambar 4.19 Sampel Data Uji Ekspresi Tersenyum yang Dideteksi Salah Oleh

Ketiga Metode ................................................................................. 38

Gambar 4.20 Grafik Harris Corner Detection pada Percobaan Ketiga ................... 38

Gambar 4.21 Grafik Perbandingan Akurasi Terhadap Sigma Metode Harris Corner

Detection dengan k = 0.08 Percobaan Ketiga ................................... 39

Gambar 4.22 Grafik Perbandingan Akurasi Terhadap k Metode Harris Corner

Detection dengan Sigma = 0.5 Percobaan Ketiga ............................. 39

Gambar 4.23 Grafik Edge Based Corner Detection pada Percobaan Ketiga .......... 40

Gambar 4.24 Grafik Perbandingan Akurasi Terhadap Sigma Metode Edge Based

Corner Detection dengan k = 0.04 Percobaan Ketiga ....................... 40

Gambar 4.25 Grafik Perbandingan Akurasi Terhadap k Metode Edge Based Corner

Detection dengan Sigma = 1.5 Percobaan Ketiga ............................. 41

Gambar 4.26 Grafik FAST Corner Detection pada Percobaan Ketiga ................... 41

Gambar 4.27 Perbandingan Hasil Pendeteksian Sudut Dengan Pra Proses Color

Segmentation Pada Subyek Dengan Warna Kulit Berbeda ............... 42

Gambar 4.28 Contoh Citra Dengan Subyek Lebih Dari Satu ................................. 43

Gambar 4.29 Hasil Pengujian Metode Harris Corner Detection Pada Citra Dengan

Subyek Lebih Dari Satu................................................................... 44

x

DAFTAR TABEL

Tabel 4.1 Akurasi dan Waktu Komputasi Sistem Pendeteksi Senyum ................ 42

Tabel B.1 Akurasi Metode Harris Corner Detection Percobaan Pertama ............ 63

Tabel B.2 Akurasi Metode Edge Based Corner Detection Percobaan Pertama .... 65

Tabel B.3 Akurasi Metode FAST Corner Detection Percobaan Pertama ............ 67

Tabel B.4 Akurasi Metode Harris Corner Detection Percobaan Kedua ............... 68

Tabel B.5 Akurasi Metode Edge Based Corner Detection Percobaan Kedua ...... 70

Tabel B.6 Akurasi Metode FAST Corner Detection Percobaan Kedua ............... 72

Tabel B.7 Akurasi Metode Harris Corner Detection Percobaan Ketiga ............... 73

Tabel B.8 Akurasi Metode Edge Based Corner Detection Percobaan Ketiga ...... 75

Tabel B.9 Akurasi Metode FAST Corner Detection Percobaan Ketiga ............... 77

Tabel B.10 Akurasi Metode FAST Corner Detection dengan Penambahan Batas

Nilai Rata-rata ................................................................................... 78

xi

DAFTAR LAMBANG

a konstanta variabel orde 2 dari persamaan kuadrat

b konstanta variabel orde 1 dari persamaan kuadrat

c konstanta variabel orde 0 dari persamaan kuadrat

d jendela pada metode FAST Corner Detection

fungsi citra digital dua dimensi ke arah sumbu x dan sumbu y (ݕ,ݔ)

k konstanta sensitivitas dari Harris Corner Detection

l jumlah piksel dalam jendela yang tergeser di Harris Corner Detection

jumlah piksel di sekitar titik pusat p pada FAST Corner Detection

titik pusat pada metode FAST Corner Detection

batas ambang nilai intensitas yang ditoleransi ݐ

arah pergeseran jendela ke sumbu horisontal ݑ

arah pergeseran jendela ke sumbu vertikal ݒ

jumlah baris pada citra masukan ݔ

xmax koordinat x maksimum citra bibir pelatihan

xmax_u koordinat x maksimum citra bibir pengujian

xmin koordinat x minimum citra bibir pelatihan

xmin_u koordinat x minimum citra bibir pengujian

xp koordinat x dari titik pusat p

jumlah kolom pada citra masukan ݕ

yp koordinat y dari titik pusat p

yrata rata-rata koordinat y citra bibir pelatihan

yrata_u rata-rata koordinat y citra bibir pengujian

y1 koordinat y titik sudut bibir sebelah kiri citra bibir pelatihan

y1_u koordinat y titik sudut bibir sebelah kiri citra bibir pengujian

y2 koordinat y titik sudut bibir sebelah kanan citra bibir pelatihan

y2_u koordinat y titik sudut bibir sebelah kanan citra bibir pengujian

,ݑ)ݓ jendela biner, bernilai 1 di seluruh jendela dan 0 diluar jendela (ݒ

nilai tiap elemen jendela Gaussian di posisi (u, v)ݓ

௨,௩ posisi jendela di sumbu horisontal u dan sumbu vertikal vݓడூడ௫

gradien intensitas piksel ke arah sumbu horisontal

xii

డூడ௫

gradien intensitas piksel ke-m dengan arah sumbu horisontal

డூడ௬

gradien intensitas piksel ke arah sumbu vertikal

డூడ௬

gradien intensitas piksel ke-m dengan arah sumbu vertikal

eigenvalue dari matriks M ߣ

σ standar deviasi distribusi Gaussian

komponen (1,1) dari matriks M ܣ

, nilai intensitas piksel di arah sumbu horisontal i dan sumbu vertikal jܣ

nilai blue dalam color space RGB ܤ

komponen (2,2) dari matriks M ܥ

keputusan titik p sebagai sudutܥ

komponen (1,2) dan (2,1) dari matriks M ܦ

௫,௬ variasi intensitas citra yang tergeser ke arah (x,y)ܧ

nilai green dalam color space RGB ܩ

I citra bibir

nilai intensitas piksel ke-mܫ

nilai intensitas piksel ke-nܫ

nilai intensitas titik pܫ

௨,௩ intensitas citra di posisi (u, v)ܫ

௫ା௨,௬ା௩ intensitas citra yang tergeser ke arah (1,0), (1,1), (0,1), atau (-1,1)ܫ

matriks persamaan diferensial Harris Corner Detection ܯ

nilai red dalam color space RGB

ு nilai tanggapan detektor Harris citra

gradien gabungan dari operator Sobel vertikal dengan Sobel horisontal

௩ matriks operator Sobel vertikal

matriks operator Sobel horisontal

nilai piksel hasil konversi citra RGB ke grayscale

xiii

DAFTAR SINGKATAN

FAST Features from Accelerated Segment Test

FP False Positive

FN False Negative

GUI Graphical User Interface

HSI Hue, Saturation, Intensity

RGB Red, Green, Blue

TP True Positive

TN True Negative