biometrik untuk identifikasi individu

Biometrik untuk identifikasiindividu

29 September 2021

Dr. Anto Satriyo Nugroho

Pusat Unggulan Iptek (PUI) Biometrik

Pusat Teknologi Informasi & Komunikasi

Organisasi Riset Pengkajian & Penerapan Teknologi

INSTANSI Pusat Teknologi Informasi dan Komunikasi (PTIK), Organisasi Riset Pengkajian &

Penerapan Teknologi, Badan Riset Inovasi Nasional

JABATAN / PROFESI Perekayasa Madya IV-c

PENGALAMAN Penelitian di bidang Biometrik, Pengolahan Citra & Pengenalan Pola Ketua Indonesian Association for Pattern Recognition Wakil Indonesia (Governing Board Member) dalam International Association of

Pattern Recognition Komite Teknis 35-01 Badan Standardisasi Nasional Konsultan Penelitian Puslitbang Mabes Polri (2015) Tim Teknis e-KTP tahun 2012 Tim Ahli BPPT untuk Teknologi Informasi Komite Pemilihan Umum 2009 Dosen di Institut Teknologi Indonesia, Swiss German University, UNS Surakarta,

Univ. Al Azhar Indonesia Profesor Tamu Chukyo University Japan (2003-2007 ) Tim Indonesia dalam International Mathematics Olympiad (IMO XXX) di

Braunschweig, Jerman Barat (1989)

PENDIDIKAN Electrical & Computer Engineering, Nagoya Institute of Technology, Japan

(S1: 1995, S2: 2000, S3: 2003)

Riset Malaria di Nusa Tenggara Timur

Email : [email protected] : http://asnugroho.netBlog : http://asnugroho.wordpress.com

3

Agenda

• Pemanfaatan biometrik untuk deduplikasi data penduduk pada program KTP elektronik

• Manfaat data KTP-el

• Pengujian biometrik untuk reader KTP elektronik di PTIK OR-PPT

• Pemadanan wajah memakai KTP-elektronik

• Tantangan Masa Depan

4

Agenda






Verifikasi atau identifikasi otomatis

identitas seseorang dengan

memakai karakteristik fisiologis

(sidik jari, iris, wajah dsb.) atau

perilaku (suara, gerak tubuh dsb) Physiological characteristic

Behavioral characteristic

Source: Kevin Boyer lecture “Intro to Iris Biometrics”

What is Biometrics ?

Method Examples Characteristics

What you have ? User ID, account, ID card, badge, key

• can be shared• can be duplicated• can be stolen/lost

What you know ? Password, PIN, personal knowledge

• can be shared• can be forgotten• can be guessed

Who you are ?(biometrics)

fingerprint, iris, face, palm vein

• can not be shared• can not be forgotten• can not be stolen/lost

Authentication Methods Comparison

Fingerprint Recognition Milestones

Iris Recognition Milestones

Face Recognition Milestones

No. Project Name Biometrics traits Scale

1 US IDENT (US Visit) 2 fingers u/ residivis & org yg melanggar peraturan imigrasi

120M

2 EU-VIS (Visa Inf. System)

10 finger flat 70M

3 FBI IAFIS 10 finger, rolled FP 78M

(target: 120M)

4 UID 10 fingers, 2 iris + face 600M

5 KTP-el (e-KTP) 10 fingers, 2 iris + face 172M

Lima project biometric terbesar di dunia

KEnroller

Message Queue

MiddlewareBiometrics

Identification

Scheduler Database

Database

KECAMATAN

• Multimodal biometrics data : 10 fingerprints + 2 irides+ face are compared with all biometrics data stored in the national database to ensure the uniqueness

• Proprietary template

DATA CENTER

Deduplication Flow

21 Juli 2012

Identifikasi di Data Center KTP-el Kemendagri

• Data pribadi saya dapat ditemukandalam 39 detik pada Database Nasional hanya dengan memakaisidik jari.

• Data tersebut direkam 9 harisebelumnya di Karanganyar, JawaTengah (21 Juli 2012)

• Pencarian dilakukan tanggal 30 Juli2012, Data Center DukcapilKemendagri

13

Agenda






1. Negara memiliki data penduduk yang akurat yang dapat dimanfaatkan untukforensik, pemilu, BPJS, vaksinasi dan berbagai keperluan lain

2. Penduduk memiliki kartu identitas berbasis biometric (KTP Elektronik) untuklayanan publik

Manfaat Program KTP Elektronik

Identifikasi individu memakai data biometrik KTP-el

• Polri memiliki peralatan yang disebutMAMBIS (Mobile Automated Multi-Biometric Identification System)

• 1 Polres Kota/Kabupaten memiliki 2 perangkat MAMBIS untukmengidentifikasi korban kecelakaan, pembunuhan

Identifikasi Jenazah memakai Data KTP-el

Mambis (Mobile Automated Multi- Biometric Identification System)

1. Negara memiliki data penduduk yang akurat yang dapat dimanfaatkan untukforensik, pemilu, BPJS, vaksinasi dan berbagai keperluan lain

2. Penduduk memiliki kartu identitas berbasis biometric (KTP Elektronik) untuklayanan publik

Manfaat Program KTP Elektronik

KTP-el : perekaman, deduplikasi, penerbitan, reader

• If the deduplication result is unique, the card is issued, otherwise classified as duplicated identity

• Only two fingerprints data are stored in the KTP-el chip : left index finger & right index finger (default)

• The minutiae information (template) of the finger is stored in ISO/IEC 19794-2 format to maintain interoperability with templates generated by the other algorithm

Card Issuance

https://www.nist.gov/itl/iad/image-group/minutiae-interoperability-exchange-minex-iii

NIST Report of AFIS Performance (15 Maret 2021)

Fingerprint Minutiae & SNI ISO/IEC 19794-2

Mutual Authentication

Authenticated ?

Biometric verification :chip vs finger

match ?

Display the data

Start

Y

Y

card is not valid

the person is not the claimed identity

What you have ?

Who you are ?

N

N

Multi-Factor Authentication

24

Agenda






Reader KTP-el harus diuji untuk memastikan spesifikasinya memenuhi persyaratan yang tertulis dalamPeraturan Mendagri No.34 Tahun 2014

SNI ISO/IEC 19794-2

Pengujian Komponen Biometrik Reader KTP-el

Permendagri No.76 tahun 2020

• Standar SNI ISO/IEC 19794-2 yang kami hasilkan dalam kegiatan di BSN telah diadopsi dan dimuat pada Permendagri No.76 tahun 2020. Permendagri ini menggantikan versi sebelumnya, yaitu permendagrino.34 tahun 2014

• Standar ini merupakan adopsi identik dari ISO/IEC 19794-2 dan dipakaiuntuk mengatur penulisan data minutiae sidik jari pada KTP-elektronik

Pengujian Komponen Biometrik Reader KTP-el

• Sejak 2014, telahmenyelesaikan pengujianDevice Under Test untuk 33klien

• Pengujian dilakukan berdasarmetode yang telah didaftarkanHak Cipta-nya: No.000200698 dan No. 000182285

Layanan Teknologi untuk Klien Industri

• used by 162 institutions (2025

readers)

• Baintelkam Polri (929)

• Korlantas (250)

• BRI (127)

• BPR Karya Jatnika (100)

• BPJS (68)

• BNP2TKI (25)

http://www.dukcapil.kemendagri.go.id/detail/hindari-ktp-el-palsu-kemendagri-dorong-lembaga-pengguna-pakai-card-reader

Current Status of KTP-el Reader

Pemanfaatan Reader KTP-el di Polri

https://oto.detik.com/berita/d-5497697/daftar-lengkap-biaya-bikin-sim-baru-dan-biaya-perpanjangan-sim

Pemanfaatan Reader KTP-el di Polri

Verifikasi Voter Pilkades di Jembrana (29 Juli 2013)

32

Agenda






Kegiatan di Lab. Biometrik tahun 2021

• Sejak tahun 2020 mengembangkan pemadanan wajah memakai Open Source (ResNet-34), dimanfaatkanuntuk lembaga pemerintahan

• Pada tahun 2021, memodifikasi pemadanan wajah agar bisa dipakai untuk otentikasi memakai KTP elektronik untuk : otentikasi aplikasi SPBE, layanan publik yang memerlukan otentikasi dengan data di KTP elektronik

• Tantangan :

– kualitas foto pada chip KTP elektronik

– belum ada mutual authentication terhadap KTP-el

– live detection belum ada

Pemadanan Wajah antara 2 citra dengan kualitas berbeda

Smartphone dengan NFC(Near-Field Communication)

Pemadananwajahpenduduk & data KTP-el memakai“ResNet-34”

KTP-el

Wajah pegawai/individu

510

43456

70

Level 1 : Inter Pupillary Distance = 16 pixel

Level 3 : Inter Pupillary Distance = 70 pixel

Data Center Dukcapil Chip KTP elektronik

Format JPG raw image

File Size 59 KB (berbeda tiap foto) 1.7 KB (berbeda tiap foto)

Ukuran citra 480x600 56x70

IPD 136 pixel 16 pixel

IPD/Width 0.28 0.29

Data wajah dalam chip KTP elektronik

• Data wajah yang tersimpan dalam chip KTP elektronik memiliki kualitas berbeda dengandata asli

• Data asli yang tersimpan di Data Center : kualitas bagus, Inter-Pupillary Distance 136 pixel (level 3, IPD>75 pixel)

• Data tersimpan dalam chip KTP elektronik: kualitas tidak bagus, Inter-Pupillary Distance 16 pixel (level 1, IPD<30), karena ada ketentuan Permendagri bahwa data yg disimpandalam chip KTP elektronik tidak boleh lebih dari 3 KB

56 piksel

70 piksel16 piksel

Arsitektur Sistem : Model Pemadanan

Histogram Oriented Gradients

Histograms of Oriented Gradients for Human DetectionNavneet Dalal and Bill Triggs

Proceedings of the 2005 IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition (CVPR’05)

Residual Network ResNET-34

Deep residual learning for image recognitionK. He, X. Zhang, S. Ren, and J. Sun

arXiv preprint arXiv:1512.03385,2015

dim: 128dim: 150x150dim: 480x600

Deep Residual Network (ResNet)

• ResNet (Residual Network) dikembangkan oleh Microsoft pada tahun 2015

• "Deep Residual Learning for Image Recognition“, He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2015-12-10), arXiv:1512.03385

• Mengambil model yang dikembangkan oleh Davis King (http://blog.dlib.net/2017/02/high-quality-face-recognition-with-deep.html)

• Pretrained model dilatih untuk mengenali wajah. Evaluasi dengan dataset Labeled Faces in the Wild (LFW: http://vis-www.cs.umass.edu/lfw/) menghasilkan akurasi 99.38%

• ResNet memiliki 29 layer dimodifikasi dari ResNet-34 dengan beberapa layer yang dihapus dan jumlah filter tiap layer direduksi 50%

• ResNet tersebut dilatih dengan kira-kira 3 juta citra wajah, setelah difilter diperoleh 7485 identitas.

• Mulai dari inisialisasi network, model dilatih untuk membentuk non-overlapping ball tiap identitasdengan radius 0.6

Pretrained Model ResNet-34

0.60.6 0.6

A B C

http://blog.dlib.net/2017/02/high-quality-face-recognition-with-deep.html

http://vis-www.cs.umass.edu/lfw/

Performance Evaluation : Receiver Operating Characteristics

FRR : 10.08% ketika FAR : 0.01%

40

Agenda






Kegagalan pada sistem biometrik

The fish-bone model of fingerprint system illustrates the cause-effect relationships of system

failures as identified by Jain, Ross, and Pankanti (2006) and Jain, Nandakumar, and Nagar (2008).

Kegagalan pada sistem biometric (KTP-el Reader)

Tantangan masa depan : modifikasi informasi biometrik

A fake fingerprint spoof created at Michigan State University that possesses the optical, electrical, and mechanical properties of a real finger, aimed to test fingerprint scanners in order to make challenge and improve their fingerprint spoofing detection ability (https://www.bayometric.com/spoofing-fingerprint-scanner-and-spoof-detection/)

Tantangan masa depan : modifikasi informasi biometrik

Clauvino da Silva memakai topeng plastik menyaru sebagaianaknya (https://www.youtube.com/watch?v=NHl5nzuPq28)

Penutup

• Pemanfaatan biometrik semakin tinggi : fitur unlocking pada smartphone, pengenalan foto pada social media, attendance

• Permendagri No.76 tahun 2020 membuka peluang pemakaian wajah untuk verifikasi KTP-el (selama ini hanya bolehmemakai sidik jari)

• Lab. Biometrik telah mengkaji sistem verifikasi penduduk memakai KTP elektronik dan menyiapkan layananpengujian pemakaian wajah memakai KTP elektronik bagi industri dalam negeri

• Tantangan

• Pemadanan wajah memakai KTP elektronik mengalami kendala karena perbedaan kualitas citra wajah : level 1 vs level 3

• Mengatasi faktor ageing pada biometrics (face, fingerprint)

• Mengetahui asli tidaknya informasi biometrics (liveness detection)

• Mengetahui adanya perubahan pada informasi biometrik : fake face, spoofing attack

biometrik untuk identifikasi individu

Documents