lisensi ini mengizinkan setiap orang untuk menggubah ...kc.umn.ac.id/1634/1/halaman awal.pdf ·...
Post on 17-Sep-2018
213 Views
Preview:
TRANSCRIPT
Team project ©2017 Dony Pratidana S. Hum | Bima Agus Setyawan S. IIP
Hak cipta dan penggunaan kembali:
Lisensi ini mengizinkan setiap orang untuk menggubah, memperbaiki, dan membuat ciptaan turunan bukan untuk kepentingan komersial, selama anda mencantumkan nama penulis dan melisensikan ciptaan turunan dengan syarat yang serupa dengan ciptaan asli.
Copyright and reuse:
This license lets you remix, tweak, and build upon work non-commercially, as long as you credit the origin creator and license it on your new creations under the identical terms.
APLIKASI SPAM FILTER DENGAN METODE BAYESIAN
DAN URL FILTERING BERBASIS BLOOM FILTER
SKRIPSI
Diajukan sebagai salah satu syarat untuk memperoleh gelar
Sarjana Komputer
UNIVERSITAS MULTIMEDIA NUSANTARA
TANGERANG
2013
PENGESAHAN SKRIPSI
Nama : Irsyadul Halim Ahmada
NIM : 09110110103
Fakultas : Teknologi In
formasi dan Komunikasi
Program Studi : Teknik Informatika
APLIKASI SPAM FILTER DENGAN METODE BAYESIAN
DAN URL FILTERING BERBASIS BLOOM FILTER
Oleh
Tangerang, 2013
Ketua Sidang Dosen Penguji
Dosen Pembimbing I Dosen Pembimbing II
Ketua Program Studi Teknik Informatika
Maria Irmina P., S.Kom., M.T.
Nama : Irsyadul Halim Ahmada
NIM : 09110110103
Fakultas : Teknologi Informasi dan Komunikasi
Program Studi : Teknik Informatika
Dr. P M Winarno, M.Kom. Hargyo T. N. I., S.Kom., M.Sc.
Adhi Kusnadi, S.T., M.Si. Maria Irmina P., S.Kom., M.T.
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
Lembar Pernyataan Tidak Melakukan Plagiat dalam
Penyusunan Skripsi
Dengan ini saya:
Nama : Irsyadul Halim Ahmada
NIM : 09110110103
Fakultas : Teknologi Informasi dan Komunikasi
Program Studi : Teknik Informatika
Menyatakan bahwa skripsi ini adalah karya ilmiah saya sendiri, bukan hasil
plagiat dari karya ilmiah yang ditulis oleh orang lain atau lembaga lain, dan semua
karya ilmiah orang lain atau lembaga lain yang dirujuk dalam skripsi ini telah
disebutkan sumber kutipannya serta dicantumkan di Daftar Pustaka.
Tangerang, 2013
Irsyadul Halim Ahmada
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
Judul: Aplikasi Spam Filter dengan Metode Bayesian dan URL Filtering
Berbasis Bloom Filter
ABSTRAKSI
Spam Filter merupakan sebuah program atau aplikasi yang dapat menyaring
email-email spam secara otomatis dan dapat diimplementasikan pada sisi server
atau sisi client. Penelitian ini mengimplementasikan metode Bayesian Filtering
dan metode URL Filtering pada sisi client, yaitu pada add-on Microsoft Outlook.
Pertama email akan disaring menggunakan metode URL Filtering, kemudian jika
email lolos maka akan disaring menggunakan metode Bayesian Filtering. Metode
URL Filtering pada aplikasi ini telah dimodifikasi menggunakan Bloom filter
untuk mempercepat proses lookup blacklist URL. Hasil penelitian menunjukan
bahwa metode URL Filtering dan Bayesian Filtering telah berhasil
diimplementasikan dan mendapatkan hasil akurasi 93% dalam menyaring email
spam dan dengan diimplementasikan Bloom filter pada metode URL Filtering
dapat mempercepat lookup 10 non-existing elemen sebesar 525 kali lebih cepat
dibandingkan dengan lookup langsung ke database.
Kata kunci: Email, Spam Filter, Bayesian Filtering, URL Filtering, Bloom Filter,
Microsoft Outlook, Add-On
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
Title: Spam Filter Application with Bayesian Method and Bloom Filter Based
URL Filtering.
ABSTRACT
Spam filter is a program or application that can filter out spam emails
automatically and can be implemented on the server side or client side. This
research implements the Bayesian filtering method and URL filtering method.
Firstly email will be filtered using URL filtering method, and if it passes then
email will be filtered using Bayesian filtering method. URL filtering method in
this application has been modified by using Bloom filter to speed up the lookup
URL Blacklist process. The result showed that Bayesian filtering and URL
filtering method has been successfully implemented and get 93% accuracy in
filtering spam email. Bloom filter that implemented in URL Filtering can speed up
lookup process of 10 non-existing element at 525 time faster than direct lookup
into database.
Keywords: Email, Spam Filter, Bayesian Filtering, URL Filtering, Bloom Filter,
Microsoft Outlook, Add-On
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
KATA PENGANTAR
Puji syukur penulis panjatkan kepada Tuhan Yang Maha Esa, karena atas
berkat dan karunia-Nya penulis diberikan kekuatan untuk menyelesaikan
pembuatan skripsi ini yang berjudul “Aplikasi Spam Filter dengan Metode
Bayesian Filtering dan URL Filtering Berbasis Bloom Filter”.
Skripsi ini disusun dan diajukan sebagai salah satu syarat pemenuhan mata
kuliah Skripsi yang merupakan salah satu syarat kelulusan program studi S-1
Teknik Informatika Universitas Multimedia Nusantara.
Terselesaikannya skripsi ini tentunya tidak terlepas dari dukungan dan
motivasi dari berbagai pihak. Oleh karena itu, tidak lupa penulis sampaikan
ucapan terimakasih yang sebesar-besarnya kepada :
1. Kedua orang tua penulis yang selalu senantiasa memberikan semangat dan
dukungan dalam proses penyelesaian pembuatan dan penulisan skripsi.
2. Dr. Ninok Leksono selaku Rektor Universitas Multimedia Nusantara.
3. Bapak Hargyo Tri Nugroho I, S.Kom., M.Sc., Selaku Dosen Pembimbing
Skripsi 1
4. Bapak Dr. P M Winarno, M.Kom., Selaku Dosen Pembimbing Skripsi 2
5. Ibu Maria Irmina P., S.Kom., M.T., Selaku Kepala Program Studi Teknik
Informatika Universitas Multimedia Nusantara.
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
6. Teman-teman kelompok Selangbobacindang yaitu, Irfan, Erwin, Denny,
Antares, Bagus, Edwin, Ronal, David, Randy, dan Kevin yang telah
banyak membantu penulis dengan memberikan masukan dan memberikan
keceriaan selama pembuatan skripsi.
7. Sera Merdekani selaku partner yang senantiasa memberikan motivasi
selama pengerjaan skripsi ini.
8. Teman-teman satu penjuruan Teknik Informatika anggkatan 2009 yang
selalu menemani baik suka maupun duka dan memberikan keceriaan
selama 4 tahun studi.
9. Pihak-pihak lainnya yang tidak dapat penulis sebutkan satu persatu.
Besar harapan agar laporan skripsi ini dapat memberikan faedah bagi para
pembaca, khususnya kepada mahasiswa Universitas Multimedia Nusantara
sebagai dorongan untuk terus berkarya dan memberikan yang terbaik bagi
almamater, persada, dan sesama.
Tangerang, 2013
Penulis
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
DAFTAR ISI
HALAMAN JUDUL ................................................................................................ i
HALAMAN PENGESAHAN SKRIPSI ................................................................. ii
HALAMAN PERNYATAAN TIDAK MELAKUKAN PLAGIAT ..................... iii
ABSTRAKSI ......................................................................................................... iv
ABSTRACT ............................................................................................................. v
KATA PENGANTAR ........................................................................................... vi
DAFTAR ISI ........................................................................................................ viii
DAFTAR GAMBAR ............................................................................................. xi
DAFTAR TABEL ................................................................................................ xiii
DAFTAR RUMUS .............................................................................................. xiv
BAB I PENDAHULUAN ........................................................................................ 1
1.1 Latar Belakang .......................................................................................... 1
1.2 Perumusan Masalah ................................................................................... 6
1.3 Batasan Masalah ........................................................................................ 7
1.4 Tujuan Penelitian ....................................................................................... 7
1.5 Manfaat Penelitian ..................................................................................... 7
1.6 Sistematika Penulisan ................................................................................ 8
BAB II LANDASAN TEORI ................................................................................ 10
2.1 Spam ................................................................................................................. 10
2.2 Metode Bayesian ............................................................................................ 11
2.2.1 Definisi Bayesian ................................................................................... 11
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
2.2.2 Bayesian Filter ........................................................................................ 11
2.2.3 Kelemahan Bayesian Filter .............................................................. 14
2.3 Metode URL Filtering ............................................................................. 14
2.4 Fungsi Hash ............................................................................................. 14
2.4.1 Cyclic Redundancy Chech 32 (CRC32) .......................................... 15
2.4.2 Message Digest Algorithm 5 (MD5) ............................................... 15
2.4.3 Secure Hash Algorithm 256 (SHA256) ........................................... 16
2.5 Bloom Filter ............................................................................................ 16
BAB III METODOLOGI PENELITIAN............................................................... 26
3.1 Metode Penelitian .................................................................................... 26
3.2 Spesifikasi Umum Sistem ....................................................................... 27
3.3 Sistem Penyaringan ................................................................................. 28
3.4 Diagram Alir ............................................................................................ 29
3.5 Diagram Arus Data .................................................................................. 32
3.7 Struktur Navigasi Menu .......................................................................... 39
3.8 Desain Antarmuka Aplikasi .................................................................... 41
BAB IV UJI COBA DAN PEMBAHASAN ......................................................... 45
4.1 Spesifikasi Perangkat .............................................................................. 45
4.2 Implementasi ........................................................................................... 45
4.3 Implementasi Metode URL Filtering ...................................................... 48
4.4 Implementasi Metode Bayesian Filtering ................................................ 58
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
4.4 Uji Coba Spam Filter ............................................................................... 62
BAB V KESIMPULAN DAN SARAN ................................................................. 64
5.1 Kesimpulan .............................................................................................. 64
5.2 Saran ........................................................................................................ 65
DAFTAR PUSTAKA ............................................................................................ 66
LAMPIRAN
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
DAFTAR GAMBAR
Gambar 1.1 Statistik Negara Penyebar Spam Kuartal Pertama 2013 ...................... 2
Gambar 1.2 Statistik Regional Penyebar Spam Kuartal Pertama 2013 ................... 3
Gambar 2.1 Ilustrasi implementasi Bloom filter pada Network Intrusion Detection
System dengan pemetaan panjang byte yang berbeda ........................................... 17
Gambar 2.2 Ilustrasi Bloom Filter ......................................................................... 19
Gambar 2.3 Contoh Penambahan dan Query Bloom Filter ................................... 20
Gambar 2.4 False Positive Rate dari Bloom Filter ................................................ 25
Gambar 3.1 Diagram Alir Aplikasi Spam Filter .................................................... 30
Gambar 3.2 Diagram Arus Data Top Level ........................................................... 33
Gambar 3.3 Diagram Arus Data Level 1 ............................................................... 33
Gambar 3.4 Diagram Arus Data Level 2 untuk URL Filtering ............................. 34
Gambar 3.5 Diagram Arus Data Level 2 untuk Bayesian Filtering ...................... 35
Gambar 3.6 Struktur Navigasi Menu Aplikasi ....................................................... 39
Gambar 3.7 Menu Utama Add-On ......................................................................... 41
Gambar 3.8 Halaman Add New URL Blacklist ..................................................... 42
Gambar 3.9 Halaman Delete URL Blacklist .......................................................... 42
Gambar 3.10 Halaman About Add-On .................................................................. 43
Gambar 3.11 Halaman How to Use ....................................................................... 44
Gambar 4.1 Menu Uama Add-On Spam Filter ...................................................... 46
Gambar 4.2 Halaman About .................................................................................. 46
Gambar 4.3 Halaman How to Use ......................................................................... 47
Gambar 4.4 Potongan Kode Untuk Mendapatkan Email Baru .............................. 48
Gambar 4.5 Potongan Kode Untuk Pemisahan URL Part 1 .................................. 49
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
Gambar 4.6 Potongan Kode Untuk Pemisahan URL Part 2 .................................. 50
Gambar 4.7 Potongan Kode Untuk Lookup Data .................................................. 51
Gambar 4.8 Halaman Add New Blacklist URL ..................................................... 51
Gambar 4.9 Halaman Delete Blacklist URL .......................................................... 52
Gambar 4.10 Potongan Kode Program Pembuatan Bloom Filter .......................... 53
Gambar 4.11 Waktu Yang Dipakai Untuk Membuat Struktur Bloom Filter ......... 54
Gambar 4.12 Waktu Yang Diperlukan Untuk Lookup 1 Buah Data ..................... 55
Gambar 4.13 Cek False Positive Rate Dengan Satu Juta Data .............................. 56
Gambar 4.14 Waktu Lookup Dengan Bloom Filter ............................................... 57
Gambar 4.14 Waktu Lookup Dengan Direct DB ................................................... 57
Gambar 4.16 Potongan Kode Cek Probabilitas Kata ............................................. 59
Gambar 4.17 Waktu Training Bayesian Filter ....................................................... 61
Gambar 4.18 Uji Coba Spam Filter ....................................................................... 62
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
DAFTAR TABEL
Tabel 2.1 Kunci Parameter Bloom Filter ............................................................... 21
Tabel 3.1 Struktur Tabel Blacklist ......................................................................... 37
Tabel 3.2 Struktur Tabel GoodWords .................................................................... 38
Tabel 3.3 Struktur Tabel BadWords ...................................................................... 38
Tabel 3.4 Struktur Tabel SpamProbability ............................................................ 38
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
DAFTAR RUMUS
Rumus 2.1 Rumus probabilitas local kata .............................................................. 12
Rumus 2.2 Rumus probabilitas local kata modified .............................................. 13
Rumus 2.3 Rumus Bayesian Chaim Rule .............................................................. 13
Rumus 2.4 Rumus kemungkinan bit not set .......................................................... 22
Rumus 2.5 Rumus Kemungkinan bit not set (dengan k) ........................................ 22
Rumus 2.6 Rumus Kemungkinan bit not set (dengan k dan n) .............................. 22
Rumus 2.7 Rumus Kemungkinan False Positive ................................................... 23
Rumus 2.8 Rumus Mencari K Optimal 1 ............................................................... 23
Rumus 2.9 Rumus Mencari K Optimal 2 ............................................................... 23
Rumus 2.10 Rumus Mencari FPR .......................................................................... 23
Rumus 2.11 Rumus Mencari Jumlah bit m ............................................................ 24
Rumus 2.12 Rumus Mencari k dengan p ............................................................... 24
Rumus 2.13 Rumus Mencari Jumlah Element Maximal ....................................... 24
Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014
top related