lisensi ini mengizinkan setiap orang untuk menggubah ...kc.umn.ac.id/1634/1/halaman awal.pdf ·...

Team project ©2017 Dony Pratidana S. Hum | Bima Agus Setyawan S. IIP

Hak cipta dan penggunaan kembali:

Lisensi ini mengizinkan setiap orang untuk menggubah, memperbaiki, dan membuat ciptaan turunan bukan untuk kepentingan komersial, selama anda mencantumkan nama penulis dan melisensikan ciptaan turunan dengan syarat yang serupa dengan ciptaan asli.

Copyright and reuse:

This license lets you remix, tweak, and build upon work non-commercially, as long as you credit the origin creator and license it on your new creations under the identical terms.

APLIKASI SPAM FILTER DENGAN METODE BAYESIAN

DAN URL FILTERING BERBASIS BLOOM FILTER

SKRIPSI

Diajukan sebagai salah satu syarat untuk memperoleh gelar

Sarjana Komputer

UNIVERSITAS MULTIMEDIA NUSANTARA

TANGERANG

2013

PENGESAHAN SKRIPSI

Nama : Irsyadul Halim Ahmada

NIM : 09110110103

Fakultas : Teknologi In

formasi dan Komunikasi

Program Studi : Teknik Informatika

APLIKASI SPAM FILTER DENGAN METODE BAYESIAN

DAN URL FILTERING BERBASIS BLOOM FILTER

Oleh

Tangerang, 2013

Ketua Sidang Dosen Penguji

Dosen Pembimbing I Dosen Pembimbing II

Ketua Program Studi Teknik Informatika

Maria Irmina P., S.Kom., M.T.


NIM : 09110110103

Fakultas : Teknologi Informasi dan Komunikasi


Dr. P M Winarno, M.Kom. Hargyo T. N. I., S.Kom., M.Sc.

Adhi Kusnadi, S.T., M.Si. Maria Irmina P., S.Kom., M.T.

Aplikasi Spam ..., Irsyadul Halim Ahmada, FTI UMN, 2014

Lembar Pernyataan Tidak Melakukan Plagiat dalam

Penyusunan Skripsi

Dengan ini saya:


NIM : 09110110103

Fakultas : Teknologi Informasi dan Komunikasi


Menyatakan bahwa skripsi ini adalah karya ilmiah saya sendiri, bukan hasil

plagiat dari karya ilmiah yang ditulis oleh orang lain atau lembaga lain, dan semua

karya ilmiah orang lain atau lembaga lain yang dirujuk dalam skripsi ini telah

disebutkan sumber kutipannya serta dicantumkan di Daftar Pustaka.

Tangerang, 2013

Irsyadul Halim Ahmada


Judul: Aplikasi Spam Filter dengan Metode Bayesian dan URL Filtering

Berbasis Bloom Filter

ABSTRAKSI

Spam Filter merupakan sebuah program atau aplikasi yang dapat menyaring

email-email spam secara otomatis dan dapat diimplementasikan pada sisi server

atau sisi client. Penelitian ini mengimplementasikan metode Bayesian Filtering

dan metode URL Filtering pada sisi client, yaitu pada add-on Microsoft Outlook.

Pertama email akan disaring menggunakan metode URL Filtering, kemudian jika

email lolos maka akan disaring menggunakan metode Bayesian Filtering. Metode

URL Filtering pada aplikasi ini telah dimodifikasi menggunakan Bloom filter

untuk mempercepat proses lookup blacklist URL. Hasil penelitian menunjukan

bahwa metode URL Filtering dan Bayesian Filtering telah berhasil

diimplementasikan dan mendapatkan hasil akurasi 93% dalam menyaring email

spam dan dengan diimplementasikan Bloom filter pada metode URL Filtering

dapat mempercepat lookup 10 non-existing elemen sebesar 525 kali lebih cepat

dibandingkan dengan lookup langsung ke database.

Kata kunci: Email, Spam Filter, Bayesian Filtering, URL Filtering, Bloom Filter,

Microsoft Outlook, Add-On


Title: Spam Filter Application with Bayesian Method and Bloom Filter Based

URL Filtering.

ABSTRACT

Spam filter is a program or application that can filter out spam emails

automatically and can be implemented on the server side or client side. This

research implements the Bayesian filtering method and URL filtering method.

Firstly email will be filtered using URL filtering method, and if it passes then

email will be filtered using Bayesian filtering method. URL filtering method in

this application has been modified by using Bloom filter to speed up the lookup

URL Blacklist process. The result showed that Bayesian filtering and URL

filtering method has been successfully implemented and get 93% accuracy in

filtering spam email. Bloom filter that implemented in URL Filtering can speed up

lookup process of 10 non-existing element at 525 time faster than direct lookup

into database.

Keywords: Email, Spam Filter, Bayesian Filtering, URL Filtering, Bloom Filter,

Microsoft Outlook, Add-On


KATA PENGANTAR

Puji syukur penulis panjatkan kepada Tuhan Yang Maha Esa, karena atas

berkat dan karunia-Nya penulis diberikan kekuatan untuk menyelesaikan

pembuatan skripsi ini yang berjudul “Aplikasi Spam Filter dengan Metode

Bayesian Filtering dan URL Filtering Berbasis Bloom Filter”.

Skripsi ini disusun dan diajukan sebagai salah satu syarat pemenuhan mata

kuliah Skripsi yang merupakan salah satu syarat kelulusan program studi S-1

Teknik Informatika Universitas Multimedia Nusantara.

Terselesaikannya skripsi ini tentunya tidak terlepas dari dukungan dan

motivasi dari berbagai pihak. Oleh karena itu, tidak lupa penulis sampaikan

ucapan terimakasih yang sebesar-besarnya kepada :

1. Kedua orang tua penulis yang selalu senantiasa memberikan semangat dan

dukungan dalam proses penyelesaian pembuatan dan penulisan skripsi.

2. Dr. Ninok Leksono selaku Rektor Universitas Multimedia Nusantara.

3. Bapak Hargyo Tri Nugroho I, S.Kom., M.Sc., Selaku Dosen Pembimbing

Skripsi 1

4. Bapak Dr. P M Winarno, M.Kom., Selaku Dosen Pembimbing Skripsi 2

5. Ibu Maria Irmina P., S.Kom., M.T., Selaku Kepala Program Studi Teknik

Informatika Universitas Multimedia Nusantara.


6. Teman-teman kelompok Selangbobacindang yaitu, Irfan, Erwin, Denny,

Antares, Bagus, Edwin, Ronal, David, Randy, dan Kevin yang telah

banyak membantu penulis dengan memberikan masukan dan memberikan

keceriaan selama pembuatan skripsi.

7. Sera Merdekani selaku partner yang senantiasa memberikan motivasi

selama pengerjaan skripsi ini.

8. Teman-teman satu penjuruan Teknik Informatika anggkatan 2009 yang

selalu menemani baik suka maupun duka dan memberikan keceriaan

selama 4 tahun studi.

9. Pihak-pihak lainnya yang tidak dapat penulis sebutkan satu persatu.

Besar harapan agar laporan skripsi ini dapat memberikan faedah bagi para

pembaca, khususnya kepada mahasiswa Universitas Multimedia Nusantara

sebagai dorongan untuk terus berkarya dan memberikan yang terbaik bagi

almamater, persada, dan sesama.

Tangerang, 2013

Penulis


DAFTAR ISI

HALAMAN JUDUL ................................................................................................ i

HALAMAN PENGESAHAN SKRIPSI ................................................................. ii

HALAMAN PERNYATAAN TIDAK MELAKUKAN PLAGIAT ..................... iii

ABSTRAKSI ......................................................................................................... iv

ABSTRACT ............................................................................................................. v

KATA PENGANTAR ........................................................................................... vi

DAFTAR ISI ........................................................................................................ viii

DAFTAR GAMBAR ............................................................................................. xi

DAFTAR TABEL ................................................................................................ xiii

DAFTAR RUMUS .............................................................................................. xiv

BAB I PENDAHULUAN ........................................................................................ 1

1.1 Latar Belakang .......................................................................................... 1

1.2 Perumusan Masalah ................................................................................... 6

1.3 Batasan Masalah ........................................................................................ 7

1.4 Tujuan Penelitian ....................................................................................... 7

1.5 Manfaat Penelitian ..................................................................................... 7

1.6 Sistematika Penulisan ................................................................................ 8

BAB II LANDASAN TEORI ................................................................................ 10

2.1 Spam ................................................................................................................. 10

2.2 Metode Bayesian ............................................................................................ 11

2.2.1 Definisi Bayesian ................................................................................... 11


2.2.2 Bayesian Filter ........................................................................................ 11

2.2.3 Kelemahan Bayesian Filter .............................................................. 14

2.3 Metode URL Filtering ............................................................................. 14

2.4 Fungsi Hash ............................................................................................. 14

2.4.1 Cyclic Redundancy Chech 32 (CRC32) .......................................... 15

2.4.2 Message Digest Algorithm 5 (MD5) ............................................... 15

2.4.3 Secure Hash Algorithm 256 (SHA256) ........................................... 16

2.5 Bloom Filter ............................................................................................ 16

BAB III METODOLOGI PENELITIAN............................................................... 26

3.1 Metode Penelitian .................................................................................... 26

3.2 Spesifikasi Umum Sistem ....................................................................... 27

3.3 Sistem Penyaringan ................................................................................. 28

3.4 Diagram Alir ............................................................................................ 29

3.5 Diagram Arus Data .................................................................................. 32

3.7 Struktur Navigasi Menu .......................................................................... 39

3.8 Desain Antarmuka Aplikasi .................................................................... 41

BAB IV UJI COBA DAN PEMBAHASAN ......................................................... 45

4.1 Spesifikasi Perangkat .............................................................................. 45

4.2 Implementasi ........................................................................................... 45

4.3 Implementasi Metode URL Filtering ...................................................... 48

4.4 Implementasi Metode Bayesian Filtering ................................................ 58


4.4 Uji Coba Spam Filter ............................................................................... 62

BAB V KESIMPULAN DAN SARAN ................................................................. 64

5.1 Kesimpulan .............................................................................................. 64

5.2 Saran ........................................................................................................ 65

DAFTAR PUSTAKA ............................................................................................ 66

LAMPIRAN


DAFTAR GAMBAR

Gambar 1.1 Statistik Negara Penyebar Spam Kuartal Pertama 2013 ...................... 2

Gambar 1.2 Statistik Regional Penyebar Spam Kuartal Pertama 2013 ................... 3

Gambar 2.1 Ilustrasi implementasi Bloom filter pada Network Intrusion Detection

System dengan pemetaan panjang byte yang berbeda ........................................... 17

Gambar 2.2 Ilustrasi Bloom Filter ......................................................................... 19

Gambar 2.3 Contoh Penambahan dan Query Bloom Filter ................................... 20

Gambar 2.4 False Positive Rate dari Bloom Filter ................................................ 25

Gambar 3.1 Diagram Alir Aplikasi Spam Filter .................................................... 30

Gambar 3.2 Diagram Arus Data Top Level ........................................................... 33

Gambar 3.3 Diagram Arus Data Level 1 ............................................................... 33

Gambar 3.4 Diagram Arus Data Level 2 untuk URL Filtering ............................. 34

Gambar 3.5 Diagram Arus Data Level 2 untuk Bayesian Filtering ...................... 35

Gambar 3.6 Struktur Navigasi Menu Aplikasi ....................................................... 39

Gambar 3.7 Menu Utama Add-On ......................................................................... 41

Gambar 3.8 Halaman Add New URL Blacklist ..................................................... 42

Gambar 3.9 Halaman Delete URL Blacklist .......................................................... 42

Gambar 3.10 Halaman About Add-On .................................................................. 43

Gambar 3.11 Halaman How to Use ....................................................................... 44

Gambar 4.1 Menu Uama Add-On Spam Filter ...................................................... 46

Gambar 4.2 Halaman About .................................................................................. 46

Gambar 4.3 Halaman How to Use ......................................................................... 47

Gambar 4.4 Potongan Kode Untuk Mendapatkan Email Baru .............................. 48

Gambar 4.5 Potongan Kode Untuk Pemisahan URL Part 1 .................................. 49


Gambar 4.6 Potongan Kode Untuk Pemisahan URL Part 2 .................................. 50

Gambar 4.7 Potongan Kode Untuk Lookup Data .................................................. 51

Gambar 4.8 Halaman Add New Blacklist URL ..................................................... 51

Gambar 4.9 Halaman Delete Blacklist URL .......................................................... 52

Gambar 4.10 Potongan Kode Program Pembuatan Bloom Filter .......................... 53

Gambar 4.11 Waktu Yang Dipakai Untuk Membuat Struktur Bloom Filter ......... 54

Gambar 4.12 Waktu Yang Diperlukan Untuk Lookup 1 Buah Data ..................... 55

Gambar 4.13 Cek False Positive Rate Dengan Satu Juta Data .............................. 56

Gambar 4.14 Waktu Lookup Dengan Bloom Filter ............................................... 57

Gambar 4.14 Waktu Lookup Dengan Direct DB ................................................... 57

Gambar 4.16 Potongan Kode Cek Probabilitas Kata ............................................. 59

Gambar 4.17 Waktu Training Bayesian Filter ....................................................... 61

Gambar 4.18 Uji Coba Spam Filter ....................................................................... 62


DAFTAR TABEL

Tabel 2.1 Kunci Parameter Bloom Filter ............................................................... 21

Tabel 3.1 Struktur Tabel Blacklist ......................................................................... 37

Tabel 3.2 Struktur Tabel GoodWords .................................................................... 38

Tabel 3.3 Struktur Tabel BadWords ...................................................................... 38

Tabel 3.4 Struktur Tabel SpamProbability ............................................................ 38


DAFTAR RUMUS

Rumus 2.1 Rumus probabilitas local kata .............................................................. 12

Rumus 2.2 Rumus probabilitas local kata modified .............................................. 13

Rumus 2.3 Rumus Bayesian Chaim Rule .............................................................. 13

Rumus 2.4 Rumus kemungkinan bit not set .......................................................... 22

Rumus 2.5 Rumus Kemungkinan bit not set (dengan k) ........................................ 22

Rumus 2.6 Rumus Kemungkinan bit not set (dengan k dan n) .............................. 22

Rumus 2.7 Rumus Kemungkinan False Positive ................................................... 23

Rumus 2.8 Rumus Mencari K Optimal 1 ............................................................... 23

Rumus 2.9 Rumus Mencari K Optimal 2 ............................................................... 23

Rumus 2.10 Rumus Mencari FPR .......................................................................... 23

Rumus 2.11 Rumus Mencari Jumlah bit m ............................................................ 24

Rumus 2.12 Rumus Mencari k dengan p ............................................................... 24

Rumus 2.13 Rumus Mencari Jumlah Element Maximal ....................................... 24


lisensi ini mengizinkan setiap orang untuk menggubah ...kc.umn.ac.id/1634/1/halaman awal.pdf ·...

Documents