CONTOH PERHITUNGAN ID3 DAN C4.5 (STUDI KASUS: KELAYAKAN KREDIT)

Sample Data

ID PEMOHON

PENGHASILAN PER BULAN

STATUS PEKERJAAN

SIKAP PEMOHON DI LINGKUNGAN

KEPEMILIKAN RUMAH

LAYAK KREDIT?

PEMOHON1 > 3X ANGSURAN KARYAWAN TETAP BERMASALAH RUMAH SENDIRI YA

PEMOHON2 > 3X ANGSURAN KARYAWAN TETAP BAIK RUMAH SENDIRI YA

PEMOHON3> 3X ANGSURAN PUNYA USAHA BERMASALAH

RUMAH KONTRAK

YA

PEMOHON4> 3X ANGSURAN

KARYAWAN HONORER

BAIK RUMAH SENDIRI YA

PEMOHON5 > 3X ANGSURAN PUNYA USAHA BERMASALAH RUMAH SENDIRI YA

PEMOHON6> 3X ANGSURAN PUNYA USAHA BAIK

RUMAH KONTRAK

YA

PEMOHON72 - < 3X ANGSURAN

KARYAWAN HONORER

BAIK RUMAH SENDIRI YA

PEMOHON8> 3X ANGSURAN PUNYA USAHA BAIK

RUMAH KONTRAK

YA

PEMOHON92 - < 3X ANGSURAN

KARYAWAN HONORER

BAIK RUMAH SENDIRI YA

PEMOHON102 - < 3X ANGSURAN

PUNYA USAHA BERMASALAHRUMAH KONTRAK

TIDAK

PEMOHON11< 2X ANGSURAN

KARYAWAN HONORER

BAIKRUMAH KONTRAK

TIDAK

PEMOHON12 < 2X ANGSURAN KARYAWAN TETAP BERMASALAH RUMAH SENDIRI TIDAK

PEMOHON132 - < 3X ANGSURAN

KARYAWAN TETAP BERMASALAHRUMAH KONTRAK

TIDAK

PEMOHON142 - < 3X ANGSURAN

PUNYA USAHA BERMASALAH RUMAH SENDIRI TIDAK

IMPLEMENTASI POHON KEPUTUSAN ID3Rumus Entropy:

Entropy(Total) = ((-total sample layak)/total sample keseluruhan)*log2((total sample layak)/total sample keseluruhan) + ((-total sample tidak layak)/total sample keseluruhan)*log2((total sample tidak layak)/total sample keseluruhan)= (-9/14)*LOG2(9/14)) + ((-5/14)*LOG2(5/14) = 0,9402Rumus Information Gain:

Information Gain(Sikap di Lingkungan) = Entropy(Total) – ((jumlah kasus(baik)/jumlah kasus(total)*entropy(baik) - ((jumlah kasus(bermasalah)/jumlah kasus(total)*entropy(bermasalah)= 0,9402 – ((7/14)*0,9852) – ((7/14)*0,5916) = 0,1518

Iterasi 1

   

JML KASUS

YA

TIDAK

ENTROPY

INF GAIN

TOTAL   14 9 5 0,940286  

PENGHASILAN           0,24675

  > 3X ANGSURAN 4 4 0 0  

 2 - < 3X ANGSURAN 5 3 2

0,9709506  

  < 2X ANGSURAN 5 2 30,9709506  

STATUS PEKERJAAN          

0,0292226

 KARYAWAN HONORER 4 3 1

0,8112781  

 KARYAWAN TETAP 4 2 2 1  

  PUNYA USAHA 6 4 20,9182958  

SIKAP DI LINGKUNGAN          

0,1518355

  BERMASALAH 7 3 40,9852281  

  BAIK 7 6 10,5916728  

KEPEMILIKAN RUMAH          

0,048127

  RUMAH SENDIRI 8 6 20,8112781  

  RUMAH KONTRAK 6 3 3 1  Atribut “penghasilan” memiliki information gain terbesar, sehingga dijadikan root node.

POHON KEPUTUSAN:PENGHASILAN ?

> 3X ANGSURAN = YA (YA=4, TIDAK=0)2 - < 3X ANGSURAN = ? (YA=3, TIDAK=2)< 2X ANGSURAN = ? (YA=2, TIDAK=3)

Iterasi 2

PENGHASILAN = 2 - < 3X ANGSURAN

JML KASUS YA TIDAK ENTROPY

INF GAIN

TOTAL   5 3 2 0,9709506  

STATUS PEKERJAAN           0,0199731

 KARYAWAN HONORER 2 1 1 1  

  KARYAWAN TETAP 0 0 0 0  

  PUNYA USAHA 3 2 1 0,9182958  SIKAP DI LINGKUNGAN           0,0199731

  BERMASALAH 2 1 1 1  

  BAIK 3 2 1 0,9182958  KEPEMILIKAN RUMAH           0,419973

  RUMAH SENDIRI 2 2 0 0  

  RUMAH KONTRAK 3 1 2 0,9182958  Atribut “kepemilikan rumah” memiliki information gain terbesar, sehingga dijadikan internal node dari “penghasilan = 2 - < 3x angsuran”

POHON KEPUTUSAN:PENGHASILAN ?

> 3X ANGSURAN = YA (YA=4, TIDAK=0)2 - < 3X ANGSURAN = ? (YA=3, TIDAK=2)

KEPEMILIKAN RUMAH ?RUMAH SENDIRI = YA (YA=2, TIDAK=0)RUMAH KONTRAK = ? (YA=1, TIDAK=2)

< 2X ANGSURAN = ? (YA=2, TIDAK=3)

Iterasi 3

PENGHASILAN = < 2X ANGSURAN

JML KASUS YA TIDAK ENTROPY

INF GAIN

TOTAL   5 2 3 0,940286  

STATUS PEKERJAAN           0,5709506

 KARYAWAN HONORER 1 1 0 0  

  KARYAWAN TETAP 2 0 2 0  

  PUNYA USAHA 2 1 1 1  SIKAP DI LINGKUNGAN           0,970951

  BERMASALAH 3 0 3 0  

  BAIK 2 2 0 0  KEPEMILIKAN RUMAH           0,0199731

  RUMAH SENDIRI 3 1 2 0,9182958  

  RUMAH KONTRAK 2 1 1 1  Atribut “sikap di lingkungan” memiliki information gain terbesar, sehingga dijadikan internal node dari “penghasilan = <2x angsuran”

POHON KEPUTUSAN:PENGHASILAN ?

> 3X ANGSURAN = YA (YA=4, TIDAK=0)2 - < 3X ANGSURAN = ? (YA=3, TIDAK=2)

KEPEMILIKAN RUMAH ?RUMAH SENDIRI = YA (YA=2, TIDAK=0)RUMAH KONTRAK = ? (YA=1, TIDAK=2)

< 2X ANGSURAN = ? (YA=2, TIDAK=3)SIKAP DI LINGKUNGAN ?

BAIK = YA (YA=2, TIDAK=0)BERMASALAH = TIDAK (YA=0, TIDAK=3)

Iterasi 4

PENGHASILAN = 2 - <3X ANGSURAN, KEPEMILIKAN RUMAH = RUMAH KONTRAK

JML KASUS YA TIDAK ENTROPY

INF GAIN

TOTAL   3 1 2 0,9182958  

STATUS PEKERJAAN           0,2516291

 KARYAWAN HONORER 1 0 1 0  

  KARYAWAN TETAP 0 0 0 0  

  PUNYA USAHA 2 1 1 1  SIKAP DI LINGKUNGAN           0,2516291

  BERMASALAH 1 0 1 0  

  BAIK 2 1 1 1  Atribut “status pekerjaan” dan “sikap di lingkungan” memiliki information gain yag sama. Karena itu, maka salah satu saja yang dipilih. Misal “status pekerjaan”dijadikan internal node dari “penghasilan = 2 - <3x angsuran, kepemilikan rumah = rumah kontrak”POHON KEPUTUSAN:PENGHASILAN ?

> 3X ANGSURAN = YA (YA=4, TIDAK=0)2 - < 3X ANGSURAN = ? (YA=3, TIDAK=2)

KEPEMILIKAN RUMAH ?RUMAH SENDIRI = YA (YA=2, TIDAK=0)RUMAH KONTRAK = ? (YA=1, TIDAK=2)

STATUS PEKERJAAN ?KARYAWAN HONORER = TIDAK (YA=0, TIDAK=1)KARYAWAN TETAP = NULLPUNYA USAHA = ? (YA=1, TIDAK=1)

< 2X ANGSURAN = ? (YA=2, TIDAK=3)SIKAP DI LINGKUNGAN ?

BAIK = YA (YA=2, TIDAK=0)BERMASALAH = TIDAK (YA=0, TIDAK=3)

Iterasi 5PENGHASILAN = 2 - <3X ANGSURAN, KEPEMILIKAN RUMAH = RUMAH KONTRAK, STATUS PEKERJAAN = PUNYA USAHA

JML KASUS YA TIDAK ENTROPY

INF GAIN

TOTAL   2 1 1 1  SIKAP DI LINGKUNGAN           0,2516291

  BERMASALAH 1 0 1 0  

  BAIK 1 1 0 0  

POHON KEPUTUSAN:PENGHASILAN ?| > 3X ANGSURAN = YA (YA=4, TIDAK=0)| 2 - < 3X ANGSURAN = ? (YA=3, TIDAK=2)| | KEPEMILIKAN RUMAH ?| | | RUMAH SENDIRI = YA (YA=2, TIDAK=0)| | | RUMAH KONTRAK = ? (YA=1, TIDAK=2)| | | | STATUS PEKERJAAN ?| | | | | KARYAWAN HONORER = TIDAK (YA=0, TIDAK=1)| | | | | KARYAWAN TETAP = NULL| | | | | PUNYA USAHA = ? (YA=1, TIDAK=1)| | | | | | SIKAP DI LINGKUNGAN ?| | | | | | | BAIK = YA (YA=1, TIDAK=0)| | | | | | | BERMASALAH = TIDAK (YA=0, TIDAK=1)| < 2X ANGSURAN = ? (YA=2, TIDAK=3)| | SIKAP DI LINGKUNGAN ?| | | BAIK = YA (YA=2, TIDAK=0)| | | BERMASALAH = TIDAK (YA=0, TIDAK=3)

HASIL POHON KEPUTUSAN ID3:

RULE: IF PENGHASILAN = > 3X ANGSURAN THEN KELAYAKAN = LAYAK IF PENGHASILAN = 2 - <3X ANGSURAN AND KEPEMILIKAN RUMAH = RUMAH

SENDIRI THEN KELAYAKAN = LAYAK IF PENGHASILAN = 2 - <3X ANGSURAN AND KEPEMILIKAN RUMAH = RUMAH

KONTRAK AND STATUS PEKERJAAN = KARYAWAN HONORER THEN KELAYAKAN = TIDAK LAYAK

IF PENGHASILAN = 2 - <3X ANGSURAN AND KEPEMILIKAN RUMAH = RUMAH KONTRAK AND STATUS PEKERJAAN = PUNYA USAHA AND SIKAP DI LINGKUNGAN = BAIK THEN KELAYAKAN = LAYAK

IF PENGHASILAN = 2 - <3X ANGSURAN AND KEPEMILIKAN RUMAH = RUMAH KONTRAK AND STATUS PEKERJAAN = PUNYA USAHA AND SIKAP DI LINGKUNGAN = BERMASALAH THE KELAYAKAN = TIDAK LAYAK

IF PENGHASILAN = < 2X ANGSURAN AND SIKAP DI LINGKUNGAN = BAIK THEN KELAYAKAN = LAYAK

Penghasilan

2 - < 3x Angsuran > 3x Angsuran < 2x Angsuran

Rumah SendiriRumah Kontrak

Status Pekerjaan

BaikBermasalah

Karyawan Tetap Punya UsahaKaryawan Honorer

Sikap di LingkunganKepemilikan Rumah

Tidak Layak ???

Layak

Layak=3Tidak=2

Sikap di Lingkungan

Bermasalah Baik

LayakLayak

LayakTidak Layak

Tidak Layak

Layak=2Tidak=3

Layak=4Tidak=0

Layak=0Tidak=1

Layak=1Tidak=2

Layak=0Tidak=3

Layak=2Tidak=0

Layak=0Tidak=1

Layak=0Tidak=0

Layak=1Tidak=1

Layak=2Tidak=0

Layak=1Tidak=0

IF PENGHASILAN = < 2X ANGSURAN AND SIKAP DI LINGKUNGAN = BERMASALAH THEN KELAYAKAN = TIDAK LAYAK

IMPLEMENTASI POHON KEPUTUSAN C4.5Rumus Entropy:

Entropy(Total) = ((-total sample layak)/total sample keseluruhan)*log2((total sample layak)/total sample keseluruhan) + ((-total sample tidak layak)/total sample keseluruhan)*log2((total sample tidak layak)/total sample keseluruhan)= (-9/14)*LOG2(9/14)) + ((-5/14)*LOG2(5/14) = 0,9402Rumus Information Gain:

Information Gain(Sikap di Lingkungan) = Entropy(Total) – ((jumlah kasus(baik)/jumlah kasus(total)*entropy(baik) - ((jumlah kasus(bermasalah)/jumlah kasus(total)*entropy(bermasalah)= 0,9402 – ((7/14)*0,9852) – ((7/14)*0,5916) = 0,1518Rumus SplitInfo:

SplitInfo(Sikap di Lingkungan) = -(jumlah kasus baik/jumlah kasus keseluruhan*log2(jumlah kasus baik/jumlah kasus keseluruhan)) + (jumlah kasus bermasalah/jumlah kasus keseluruhan*log2(jumlah kasus bermasalah/jumlah kasus keseluruhan))= - ((7/14*log2(7/14)) + ((7/14*log2(7/14)) = 1Rumus Gain Ratio:

Gain Ratio(Sikap di Lingkungan) = Information Gain(Sikap di Lingkungan)/SplitInfo(Sikap di Lingkungan)= 0,1518 / 1 = 0,1518

Iterasi 1

   JML KASUS YA

TIDAK

ENTROPY

INF GAIN

SPLIT INFO

GAIN RATIO

TOTAL   14 9 5 0,940286      

PENGHASILAN           0,24675 1,577406 0,156428

  > 3X ANGSURAN 4 4 0 0      

 2 - < 3X ANGSURAN 5 3 2 0,9709506      

  < 2X ANGSURAN 5 2 3 0,9709506      STATUS PEKERJAAN          

0,0292226 1,5566567 0,0187726

 KARYAWAN HONORER 4 3 1 0,8112781      

 KARYAWAN TETAP 4 2 2 1      

  PUNYA USAHA 6 4 2 0,9182958      SIKAP DI LINGKUNGAN          

0,1518355 1 0,1518355

  BERMASALAH 7 3 4 0,9852281    

  BAIK 7 6 1 0,5916728      

KEPEMILIKAN           0,048127 0,9852281 0,0488486

RUMAH

  RUMAH SENDIRI 8 6 2 0,8112781      

 RUMAH KONTRAK 6 3 3 1      

Atribut “penghasilan” memiliki gain ratio terbesar, sehingga dijadikan root node.

POHON KEPUTUSAN:PENGHASILAN ?

> 3X ANGSURAN = YA (YA=4, TIDAK=0)2 - < 3X ANGSURAN = ? (YA=3, TIDAK=2)< 2X ANGSURAN = ? (YA=2, TIDAK=3)

Iterasi 2

PENGHASILAN = 2 - < 3X ANGSURANJML KASUS YA TIDAK ENTROPY

INF GAIN

SPLIT INFO

GAIN RATIO

TOTAL   5 3 2 0,9709506      STATUS PEKERJAAN          

0,0199731 0,9709506 0,0205707

 KARYAWAN HONORER 2 1 1 1      

 KARYAWAN TETAP 0 0 0 0      

  PUNYA USAHA 3 2 1 0,9182958      SIKAP DI LINGKUNGAN          

0,0199731 0,9709506 0,0205707

  BERMASALAH 2 1 1 1    

  BAIK 3 2 1 0,9182958      KEPEMILIKAN RUMAH           0,419973 0,970951 0,432538

  RUMAH SENDIRI 2 2 0 0      

  RUMAH KONTRAK 3 1 2 0,9182958      Atribut “kepemilikan rumah” memiliki gain rato terbesar, sehingga dijadikan internal node dari “penghasilan = 2 - < 3x angsuran”

POHON KEPUTUSAN:PENGHASILAN ?

> 3X ANGSURAN = YA (YA=4, TIDAK=0)2 - < 3X ANGSURAN = ? (YA=3, TIDAK=2)

KEPEMILIKAN RUMAH ?RUMAH SENDIRI = YA (YA=2, TIDAK=0)RUMAH KONTRAK = ? (YA=1, TIDAK=2)

< 2X ANGSURAN = ? (YA=2, TIDAK=3)

Iterasi 3

PENGHASILAN = < 2X ANGSURANJML KASUS YA TIDAK ENTROPY

INF GAIN

SPLIT INFO

GAIN RATIO

TOTAL   5 2 3 0,9709506      STATUS PEKERJAAN           0,5709506 0,9931569 0,5748846

 KARYAWAN HONORER 1 1 0 0      

 KARYAWAN TETAP 2 0 2 0      

  PUNYA USAHA 2 1 1 1      SIKAP DI LINGKUNGAN           0,970951 0,970951 1

  BERMASALAH 3 0 3 0    

  BAIK 2 2 0 0      

KEPEMILIKAN           0,0199731 0,9709506 0,0205707

RUMAH

  RUMAH SENDIRI 3 1 2 0,9182958      

  RUMAH KONTRAK 2 1 1 1      Atribut “sikap di lingkungan” memiliki information gain terbesar, sehingga dijadikan internal node dari “penghasilan = <2x angsuran”

POHON KEPUTUSAN:PENGHASILAN ?

> 3X ANGSURAN = YA (YA=4, TIDAK=0)2 - < 3X ANGSURAN = ? (YA=3, TIDAK=2)

KEPEMILIKAN RUMAH ?RUMAH SENDIRI = YA (YA=2, TIDAK=0)RUMAH KONTRAK = ? (YA=1, TIDAK=2)

< 2X ANGSURAN = ? (YA=2, TIDAK=3)SIKAP DI LINGKUNGAN ?

BAIK = YA (YA=2, TIDAK=0)BERMASALAH = TIDAK (YA=0, TIDAK=3)

Iterasi 4PENGHASILAN = 2 - <3X ANGSURAN, KEPEMILIKAN RUMAH = RUMAH KONTRAK

JML KASUS

YATIDAK

ENTROPYINF GAIN

SPLIT INFO

GAIN RATO

TOTAL 3 1 2 0,9182958

STATUS PEKERJAAN

0,2516291

0,9182958 0,2740174

KARYAWAN HONORER

1 0 1 0

KARYAWAN TETAP

0 0 0 0

PUNYA USAHA

2 1 1 1

SIKAP DI LINGKUNGAN

0,2516291

0,9182958 0,2740174

BERMASALAH

1 0 1 0

BAIK 2 1 1 1

Atribut “status pekerjaan” dan “sikap di lingkungan” memiliki gain ratio yang sama. Karena itu, maka salah satu saja yang dipilih. Misal “status pekerjaan”dijadikan internal node dari “penghasilan = 2 - <3x angsuran, kepemilikan rumah = rumah kontrak”

POHON KEPUTUSAN:PENGHASILAN ?

> 3X ANGSURAN = YA (YA=4, TIDAK=0)2 - < 3X ANGSURAN = ? (YA=3, TIDAK=2)

KEPEMILIKAN RUMAH ?RUMAH SENDIRI = YA (YA=2, TIDAK=0)RUMAH KONTRAK = ? (YA=1, TIDAK=2)

STATUS PEKERJAAN ?KARYAWAN HONORER = TIDAK (YA=0, TIDAK=1)KARYAWAN TETAP = NULLPUNYA USAHA = ? (YA=1, TIDAK=1)

< 2X ANGSURAN = ? (YA=2, TIDAK=3)SIKAP DI LINGKUNGAN ?

BAIK = YA (YA=2, TIDAK=0)BERMASALAH = TIDAK (YA=0, TIDAK=3)

Iterasi 5PENGHASILAN = 2 - <3X ANGSURAN, KEPEMILIKAN RUMAH = RUMAH KONTRAK, STATUS PEKERJAAN = PUNYA USAHA

JML KASUS YA TIDAK ENTROPY

INF GAIN

SPLIT INFO

GAIN RATIO

TOTAL   2 1 1 1      

SIKAP DI LINGKUNGAN          

0,2516291 1 0,2516291

  BERMASALAH 1 0 1 0      

  BAIK 1 1 0 1      

POHON KEPUTUSAN:PENGHASILAN ?| > 3X ANGSURAN = YA (YA=4, TIDAK=0)| 2 - < 3X ANGSURAN = ? (YA=3, TIDAK=2)| | KEPEMILIKAN RUMAH ?| | | RUMAH SENDIRI = YA (YA=2, TIDAK=0)| | | RUMAH KONTRAK = ? (YA=1, TIDAK=2)| | | | STATUS PEKERJAAN ?| | | | | KARYAWAN HONORER = TIDAK (YA=0, TIDAK=1)| | | | | KARYAWAN TETAP = NULL| | | | | PUNYA USAHA = ? (YA=1, TIDAK=1)| | | | | | SIKAP DI LINGKUNGAN ?| | | | | | | BAIK = YA (YA=1, TIDAK=0)| | | | | | | BERMASALAH = TIDAK (YA=0, TIDAK=1)| < 2X ANGSURAN = ? (YA=2, TIDAK=3)| | SIKAP DI LINGKUNGAN ?| | | BAIK = YA (YA=2, TIDAK=0)| | | BERMASALAH = TIDAK (YA=0, TIDAK=3)

Hasil pohon keputusan C4.5 sama dengan hasil pohon keputusan ID3