data warehouse danteknologi olap -...
TRANSCRIPT
Data Warehouse dan Teknologi OLAP
Oleh Budi Setiyono
Fakta tentang data
Yahoo corp
◦ Sktr 2.000.000.000.000.000 byte
data
◦ 2 PB (Peta Byte) dikelola dalam 1 file database
◦ Pengunjung sktr 500.000.000 /bulan
◦ 24.000.000.000 record/hari
◦ Butuh 2000 Hardisk berkapasitas 1 TB
Fakta tentang data
Ebay
◦1.500.000.000.000 Byte (1.5 PB)
◦ 10.000.000.000 (10 Milyar) record/hari
◦ Total sktr 6 PB
Fakta tentang data
Data bank center urusan cuaca di
Hamburg, Jerman
◦ 220TB data dalam 1 file database OS Linux
◦ Total sekitar 6 PB
Badan riset energi di Oakland-California
USA
◦ Data yang dikelola 3.5 PB
Data Center MS-Cichago
courtesy : http://kabarit.com/2010/03
Kontainer ServerSetiap kontainer berisi sekitar 1800 – 2500 server
courtesy : http://kabarit.com/2010/03
Isi Dalam Kontainer
courtesy : http://kabarit.com/2010/03
Data Warehouse
Kumpulan data yang bersifat : (Bill Inmon)
◦ Subject Oriented diorganisasi untuk keperluan analisis pada subyek tertentu,
misal Customer, Supplier, Product, Sales, dll
◦ Integrated
menggabungkan data dari berbagai sumber transaksi
◦ Time-variant
Data disediakan dalam persepektive waktu (historis)
◦ Non volatile
Terpisah dari OLTP, sering tidak diperlukan pemrosesantransaksi, recovery, Concurrency
Bersifat read only, tidak ada updating
OLTP dan Data Warehouse
Arsitektur data warehouse
Data sources
ERP : SAP, Microsoft AX, Abbas
Heterogen DBMS, misal
◦ Oracle, MS SQL Server, MySQL, dll
Flat file
XML
Spread sheets
Extract Trasform Load (ETL)
Extract
◦ Proses pengambilan data dari sumber data
◦ Dilakukan berkali-kali secara berkala untuk menjamin data yang ada dalam data warehouse adalah data yang terakhir (ter up to date).
Metode
◦ Full extraction : mengambil seluruh data dari source system yang diperlukan
◦ Incremental Extraction : proses ekstraksi hanyapada data yang berubah atau yang belum ada padatarget system
Extract Trasform Load (ETL)
Transform◦ merupakan proses yang paling rumit dibanding
ETL lainya
Multistage Data Transformation.◦ data terlebih dahulu dimasukkan ke dalam tabel
penampungan sementara yang disebut Staging Area.
Pipeline Data Transformation.◦ Metode Pipeline tidak memerlukan penampungan
sementara, sehingga dengan sekali jalan, eksternal tabel langsung ditransformasi kedalam tabel tujuan.
Extract Trasform Load (ETL)
Cleaning dan Transform
Extract Trasform Load (ETL)
Load
◦ Data dari staging area end target, biasanya data
warehouse
◦ Frekuensi load dilakukan tergantung dari
kebutuhan manajemen suatu organisasi
OLAP (On-Line Analytical Processing)
pemodelan data multidimensional untuk
menampilkan data dalam jumlah besar
ditujukan untuk keperluan proses analisis
query biasa hanya mampu menampilkan
data dalam bentuk dimensi tunggal
OLAP (On-Line Analytical Processing)
hanya ada 2 sudut pandang, yaitu baris
sebagai sumbu x dan kolom sebagai
sumbu y
Struktur CUBE dalam OLAP
Operasi dalam OLAP : rotating/pivoting
Rotation atau Pivoting
◦ Operasi perubahan perspektif sudut pandang
Operasi dalam OLAP : Slice dan Dice
Slice dan Dice
◦ pemilihan subset pada suatu data
◦ slice : pemotongan data pada cube
berdasarkan nilai pada satu atau beberapa
dimensi
◦ dice : pemotongan hasil slice menjadi bagian
subset data yang lebih kecil.
Slice dan dice
Operasi dalam OLAP : Drill
Down/consolidation
Drill Down dan Consolidation
◦ penampilan data dalam bentuk yang lebih
detail
◦ penggabungan atau penyatuan data kedalam
level hirarki yang lebih tinggi
Drill Down dan Consolidation