Data Warehousing

Sistem Basis Data LanjutPrepared by: MT. Wilson

Sumber: Fundamentals of Database Systems, Third Edition ch.26, Elmasri

Pendahuluan

• Data warehouse memberikan storage, fungsionalitas yang lebih dan lebih responsif terhadap query dibandingkan kemampuan database yang bersifat transaksi

• Banyak orang hanya butuh data read-access tapi butuh akses yang cepat pada data yang sangat bear dan bisa diunduh ke desktop, seringkali data itu datangnya dari lebih dari 1 database. DW, DM dan OLAP menyediakan fungsi ini.

Konsep Data Warehous

• Subject-oriented, integrated, nonvolatile, time-variant collection of data in support of management’s decisions (Inmon, 1992)

• Dibanding database tradisional, DW umumnya terdiri dari data yang berukuran sangat besar dari banyak sumber dan mungkin terdiri dari database dari model data yang berbeda dan kadang file dari sistem dan platform yang independen

Konsep Data Warehouse (2)

• Tidak seperti database transaksional, DW biasanya mendukung analisa tren dan time-series, di mana keduanya membutuhkan data historik

• DW itu nonvolatile. Artinya informasi dalam DW jarang diubah dan bisa dianggap non-real-time

• DW bisa digambarkan sebagai “kumpulan teknologi pendukung keputusan, dimaksudkan untuk memungkinkan pekerja yang berhubungan dengan informasi (eksekutif, manajer dan analis) untuk membuat keputusan lebih baik dan lebih cepat”

Ciri-ciri Data Warehouse

• Konsep multidimensi• Deminsi generic• Tingkat agregasi dan dimensi tak terbatas• Operasi lintas dimensi tak terbatas• Penanganan matriks dinamis• Arsitektur client-server• Dukungan multi-user• aksesibilitas• Transparansi• Manipulasi data yang intuitif• Performa reporting yang konsisten• Reporting yang fleksibel

Model Data untukData Warehouse

• Contoh dimensi dalam DW adalah periode fiskal, produk dan region perusahaan

• Spreadsheet standar biasanya matrix 2 dimensi. Contohnya spreadsheet sales regional berdimensi produk untuk satu jangka waktu tertentu. Produk ditampilkan per baris dengan pendapatan sales untuk masing-masing region ditampilkan per kolom.

• Menambah dimensi waktu seperti kuartal fiskal perusahaan menjadikannya matrix 3 dimensi yang ditampilkan sebagai kubus data

• Menambah dimensi tambahan, bisa menghasilkan hypercube, tapi sulit untuk divisualisasikan

Model Data untukData Warehouse (2)

• Mengubah dari satu (orientasi) hirarki dimensi ke hirarki lain bisa dikerjakan dalam satu kubus data dengan teknik pivoting (juga disebut rotasi)

• Model multidimensi memiliki view hirarki yang dikenal dengan roll-up display dan drill-down.

• Roll-up display memindahkan ke atas secara hirarki, mengelompokkan ke unit yang lebih besar

• Drill-down display lebih mendetailkan

Model Data untukData Warehouse (3)

• Model storage multidimensi melibatkan 2 tipe tabel: tabel dimensi dan tabel fakta

• Tabel dimensi terdiri dari tupel atribut tuples dari diemsni

• Tabel fakta bisa digambarkan memiliki banyak tupel. Satu tupel untuk satu fakta yang tercatat. Fakta ini berisikan data dan dimensi mengidentifikasikan masing-masing tupel dalam data tersebut

Model Data untukData Warehouse (4)

• Skema multidimensi yang umum adalah skema bintang dan skema snowflake.

• Skema bintang terdiri dari sebuah tabel fakta dengan satu tabel untuk masing-masing dimensi

• Skema snowflake adalah variasi skema bintang di mana di dalamnya tabel dimensi dari skema bintang diorganisir menjadi hirarki dengan normalisasi.

Membangun Data Warehouse

• Perlu pandangan luas untuk antisipasi penggunaan warehouse

• Design harus mendukung ad-hoc querying, yaitu mengakses data dengan kombinasi nilai apa saja untuk atribut dalam tabel dimensi atau tabel fakta.

Akuisisi data untuk warehouse

• Data diekstrak dari sumber yang banyak dan heterogen

• Data harus diformat untuk konsistensi dalam warehouse

• Data harus bersih untuk memastikan validitas

• Data harus bisa masuk dalam model data warehouse

• Data harus dimuat dalam warehouse

Akuisisi data untuk warehouse (2)

• Seberapa up-to-date datanya?• Bisakah warehouse ini off-line, dan berapa

lama?• Apa saja independensi datanya?• Berapa kapasitas storage?• Apa saja persyaratan distribusi (seperti replikasi

dan partitioning)?• Berapa waktu loadingnya (termasuk

pembersihan, formatting, copying, transmitting dan overhead seperti pembangunan index)

Fungsi Umum Data Warehouse

• Data warehouse ada untuk memfasilitasi queri ad hoc yang terjadi sering dan kompleks. Untuk itu, data warehouse harus menyediakan dukungan query yang lebih efisien

• Roll-up: data dirangkum dengan generalisasi• Dril-down: meningkatkan tingkat detail• Pivot: lintas tabulasi (juga disebut rotasi)• Potong dan iris: melakukan operasi proyeksi terhadap

dimensi• Sorting: data diurut berdasarkan nilai ordinal• Selection: data tersedia dalam nilai atau range• Derived attributes: atribut dihitung oleh operasi dalam

nilai yang disimpan atau turunan