Arsitektur DWH

Pertemuan ke-2

Review

• Definisi data warehouse Inmon (2002) : “A data warehouse is a subject-oriented, integrated, nonvolatile, and time-variant collection of data in support of management’s decisions”.

Subject Oriented

• Data warehouse diogranisir berdasarkan subyek yang akan dicapai dengan menggali informasi yang terdapat pada database suatu perusahaan.

• Contohnya adalah pembuatan data warehouse untuk analisis keuntungan transaksi penjualan pada tahun 2012.

Subject Oriented

Integrated

• Data warehouse terintegrasi dari berbagai data operasional yang berbeda dalam suatu sumber database.

• Syarat integrasi sumber data dapat dipenuhi dengan berbagai cara sepeti konsisten dalam penamaan variable,konsisten dalam ukuran variable,konsisten dalam struktur pengkodean dan konsisten dalam atribut fisik dari data.

Non-volatile

• Data dalam data warehouse tidak dapat berubah secara real-time tetapi dapat diperbaharui secara periodik

Time Variant

• Data dalam data warehouse sangat bergantung pada keputusan waktu pengambilan. Contohnya adalah data warehouse yang bersifat bulanan atau tahunan.

Arsitektur DWH

Data Staging

• Data Staging meliputi proses :– Extraction– Transformation– Loading

Extraction

• Proses ektraksi merupakan proses pengambilan data dari satu database atau beberapa database yang berbeda, text files, dan sumber data yang lainnya.

• Proses ektraksi mencakup tugas memvalidasi data dan membuang data yang tidak cocok dengan pola yang diharapkan. Sehingga tidak seluruh data yang ada dalam data operasonal dimasukkan, tetapi hanya bagian-bagian yang dibutuhkan saja.

Extraction• Metode yang digunakan untuk melakukan proses ekstrasi ada 2, yaitu :

– Full Extraction,• Proses ekstraksi dilakukan dengan mengambil seluruh data dari source system yang

diperlukan– Increment Extraction

• Proses ekstraksi hanya pada data yang berubah atau belum ada pada target sistem pada periode tertentu

• Mekanisme ekstraksi secara fisik (physical extraction) dibagi menjadi dua jenis, yaitu :– Online extraction

• Data di ekstrak dari source system ke target system secara langsung. • Proses ekstraksi dilakukan dengan cara langsung connect ke source system untuk mengakses

source table.

– Offline Extraction• Data tidak di ekstrak secara langsung dari source system, namun berada diluar source system. • Data yang akan di ekstrak sudah mempunyai struktur table dan struktur data yang diharapkan

sudah sesuai dengan data warehouse. Misalnya flat file.

Transformation

• Proses transformasi data merupakan proses mengubah data dari format operasional menjadi format data warehouse.

• Meliputi :– mengkonversi tipe data– melakukan beberapa perhitungan– penyaringan data yang tidak relevan– meringkas data

Loading

• Proses loading merupakan tahap akhir dalam pengisian data warehouse.

• Tujuan dari proses ini adalah untuk memuat data yang sudah terseleksi dari proses transformasi ke dalam data warehouse.

Metadata

• Metadata merupakan proses identifikasi atribut dan struktur dari sebuah data atau informasi untuk menjelaskan database secara rinci yaitu dari nama, tipe, dan ukuran atribut.

• Jika data tersebut dalam bentuk teks, metadatanya biasanya berupa keterangan mengenai nama ruas (field), panjang field, dan tipe fieldnya: integer, character, date, dll.

• Untuk jenis data gambar (image), metadata mengandung informasi mengenai siapa pemotretnya, kapan pemotretannya, dan setting kamera pada saat dilakukan pemotretan

Data Mart

Data Mart

• Bagian dari data warehouse yang mendukung kebutuhan pada tingkat departemen atau fungsi bisnis tertentu dalam perusahaan.

• Karakteristik yang membedakan data mart (Connolly, Begg, Strachan 1999) :

– Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis.

– Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data warehouse.

– Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse.

– Data mart lebih mudah dipahami dan dinavigasi.

• Datawarehouse = gabungan dari beberapa datamart yang levelnya berada pada perusahaan atau organisasi.

• Datamart = bagian dari datawarehouse yang berada level departemen pada perusahaan atau organisasi tersebut. Data mart menangani sebuah business proses, misalkan penjualan.

DATAWAREHOUSE vs DATAMART