arsitektur data warehouse

Arsitektur Data Warehouse

Simple Architecture

OPERATIONAL DATABASE LAYER

Operational Database Layer

• Layer ini adalah data source untuk data warehouse

• Mengandung data terbaru atau data yang akurat pada saat data tersebut diakses

• Biasanya berukuran sangat besar karena menyangkut data detail transaksi

Jenis-jenis data source untuk data warehouse

• On-Line Transaction Processing (OLTP)• Merupakan sebuah sistem yang

memfasilitasi dan mengelola aplikasi yang berorentasi transaksi

• Biasanya untuk data entri atau pengambilan proses transaksi

• Sistem Legacy• Sistem yang sudah out-of-date tetapi

data-datanya masih digunakan untuk keperluan historical

Jenis-jenis data source untuk data warehouse

• External Data• Data yang berasal dari pihak di luar

perusahaan• Middleware

• Sebuah aplikasi yang menjembatani antar aplikasi yang berbeda

• Source-less data• Data yang sudah tidak ada lagi sumber

datanya

Contoh-contoh Data Pada Layer Operational

• Data transaksi penjualan pada retail / department store

• Data saldo nasabah bank• Data reservasi pada maskapai

penerbangan

DATA ACCESS LAYER

Data Access Layer

• Sebuah interface yang menjembatani antara layer operational dengan layer informational pada data warehouse

• Biasanya sebuah ETL (Extract-Transform-Load) tool

ETL

• Sebuah proses yang menggunakan database terutama pada data warehouse yang termasuk:• Extract• Transform• Load

• ETL adalah sistem yang terotomatisasi dalam menjalankan prosesnya

• On-the-fly

Extract

• Sebuah proses untuk mengekstrak data dari berbagai sumber data

• Sumber data yang ada biasanya memiliki format data yang berbeda

• Format dapat data berupa:• Sebuah reloational database• Flat-file• Langsung dari sistem lain

• Juga sekaligus memeriksa apakah data yang diambil benar-benar sesuai spesifikasi

Transform

• Mengaplikasikan aturan-aturan dan fungsi-fungsi yang telah ditetapkan pada data yang telah diekstrak dari data source untuk di-load ke target akhir

• Biasanya terdiri dari:• Pemilihan kolom tertentu• Encoding / decoding• Calculating• Sorting• Joining• Look Up• Etc.

Load

• Loading data ke target tujuan pada data warehouse

• Target biasanya berupa database• Karena berinteraksi langsung dengan

database maka data yang di-load akan meng-apply aturan aturan yang ada pada constraints dan trigger pada database.

Contoh ETL

• Oracle Database Integerator• CoSORT sorting tool

METADATA LAYER

Metadata

• Datanya data (Data yang menjelaskan tentang data)

• Merupakan index untuk data-data yang ada pada data warehouse

• Biasanya dapat berupa:• Struktur data• Keterangan sumber data• Keterangan transformasi data• Model data• Hubungan antar model data dengan data

warehouse

Data Referensi

• Data yang menjelaskan objek fisik atau virtual beserta sifat-sifatnya

• Biasanya disebutkan menggunakan kata benda

Contoh Metadata

• Tabel dari tabel-tabel yang ada dalam database yang berisi nama tabel, jumlah row, ukuran, dsb.

• Tabel dari kolom-kolom yang ada dalam database yang menginformasikan tabel apa yang menggunakan kolom tersebut dan tipe data nya

INFORMATIONAL ACCESS LAYER

Informational access layer

• Data yang dapat diakses langsung oleh end-user untuk kebutuhan analisis dan reporting

• Tools Business Intelegence ada ada pada tahap ini

Data Mart

• Sebuah area pada database dimana data disusun sedemikian rupa untuk kebutuhan query, reporting dan analisis

• End-user dapat berinteraksi langsung dengan data mart atau melalui aplikasi interface yang mengakses data mart

Business Intelegence

• merujuk pada teknologi, aplikasi, serta praktik pengumpulan, integrasi, analisis, serta presentasi informasi bisnis atau kadang merujuk pula pada informasinya itu sendiri. Tujuan intelijen bisnis adalah untuk mendukung pengambilan keputusan bisnis

Contoh-contoh BI

• IBM Cognos• Teradata• Oracle Business Intelligence Suite

Enterprise Edition

Contoh Implementasi Arsitektur Data Warehouse