data warehouse
DESCRIPTION
DATA WAREHOUSE. Pertemuan ke-3. Intelligence Enterprise. Pengertian Data Warehouse. Sebuah tempat penyimpanan data yang lengkap dan konsisten yang. berasal dari sumber-sumber yang berbeda dibuat untuk. penggunanya agar mereka dapat mengerti dan menggunakannya. dalam konteks bisnis. - PowerPoint PPT PresentationTRANSCRIPT
DATA WAREHOUSEDATA WAREHOUSEPertemuan ke-3
Intelligence Enterprise
Pengertian Data Warehouse
Sebuah tempat penyimpanan data yang lengkap dan konsisten yang
berasal dari sumber-sumber yang berbeda dibuat untuk
penggunanya agar mereka dapat mengerti dan menggunakannya
dalam konteks bisnis.
[Barry Davlin]
Pengertian Data Warehouse (cont’d)
Sebuah proses transformasi data ke dalam sebuah informasi dan
membuat informasi ini dapat diakses oleh penggunanya tepat
waktu untuk membuat perubahan-perubahan (strategi bisnis).
[Forrester Research, 1996]
1. Berorientasi subjek,
2. Diintegrasikan,
3. Time-variant,
4. Nonvolatile,
Koleksi data untuk medukung proses pembuatan manajemen
pengambilan keputusan.
[Bill Inmon]
Pengertian Data Warehouse (cont’d)
Sean Kelly :
The data in the data warehouse is:SeparateAvailableIntegratedTime stampedSubject orientedNonvolatileAccessible
Pengertian Data Warehouse (cont’d)
• Data warehouse adalah basis data yang menyimpan data sekarang dan data masa lalu yang berasal dari berbagai sistem operasional dan sumber yang lain (sumber eksternal) yang menjadi perhatian penting bagi manajemen dalam organisasi dan ditujukan untuk keperluan analisis dan pelaporan manajemen dalam rangka pengambilan keputusan
• Data warehouse digunakan untuk mendukung pengambilan keputusan, bukan untuk melaksanakan pemrosesan transaksi
• Data warehouse hanya berisi informasi-informasi yang relevan bagi kebutuhan pemakai yang dipakai untuk pengambilan keputusan
Pengertian Data Warehouse (cont’d)
• Data Warehouse adalah Pusat repositori informasi yang mampu memberikan database berorientasi subyek untuk informasi yang bersifat historis yang mendukung DSS (Decision Suport System) dan EIS (Executive Information System).
Pengertian Data Warehouse (cont’d)
• Salinan dari transaksi data yang terstruktur secara spesifik pada query dan analisa.
Pengertian Data Warehouse (cont’d)
Tujuan :
Meningkatkan kualitas dan akurasi informasi bisnis danmengirimkan informasi ke pemakai dalam bentuk yang dimengerti dan dapat diakses dengan mudah.
Perbedaan DW dan OLTP
OLTP Data Warehouse
Menangani data saat ini Data bisa saja disimpan pada beberapa
platform Data diorganisasikan berdasarkan
fungsi atau operasi seperti penjualan, produksi, dan pemrosesan pesanan
Pemrosesan bersifat berulang Untuk mendukung keputusan harian
(operasional) Melayani banyak pemakai operasional Berorientasi pada transaksi
Lebih cenderung menangani data masa lalu
Data disimpan dalam satu platform
Data diorganisasikan menutut subjek seperti pelkanggan atau produk
Pemrosesan sewaktu-waktu, tak terstruktur, dan bersifat heuristik
Untuk mendukung keputusan yang strategis
Untuk mendukung pemakai manajerial yang berjumlah relatif sedikit
Berorientasi pada analisis
Sumber Data untuk DW
1. Data operasional dalam organisasi, misalnya basis data pelanggan dan produk, dan
2. Sumber eksternal yang diperoleh misalnya melalui Internet, basis data komersial, basis data pemasok atau pelanggan
• Berbagai data yang berasal dari sumber digabungkan dan diproses lebih lanjut oleh manajer data warehouse dan disimpan dalam basis data tersendiri.
• Selanjutnya, perangkat lunak seperti OLAP dan data mining dapat digunakan oleh pemakai untuk mengakses data warehouse
4 Karakteristik Data Warehouse
• Subject oriented• Integrated• Time variant• Non-volatile
Subject Oriented
1. Data warehouse diorganisasikan dalam lingkup subjek, sebagai
contoh: Penjualan, Produk, dan Pelanggan.
2. Berfokus ke dalam pemodelan dan analisis data untuk pihak-
pihak pembuat keputusan.
3. Memisahkan data yang tidak berguna di dalam proses
pendukung keputusan.
Subject Oriented (cont’d )
• Subjek• Aplikasi
Integrated
1. Data warehouse dikonstruksikan dengan cara mengintegrasikan
sejumlah sumber data yang berbeda.
2. Data preprocessing diaplikasikan untuk meyakinkan
kekonsistensian data.
Integrated (cont’d)
Savings
Same datadifferent name
Loans
Different dataSame name
Trust
Data found herenowhere else
Credit card
Different keyssame data
Integrated (cont’d)
EncodingStructures
Measurementof attributes
MultipleSources
Data TypeFormats
applapplapplappl
applapplapplappl
applapplapplappl
A - m,fB - 1,0C - x,yD - male, female
A - pipeline - cmB - pipeline - inC - pipeline - feetD - pipeline - yds
A - balanceB - balC - currbalD - balcurr
Integrated (cont’d)
Data Warehouse
Integrated (cont’d)
Data perlu distandarkan :
Sales Inventori Transaksi Penjualan
Format KeyText
KeyInteger
KeyYes/No
Description Nama pelangganU.N.I.J.O.Y.O
Nama pelangganUNIPAHIT
Nama pelangganUniversitas majapahit
Unit Tinggicentimeter
Tinggimeter
Tinggiinch
Encoding SexYes = Laki-lakiNo = Perempuan
SexL = laki-lakiP = Perempuan
Sex1 = Laki-laki0 = Perempuan
Integrated (cont’d)
Time-Variant
1. Menghasilkan informasi dari sudut pandang historical (misal:
5-10 tahun yang lalu).
2. Setiap struktur kunci mengandung elemen waktu.
Time-Variant (cont’d)
Time-Variant (cont’d)
Operasional : – Data pada saat ini (current value)
Datawarehouse :– Analisa data pada masa lampau– Informasi pada saat ini– Forecast untuk masa yang akan datang
Time-Variant (cont’d)
Nonvolatile
1. Sekali data direkam maka data tidak bisa diupdate.
2. Data warehouse membutuhkan dua operasi pengaksesan data,
yaitu:
a. Initial loading of data
b. Akses data
Nonvolatile (cont’d)
Operasional : Add, change, delete data pada sistem operasional
secara real time setiap transaksi terjadi
Datawarehouse Update ketika kita perlukan saja, bisa secara
periodik
Data pada DW dikhususkan untuk query dan analisa data
Nonvolatile (cont’d)
Nonvolatile (cont’d)
Prinsip Data Warehouse
Sifat Data Warehouse
• Multidimensional yang berarti bahwa terdapat banyak lapisan kolom dan baris (Ini berbeda dengan tabel pada model relasional yang hanya berdimensi dua)
• Berdasarkan susunan data seperti itu, amatlah mudah untuk memperoleh jawaban atas pertanyaan seperti: “Berapakah jumlah produk 1 terjual di Jawa Tengah pada tahun n-3?”
Petunjuk Membangun DW
• Menentukan misi dan sasaran bisnis bagi pembentukan data warehouse
• Mengidentifikasi data dari basis data operasional dan sumber lain yang diperlukan bagi data warehouse
• Menentukan item-item data dalam perusahaan dengan melakukan standarisasi penamaan data dan maknanya
• Merancang basis data untuk data warehouse• Membangun kebijakan dalam mengarsipkan data lama
sehingga ruang penyimpanan tak menjadi terlalu besar dan agar pengambilan keputusan tidak menjadi terlalu lamban.
• Menarik data produksi (operasional) dan meletakkan ke basis data milik data warehouse
Data Mart
• Bagian dari data warehouse yang mendukung kebutuhan pada tingkat departemen atau fungsi bisnis tertentu dalam perusahaan. Karakteristik yang membedakan data mart dan data warehouse adalah sebagai berikut (Connolly, Begg, Strachan 1999).
– Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis.
– Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data warehouse.
– Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse. Data mart lebih mudah dipahami dan dinavigasi.
Data mart = subset of DW for community users, e.g. accounting department
Sometimes exist as Multidimensional Database
Info mart = summarized data + report for community users
DATAWAREHOUSE vs DATAMART
DATAWAREHOUSE• Perusahaan, melingkupi
semua proses• Gabungan datamart• Data didapat dari proses
Staging• Merepresentasikan data
dari perusahaan atau organisasi
• Diorganisasi dlm E-R Model
DATAMARTDepartemenSatu bisnis prosesStart-Join (fakta dan dimensi)Teknologinya optimal untuk
pengaksesan dan analisis data
Cocok untuk merepresentasikan data departemen
• Datawarehouse = gabungan dari beberapa datamart yang levelnya berada pada perusahaan atau organisasi.
• Datamart = bagian dari datawarehouse yang berada level departemen pada perusahaan atau organisasi tersebut. Data mart menangani sebuah business proses, misalkan penjualan.
DATAWAREHOUSE vs DATAMART
Data Warehousing Architecture
Monitoring & Monitoring & AdministrationAdministration
Metadata Metadata RepositoryRepository
ExtractExtractTransformTransformLoadLoadRefreshRefresh
Data MartsData Marts
External External SourcesSources
Operational Operational dbsdbs
ServServee
OLAP OLAP serversservers
AnalysisAnalysis
Query/ Query/ ReportingReporting
Data Data MiningMining
Three-Tier Architecture
Warehouse database server– Almost always a relational DBMS; rarely flat files
OLAP servers– Relational OLAP (ROLAP): extended relational DBMS that maps
operations on multidimensional data to standard relational operations.– Multidimensional OLAP (MOLAP): special purpose server that directly
implements multidimensional data and operations.
Clients– Query and reporting tools.– Analysis tools– Data mining tools (e.g., trend analysis, prediction)
Two Worlds -> Two Systems
Data warehouse Component
Extract, Transform, Load (ETL) tools DW databases & DBMS tools Data marts Meta data DW administration & management
tools Information delivery system
6 Functional Components
Data about data Field description, business rules (e.g.
profit=? formula), log of file updates Help users understand content &
locate data
Production Data data operasional persh.
Internal Data spreadsheets, dokumen, Profil pelanggan, dan database departemen persh.
Archived Data data operasional yang telah disimpan
External Data data statistik, penelitian dari agenci luar, market share competitor, indikator financial standar, dll
Source data :
Data staging component
dari berbagai SO + eksternal data disimpan pd DW yg hrs dirubah/disamakan formatnya shg dpt disimpan u/ query & analisa
ada 3 komponen : 1.Ekstraksi data2.Transformasi data,3.Loading data (ETL)
Data Storage Component
Repository data warehouse terpisah dengan repositori sistem operasional
Sistem Operasionalmendukung “day-to-day operation” (OLTP)
Data warehousedata histori yang besar untuk kebutuhan analisa data.
KOMPONEN METADATA
Metadata dalam Data WareHouse
=
Kamus Data/ Data Katalog dalam DBMS (Database Management System)
Metadata
– Informasi tentang logical struktur data– Informasi file dan alamatnya– Informasi index– Dll
Intinya – Meta data = data mengenai data pada data
warehouse
Pengenalan Metadata
TIPE-TIPE METADATA OPERASI METADATA EKSTRAKSI DAN TRANSFORMASI
METADATA END – USER METADATA
Pengenalan Metadata
OPERASI METADATA
Terdiri dari semua informasi tentang data sumber
Proses:
Pilih data dari sistem sumber untuk data warehouse, pisah recordnya, gabungkan bagian record dengan file sumber lainnya, dan berhasil dengan skema multiple coding dan panjang field
Pengenalan Metadata
EXTRAKSI DAN INFORMASI METADATATerdiri dari data dari data extraksi data dari sistem sumber, yaitu: Extraction frequencies Extraction method Business rules untuk data extraction
Pengenalan Metadata
END-USER METADATA
Adalah Peta Navigasi pada data warehouse
Pengenalan Metadata
FUNGSI METADATAMenggabungkan semua bagian pada data
warehouseMenyediakan informasi tentang isi dan
struktur pada pengembangMembuka pintu bagi end - user dan
membuat isi yang dapat dikenal oleh mereka.
Contoh Software Data Mart
• SmartMart (IBM)• Visual Warehouse (IBM)• PowerMart (Informatica)