Data Warehouse adalah relasional database dengan desain tertentu yang memudahkan Query dan Analisis.
Pada umumnya Data Warehouse berisi data sejarah yang diturunkan dari data transaksi dan beberapa data dari sumber data yang lain.
Dengan Data Warehouse maka Organisasi bisa mendapatkan data yang sudah terkonsolidasi dari berbagai sumber data.
William Harvey Inmon atau biasa dipanggil Bill Inmon pada tahun 1991 dalam bukunya “Building the Data Warehouse” mendefinisikan Data Warehouse sbb.:
“A data warehouse is a subject-oriented, integrated, timevariant, and nonvolatile collection of data in support of management’s decision-making process.”
Subject-oriented:
- Data di kumpulkan berdasarkan subjek utama, misalnya Customer, Product atau Sales.
- Data Model dan analisa diutamakan untuk pengambil keputusan bukan untuk proses transaksi sehari-hari.
- Menyediakan cara yang sederhana dan ringkas untuk menampilkan data sekitar subjek tertentu dengan cara mengeluarkan data yang tidak berguna dalam proses pengambilan keputusan.
Integrated:
- Dibangun dari integrasi berbagai macam sumber data misalnya Relational Database, Flat Files, Online Tansaction record, dsb.
- Menggunakan teknologi Data Cleansing dan Data Integration.
Tujuannya:
- Memastikan konsistensi Naming Convention, Encoding Structure, Ukuran attributes. dsb. diantara sumber data yang berbeda-beda.
- Ketika data dimasukkan ke Data Warehouse, data tesebut telah dikonversikan.
Time Variant:
- Rentang waktu data untuk Data Warehouse pasti lebih panjang jika dibandingkan dengan sistem operasional
- Data Sistim Operasional : Data saat ini
- Data Data Warehouse : Menyediakan informasi dari perspektif sejarah misal 5 s/d 10 tahun
- Setiap struktur Key dalam Data Warehouse selalu mengandung elemen Time secara implisit atau explisit
- Namun pada Key data operasional mungkin tidak mengandung elemen Time.
Non Volatile:
- Artinya begitu data masuk ke Data Warehouse seharusnya Data tidak boleh berubah lagi.
- Secara fisik data pada Data Warehouse disimpan terpisah dari operasional sistem.
- Operasi Update tidak pernah terjadi pada lingkungan data Warehouse, karena
- Tidak perlu melakukan proses transaksi, Recovery, dan mekanisme kontrol proses simultan.
- Hanya memerlukan dua operasi proses Data yaitu Data Loading dan Data Retrieving.
Elemen-elemen dasar Data Warehouse :
Source System
Operasional sistem yang berfungsi mencatat transaksi dari suatu bisnis. Source System biasa disebut juga sebagai Legacy System.
Data Staging Area
Tempat penyimpanan data sementara, untuk melakukan proses Clean, Transform, Combine, Deduplicate, Household, archive, dan menyiapkan sumber data untuk digunakan Data Warehouse.
Staging Area tidak diperuntukkan sebagai sumber data untuk reporting karena datanya masih kotor dan bersifat sementara.
Presentation Server Target
mesin yang secara fisik adalah mesin dimana data dari Data Warehouse di organisasikan dan disimpan untuk dilakukan query oleh End User, Reporting dan aplikasi yang lain. Disini data disimpan dengan framework Dimmensional.
Jika menggunakan Relational Database maka tabel akan diorganisasikan dalam bentuk Star-Schema, namun jika tidak menggunakan Relational Database maka akan disimpan dalam bentuk OLAP. (mengenai OLAP akan dibahas pada sesi tersendiri)
Dimensional Model
Data Modeling yang khusus dipakai pada Data Warehouse, sebagai alternatif lain dari E/R Modeling yang biasanya dipakai pada sistem transaksional.
Business Process
Dalam terminologi disini bukanlah Business Process seperti pada transaksional sistem, tetapi lebih tepat maksudnya adalah mengelompokkan sumber data menurut kesamaan temanya. Misalnya Finance, Marketing, Production. etc. Nantinya setiap Business Process akan diimplementasikan sebagai Data Marts. Data Mart Potongan secara logika dari Data Warehouse secara keseluruhan. Data Mart bisa juga dilihat sebagai potongan secara logika dari data Warehouse terhadap suatu Business Process tertentu. (mengenai Data Mart, akan dibahas pada sesi tersendiri) Data Warehouse Adalah sumber data yang bisa di Query dalam suatu perusahaan. Sebenarnya Data Warehouse adalah gabungan dari beberapa Data Marts.
Operational Data Store
Pada awalnya ODS adalah titik integrasi dari berbagai operasional sistem. Karena ODS juga mendukung access operasional dan bisa di update maka ODS seharusnya ditempatkan diluar Data Warehouse. Pada akhirnya fungsi ODS juga berkembang menjadi semacam Desicision Support karena ODS mengandung detail data yang telah terintegrasi dari berbagai sumber Data.
OLAP
Disebut juga sebagai Multidimensional Database (MDDB). OLAP sengaja dirancang untuk memudahkan dan mempercepat query yang dilakukan pada MDDB. Karakteristik dan sifat OLAP sangat berbeda dengan OLTP karena memang mempunyai tugas dan fungsi yang berbeda.
ROLAP
Relational OLAP.
MOLAP
Multidimensional OLAP
End User Application
Sekumpulan Tool yang bisa melakukan Query, Analisa Data, dan menampilkan informasi untuk mendukung kepentingan Bisnis. Paling tidak Tool ini juga dilengkapi dengan kemampuan untuk akses Data, fungsi Spreatsheet, fungsi grafik, dan ada fasilitas untuk menampilkan prompt dan menyederhanakan tampilan screen pada End User.
End User Data Access Tool
Sebagai Client dari Data Warehouse. Pada Relational Data Warehouse, Client dapat mengirimkan SQL Request ke Server. Secepatnya End User Data Access Tool akan selesai pada SQL Session dan kembali untuk menampilkan pada screen Data dari suatu Report, Grafik, atau yang lebih tinggi seperti form suatu analisa pada User. End User Data Access Tool dapat saja sederhana seperti Ad-Hoc Query Tool atau bisa juga bisa komplex seperti Data Mining yang canggih atau aplikasi modeling.
Ad-Hoc Query Tool
End User Data Access Tool yang dibuat khusus sehingga memungkinkan User untuk membuat Query sendiri secara langsung dengan cara memanipulasi Relational Tables dan Join-join nya. Dipasaran biasanya Ad-Hoc Query Tool dipaket menjadi satu dengan Reporting Tool.
Modeling Application
Data Warehouse Client yang canggih dengan kemampuan analytic yang dapat merubah bentuk atau menjadikan intisari dari output Data Warehouse.
Modeling ini termasuk didalamnya adalah:
- Forecasting Model, yang berusaha memperkirakan masa depan
- Behaviour Scoring Model, yang dapat mengklasifikasikan perilaku belanja Customer - Allocation Model, yang mengambil data Cost dari Data Warehouse lalu membagikan Cost tersebut ke semua poduct Group atau Customer Group.
- Terutama Data Mining Tools.
Meta Data
Semua informasi dalam lingkungan Data Warehouse namun bukan data itu sendiri, Misalnya informasi mengenai asal data source dari aplikasi apa, tabel apa, field apa, formula bisnis bagaimana, dsb. Meta Data perlu dibuatkan Catalog, diberi Version Stamp, di dokumentasikan dan di backup. Beberapa ETL Tool dipasaran ada yang sudah dilengkapi Meta Data management.
Demikian elemen dasar dari Data Warehouse, masih banyak komponen yang nanti akan di jelaskan pada sesi berikutnya. Reff: Kimball, Ralph, 1998, The Data Warehouse Lifecycle Toolkit, Jhon Wiley & Sons, Inc.
Ref: http://yoyonb.wordpress.com/2009/11/20/apakah-data-warehouse-itu/
William Harvey Inmon atau biasa dipanggil Bill Inmon pada tahun 1991 dalam bukunya “Building the Data Warehouse” mendefinisikan Data Warehouse sbb.:
“A data warehouse is a subject-oriented, integrated, timevariant, and nonvolatile collection of data in support of management’s decision-making process.”
Subject-oriented:
- Data di kumpulkan berdasarkan subjek utama, misalnya Customer, Product atau Sales.
- Data Model dan analisa diutamakan untuk pengambil keputusan bukan untuk proses transaksi sehari-hari.
- Menyediakan cara yang sederhana dan ringkas untuk menampilkan data sekitar subjek tertentu dengan cara mengeluarkan data yang tidak berguna dalam proses pengambilan keputusan.
Integrated:
- Dibangun dari integrasi berbagai macam sumber data misalnya Relational Database, Flat Files, Online Tansaction record, dsb.
- Menggunakan teknologi Data Cleansing dan Data Integration.
Tujuannya:
- Memastikan konsistensi Naming Convention, Encoding Structure, Ukuran attributes. dsb. diantara sumber data yang berbeda-beda.
- Ketika data dimasukkan ke Data Warehouse, data tesebut telah dikonversikan.
Time Variant:
- Rentang waktu data untuk Data Warehouse pasti lebih panjang jika dibandingkan dengan sistem operasional
- Data Sistim Operasional : Data saat ini
- Data Data Warehouse : Menyediakan informasi dari perspektif sejarah misal 5 s/d 10 tahun
- Setiap struktur Key dalam Data Warehouse selalu mengandung elemen Time secara implisit atau explisit
- Namun pada Key data operasional mungkin tidak mengandung elemen Time.
Non Volatile:
- Artinya begitu data masuk ke Data Warehouse seharusnya Data tidak boleh berubah lagi.
- Secara fisik data pada Data Warehouse disimpan terpisah dari operasional sistem.
- Operasi Update tidak pernah terjadi pada lingkungan data Warehouse, karena
- Tidak perlu melakukan proses transaksi, Recovery, dan mekanisme kontrol proses simultan.
- Hanya memerlukan dua operasi proses Data yaitu Data Loading dan Data Retrieving.
Elemen-elemen dasar Data Warehouse :
Source System
Operasional sistem yang berfungsi mencatat transaksi dari suatu bisnis. Source System biasa disebut juga sebagai Legacy System.
Data Staging Area
Tempat penyimpanan data sementara, untuk melakukan proses Clean, Transform, Combine, Deduplicate, Household, archive, dan menyiapkan sumber data untuk digunakan Data Warehouse.
Staging Area tidak diperuntukkan sebagai sumber data untuk reporting karena datanya masih kotor dan bersifat sementara.
Presentation Server Target
mesin yang secara fisik adalah mesin dimana data dari Data Warehouse di organisasikan dan disimpan untuk dilakukan query oleh End User, Reporting dan aplikasi yang lain. Disini data disimpan dengan framework Dimmensional.
Jika menggunakan Relational Database maka tabel akan diorganisasikan dalam bentuk Star-Schema, namun jika tidak menggunakan Relational Database maka akan disimpan dalam bentuk OLAP. (mengenai OLAP akan dibahas pada sesi tersendiri)
Dimensional Model
Data Modeling yang khusus dipakai pada Data Warehouse, sebagai alternatif lain dari E/R Modeling yang biasanya dipakai pada sistem transaksional.
Business Process
Dalam terminologi disini bukanlah Business Process seperti pada transaksional sistem, tetapi lebih tepat maksudnya adalah mengelompokkan sumber data menurut kesamaan temanya. Misalnya Finance, Marketing, Production. etc. Nantinya setiap Business Process akan diimplementasikan sebagai Data Marts. Data Mart Potongan secara logika dari Data Warehouse secara keseluruhan. Data Mart bisa juga dilihat sebagai potongan secara logika dari data Warehouse terhadap suatu Business Process tertentu. (mengenai Data Mart, akan dibahas pada sesi tersendiri) Data Warehouse Adalah sumber data yang bisa di Query dalam suatu perusahaan. Sebenarnya Data Warehouse adalah gabungan dari beberapa Data Marts.
Operational Data Store
Pada awalnya ODS adalah titik integrasi dari berbagai operasional sistem. Karena ODS juga mendukung access operasional dan bisa di update maka ODS seharusnya ditempatkan diluar Data Warehouse. Pada akhirnya fungsi ODS juga berkembang menjadi semacam Desicision Support karena ODS mengandung detail data yang telah terintegrasi dari berbagai sumber Data.
OLAP
Disebut juga sebagai Multidimensional Database (MDDB). OLAP sengaja dirancang untuk memudahkan dan mempercepat query yang dilakukan pada MDDB. Karakteristik dan sifat OLAP sangat berbeda dengan OLTP karena memang mempunyai tugas dan fungsi yang berbeda.
ROLAP
Relational OLAP.
MOLAP
Multidimensional OLAP
End User Application
Sekumpulan Tool yang bisa melakukan Query, Analisa Data, dan menampilkan informasi untuk mendukung kepentingan Bisnis. Paling tidak Tool ini juga dilengkapi dengan kemampuan untuk akses Data, fungsi Spreatsheet, fungsi grafik, dan ada fasilitas untuk menampilkan prompt dan menyederhanakan tampilan screen pada End User.
End User Data Access Tool
Sebagai Client dari Data Warehouse. Pada Relational Data Warehouse, Client dapat mengirimkan SQL Request ke Server. Secepatnya End User Data Access Tool akan selesai pada SQL Session dan kembali untuk menampilkan pada screen Data dari suatu Report, Grafik, atau yang lebih tinggi seperti form suatu analisa pada User. End User Data Access Tool dapat saja sederhana seperti Ad-Hoc Query Tool atau bisa juga bisa komplex seperti Data Mining yang canggih atau aplikasi modeling.
Ad-Hoc Query Tool
End User Data Access Tool yang dibuat khusus sehingga memungkinkan User untuk membuat Query sendiri secara langsung dengan cara memanipulasi Relational Tables dan Join-join nya. Dipasaran biasanya Ad-Hoc Query Tool dipaket menjadi satu dengan Reporting Tool.
Modeling Application
Data Warehouse Client yang canggih dengan kemampuan analytic yang dapat merubah bentuk atau menjadikan intisari dari output Data Warehouse.
Modeling ini termasuk didalamnya adalah:
- Forecasting Model, yang berusaha memperkirakan masa depan
- Behaviour Scoring Model, yang dapat mengklasifikasikan perilaku belanja Customer - Allocation Model, yang mengambil data Cost dari Data Warehouse lalu membagikan Cost tersebut ke semua poduct Group atau Customer Group.
- Terutama Data Mining Tools.
Meta Data
Semua informasi dalam lingkungan Data Warehouse namun bukan data itu sendiri, Misalnya informasi mengenai asal data source dari aplikasi apa, tabel apa, field apa, formula bisnis bagaimana, dsb. Meta Data perlu dibuatkan Catalog, diberi Version Stamp, di dokumentasikan dan di backup. Beberapa ETL Tool dipasaran ada yang sudah dilengkapi Meta Data management.
Demikian elemen dasar dari Data Warehouse, masih banyak komponen yang nanti akan di jelaskan pada sesi berikutnya. Reff: Kimball, Ralph, 1998, The Data Warehouse Lifecycle Toolkit, Jhon Wiley & Sons, Inc.
Ref: http://yoyonb.wordpress.com/2009/11/20/apakah-data-warehouse-itu/
Komentar
Posting Komentar