Resume Data Warehouse

1. STAR SCHEMA
Disebut star schema karena Entity Relationship Diagram atau ERD-nya yang menyerupai bintang, tabel fakta berada di tengah dengan dikelilingi tabel dimensi di sampingnya.

Berikut adalah contoh gambar star schema :

Gambar : Star Schema

Berikut adalah kelebihan dan kekurangan model dimensi star schema.

Kelebihan model dimensi star schema :

1. cenderung mudah dipahami karena modelnya yang lebih sederhana,
2. memudahkan mencari isi karena kesderhanaannya dengan cara melihat step by step dari masing-masing dimensinya,
3. proses query lebih cepat pada saat proses OLAP.

Kekurangan model dimensi star schema :

1. ukuran data lebih besar karena ada data yang disimpan ulang,
2. maintenance dan update lebih sulit.

 2. SNOWFLAKE SCHEMA
Sedangkan snowflake schema lebih kompleks dibandingkan dengan star schema karena merupakan pengembangan dari star schema, karena tabel-tabel dimensinya merupakan hasil normalisasi dari beberapa tabel yang berhubungan.

Berikut adalah kelebihan dan kekurangan model dimensi snowflake schema.

Kelebihan model dimensi snowflake schema :

1. ukuran data lebih kecil di dalam tempat penyimpanan,
2. lebih mudah dilakukan maintenance dan update,
3. proses query lebih cepat pada saat proses ETL.

Kekurangan model dimensi snowflake schema :

1. cenderung lebih sulit dipahami karena kompleksitasnya,
2. sulit mencari isi karena melihat strukturnya yang kompleks dan bercabang-cabang.

 3. STARFLAKE
 Adapun starflake merupakan gabungan diantara keduanya. Keuntungan menggunakan masing-masing model tersebut dalam data warehouse antara lain :

• Efisien dalam hal mengakses data
• Dapat beradaptasi terhadap kebutuhan-kebutuhan user
• Bersifat fleksibel terhadap perubahan yang terjadi khususnya perubahan yang mengarah pada     perkembangan
• Memiliki kemampuan dalam memodelkan situasi bisnis secara umum
• Meskipun skema yang dihasilkan sangat kompleks, tetapi pemrosesan query dapat diperkirakan, hal ini dikarenakan pada level terendah, setiap table fakta harus di query secara independen.

Read more

Contoh Studi Kasus

Aplikasi Data Warehouse untuk Analisis Penjualan

Mobil Berbasis Multidimensional Modeling (MDM)

dan Star Schema Design

                                             (Studi Kasus PT. ASCO AUTOMOTIVE)

            
1. Pendahuluan

     Dewasa ini perkembangan teknologi komputer mengalami kemajuan yang pesat. Hampir setiap perusahaan berusaha untuk mengoptimalkan fungsi dari teknologi komputer itu sendiri dengan harapan teknologi tersebut memberikan suatu nilai tambah tersendiri. Didesak adanya kebutuhan akan informasi yang tepat dan juga semakin bertambah banyaknya data yang harus didokumentasikan maka hal ini mendukung berkembangnya berbagai aplikasi yang mencoba untuk memaksimalkan penyimpanan data itu sendiri.

     Dari uraian di atas dapat dilihat bahwa dalam suatu organisasi perusahaan, kebutuhan akan data sangat lah besar. Namun ada beberapa yang masih mengalami kesulitan dalam hal memproses data itu sendiri khususnya data penjualan menjadi sebuah informasi yang nantinya akan mendukung proses pengambilan keputusan.

     Untuk itu penulis mencoba untuk merancang suatu sistem yang dapat memproses data penjualan dengan mencoba menerapkan apa yang disebut dengan data warehouse atau pergudangan data. Data warehouse memiliki kemampuan melakukan query yang kompleks, model data yang lengkap dan menekankan pada dukungan analisis data. Pada jurnal ini nantinya akan dibahas lebih jauh bagaimana sistem dapat mengkategorikan data menurut dimensi yakni item, waktu, dan lokasi, sehingga dapat menghasilkan suatu analisis (OLAP) dan bukan pada proses transaksi. Aplikasi akan dibangun menggunakan teknologi Visual Basic .Net 2005 dan SQL Server 2000.

     Dengan sistem data warehouse ini, diharapkan perusahaan dapat mengorganisasi data penjualan yang dimiliki sehingga memilki suatu nilah tambah sehingga dapat digunakan untuk mendukung pengambilan keputusan pada tingkat manajemen.

2. Data Warehouse Penjualan Mobil

     Data warehouse penjualan mobil didesain menjadi memiliki delapan table dimensi dan satu tabel fact yang menghubungkan tabel-tabel dimensi yang ada. Nama dari database ini adalah ASCO. Kedelapan tabel dimensi itu adalah T_mobil, T_Customer, T_Cabang, T_JenisPelunasan, T_Leasing, T_Lokasi, T_waktu, dan T_warna. Dari semua tabel dimensi tersebut, nantinya akan dihubungkan melalui satu tabel fact yang dalam sistem ini bernama tabel T_Fact_Penjualan.

Tabel Fact

Untuk lebih jelasnya, hubungan antar tabel dimensi dengan tabel fact dapat dilihat pada Gambar diatas. Dari gambar tersebut dapat terlihat bagaimana perancangan sistem data warehouse penjualan mobil menggunakan prinsip desain star schema diterapkan secara jelas.

 

Data Penjualan

Gambar diatas merupakan tampilan data penjualan yang digunakan untuk kepentingan analisis penjualan mobil. Tampilan ini hanya bisa diakses oleh tingkat pengguna sistem admin dan manajer. Namun tampilan ini memiliki fungsi yang maksimal ketika si pengguna sistem adalah manajer, karena dialah yang lebih paham mengenai seluk beluk penjualan dan strategi yang akan dipakai dalam penjualan. Tampilan ini memiliki berapa jenis yakni tampilan data penjualan mobil per gross profit, data penjualan mobil berdasarkan jumlah unit yang terjual, data penjualan berdasarkan cabang unit, dan tampilan data penjualan mobil per lokasi.

3. Kesimpulan dan Hasil Analisa
    Dengan adanya sistem data warehouse penjualan mobil ini, data-data penjualan lebih terangkum ke dalam bentuk laporan yang detail berdasarkan dimensi yang telah disaring sebelumnya. Dan dengan diterapkannya desain data warehouse dengan menggunakan star schema, dapat menggantikan tingkat gabungan antar tabel yang tinggi apabila menggunakan database transaksi.
    Karena dalam model ini ada beberapa kelebihan dan kekurangan dari penggunaan star schema, yaitu untuk performansi sistem, star schema lebih dapat diandalkan dibandingkan dengan skema yang lainnya, hal ini dikarenakan penggunaan tingkat join antar tabel dimensi dan tabel fact yang sedikit sehingga memudahkan sistem untuk melakukan suatu operasi. 

Read more

RESUME "DATA WAREHOUSE" PERTEMUAN 2

KONSEP DATA MART

Apakah Data Mart Itu?

Sebuah data mart adalah bentuk sederhana dari sebuah gudang data yang difokuskan pada subjek tunggal (atau area fungsional), seperti Penjualan, Keuangan, atau Marketing. Data mart sering dibangun dan dikendalikan oleh satu departemen dalam sebuah organisasi. Mengingat subjek tunggal fokus mereka, data mart biasanya hanya menarik data dari beberapa sumber. Sumber-sumber dapat berupa sistem operasional internal, gudang data pusat, atau data eksternal.

Apa perbedaannya dengan Data Warehouse?

Sebuah gudang data, seperti data mart, berkaitan dengan bidang studi ganda dan biasanya dilaksanakan dan dikendalikan oleh unit organisasi pusat seperti perusahaan Teknologi Informasi (TI) kelompok. Seringkali, hal itu disebut data warehouse pusat atau perusahaan. Biasanya, data warehouse merakit data dari sistem beberapa sumber.

Kategori	Data Warehouse	Data Mart
Cakupan	perusahaan	Bidang Usaha (LOB)
Subjek	beberapa	subjek tunggal
Sumber Data	banyak	Beberapa
Ukuran (khas)	100 GB-TB +	<100 GB
Waktu pelaksanaan	Bulan sampai tahun	Bulan

  
Ada empat tugas yang bisa dilakukan dengan adanya data warehouse

    1. Pembuatan laporan

Pembuatan laporan merupakan salah satu kegunaan data warehouse yang paling umum dilakukan. Dengan menggunakan query sederhana didapatkan laporan perhari, perbulan, pertahun atau jangka waktu kapanpun yang diinginkan.

    2. On-Line Analytical Processing (OLAP)

OLAP mendayagunakan konsep data multi dimensi dan memungkinkan para pemakai menganalisa data sampai mendetail, tanpa mengetikkan satupun perintah SQL. Hal ini dimungkinkan karena pada konsep multi dimensi, maka data yang berupa fakta yang sama bisa dilihat dengan menggunakan fungsi yang berbeda. Fasilitas lain yang ada pada sofware OLAP adalah fasilitas rool-up dan drill-down. Drill-down adalah kemampuan untuk melihat detail dari suatu informasi dan roll-up adalah kebalikannya.

Data mining

Data mining merupakan proses untuk menggali pengetahuan dan informasi baru dari data yang berjumlah banyak pada data warehouse, dengan menggunakan kecerdasan buatan (Artificial Intelegence), statistik dan matematika. Data mining merupakan teknologi yang diharapkan dapat menjembatani komunikasi antara data dan pemakainya.
Beberapa solusi yang diberikan data mining antara lain :

    a. Menebak target pasar

Data mining dapat mengelompokkan (clustering) model-model pembeli dan melakukan klasifikasi terhadap setiap pembeli dan melakukan klasifikasi terhadap setiap pemebeli sesuai dengan karakteristik yang diinginkan.

    b. Melihat pola beli dari waktu ke waktu

Data mining dapat digunakan untuk melihat pola beli dari waktu ke waktu.

    c. cross-market analysis

Data mining dapat dimanfaatkan untuk melihat hubungan antara satu produk dengan produk lainnya.

    d. Profil pelanggan

Data mining bisa membantu pengguna untuk melihat profil pembeli sehingga dapat diketahui kelompok pembeli tertentu cenderung kepada suatu produk apa saja.

    e. Informasi summary

Data mining dapat membuat laporan summary yang bersifat multi dimensi dan dilengkapi dengan informasi statistik lainnya.

    4. Proses informasi executive

Data warehouse dapat membuat ringkasan informasi yang penting dengan tujuan membuat keputusan bisnis, tanpa harus menjelajahi keseluruhan data. Dengan menggunakan data warehouse segala laporan telah diringkas dan dapat pula mengetahui segala rinciannya secara lengkap, sehingga mempermudah proses pengambilan keputusan. Informasi dan data pada laporan data warehouse menjadi target informative bagi user.

Karakteristik Data Warehouse
Data warehouse berorientasi subject artinya data warehouse didesain untuk menganalisa data berdasarkan subject-subject tertentu dalam organisasi,bukan pada proses atau fungsi aplikasi tertentu. Data warehouse diorganisasikan disekitar subjek-subjek utama dari perusahaan(customers,products dan sales) dan tidak  diorganisasikan pada area-area aplikasi utama(customer invoicing,stock control dan product sales). Hal ini dikarenakan kebutuhan dari data warehouse untuk menyimpan data-data yang bersifat sebagai penunjang suatu keputusan, dari pada aplikasi yang berorientasi terhadap data.

Jadi dengan kata lain, data yang disimpan adalah berorientasi kepada subjek bukan terhadap proses.

    1. Integrated (Terintegrasi)

Data Warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah kedalam suatu format yang konsisten dan saling terintegrasi satu dengan lainnya. Dengan demikian data tidak bisa dipecah-pecah karena data yang ada merupakan suatu kesatuan yang menunjang keseluruhan konsep data warehouse itu sendiri.

Contoh pada lingkungan operasional terdapat berbagai macam aplikasi yang mungkin pula dibuat oleh developer yang berbeda. Oleh karena itu, mungkin dalam aplikasi-aplikasi tersebut ada variable yang memiliki maksud yang sama tetapi nama dan format nya berbeda. Variable tersebut harus dikonversi menjadi nama yang sama dan format yang disepakati bersama. Dengan demikian tidak ada lagi kerancuan karena perbedaan nama, format dan lain sebagainya. Barulah data tersebut bisa dikategorikan sebagai data yang terintegrasi karena kekonsistenannya.

    2. Time-variant (Rentang Waktu)

Seluruh data pada data warehouse dapat dikatakan akurat atau valid pada rentang waktu tertentu. Untuk melihat interval waktu yang digunakan dalam mengukur keakuratan suatu data warehouse, kita dapat menggunakan cara antara lain :

    Cara yang paling sederhana adalah menyajikan data warehouse pada rentang waktu tertentu, misalnya antara 5 sampai 10 tahun ke depan.

    3. Non-Volatile

Karakteristik keempat dari data warehouse adalah non-volatile,maksudnya data pada data warehouse tidak di-update secara real time tetapi di refresh dari sistem operasional secara reguler.

Berbeda dengan database operasional yang dapat melakukan update,insert dan delete terhadap data yang mengubah isi dari database sedangkan pada data warehouse hanya ada dua kegiatan memanipulasi data yaitu loading data (mengambil data) dan akses data (mengakses data warehouse seperti melakukan query atau menampilan laporan yang dibutuhkan, tidak ada kegiatan updating data).
 

Sumber : http://download.oracle.com/docs/html/E10312_01/dm_concepts.htm

 

Read more

RESUME "DATA WAREHOUSE" PERTEMUAN 1

Data warehouse adalah suatu konsep dan kombinasi teknologi yang memfasilitasi organisasi untuk mengelola dan memelihara data historis yang diperoleh dari sistem atau aplikasi operasional [Ferdiana, 2008].  Pemakaian teknologi data warehouse hampir dibutuhkan oleh semua organisasi. Data warehouse memungkinkan integrasi berbagai macam jenis data dari berbagai macam aplikasi atau sistem. Hal ini menjamin mekanisme akses “satu pintu bagi manajemen untuk memperoleh informasi, dan menganalisisnya untuk pengambilan keputusan”.

Manfaat Data Warehouse
Data Warehouse biasanya digunakan untuk:
1. Memahami trend bisnis dan membuat perkiraan keputusan yang lebih
baik.
2. Menganalisa informasi mengenai penjualan harian dan membuat
keputusan yang cepat dalam mempengaruhi performance perusahaan.

Secara singkat OLTP adalah segala penanganan dalam proses transaksi sehari-hari, misalkan sebuah toko Alfamart yang menangani ransaksi pembelian setiap harinya, bayangkan ada berapa banyak transaksi input ke dalam database? pasti banyak sekali. lantas apakah data transaksi tersebut akan di diamkan menumpuk sampai berbulan-bulan bahkan bertahun-tahun? disinilah OLAP berperan,

Secara singkat OLAP adalah suatu proses yang digunakan untuk melakukan permintaan terhadap data dalam bentuk yang kompleks dan menganalisa data yang bervolume besar. maka dari itu OLAP seringkali disebut analisis data multidimensi.

Pada OLAP biasanya digunakan untuk pengambilan suatu keputusan, misalkan sebagai contoh para top level di Alfamart ingin melihat data transaksi perbulan, per 3 bulan atau bahkan per tahun untuk pengambilan keputusan barang apa saja yang paling laku dijual da barang apa saja yang tidak laku di pasar.

Read more

RESUME MATERI KULIAH "DATA WAREHOSE"

1. Resume Pertemuan 1 (Sekilas Tentang DATA WAREHOUSE)
2. Resume Pertemuan 2 (Data Warehouse, Data Mart )
3. Resume Pertemuan 3 (Sekilas Tentang )

Read more

DATA MOVEMENT & DISTRIBUTION DATABASE

Data Movement
Proses data movement ini adalah memindahkan (dapat diakatakan membackup juga) data – data dari database yang berupa data indeks, grand, schema, dan lain – lain ketempat baru. Tempat baru ini bisa ke dalam database baru atau memang untuk dibackup saja.

Data movement terdiri dari 2 bagian besar yaitu :
• Load & Unload [difokuskan untuk memindahkan data yang berupa indeks atau data itu sendiri alias isi dari database tersebut]
• Export & Import [memindahkan data secara lengkap, mulai dari grand, schema, dan seluruhnya]

Jika dilihat, load tersebut berhubungan dengan import, dan upload berhubungan dengan export.

• Load berfungsi untuk memasukan data / transaksi ke sebuah table. Dapat dikatakan juga insert, replace, atau update.
• Sedangkan unload digunakan untuk membaca data dari table dan menyimpannya dalam bentuk sebuah file.
Kelemahan load adalah dalam prosesnya bisa saja terjadi data yang tidak berpindah secara sempurna atau sering kita sebut Corup.

Bulk Data Movement

Kombinasi dari UNLOAD dan LOAD data, Bulk Data Movement adalah salah satu metode yang digunakan DBA untuk memindahkan sejumlah besar data dari satu tempat ke tempat yang lain.
Ada beberapa metode yang lain untuk memindahkan data dengan kuantitas yang besar

EX :
1. ETL adalah salah satu software yang dapat digunakan untuk melakukan data movement. ETL singkatan dari extract, transform, and load.
2. Replication and Propagation, software yang memonitoring source database dan target, dan yang dihasilkan oleh software ini adalah pencatatatn log.

Perlu diperhatikan juga hak akses dalam load & unload, import & export minimal adalah akses select.

Distribution Database

Dalam distribution database terdapat 3 istilah yaitu :
• Autonomi [idependent], untuk tabel umum akses yang diberikan berbeda dari setiap user. (Autonomy : menunjukkan tingkat penggunaan secara independent masing-masing distributed database)
• Isolation [stand alone], untuk tabel khusus (privacy) itu terpisah dari user.
(Isolation : menunjukkan apakah setiap site memiliki keterkaitan dengan site lain dalam distributed environtment, atau setiap site berdiri sendiri )
• Transparancy [all user], akses tabel terpisah dari user tetapi user masih dapat mengaksesnya. Transparency : menunjukkan lapisan data lokasi dari user sampai aplikasi

Read more