Muhaffizh Imani, Fikri (2023) Optimasi Proses ETL Menggunakan Change Data Capture Pada Near Real Time Data Warehouse. Masters thesis, Politeknik Caltex Riau.
Fikri Tesis.docx - Submitted Version
Restricted to Registered users only
Download (3MB)
Abstract
Konsep penerapan ETL (Extract Transform Load) pada data warehouse terus berkembang dari yang bermula dilakukan secara scheduling hingga proses ETL tersebut dapat dilakukan secara mendekati real-time. Berkembangnya konsep tersebut disebabkan karena proses ETL yang dilakukan secara scheduling dalam mengisi data warehouse dapat memakan resource seperti CPU, network ataupun tahapan yang dilakukan karena proses yang dilakukan cukup berat yaitu membaca sumber data, merubah data tersebut ke bentuk yang diinginkan dan menyimpan hasil perubahan tersebut ke data warehouse. Kebutuhan resource yang tinggi ini menjadikan proses ETL harus dieksekusi dengan membuat scheduling pada waktu tertentu dan terpisah dari lingkungan production yang mengakibatkan data pada data warehouse tidak tersedia secara real-time. Selain itu scheduling bekerja tanpa memperhatikan perubahan data yang mengakibatkan proses ETL akan tetap dilakukan meski pada sumber data tidak ada terjadi perubahan apapun. Pemanfaatan metode CDC (Change Data Capture) berbasis log menjadi salah satu alternatif dalam menjalankan proses ETL, dimana saat terjadi perubahan pada sumber data, CDC akan menangkap dan mem-publish informasi perubahan tersebut menggunakan konsep message broker yang akan diterima oleh System Target, sebuah aplikasi yang bertugas untuk menjalankan proses ETL berdasarkan informasi perubahan yang diterima. Hasil penelitian menunjukan penerapan CDC pada proses ETL dapat mengurangi penggunaan resource CPU dan network karena proses ETL hanya akan berjalan pada saat perubahan terjadi yang dapat mengurangi penggunaan resource berlebih pada suatu waktu. Dengan adanya proses ETL saat perubahan terjadi, data warehouse dapat selalu terbarukan dan mampu menyediakan informasi yang mendekati real-time
Item Type: | Thesis (Masters) |
---|---|
Subjects: | KBK > KBK Jurusan Teknologi Informasi > KBK Software Engineering |
Divisions: | Magister Terapan > Jurusan Teknologi Informasi > Magister Terapan Teknik Komputer |
Depositing User: | Fikri Muhaffizh Imani |
Date Deposited: | 27 Aug 2023 13:42 |
Last Modified: | 27 Aug 2023 13:42 |
URI: | http://repository.lib.pcr.ac.id/id/eprint/943 |