Detail

Menyederhanakan Optimasi Gudang Data atau Data Warehouse

Mon, Nov 12 2018 | Author: PT. Central Data Technology

Saat mendengar ungkapan "Optimasi Gudang Data", kedengarannya seperti pekerjaan yang sangat rumit. Gudang Data atau Data Warehouse adalah sistem yang rumit dan besar sehingga dapat menyimpan Terabyte bahkan Petabyte data yang bergantung si pembuat keputusan dalam bisnis yang mereka dijalankan.

Meminimalkan biaya dan meningkatkan kinerja adalah andalan pada daftar "yang harus dilakukan" dari semua Petugas Informasi Utama. Seperti memaksimalkan ketersediaan, meningkatkan kualitas data, dan membatasi anomali data. Hilangkan biaya atas depresiasi. Hal ini adalah tantangan yang menjadi semakin sulit untuk dicapai ketika terjebak dengan teknologi yang tidak dapat diadaptasi dan dibatasi oleh spesifikasi perangkat keras yang kaku dan rumit.

Gudang Data pada Masa Lalu

Dulu banyak teknologi sekali teknologi yang belum muncul seperti Big Data Analytics, mesin spark untuk pemrosesan, Cloud Computing dan storage, namun realitas menyeimbangkan ketersediaan data berkualitas dengan upaya yang diperlukan untuk membersihkan dan memuat informasi terbaru terbukti menjadi tantangan konstan. Setiap bulan, IT dibebani dengan data terbaru yang masuk ke dalam gudang data untuk bisnis untuk dianalisis.

Namun, seringkali pemuatan itu sendiri membutuhkan waktu beberapa hari untuk diselesaikan dan jika beban gagal, atau lebih buruk, gudang data menjadi rusak, upaya pemulihan bisa memakan waktu berminggu-minggu. Pada saat kesalahan bulan lalu dikoreksi, data bulan ini perlu dimuat.

Tidak hanya gudang yang ketinggalan zaman dengan informasinya, tetapi juga diikat dalam pemuatan data dan proses pemulihan data, sehingga membuatnya tidak tersedia bagi pengguna akhir. Dengan tambahan tantangan dari volume data yang terus meningkat saat ini, beragam sumber data dan lebih banyak permintaan dari bisnis untuk data realtime dalam analisis mereka, gudang data harus menjadi tempat penyimpanan informasi yang lincah dan fleksibel, daripada pekerja keras kekuatan pemrosesan.

Kebutuhan Gudang Data Hari Ini

Pada hari ini, para CIO bisa tenang mengetahui bahwa mengoptimalkan gudang data tidak harus begitu menakutkan. Dengan tersedianya Big Data AnalyticsApache Spark, dan skalabilitas Cloud yang tampaknya tak terbatas, pasti ada banyak pendekatan yang dapat dilakukan untuk mengatasi teka-teki pengoptimalan tersebut. Kami telah menemukan pendekatan yang paling efektif untuk menyederhanakan optimisasi gudang data (dan memberikan pengembalian investasi yang besar) adalah untuk menghapus pemrosesan yang tidak perlu (yaitu pemrosesan data, transformasi dan pembersihan) dari gudang itu sendiri. Dengan menghilangkan beban proses ETL, gudang hampir meningkatkan ketersediaan dan kinerja secara instan. Ini biasanya disebut sebagai "Offloading ETL".

Ini tidak berarti bahwa data tidak perlu diproses, diubah, dan dibersihkan. Sebaliknya, kualitas data sangat penting. Tetap mengandalkan sistem yang sama yang melayani data untuk bertanggung jawab dalam memproses dan mengubah. Dengan memanfaatkan Spark dan arsitektur pemrosesan di memori, anda dapat mengalihkan beban ETL ke server internal lainnya yang dirancang untuk beban kerja tersebut. Atau lebih baik lagi, menggeser pemrosesan ke infrastruktur terukur cloud dan tidak hanya mengoptimalkan gudang data anda, tetapi akhirnya memotong belanja IT dengan menghilangkan biaya tambahan modal dari perangkat keras yang tidak diperlukan.

Talend Big Data & Machine Learning Sandbox

Dalam Talend Big Data dan Machine Learning Sandbox yang baru, salah satu contoh tersebut menggambarkan betapa efektifnya ETL Offloading. Memanfaatkan Talend Big Data dan Spark, IT dapat bekerja dengan analis bisnis untuk melakukan analisis pra-beban lalu menganalisis data dalam bentuk mentah, sebelum dimuat ke dalam gudang dalam sebagian kecil dari waktu ETL standar. Hal ini tidak hanya memberikan wawasan pengguna bisnis ke dalam kualitas data sebelum dimuat ke dalam gudang, hal itu juga memungkinkan ITmenjadi semacam pos pemeriksaan keamanan untuk mencegah data yang buruk dapat merusak gudang dan menyebabkan pemadaman.

Mengoptimalkan gudang data pasti akan menjadi tantangan besar. Tetapi terkadang solusi terbaik tidak harus menjadi yang paling rumit. Itulah sebabnya Talend menawarkan kualitas data terdepan dalam industri, konektivitas Spark asli dan keterjangkauan berbasis langganan. Hal ini dapat memberikan anda lompatan awal pada strategi pengoptimalan anda. Oleh karena itu, memanfaatkan arsitektur masa depan seperti Talend berarti Anda tidak akan pernah ketinggalan zaman dengan tren teknologi terbaru yang ada.

Tentang Central Data Technology

Central Data Technology merupakan salah satu Value Added Distributor terbesar di Indonesia. Central Data Technology sebagai Perusahaan teknologi informasi yang mendistribusikan berbagai brand terkemuka di dunia Teknologi Informasi antara lain Oracle, F5, Fujitsu, Hitachi Vantara, Commvault, Talend, Pentaho, Mapr, Apple, AWS, dan Sundray. Central Data Technology telah menjadi penyedia berbagai solusi untuk Security, Server Storage, Database, Backup, WLAN, dan Cloud yang terdepan.

Info lebih lanjut hubungi : marketing@centraldatatech.com

 

Sumber artikel :

www.talend.com/blog/2018/11/10/simplifying-data-warehouse-optimization/