數據倉庫的開發設計過程-資料下載頁

　　

【正文】 統。如果還未完成大量的更新，就不應該移動數據。如果數據倉庫中的數據來自多個相互關聯的操作系統，就應該保證在這些系統同步工作時移動數據。廣義的數據準備，覆蓋面很廣泛，包含了從數據源抽取數據，一直到最終數據呈現在用戶面前之間的所有工作，這其中的最主要的工作就是數據的抽取、轉換、清洗、裝載等一系列工作。在最初的數據倉庫實現之前所有的這些工作都是用程序手工實現的。這樣就造成了一個非常嚴重的問題，就是數據倉庫的持續發展問題，因為利用程序實現每一個數據抽取過程，導致所有的數據邏輯都隱藏在程序內部，當數據倉庫進一步發展時，這些程序的管理和修改，將成為阻礙數據倉庫發展的最大的障礙。 經過一段時間的發展，人們最終認識到 ETL 工具的重要性，于是相關的 ETL工具也紛紛出臺，其中比較著名的是 IBM 的 Visual warehouse，Ardent 公司的data stage 等等。如何判斷一個 ETL 工具的優略呢，一般而言，主要有一下幾個因素： 1 OPEN datasourceThe tools must extract data from most kind of data source use Native database Driver就是說這種工具必須從很多不同的數據源抽取數據，并盡可能地使用數據源本身提供的驅動程序來提高使用效率29 / 332 OPEN target DatabaseThe Tools must can Use most database like (DB2,.) as Target database.要支持不同的數據庫作為數據倉庫的載體3 Schedule job 可以定時進行數據的更新的整理4 High Performance 較高的工作效率5 Metadata management 完善的元數據管理，可以對整個 ETL 過程中產生的元數據進行管理6 Parallel support 支持并行數據抽取7 Visualize UI 可視化的工作界面8 Custom define program 可以支持用戶自定義的程序做一些普通 SQL 語句無法完成的工作9 SecuritySupport multi user and user group支持多用戶和多用戶組的工作方式10 Increment data extract support 可以實現數據的增量抽取11 Use subject to manage ETL Job 用戶可以對所有進程按照主題進行管理12 Enable Complex cleansing and transformAutomatic generate SQL, Custom SQL support 支持復雜的數據清洗工作，自動生成 SQL 語句，用戶自定義 SQL30 / 3313 Support MDD data load 可以支持多維數據庫的數據加載14 Support TB data extract and load 可以支持 TB 級別的數據加載15 Data model export and import 現有設置可以進行Export 和 import七、 如何建立數據倉庫 數據倉庫的實現主要以關系數據庫（RDB）技術為基礎，因為關系數據庫的數據存儲和管理技術發展得較為成熟，其成本和復雜性較低，已開發成功的大型事務數據庫多為關系數據庫，但關系數據庫系統并不能滿足數據倉庫的數據存儲要求，需要通過使用一些技術，如動態分區、位圖索引、優化查詢等，使關系數據庫管理系統在數據倉庫應用環境中的性能得到大幅度的提高。 數據倉庫在構建之初應明確其主題，主題是一個在較高層次將數據歸類的標準，每一個主題對應一個宏觀的分析領域，針對具體決策需求可細化為多個主題表，具體來說就是確定決策涉及的范圍和所要解決的問題。但是主題的確定必須建立在現有聯機事務處理（OLTP）系統基礎上，否則按此主題設計的數據倉庫存儲結構將成為一個空殼，缺少可存儲的數據。但一味注重OLTP 數據信息，也將導致迷失數據提取方向，偏離主題。需要在 OLTP 數31 / 33據和主題之間找到一個“平衡點”，根據主題的需要完整地收集數據，這樣構建的數據倉庫才能滿足決策和分析的需要。 建立一個數據倉庫需要經過以下幾個處理過程：①數據倉庫設計；②數據抽取；③數據管理。 數據倉庫設計 根據決策主題設計數據倉庫結構，一般采用星型模型和雪花模型設計其數據模型，在設計過程中應保證數據倉庫的規范化和體系各元素的必要聯系。主要有以下 3 個步驟： ①定義該主題所需各數據源的詳細情況，包括所在計算機平臺、擁有者、數據結構、使用該數據源的處理過程、倉庫更新計劃等。 ②定義數據抽取原則，以便從每個數據源中抽取所需數據；定義數據如何轉換、裝載到主題的哪個數據表中。 ③將一個主題細化為多個業務主題，形成主題表，據此從數據倉庫中選出多個數據子集，即數據集市（DataMart）。數據集市通常針對部門級的決策或某個特定業務需求，它開發周期短，費用低，能在較短時間內滿足用戶決策的需要。因此，在實際開發過程中可以選擇在成功建立幾個數據集市后再構建數據倉庫32 / 33這種策略。 這些數據定義直接輸入系統中，作為元數據（metadata）存儲，供數據管理模塊和分析使用。元數據存儲在元數據庫中，它不僅是數據倉庫的文檔資料，供管理、維護人員使用，而且亦可供用戶查詢，使之更好地了解數據倉庫結構，提高自己的使用水平。 數據抽取模塊 該模塊是根據元數據庫中的主題表定義、數據源定義、數據抽取規則定義對異地異構數據源（包括各平臺的數據庫、文本文件、HTML 文件、知識庫等）進行清理、轉換，對數據進行重新組織和加工，裝載到數據倉庫的目標庫中。在組織不同來源的數據過程中，先將數據轉換成一種中間模式，再把它移至臨時工作區。加工數據是保證目標數據庫中數據的完整性、一致性。例如，有兩個數據源存儲與人員有關的信息，在定義數據組成的人員編碼類型時，可能一個是字符型，一個是整型；在定義人員性別這一屬性的類型時，一個可能是char（2），存儲的數據值為“男”和“女”，而另一個屬性類型為 char（1），數據值為“F”和“ M”。這兩個數據源的值都是正確的，但對于目標數據來說，必須加工為一種統一的方法來表示該屬性值，然后交由最終用戶進行驗證，這樣才能保證數據的質量。在數據抽取過程中，必須在最終用戶的密切配合下，才能實現數據的真正統一。早期數據抽取是依靠手工編程和程序生成器實現，現在則通過高效的工具來實現，如 Ardent 公司的 Infomoter 產品、SAS 的數據33 / 33倉庫產品 SAS/WA（WarehouseAdministrator）及各大數據倉庫廠商推出的、完整的數據倉庫解決方案。 數據維護模塊 該模塊分為目標數據維護和元數據維護兩方面。目標數據維護是根據元數據庫所定義的更新頻率、更新數據項等更新計劃任務來刷新數據倉庫，以反映數據源的變化，且對時間相關性進行處理。更新操作有兩種情況，即在倉庫的原有數據表中進行某些數據的更新和產生一個新的時間區間的數據，因為匯總數據與數據倉庫中的許多信息元素有關系，必需完整地匯總，這樣才能保證全體信息的一致性。 數據倉庫規模一般都很大，從建立之初就要保證它的可管理性，一個企業可能建立幾個數據倉庫或數據集市，但他們可共用一個元數據庫對其進行管理。首先從元數據庫查詢所需元數據，然后進行數據倉庫更新作業，更新結束后，將更新情況記錄于元數據庫中。當數據源的運行環境、結構及目標數據的維護計劃發生變化時，需要修改元數據。元數據是數據倉庫的重要組成部分，元數據的質量決定整個數據倉庫的質量。