xxxxbi系統方案建議書(編輯修改稿)

　

【文章內容簡介】 個開放的、可更改的結構上，以便能夠處理數據和需求的不斷膨脹。 Warehouse Manager 正是這樣的一個工具。提供一個開放的，從數據源到數據倉庫的一致的解決方案。 在 XXX 公司 的 BI 系統中，通過 Warehouse Manager 管理器可以方便地建立數據加工的流程 (process)和步驟 (step)，這些步驟反映了 XXX 公司 具體業務 數據的流程、規則。在各步驟中可以定義代理 (agent)來自動運行數據傳遞、清洗和匯總功能，這些步驟可以按時間、事件運行，或由其它步驟觸發。代理可以運行在 Warehouse Manager 服務器上，也可以運行在遠程的業務主機上，并且可以有多個代理運行以提高效率。可以以非常直觀的圖形化方式管理數據倉庫，當報表系統的業務需求發生變化時，可以非常方便地修改步驟，滿足變化多端的商業競爭環境。 Warehouse Manager 是專門為商業應用設計的，它可以自動在網絡上進行數據的傳送，不需要人為干預，并且利用它的日志功 能可以對系統運行很好地監控。 在 DB2 Warehouse Manager(DWM)中含有 Warehouse Agent 部件，它可以用來在位于數據倉庫的目標數據庫 DB2 UDB 中執行直接執行數據倉庫的數據加工。另外，在數據倉庫服務器于業務系統之間的文件數據 FTP 傳輸以及從表中抽取少量數據也可以通過 Agent 直接執行。 建立數據倉庫之后，選擇一些有意義的主題，抽取相關的數據到 DB2 OLAP Server 中，利用 DB2 OLAP Server 的強大分析功能，給最終用戶提供在線多維分析的功能，能夠讓最終用戶充分 挖掘出數據中包含的信息。 DWM 在執行完數據的提取任務后，自動觸發預先定義好的 OLAP 操作，將數據經過匯總計算后加載至 DB2 OLAP Server 中。 最終用戶工具我們選用 DB2 OLAP Analyzer，這個產品是一個數據倉庫的前端分析工具，利用這個工具用戶可以很容易地訪問 OLAP Server 中經過處理的數據，制作各種形式、風格的報表，報表內容可以包括數字、圖像、曲線等，使得管理層可以直接、直觀地查看企業的經營情況。 IBM 公司數據倉庫 /商業智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 9頁 建議架構 生產系統1生產系統2生產系統3 Intra/InterBrowserWindows 2020Meta Data管理/數據倉庫控制DB2/Warehouse Control CenterDB2 Warehouse ServerDB2 OLAP Server Application ManagerDB2 Intelligent Miner ClientWindows 2020查詢／分析WEB應用服務器DB2 OLAP Analysis ServerHTTP ServerDB2 UDB EEDB2 Warehouse ManagerDB2 Intelligent Miner for DataDB2 Intelligent Miner ScoringOLAP DataWarehouseDataRS/6000DB2 OLAP Server 圖 3 XXX公司 BI系統軟硬件配置示意圖 在此方案中，采用 RS/6000 服務器作為運行數據倉庫目標數據庫的服務器，其上安裝 DB2 UDB EE、 DB2 Warehouse Manager，用來從生產系統抽取對決策有用的業務數據，經過加工后存放在數據倉庫中。 在海量數據倉庫基礎上針對每一類具體業務問題建立數據集市。由于 XXX公司 BI 系統中的業務問題大多是多維分析問題，故利用另外一臺 RS/6000 服務器運行 IBM 公司專門的多維分析服務器產品 DB2 OLAP Server，以極大地加 快多維分析的速度。 IBM 公司數據倉庫 /商業智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 10頁 在數據倉庫服務器上同時安裝 DB2 Intelligent Miner for Data，從數據倉庫服務器中抽取數據進行智能挖掘；此外，在數據倉庫上安裝 DB2 Intelligent Miner Scoring，用來將數據挖掘的結果作用到數據倉庫中，實現打分功能。 所有客戶端以瀏覽器方式，通過查詢和多維分析的 WEB 應用服務器訪問數據倉庫和多維分析服務器中的數據。整個系統需要在一臺運行 Windows 2020 的PC 服務器上安裝 DB2 OLAP Analyzer Analysis Server 以及 HTTP Server，作為為前端瀏覽器客戶提供統一入口的應用服務器。為提高系統響應時間及提供負載均衡能力，可以配合 WebSphere Application Server 共同使用。 另外，需要配置一臺 PC 服務器運行 Windows 2020 作為整個系統的控制服務器，安裝 DB2 Warehouse Control Server、 DB2 Control Center、 OLAP Server 控制臺 OLAP Server Application Manager 以及挖掘服務器前端 DB2 Intelligent Miner for Data Client。 此方案的優點： 基于公司的業務需求。各業務部門可以根據自己的需要定義數據集市的內容，并進行各種指標的多維分析，在實際應用中不斷擴展系統，為決策者提供必要的信息。 高性能、高效率。數據都在本地運行，數據量相對較小，因此對服務器計算能力的要求相對較低。同時由于在局域網上運行，對網絡帶寬基本不會有壓力，并且用戶響應時間可以得到保障。 最大限度地減少網絡負荷。各客戶端通過瀏覽器方式從中心數據倉庫中獲取數據，只有需要的數據被傳輸。 滿足 XXX 公司 未來發展的需要。此方案具有 很好的可擴展性，隨著 XXX公司 業務量的增加，業務數據的增多，各種業務系統的建立，此方案可以容易的適應這些變化，滿足業務的需求。 一次性投資，長期受益。此方案不僅可以滿足 XXX 公司 目前 BI 系統的需要，更為重要的是為 XXX 公司 商業智能應用打下了一個堅實的基礎。 XXX 公司 可以在此基礎上開發各種商業智能應用，輔助決策者制定業務計劃和措施，在激烈的競爭中保持良好的勢頭。 IBM 公司數據倉庫 /商業智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 11頁 第四章 所選 IBM 產品簡介 在這次的商業智能解決方案中，采用的產品包括數據庫 DB2 UDB、數據倉庫(DB2 Warehouse Manager)、多維數據庫 (OLAP Server)、前臺分析工具 (DB2 OLAP Analyzer)及智能數據挖掘服務器 (DB2 Intelligent Miner for Data)。以下是各個產品的描述說明。 DB2 UDB 概述： DB2 家族 (Family)與 DB2 通用數據庫 (UDB) IBM DB2 家族的各種關系數據庫管理系統適用于各種硬件平臺，其中包括基于 Intel 的微機、 IBM 的或非 IBM 的各種 RISC 服務器和工作站、大型并行處理機、 AS/400 中型計算機系統以及運行 VM、 VSE 和 MVS、 OS/390 操作系統的主機系統。各種平臺上的 DB2 有共同的應用程序接口，因此運行在一種平臺上的程序可以很容易地移植到其他的平臺。 DB2 家族產品能夠滿足不同用戶的需求，它包含了從單用戶的微機系統到支持 80 萬用戶的主機系統。 DB2 家族除了包含在各種平臺上運行的數據庫管理系統內核之外，產品包中還包括了數據復制、數據庫系統管理、環球網 (Inter)網關支持、在線分析處理、多媒體支持和各種并行處理能力， 免費提供 DB2 UDB 在 PC 和 UNIX 平臺上的客戶機端產品 (DB2 CAE)，并為所有平臺上的異構數據庫訪問 提供 “中介件 ”(Middleware)解決方案。 可運行在基于 Intel 的微機及各種 RISC 服務器 (UNIX 平臺 )上的 DB2 UDB 包括： DB2 for AIX， DB2 for HPUX， DB2 for SUN Solaris， DB2 for OS/2，DB2 for Windows NT， DB2 for Win95， DB2 for Win98， DB2 for Linux， DB2 for SCO， DB2 for Sinix， DB2 for NUMAQ 等等。 這些產品是全功能、具有工業強度的關系 數據庫管理系統，分別用于服務器和工作站平臺。可以把它們配置到單個的系統上，或者配置到支持客戶機工作站的 LAN 服務器上，還可以把它們配置為環球網 (Inter)上的數據庫服務器。如果使用服務器配置，那就允許 DOS、 Windows、 OS/ Win9 Win9 Macintosh或 UNIX 客戶機去訪問 DB2 服務器，可以使用 TCP/IP、 IPX/SPX、 NetBIOS 或APPC 等網絡協議；如果作為環球網上的數據庫服務器，則可由一臺瀏覽器 (Web Browser)作為客戶機訪問。 DB2 通用數據庫 (UDB) 產品建立在一個共同代碼的基礎之上，依據多進程 /多線索結構進行設計，其數據庫引擎的核心技術來自 Starburst 研究項目以及DB2 for OS/390 等主機產品，而且它們在數據和應用的可移植性兩個方面與 DB2IBM 公司數據倉庫 /商業智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 12頁 家族中的其他成員完全兼容。因而任何受過一種平臺上的 DB2 培訓的人員能夠很容易地使用其他平臺的 DB2 產品。在保持這種外在的兼容性以及具備 DB2 家族成員所必需具備的可靠性和可管理性的同時，實際上它們每個產品還針對各自的平臺環境作了調整和優化以達到業界領先的性能 /價格比。 DB2 產品家族提供了完整的 中文支持，對中文的支持貫穿于從微機到主機的所有平臺，這是任何其他數據庫廠家做不到的。 圖 4 DB2家族產品 DB2 通用數據庫 (UDB) 的特色 DB2 通用數據庫 (UDB) 無論在網絡計算方面還是在線分析、多媒體處理，都能給你全面、滿意的支持，而且集成了豐富的數據庫管理工具，把原來復雜的管理工作變得非常簡單。 DB2 致力于商業智能和數據倉庫方面的改進，包括自動觸發器，多分區和多表的自動總計表格，優化星式結構的連接方法，使查詢和整個系統的 反應速度大大提高。同時也增加了在裝載和在線重組時對索引的維護。在 DB2 中還新增了統計、線性回歸等功能，直接支持進一步深入分析，以便利用 DB2 的查詢處理實用程序，而以往只能在應用程序級上做到這一點。另外，在支持 16 和 32KB Pages、多個緩沖池 (multiple buffer pool)的優化、更快的完整性約束處理、處理更多查詢的星式連接等方面，做了一系列的改進。 IBM 公司數據倉庫 /商業智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 13頁 應一些 IBM 合作伙伴軟件提供商的要求， DB2 UDB 包含以下擴充性能： ? 表 /視圖 /別名的命名長度限制由原來的 18 個字符擴充為 128 個 字符。 ? 列命名長度限制由原來的 18 個字符擴充為 30 個字符。 ? SQL 語句的最大長度由原來的 32KB 增大到 64KB。 ? 頁大小從 16KB 增大到 32KB。 ? 最大變量字符為 32KB，取決于頁大小。 ? 最大表 /表空間的大小從 128GB 擴大到 512GB，取決于頁大小。 ? 索引關鍵字長度從 255 字符擴大到 1,024 個字符。 ? 嵌入式 SQL 編程支持宏。 DB2 對統一代碼 (Unicode)的支持： 16Bit 固定長度的 Unicode 包含所有通用文本字符，容許定長字符序列 (以便分析 )和設定含義的字符。對 UCS2 和UTF8 格式的支持，允許用戶用各種主要語言創建數據庫和存取數據。 DB2 支持wchar_t 數據類型，使得用戶在單字節環境 (如英語環境 )下開發的應用在其他環境(日語 )下也可照常運行。 DB2 UDB 增強面向對象的 SQL 和 SQL 擴展，集成 Windows 平臺，打包新增免費軟件。產品集成改變主要包括通用數據支持，免費新增數據倉庫中心和 DB2 OLAP starter kit。用戶可以使用 DB2 的數據連接器 (DataJoiner)，象訪問DB2 數據資源一樣，訪問 Oracle, Sybase, Informix, SQL Server 等數據庫。用戶只需熟悉 DB2 語法即可在跨平臺的復雜環境中輕松獲取非 DB2 數據。 DB2 UDB 選件中針對 Oracle 的關系連接部件可以使用戶通過標準 SQL 查詢同時訪問DB2 和 Oracle 的數據資源。 DB2 UDB 的用戶現在可以跨越 DB2 數據庫、 Oracle 數據庫或者一個OLE DB 資源進行分布式的查詢，也就是可以通過使用 DB2 通用數據庫的 SQL句法和 API 在一個工作單元的查詢內實現訪問和操作保存在異構數據資源中的數據。 DB2 Relational