ch14數據倉庫與數據挖掘-文庫吧

【正文】 市 名日 期 標 識 符日月市 表市 名省 名月 表月季 度季 度季 度年小 類 表小 類 標 識 符大 類 標 識 符小 類 名大 類 表大 類 標 識 符大 類 名2021年 6月 14日星期一 數據庫教程（沈 ） 17 Ch14. 2. 數據倉庫 圖 1410 銷售與貨運事實星座模式： 商 店 表 銷 售 事 實 表 商 品 表日 期 表商 店 標 識 符商 店 名商 店 類 型商 品 標 識 符商 店 標 識 符日 期 標 識 符位 置 標 識 符銷 售 量商 品 標 識 符商 品 名商 品 類 型日 期 標 識 符日月季 度年銷 售 金 額位 置 表位 置 標 識 符街 道市 名省 名貨 運 事 實 表商 品 標 識 符日 期 標 識 符運 輸 商 標 識 符從 什 么 位 置到 什 么 位 置貨 運 量貨 運 金 額運 輸 商 表運 輸 商 標 識 符運 輸 商 名位 置 標 識 符運 輸 商 類 型2021年 6月 14日星期一 數據庫教程（沈 ） 18 Ch14. 2. 數據倉庫 在上述數據建模中，對數據立方體再介紹以下概念。 度量（ Measure）的分類與計算 ——數據立方體的度量是一個數值函數，指的是對數據立方體的每一個點所求的值。數據立方體空間的多維點，可由維－值對來定義，例如某一空間點上，時間＝“ 1季度”，商品＝“ PC機”，商店＝“ ”，通過對給定點的各維－值對來聚集數據，即計算該點的度量值。度量可以根據所用的聚集函數而分成三類： ①分配型：假設數據劃分為 n個集合，函數在每一部分上計算得到一個聚集值。如果將函數用于 n個聚集值得到的結果，與將函數用于所有數據得到的數據一樣，則該函數就是一種分配型的計算。例如：計算 Count（）可以這樣計算，先將數據立方體分割為若干個子立方體的集合，對每個子立方體計算 Count（），然后求和。這樣，Count（）就是分配型的聚集函數。同理， Sum（）， Min（）， Max（）也是分配型聚集函數。 ②代數型：如果能夠由一個具有 M個參數的代數函數計算（其中 M是一個有界整數），而每個參數都可由一個分配型聚集函數求得，則稱這種計算是代數型的。例如，Avg（）可由 Sum（） /Count（）計算，其中 Sum（）與 Count（）都是分配型聚集函數。類似地， min_N（）， max_N（）等也都是代數型聚集函數。 ③整體型：整體型聚集函數既不滿足分配型，也不滿足代數型，例如取中位數（一組數的位數數是指數據按大小排序后，取居中的一個數，若有偶數個數，則取居中兩數的平均值）就是一個整體型聚集函數。 概念分層 ——數據模式中有一個概念分層的問題，概念分層是一個映射序列，對于數據模式來說，隱含有概念分層的問題，例如，商品維表中的小類 ?大類，商店維表中的市名 ?省名，如期維表中的日 ?月 ?季度 ?年。數據模式中的概念分層，為數據管理的分析綜合提供了方便。 2021年 6月 14日星期一 數據庫教程（沈 ） 19 Ch14. 2. 數據倉庫 3)構建數據倉庫的步驟 與數據庫系統中數據庫設計過程相類似，數據倉庫的構建要按一定的步驟進行，構建數據倉庫一般有兩個主要步驟：①數據準備階段；②數據倉庫模式設計階段。 ①數據準備階段 :主要是 ETL（抽取、轉換、裝載），數據抽取是指從異構多數據源中圍繞主題選取相關的數據，并要對這些數據進行清理，消除噪聲和不一致數據，并完成集成過程中的轉換，使數據具有集成性，表示方式一致，并轉換為適合聚集操作的有關形式。經過數據轉換階段的工作，才能將數據源裝載到數據倉庫中。 ②數據倉庫模式設計階段 :面對實際應用問題，如何面向主題進行數據倉庫設計 (采用多維數據模型設計星型、雪花等數據模式）是一個用戶、數據倉庫技術人員共同合作要完成的一個重要工作，有較大的難度。 2021年 6月 14日星期一 數據庫教程（沈 ） 20 Ch14. 2. 數據倉庫 設計方法通常有三種：自頂向下（ TopDown），自底向上（ BottomUp），混合方法。 自頂向下方法 ——由總體規劃與設計開始，當對必須解決的業務應用問題比較清楚，已掌握成熟的技術，可采用這種方法。首先，建立企業級的數據倉庫：對已所要抽取的操作型數據庫細工和其它數據，使用集中模式，一次數據重構，將冗余與不一致盡量減少，構建全局性的企業數據倉庫；然后，圍繞部門主題，建立數據集市（ Data Mart）。 自底向上方法 ——從實驗與原型開始，先建部門數據集市，然后擴大到企業數據倉庫。首先，局限在一定的主題范圍，本部門自治設計，建立部門局部的數據集市；然后，在若干個數據集市建成后，去除冗余與不一致性，將創建企業數據倉庫作為首期目標。 混合方法 ——可以認為是上面兩種方法的混合，既能利用自頂向下方法有計劃的戰略性特點，由能保持自底向上方法快速實現與較快應用的優點。 2021年 6月 14日星期一 數據庫教程（沈 ） 21 Ch14. 2. 數據倉庫 (3)OLAP技術 1）概述 2）多維分析技術 3） OLAP操作語言 1）概述 OLAP的由來 ——傳統的關系數據庫應用系統，是一種面向操作型數據的環境，處理對象是確定的業務數據，目的是解決特定業務處理問題。例如，典型計費系統、航班售票系統等。這種系統的數據時效性強，需及時更新數據，而大量的歷史數據不得不保存到脫機的存儲介質中去。那么，如何利用這些海量數據，完成面向決策分析的任務，傳統的 OLTP就難以勝任。這樣， OLAP就應運而生，正如數據倉庫之父 ，“現在該是把哪些歷史數據搬出來的時候了。”聯機分析處理（ OLAP）的概念，最早是由關系數據庫系統奠基人 1993年提出的。當時，Codd認為 OLTP已不能滿足終端用戶對數據庫查詢分析的需求， SQL的簡單查詢不能滿足用戶的分析需求。終端用戶的決策分析，需要對大量數據經過計算而得到決策， Codd提出了多維數據模型的多維分析的概念，即出現了 OLAP技術的概念。 2021年 6月 14日星期一 數據庫教程（沈 ） 22 Ch14. 2. 數據倉庫 OLAP的定義 ——OLAP是一種基于數據集合（數據倉庫或數據庫）的面向分析處理的技術。采用 OLAP技術，用戶能靈活操縱某企事業單位的數據，以多維數據模型的形式，從多方面、多角度來觀察數據的狀態，從而為決策分析提供有力支持。 OLAP、 OLTP的比較 ——OLTP基于關系操作型數據庫， OLAP基于數據倉庫，重點在于數據分析與決策，是對共享多維數據的決策分析。 OLTP與 OLAP的比較，可用表 141以展示。 2021年 6月 14日星期一 數據庫教程（沈 ） 23 Ch14. 2. 數據倉庫 表 141 OLTP與 OLAP的比較 OLTP OLAP 用戶 操作人員，底層管理人員 決策和高層管理人員 功能 日常操作處理 分析決策 設計原則 面向應用 面向主題 數據 當前的，細節的，二維的，分立的 歷史的，聚集的，多維的，集成的 存取 讀 /寫數十條記錄 讀上百萬條記錄 工作單位 短的簡單事務 長的復雜事務 用戶數 成千上萬個 上百個 數據規模 100MB～ GB 100GB～ TB 2021年 6月 14日星期一 數據庫教程（沈 ） 24 Ch14. 2. 數據倉庫 OLAP系統的特征 —— ① 快速性： OLAP系統采用專門的存儲形式，經過大量的預計算，雖然操作涉及復雜的事務，但分析過程仍具有快速性特點； ②可分析性：系統處理的問題與有關的邏輯和統計分析，不是一般的簡單計算； ③共享性：潛在地共享有關數據； ④多維性：這是 OLAP的關鍵特性，可從不同難度進行計算； ⑤信息性：這是 OLAP的目的所在，完成數據的信息解釋。 2021年 6月 14日星期一 數據庫教程（沈 ） 25 Ch14. 2. 數據倉庫 2）多維分析技術 OLAP多維分析技術建立在多維數據模型的基礎上，涉及的重要概念列舉如下： 維 ——是人們觀察數據的特定角度，是考慮問題時的一類屬性，屬性集合構成一個維（如：時間維、地理維等）。 維的層次 ——人們觀察數據的某個特定角度（即某個維）還可以表示細節程度不同的各個描述方面（如：時間維 ——分別是日期、月份、季度、年）。 維的成員 ——維的一個取值，是數據項在某維中位置的描述（如：“某年某月某日”是在時間維上某一位置的描述）。 度量 ——用戶瀏覽多維數據集時查看的數值，是用來評測分析的一種指標值。如：社會保險系統中的基金收繳金額、養老金撥付金額，就是一種度量值。 立方體 ——多維數據集合，是分析的一個主題，由多個維和若干度量值構建并匯總而成的多維數據結構集合，是 OLAP的分析對象。 2021年 6月 14日星期一 數據庫教程（沈 ） 26 Ch14. 2. 數據倉庫 OLAP系統基本操作 ： 切片和切塊（ Slice， Dice） ——在多維數據立方體中，按二維進行切片，按三維進行切塊，可得到所需的某部分數據。如圖 1411就表示社會保險數據在地理、時間、單位分類進行切塊和切片的數據。 圖 1411 社會保險數據立方體的切片、切塊示例： 2021年 6月 14日星期一 數據庫教程（沈 ） 27 Ch14. 2. 數據倉庫 鉆取（ Drill） ——鉆取包含向下鉆取（ Drilldown）和向上鉆取（ Drillup） /上卷（ Rollup）操作，在操作中鉆取的深度與維所劃分的層次是相對的。圖 1412表示社會保險數據立方體按單位維向下 /向上鉆取的數據示例。 2021年 6月 14日星期一 數據庫教程（沈 ） 28 Ch14. 2. 數據倉庫 旋轉（ Rotate） /轉軸（ Pivot） ——通過旋轉（也稱為轉軸），可以得到不同視角的數據。 圖 1413表示社會保險數據立方體的旋轉操作示例。 2021年 6月 14日星期一 數據庫教程（沈 ） 29 Ch14. 2. 數據倉庫 3)OLAP操作語言 傳統關系數據庫系統的操作語言是 SQL，那么對多維數據立方體的 OLAP操作語言是什么呢？這方面的標準化還有待進一步工作，這里以微軟提供的MDX語言為例進行介紹。 MDX語言概述 : MDX（ Multidimensional Expression）是一種支持多維數據立方體定義和操作的語言，由微軟公司提供。 MDX在語法的很多方面與 SQL相似，但不能算是 SQL語言的擴展。 MDX提供數據結構定義的 DQL語法，用于創建（和刪除）多維數據集、維度、度量值以及它們的坐標對象的 MDX命令。 MDX提供多維立方體操作的查詢語句，包含了與 SQL類似的 Select、 From、Where子句， MDX還提供了函數等，增強了操作能力。 基本的 MDX查詢是： Select [軸維度 1[,軸維度 2…]] From [多維數據集 ] [Where [切片 1[,切片 2…]]] SQL語言是從表返回一個仍是表的二維數據集，而 MDX是從多維數據集返回多維數據子集。 2021年 6月 14日星期一 數據庫教程（沈 ） 30 Ch14. 2. 數據倉庫 現以社會保險系統中的應用為例加以說明。 Select {[地理 ].[西安 ].[市本級 ], [地理 ].[西安 ].[雁塔區 ]} ON COLUMNS， {[時間 ].[2021年 ], [時間 ].[2021年 ]} ON ROWS From 基金收繳 Where ([單位 ].[事業 ], [收繳類型 ].[正常繳納 ]) 即可得到如下結果。 2021年 6月 14日星期一 數據庫教程（沈 ） 31 Ch14. (1)概述 (2)數據挖掘的過程 (3)數據挖掘的基本方法 (4)復雜數據類型的挖掘 2021年 6月 14日星期一 數據庫教程（沈 ） 32 . (1)概述 (1)概述 :1)數據挖掘技術的產生 。 2)數據挖掘的定義 . 1)數據挖掘技術的產生 : 從數據庫技術的發展過程看， 20世紀 80年代以來，數據庫系統在各行各業廣泛應用，全球的信息量每隔 20個月就要增加一倍。一個中等規模的企業每天要產生 100MB以上的業務數據，據統計， 1993年全球的計算機數據存儲容量約為 2021TB，到 2021年增加到 30