數(shù)據(jù)挖掘緒論淺談數(shù)據(jù)挖掘(編輯修改稿)

　

【文章內(nèi)容簡介】 ration, Data Warehouses Data Sources Paper, Files, Web documents, Scientific experiments, Database Systems 數(shù)據(jù)庫管理員 OLAP ?商務(wù)智能通常被理解為將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策的工具。 ?一般由數(shù)據(jù)倉庫、聯(lián)機分析處理、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復等部分組成。 數(shù)據(jù)挖掘：多種學科的交叉 39 Data Mining Database Technology Statistics Machine Learning Pattern Recognition Algorithm Other Disciplines Visualization 2020/9/15 2020/9/15 40 對何種數(shù)據(jù)進行挖掘？ ? 關(guān)系數(shù)據(jù)庫（ Relational database）、數(shù)據(jù)倉庫（ data warehouse）、事務(wù)數(shù)據(jù)庫（ transactional database） ? 高級數(shù)據(jù)庫和面向特殊應用的數(shù)據(jù)庫 ? 數(shù)據(jù)流和遙感數(shù)據(jù) ? 時間序列數(shù)據(jù)、時間數(shù)據(jù)、序列數(shù)據(jù)（生物序列數(shù)據(jù)） ? 結(jié)構(gòu)數(shù)據(jù)、圖、網(wǎng)絡(luò)和多維鏈數(shù)據(jù) ? 對象 關(guān)系數(shù)據(jù)庫（ Objectrelational databases） ? 異種數(shù)據(jù)庫和遺產(chǎn)數(shù)據(jù)庫 ? 空間數(shù)據(jù)和時空數(shù)據(jù) ? 多媒體數(shù)據(jù)庫、文本數(shù)據(jù)、 WWW 關(guān)系數(shù)據(jù)庫是表的集合，每個表都賦予一個唯一的名字。 事務(wù)數(shù)據(jù)庫由一個文件組成，其中每個記錄代表一個事務(wù)。 數(shù)據(jù)倉庫是從多個數(shù)據(jù)源收集的信息存儲，存放在一個一致的模式下，并通過數(shù)據(jù)清理、變換、集成等來構(gòu)造。 41 關(guān)系數(shù)據(jù)庫 2020/9/15 關(guān)系數(shù)據(jù)庫是表的集合，每個表都賦予一個唯一的名字。 事務(wù)數(shù)據(jù)庫 2020/9/15 42 ID 事務(wù)數(shù)據(jù)庫由一個文件組成，其中每個記錄代表一個事務(wù)。 數(shù)據(jù)倉庫 2020/9/15 43 以面向主題的原則，以個人信用卡消費趨勢為主題的星形模式數(shù)據(jù)倉庫。 事實表 維表 數(shù)據(jù)倉庫是從多個數(shù)據(jù)源收集的信息存儲，存放在一個一致的模式下，并通過數(shù)據(jù)清理、變換、集成等來構(gòu)造。 Data Mining處理流程 44 DATA MINING 運行時間 定義企業(yè)問題 定義分析資料 數(shù)據(jù)預處理 數(shù)據(jù)挖掘 模型的評估 布署與應用 數(shù)據(jù) 源 DATA MINING 處理流程 2020/9/15 OLAP與數(shù)據(jù)挖掘 ? 聯(lián)機分析處理 OLAP(OnLine Analytical Processing)是使使用者從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、易理解并真實反映企業(yè)特性的信息進行存取，以滿足決策支持或多維環(huán)境特定的查詢和報表需求的一種軟件技術(shù)。 ? OLAP除了能夠告訴你數(shù)據(jù)庫中都有什么，還能夠更進一步告訴你下一步會怎么樣以及如果采取這樣的措施又會怎么樣。 ? 其分析過程在本質(zhì)上是一個基于用戶建立的一系列假設(shè)驅(qū)動，通過 OLAP來證實或者推翻這些假設(shè)的演繹推理過程。 2020/9/15 45 ?實質(zhì)上是通過把一個實體的多項重要的屬性定義為多個維 (dimension)，使用戶能對不同維上的數(shù)據(jù)進行比較。因此 OLAP也可以說是多維數(shù)據(jù)分析工具的集合。 ?旋轉(zhuǎn)、切片（塊）、鉆取 ?鉆?。菏歉淖兙S的層次，變換分析的粒度。它包括向下鉆取（ Drilldown）和向上鉆?。?Drillup） /上卷 (Rollup)。 Drillup是在某一維上將低層次的細節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù)；而 Drilldown則相反，它從匯總數(shù)據(jù)深入到細節(jié)數(shù)據(jù)進行觀察或增加新維。 ?切片和切塊：是在一部分維上選定值后，關(guān)心度量數(shù)據(jù)在剩余維上的分布。如果剩余的維只有兩個，則是切片；如果有三個或以上，則是切塊。 ?旋轉(zhuǎn)：是變換維的方向，即在表格中重新安排維的放置（例如行列互換）。 ? 比如：一個 OLAP分析師可能認為，在某一區(qū)域開辦信用卡的用戶會更主動地進行消費。 ? 對于這個假定，他可能去觀察在那些富裕地區(qū)申辦信用卡的用戶的信用卡賬戶屬性。如果結(jié)果還不夠明顯，他也許要將年齡因素考慮進去。一直這樣下去，直到他認為他找到了能夠決定是否主動進行信用卡消費的各種變量，然后再根據(jù)這些變量，策劃他的銀行產(chǎn)品的營銷方式，最大程度上將營銷資源放在最可能接受他們產(chǎn)品的客戶對象上。 2020/9/15 46 ? 比如，在銀行間盛行的 CRM的應用中，數(shù)據(jù)倉庫以面向“客戶”為主題進行數(shù)據(jù)篩選、存儲；OLAP負責分析客戶的基本信息、儲蓄賬戶信息、歷史余額信息、銀行交易日志等，以動態(tài)分析報表、直方圖、折線圖、餅圖等形式展現(xiàn)給管理者，讓他們從多方面了解和掌握客戶的動態(tài)，從而發(fā)現(xiàn)客戶的交易習性、客戶流失形式，更好地針對不同類型的客戶，在不同時期進行適應性產(chǎn)品的營銷活動。 ? 數(shù)據(jù)挖掘則可以通過歷史數(shù)據(jù)建立模型，在擬合歷史的基礎(chǔ)上，分析未來趨勢，判斷哪些因素的改變將很可能意味著客戶的最終流失，進而避免其發(fā)生。 2020/9/15 47 OLAP與數(shù)據(jù)挖掘的區(qū)別 數(shù)據(jù)挖掘的功能 ? 關(guān)聯(lián)分析 ? 分類和預測 ? 聚類 ? 異常值探測 ? 序列模式挖掘 48 2020/9/15 ? 關(guān)聯(lián)分析是用于挖掘、發(fā)現(xiàn)大量數(shù)據(jù)中項集之間存在的、重要的、有趣的知識。若兩個或多個變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)。 ? 在不知道關(guān)聯(lián)函數(shù)或關(guān)聯(lián)函數(shù)不確定的情況下，為了反映所發(fā)現(xiàn)規(guī)則的有用性和確定性，關(guān)聯(lián)分析生成的規(guī)則都要滿足 最小支持度閥值和最小臵信度閥值。 49 關(guān)聯(lián)分析 2020/9/15 關(guān)聯(lián)分析的應用： ? 比 如 人 壽 保 險。 保 險 公 司 在 接 受 保 險 前， 往 往 需 要 記 錄 投 保 人 詳 盡 的 信 息， 有 時 還 要 到 醫(yī) 院 做 身 體 檢 查。 保 單 上 記 錄 有 投 保 人 的 年 齡、 性 別、 健 康 狀 況、 工 作 單 位、 工 作 地 址、 工 資 水 平 等。 ? 通 過 分 析 這 些 數(shù) 據(jù)， 可 以 得 到 類 似 以 下 這 樣 的 關(guān) 聯(lián) 規(guī) 則： 年 齡 在 40 歲 以 上， 工 作 在 A 區(qū) 的 投 保 人 當 中， 有 45 ％ 的 人 曾 經(jīng) 向 保 險 公 司 索 賠 過。 在 這 條 規(guī) 則 中， ? “ 年 齡 在 40 歲 以 上” ∩“ 工 作 在 A 區(qū)” →“向 保 險 公 司 索 賠 過” ? 可 以 看 出 來， A 區(qū) 可 能 污 染 比 較 嚴 重， 環(huán) 境 比 較 差， 導 致 工 作 在 該 區(qū) 的 人 健 康 狀 況 不 好， 索 賠 率 也 相 對 比 較 高。 2020/9/15 50 分類和預測 ? 分類是對一個類別進行描述及概括相關(guān)特征，并提取出描述重要數(shù)據(jù)類的模型。 ? 數(shù)據(jù)挖掘中的分類方法很多，主要有決策樹和決策規(guī)則、貝葉斯信念網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)以及遺傳算法等。 ? 預測是通過建立連續(xù)值函數(shù)模型達到預測未來的數(shù)據(jù)趨勢。預測的方法主要有回歸分析、時間序列分析等。各種分類模型也可以預測，但主要是預測分類標號。 51 2020/9/15 聚類 ? 聚類是在要劃分的類未知的情況下