數據挖掘技術及在電信行業中的應用-資料下載頁

　　

【正文】 or)和動態路徑生成法等 (Dynamic Path Generation)，但是這些方法都是不能完全令人滿足的方法，因為它們只能處理離散值屬性，如果遇到連續型屬性，就要把連續型屬性離散化，離散化的過程一方面會損失數據本身的特性，另一方面在離散化的過程中可能將噪聲引入原始數據，或者離散化原理本身就可能損失數據的表現能力。在機器學習、模式識別、數據挖掘等領域中，填充效果也最好。在統計學領域，缺失值填充的方法主要包括線性回歸、健壯貝葉斯估計、多重填補、參數回歸和非參數回歸、)等方法。但是，以上提到的這些方法也有一些缺點:第一，統計方法在填充前需要事先知道數據的缺失機制，而在實際情況下，我們不可能得知數據缺失的機制，所以只能估計，只要估計就會產生偏差。第二，這些方法的時間復雜度都較高，例如期望值最大化)算法的收斂速度是非常慢的，對于有些數據集來說，可能是指數級的時問復雜度。第三，統計學方法通常要求缺失的屬性是連續的，甚至要求理論上處理的所有屬性都是連續的，這顯然是很不現實的，因為現實數據集中存在大量離散化的屬性概念，它的取值一定是離散的，如性別、職業、血型等，而至于將離散的屬性連續化，還有待于進一步研究，因此，無法直接處理離散值是統計方法的最大缺陷。綜上所述，要填充這些缺失數據，用非參數方法較為適合。填充處理只是在數據集的缺失位置填補上我們的主觀估計值，與客觀事實是有一定偏差的。在對不完備信息進行填補處理的同時，我們或多或少地改變了原始的信息系統，而且，對缺失值的不正確填充往往會向數據引入新的噪聲，使挖掘任務產生錯誤的結果。目前國內外的研究者還沒有真正把機器學習和統計方法統一起來，能夠同時有效地處理離散型和連續型的缺失數據，因此，在許多情況下，我們還是希望在保持原始信息不發生變化的前提下對信息進行處理，由此便引出了缺失值處理的第三類方法一一不處理。(3)不處理前兩類缺失值的處理方法雖然能夠改善數據的不良狀況，使之滿足數據挖掘的要求，但其副作用也是顯而易見的，那就是在處理過程中或多或少地破壞了數據的真實性和客觀性，額外地引入了噪聲。因此，在保持數據原樣的基礎上，改進挖掘算法，在算法中對數據作適當的處理，直接在包含缺失值的原始數據集上進行數據挖掘是比較符合客觀性原則的。這類挖掘方法包括貝葉斯網絡、人工神經網絡等。但貝葉斯網絡的使用存在一個前提，那就是需要對領域知識具有一定了解，至少要對變量間的依賴關系較為清楚，才能夠正確地進行挖掘，否則直接從數據中學習貝葉斯網的結構，不但復雜性較高，網絡的維護代價高昂，而且估計參數也比較多，造成系統的高方差，影響了其預測精度，因此，當任一對象中的缺失值數量很大時，就會產生指數爆炸。人工神經網絡可以對缺失值進行有效地處理，但是人工神經網絡在這方面的研究還比較少，有待于進一步深入地展開。雖然面對數據的缺失問題，存在很多處理的算法，但就缺失的本質而言，缺失的數據是無法百分之百地被準確還原出來的，尤其當缺失數據占到數據總量的一半以上時，對缺失數據的填充是沒有多大意義的，因為一般的填充方法都需要從現有的數據中獲取某些統計規律，以便對缺失數據做出合理估計，而過多的缺失數據造成現有未缺失數據量的不足，從而造成估計所依據的信息量的不足，因而無法對缺失數據做出較為準確的估計，而如果把這些存在缺失的記錄刪除，則會大大降低數據總量，在極端情況下，每一條記錄都存在某幾個屬性上的缺失，那么刪除缺失數據也就刪除了所有的數據，也就談不上數據挖掘了。實際上，數據缺失并不可怕，因為對于數據挖掘來說，都有一個主題，并非每個屬性對挖掘都是重要的，如果數據缺失發生在非重要的屬性上，那么對挖掘結果的影響是微乎其微的，若重要屬性的缺失嚴重，那么對挖掘產生的影響就會比較大。所以，將數據的缺失程度作為數據質量的一個方面進行評估，是十分必要的。離群現象在數據挖掘中普遍存在，與其說離群是數據質量問題，還不如說它是一種數據現象。對數據挖掘來說，與數據的缺失問題的負面影響不同，離群現象有利有弊，需要具體情況具體分析。離群點檢測)是數據挖掘的基本任務之一，故也常被稱為離群點挖掘，其目的是消除噪音或發現潛在的有意義的知識。對離群點挖掘的研究經歷了幾次盛衰的更替，近十年來又一次成為信息科學中一個較為活躍的研究分支，在數據庫、統計學、數據挖掘、機器學習等領域得到了廣泛的關注。離群點挖掘在實際中有著廣闊的應用前景，如欺詐檢測、入侵檢測、故障檢測、生態系統失調、公共衛生中的異常疾病的爆發、公共安全中的突發事件的發生、異常自然氣候的發現等。離群點有多種別名，如孤立點、偏離點、異常點、新穎點、噪聲等，這里將其通稱為離群點。引起離群現象的主要原因有以下三方面:第一，數據來源于異類，如疾病爆發、入侵、不尋常的實驗結果等，這類離群通常都是相對有趣的，并且是離群檢測的關注點。第二，數據測量和收集誤差，主要是由于人為引入的錯誤、測量設備的故障或存在噪音，由于這類離群不提供有趣的信息，相反只會降低數據的質量，給數據分析造成干擾，因此針對這類離群現象，離群檢測的目的是要將其消除。第三，數據變量固有變化引起，是自然發生的，反映了數據集的數據分布特征，如顧客的新的購買模式、氣候變化、基因突變等，這類離群點是有趣的，應當予以保留。早期對離群點檢測方面展開研究的主要目的是為了消除離群點，然而由于“一個人的噪音是另一個人的輸入信號”，對離群點的含義不加區分而簡單地將其剔除，極有可能會丟失重要信息，尤其在故障檢測、欺詐識別等應用中。現在對離群點的研究主要是作為有意義的輸入信號，對其進行有效挖掘，以便對其含義進行進一步的分析。離群點挖掘通常可以看作以下三個子問題:(l)什么樣的數據是異常的，即離群點的定義。(2)有效檢測離群點的方法，盡可能地不對離群點產生遺漏或誤判現象。(3)離群點的含義，即對離群挖掘結果的合理解釋，為什么這些點是離群點，其中蘊涵著什么樣的異常信息。回答好以上這三個問題是研究離群問題的核心所在。離群點的挖掘算法有很多種，大致可以分為五類，即基于分布的、基于深度的、基于聚類的、基于距離的、基于密度的離群點挖掘算法，其中基于距離和基于密度的離群點挖掘算法是近十年來最具代表性的挖掘算法，在離群點的檢測中得到了較為廣泛的應用。下面對這些算法分別作簡要的介紹。(l)基于分布的離群檢測離群點的檢測起源于統計學領域。基于分布的離群檢測方法是事先假設給定的數據集符合某種概率分布模型(例如正態分布)或利用給定的數據集自動構造其概率分布模型，然后根據概率分布模型采用不一致性檢驗來確定哪些點是離群的。截止到目前，還沒有一個正式的離群點定義被廣泛接受，但Hawkins對離群點的定義抓住了離群點真正的本質:“一個離群點是一個觀察點，它偏離其它觀察點如此之大，以至引起懷疑是由不同機制生成的”，因此，這一定義常被許多文獻當作離群點的標準定義加以引用。依據Hawkins對離群戶點的定義，可以給出一個基于正態分布的離群點定義，如定義22所示。 基于分布的離群點檢測的主要優點有:第一，有堅實的概率統計理論作為支撐。根據概率統計模型，可有效地解釋離群點的含義。第二，在構造起概率分布模型之后，不要求基于模型的數據，完全可以只對描述模型的最少量的信息進行存儲，這樣就節省了大量的存儲空間。其主要缺點有:第一，基于分布的絕大多數離群檢測方法只是針對單一屬性的，而許多數據挖掘問題要求在多維空間中挖掘離群點，這個限制使得它們不適合多維數據集。第二，基于分布的方法是假設數據符合某種分布規律，因而不適合分布未知的情形，而在實際當中的絕大多數情況下，其分布都是未知的，因此，只能對分布做某種程度的近似。(2)基于深度的離群檢測由于大多數數據點并非符合某種特定的數據分布，所以也就無從使用基于分布的方法對其進行檢驗以尋找離群點。為了改進這種情況，在計算統計學中已經發展了一些方法，其中效果最好的是基于深度的離群檢測方法。該方法的基本思想是給每個數據對象分配一個深度值，將數據對象依照所分配的深度值映射到二維空間的相應層上，處在淺層上的數據對象比深層上的數據對象是離群點的可能性。基于深度的方法的主要不足使其無法適應高維數據空間，它對二維和三維空間上的數據比較有效，但對四維以及四維以上的數據，處理效率迅速降低。事實上，在數據挖掘領域，尤其是數據挖掘的應用領域，所面對的數據集絕大多數都是高維的，所以給予深度的離群檢測方法很少能夠得到實際的應用。(3)基于聚類的離群檢測聚類是數據挖掘的重要功能之一。基于聚類的算法是先將數據集分成若干簇，這里的“簇”就是“類”，不屬于任何一個簇的數據點就是離群點。給予聚類的離群檢測完全依賴于聚類算法，不同的聚類算法會引起離群點集合的較大差異，比較典型的算法有DBSCAN、CLARANS、CHAMELEON等。基于聚類離群點挖掘的主要優點有:第一，由于對聚類的研究較離群點的研究更為成熟，而且像有些聚類技術，如kmeans聚類，經過大量的實踐檢驗，其時間復雜度和空間復雜度是線性或近似線性的，因此，基于這種算法的離群點檢測技術是切實可行和高度有效的。第二，簇的定義通常是離群點集合的補集，因此，可同時發現簇和離群點。其主要缺點是有:第一，聚類的主要目的是發現簇，而不是發現離群點，因此對離群點的挖掘效率較低。第二，不同的聚類算法采用了適合特定數據類型的方法，因此算法的針對性很強，必須根據問題的定義小心地選擇聚類算法，才能檢測出有意義的離群點。第三，基于聚類的離群點挖掘算法依賴于簇的總個數和數據中離群點的存在性。(4)基于距離的離群檢測為了避免上述幾種離群檢測方法的缺陷，Knorr和Ng引入了基于距離的離群點概念和離群檢測方法，該方法能夠有效地處理五維及以上的高維數據集的離群點挖掘問題。但該方法也存在以下缺點:第一，時間復雜度較高，通常情況下的時間復雜度為O(AN2)，其中A為維度，N為總的數據點個數。第二，難以解決高維空間的數據稀疏問題。第三，挖掘結果對參數的選擇非常敏感。第四，由于使用全局閏值，并未考慮局部密度的變化，所以只能檢測出全局離群點，而對于高維數據，局部離群點更具有意義。(5)基于密度的離群檢測基于密度的離群點是在距離的基礎上定義的，將點與點之間的距離和給定范圍內點的個數這兩個參數結合起來得到“密度”的概念。一個點的離群程度和它周圍的點密切相關，這體現了“局部”的概念，即局部離群點的概念。基于密度的離群檢測的優點在于:它實現了對象離群程度的定量化度量，同時也能夠很好地處理不同密度區域中的數據，解決局部離群點離群程度的度量和檢測問題。該離群檢測方法的主要缺點在于時間復雜度較高，一般為O(AN2)，而且參數的選擇因缺乏理論指導，比較困難。實際上，以上所述及的離群點挖掘算法均把重點放在了如何尋找離群點上，但并未理想地解決離群點含義的解釋問題，這也是這些算法難以在實際應用問題上起到效果的重要原因。在本文提出的數據質量評估體系中，需要用到超圖離群檢測算法，該算法不僅適用于高維數據，而且將離群點含義的解釋和離群點的檢測結合起來，可以較為合理地解釋離群點的實際含義。本章首先敘述了面向數據挖掘的數據質量評估的意義以及數據質量評估的一般方法，然后重點針對欠費挖掘主題，較為詳細地敘述了客戶欠費欺詐的現狀以及對電信企業造成的危害，由此引出電信欠費挖掘的必要性和現實意義，并對電信數據挖掘中常見的數據質量問題，即欠費挖掘中的非平衡問題、缺失問題、離群問題的研究成果做了簡要的回顧，為后續章節的面向電信欠費挖掘的數據質量評估策略的提出做準備。（1）