異常數(shù)據(jù)挖掘研究畢業(yè)論文正稿-資料下載頁

　　

【正文】 `j})=KG({a`j+1})；構(gòu)建序列S的屬性子集遞減序列AS={A1, A2, …, Am}；For 1=j=m{ 根據(jù)給定的Aj屬性在VAj域中的序列對所有U中的對象進(jìn)行排序；確定分區(qū) U/IND(Aj)；計(jì)算IND(Aj)的知識粒度KG(Aj)；}For every x∈U{For 1=j=m {分別得計(jì)算出IND(aj) 和IND(Aj)下x的相對知識粒度RG{aj}(x)和RGAj(x)； 對x賦權(quán)值W{aj}(x) ；對x賦權(quán)值WAj(x)；}計(jì)算 KOF(x)；對KOF進(jìn)行排序；If（ KOF(x)V）{就選擇}}返回 K。 基于KG的異常檢測算法流程圖. . . . .第5章 實(shí)驗(yàn)與分析 實(shí)驗(yàn)結(jié)果通過基于知識粒度的異常檢測算法，我們在VC++ ，對算法進(jìn)行了實(shí)現(xiàn)。 程序初始界面我們將獲得的數(shù)據(jù)集按照特定的格式輸入文本文檔中，然后再導(dǎo)入程序中。通過點(diǎn)擊數(shù)據(jù)挖掘按鈕，我們可以分別計(jì)算出數(shù)據(jù)集中個(gè)個(gè)對象的KOD值，且它們是按KOD值進(jìn)行排序。 我們可以看出排在較前面的對象它們的決策值都為2，也就是我們所說的異常點(diǎn)，它沒有出現(xiàn)漏檢情況。由于數(shù)據(jù)對象個(gè)數(shù)較多，所以我們可以通過設(shè)定閥值來進(jìn)行動(dòng)態(tài)的異常點(diǎn)檢測。只要在閥值框中輸入閥值，我們就可以很方便獲得自己所需要的含有異常的對象。 對數(shù)據(jù)進(jìn)行挖掘檢測 通過輸入閥值，選擇所需要的異常對象我們可以發(fā)現(xiàn)我們所挖掘出的數(shù)據(jù)中對象121其實(shí)不是異常點(diǎn)，但我們的算法卻被檢測出來，所以這就是誤檢。 誤檢雖然會(huì)出現(xiàn)誤檢，但由于我們的數(shù)據(jù)挖掘?qū)ο笠话闱闆r是一組大數(shù)據(jù)集。所以誤檢的概率為較低。大部分異常點(diǎn)還是能被準(zhǔn)確檢測出來。 實(shí)驗(yàn)分析通過上節(jié)所提供的程序，我們對淋巴數(shù)據(jù)進(jìn)行了檢測，然后我們在網(wǎng)上可以很輕松的找到基于KNN與基于DIS對該淋巴數(shù)據(jù)的檢測結(jié)果，最后我們通過對它們進(jìn)行對比來驗(yàn)證該算法的性能。 淋巴數(shù)據(jù)的檢測首先，我們可以在UCI機(jī)器學(xué)習(xí)庫中找到淋巴數(shù)據(jù)集。它包含483個(gè)實(shí)例（或?qū)ο螅┢渲杏?個(gè)屬性（包括類屬性）。我們對淋巴數(shù)據(jù)集進(jìn)行信息系統(tǒng)化處理，我們通過對該信息系統(tǒng)進(jìn)行分批檢測，先檢測前面的7個(gè)對象內(nèi)的異常點(diǎn)個(gè)數(shù)，在按順序分別對前面的9個(gè)，12個(gè)對象進(jìn)行檢測，得出它們的異常點(diǎn)。在跟KNN與DIS算法進(jìn)行對比。在我們的實(shí)驗(yàn)中，淋巴數(shù)據(jù)集被輸入一個(gè)信息表IS= (U,A)，其中U包含所有483個(gè)淋巴數(shù)據(jù)集實(shí)例，A包含9個(gè)淋巴屬性數(shù)據(jù)集（不包括類屬性）。我們在IS進(jìn)行異常點(diǎn)（罕見的類）檢測。表 淋巴數(shù)據(jù)集實(shí)驗(yàn)結(jié)果對象數(shù)KODKNNDIS7（%）6（100%）5（83%）5（83%）9（%）6（100%）5（83%）6（100%）12（%）6（100%）6（100%）6（100%）。在這里，我們可以很清楚的看到當(dāng)我們檢測前面的7個(gè)對象時(shí)，KOD算法把其中的6個(gè)異常點(diǎn)都檢測出了，而KNN只檢測到5個(gè)，DIS也只檢測到5個(gè)。KNN甚至要到檢測前面12個(gè)對象后才把所有的6個(gè)異常點(diǎn)檢測出來。所以在這個(gè)實(shí)驗(yàn)中，我們可以得出一個(gè)比較結(jié)果，那就是KOD算法的性能優(yōu)于KNN算法和DIS算法。因?yàn)镵OD算法在比例達(dá)到7%就可以找出所有罕見類，但其他兩種算法要到9%和12%。而且，在前面數(shù)據(jù)比例較小的情況下也找出較多的罕見類記錄。 漏檢和誤檢由于數(shù)據(jù)源、實(shí)驗(yàn)條件等各種因素的限制，檢測不可能達(dá)到無限精確，檢測的結(jié)果可能與現(xiàn)實(shí)情況存在誤差。也就是我們所說的漏檢，誤檢。接下來我們通過對多組信息系統(tǒng)進(jìn)行異常挖掘來記錄我們算法的錯(cuò)誤率，以方便我們對該算法的理解。表 漏檢和誤檢的概率數(shù)據(jù)集對象數(shù)屬性數(shù)漏檢率誤檢率14839%（2）0%2357121%（3）%（2）312480%0%442810%（2）0% 觀察，%，%。所以該算法的檢測性能達(dá)到了我們的預(yù)期效果。. . . . .第6章 結(jié)論與展望 結(jié)論本文的研究工作初步探討了基于知識粒度的粗糙集理論的異常數(shù)據(jù)挖掘的問題，數(shù)據(jù)挖掘是一個(gè)年輕而又活躍的研究領(lǐng)域。隨著數(shù)據(jù)挖掘理論研究的不斷深入，數(shù)據(jù)挖掘的工程應(yīng)用領(lǐng)域?qū)?huì)更加廣泛。作為復(fù)雜問題求解的有效思想方法，粒計(jì)算已取得了一定的成功。而基于粗糙集理論的數(shù)據(jù)挖掘是把知識看作是論域的劃分，從而認(rèn)為知識是有粒度的，它是以代數(shù)的觀點(diǎn)描述知識粒度的，因而稱其為粗糙集理論的代數(shù)表示。異常點(diǎn)檢測在許多領(lǐng)域變成更加的重要。為了處理異常檢測的不確定性信息，我們對傳統(tǒng)距離度量根據(jù)知識粒度進(jìn)行了新的定義。并給出了衡量一個(gè)異常點(diǎn)的意義的方法。此外，我們給出了基于KG檢測異常點(diǎn)的算法。實(shí)驗(yàn)結(jié)果顯示，對于UCI數(shù)據(jù)集我們的方法效果優(yōu)于現(xiàn)有的異常檢測方法，比它們更有意義和更有趣。 進(jìn)一步工作的方向雖然目前對粒計(jì)算在數(shù)據(jù)挖掘中的研究還相對較少，但隨著粒計(jì)算理論本身的不斷完善和發(fā)展及它與其他粒計(jì)算方法的互相結(jié)合，它將在數(shù)據(jù)挖掘中得到廣泛的應(yīng)用。這個(gè)算法還是有一些局限性，比如，有些異常點(diǎn)檢測不出來，但大部分異常點(diǎn)都很順利挖掘出。所以在今后的工作中，為了完善基于KG異常檢測算法，我們應(yīng)當(dāng)考慮利用粗糙就特征選擇方法，以減少其特征的同時(shí)還保留它的性能。對于該方法的計(jì)算性能，我們將根據(jù)給定的特征值對所有對象進(jìn)行排序，使得提高計(jì)算復(fù)雜性。. . . . .致 謝我要誠摯的感謝我的導(dǎo)師陳玉明老師，在這近半年的企業(yè)實(shí)習(xí)與畢業(yè)設(shè)計(jì)期間，都得到了陳玉明老師的悉心指導(dǎo)，在程序的設(shè)計(jì)與論文的寫作過程中，多次得到他的教導(dǎo)，并且為我的設(shè)計(jì)與論文提供了許多寶貴的修改意見。陳玉明老師的嚴(yán)謹(jǐn)治學(xué)的態(tài)度與求真務(wù)實(shí)的工作作風(fēng)及其豐富的學(xué)識給我留下了深刻的印象，使我受益匪淺。 2011年 5月. . . . .參考文獻(xiàn)[1] 李道國，苗奪謙，張紅云. 粒度計(jì)算的理論，模型與方法[J]. 復(fù)旦學(xué)報(bào)（自然科學(xué)版），2004，43(5): 1～2.[2] Yao Y Y. Granular puting：Basic issues and possible solutions//the 5th Joint Conference on Information Jersey,USA. 2000, 108(11): 1149～1161.[3] . Liang, . Shi, . Li, Information entropy, rough entropy and knowledge granulation in inplete information systems[J], International Journal of General Systems (2009) 641654.[4] 毛國君，段立娟，王實(shí)，石云．?dāng)?shù)據(jù)挖掘原理與算法[M]．北京：清華大學(xué)出版社，2005, 108～124. [5] 苗奪謙，李道國．粗糙集理論、算法與應(yīng)用[M]．北京：清華大學(xué)出版社，2008, 128～154. [6] 苗奪謙，王國胤，柳清，林早陽，姚一豫．粒計(jì)算：過去、現(xiàn)在與展望[M]．北京：科學(xué)出版社，2007. [7] Miao D Q,Wang J. Informationbase algorithm for reduction of knowledge//IEEE International Conference on Intelligent Processing Systems. Beijing,China, 1998, 1149～1161.[8] 李道國. 信息粒度計(jì)算模型及其在智能信息處理中的應(yīng)用研究[D].上海：同濟(jì)大學(xué),2006.[9] [M]. 西安：西安交通大學(xué)出版社，2001.[10] 王國胤，于洪，[N]. 計(jì)算機(jī)學(xué)報(bào)，2010，21（5）：300～376.[11] 史開泉，崔玉泉．s一粗集與粗決策[M]．北京：科學(xué)出版社，2006．[12] [J].復(fù)旦學(xué)報(bào)（自然科學(xué)版），2009，35（3）：134～231.[13] 譚政仁. 基于Rough Set的海量數(shù)據(jù)挖掘算法研究[D].重慶：重慶郵電大學(xué)，2004. [14] 梁吉業(yè)，曲開社，徐宗本．信息系統(tǒng)的屬性約簡[J]．系統(tǒng)工程理論與實(shí)踐，2001，21(12)：76～80．[15] [M].合肥:中國科學(xué)技術(shù)大學(xué)出版社，2001，35（3）：134～231.[16] 鄧蔚，黃海，王國胤，[J]，武漢，中國，2005：690~695.[17] [J].軟件學(xué)報(bào)，1999，10（2）：113~116.[18] Set理論及其在機(jī)器學(xué)習(xí)中的應(yīng)用研究[D].北京：中國科學(xué)院自動(dòng)化研究所，1997.[19] 張文修，梁怡，[M].北京：科學(xué)出版社，2003.[20] Wang J，Wang J. Reduction algorithms based on discernibility matrix: The order attributes method. Journal of Computer Science and Technology，2001，16（6）：213~228.[21] 張鈸，[J].計(jì)算機(jī)科學(xué)，2003，30（5）：1~5.[22] Lin T Y. Granular puting. Announcement of the BISC Special Interest Group on Granular puting, 1997.[23] 苗奪謙. 粗糙集理論中知識粗糙集性與信息熵關(guān)系的討論[M].北京：清華大學(xué)出版社，2006.[24] 安久江，甘全，王國胤，[J].計(jì)算機(jī)科學(xué)，2009，32（8A）：137~140.[25] 王珍，余昭平，一種基于粗糙集的最小約簡算法叨[J]．微計(jì)算機(jī)信息，2006，42（2）：218~219．[26] 陸汝鈐．知識科學(xué)與計(jì)算科學(xué)[M]．北京：清華大學(xué)出版社，2003.[27] 頓毅杰，張小峰，孫吳，趙麗．一種基于粒度的規(guī)則挖掘方法[J]．蘭州理工大學(xué)學(xué)報(bào)，2006(2)：105～108．[28] 張宏宇，梁吉業(yè)．不完備信息系統(tǒng)下的變精度粗糙集模型及其知識約簡算法[J]．計(jì)算機(jī)科學(xué)，2003，30(4)：153～155．[29] 傅明，陳曦，劉翌南．基于信息顆粒的粗糙集約簡研究[J]．長沙理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2004(6)：80～85．[30] 彭玉樓，陳曦．基于粗糙信息顆粒的數(shù)據(jù)挖掘方法研究[J]．湖南科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2004(12)：67～69．[31] 卞東波，白碩，李國杰．聚類／分類中的粒度原理[J]．計(jì)算機(jī)學(xué)報(bào)，2002，25(8)：8lO～815．[32] 李鈍，梁吉業(yè)．利用聚類和粗糙集迸行文本分類研究[D]．計(jì)算機(jī)工程與應(yīng)用，2003，39(7)：186～188．[33] 鄧蔚，王國胤，吳渝．粒計(jì)算綜述[J]．計(jì)算機(jī)科學(xué)，2004(31)，10A：178～181．寧可累死在路上，也不能閑死在家里！寧可去碰壁，也不能面壁。是狼就要練好牙，是羊就要練好腿。什么是奮斗？奮斗就是每天很難，可一年一年卻越來越容易。不奮斗就是每天都很容易，可一年一年越來越難。能干的人，不在情緒上計(jì)較，只在做事上認(rèn)真；無能的人！不在做事上認(rèn)真，只在情緒上計(jì)較。拼一個(gè)春夏秋冬！贏一個(gè)無悔人生！早安！—————獻(xiàn)給所有努力的人.