基于貝葉斯算法的垃圾郵件過濾技術綜述(文件)

　

【正文】 練和測試樣本集。此外，該樣本集還可以被用來重構郵件的發(fā)送和接收過程，這樣可以實現(xiàn)垃圾郵件的實時測試模型。通過不斷的自學習來擴充每個類別庫，以達到垃圾郵件樣本集的分類。 if((keyWord==null)||(().Length==0)) { return nCount。 } return nCount。●函數名稱：public struct structWord函數功能：詞條的結構體代碼實現(xiàn)： public struct structWord { public string Word。 //概率 }●函數名稱：public structWord[] WordList，public structType[] TypeList函數功能：定義類別數組和關鍵詞數組代碼實現(xiàn)： public structWord[] WordList。 //臨時概率值 ExecuteAndGetType()。 //計算指定類別在判斷垃圾郵件中所占權重 dValue += dTempValue * TypeList[i].Value。第四章 實驗結果及分析 (1) 操作系統(tǒng)本文使用Windows Server 2003操作系統(tǒng)，Windows Server 2003集成了功能強大的應用程序環(huán)境以開發(fā)全新的 XML Web 服務和改進的應用程序，這些程序顯著提高進程效率。(3) 語言環(huán)境本文主要采用C語言。它有著安裝方便、使用簡單的優(yōu)點，而且在性價比上有著其它數據庫無法比擬的優(yōu)勢。根據前幾章的流程分析，我們設計的總體結構圖51如下： 郵件樣本集人工分類提取關鍵詞樣本關鍵詞庫郵件過濾器正常郵件轉發(fā)出去提取特征樣本特征詞庫垃圾郵件過濾或刪除待分類郵件提取特征圖41 總體結構圖依據本文構建的郵件過濾模型，主要使用基于樸素貝葉斯算法構建郵件過濾器，進行郵件訓練和郵件判別實驗，在不同訓練集規(guī)模、不同閾值等因素下，都對評估指標產生了影響，分別得到了不同的判別結果，也顯示了不同的查全率和查準率，經不斷調整閾值，直至達到較理想的查全率與查準率。 公式：為： (3) 精確率(Accuracy)，是對所有郵件的判對率。除此之外，垃圾郵件過濾中還常常采用虛報率(Fallout )、漏報率(Missrate)等指標。他們把決策損失引入到評價體系中。(2) 雖然大量的文獻表明，貝葉斯過濾系統(tǒng)有很高的過濾作用，但這些文獻都是針對英文的，而對于中文郵件，由于涉及到分詞和語言特點的問題，貝葉斯過濾系統(tǒng)不能實現(xiàn)同樣高的性能。本文采取人工的分類方法，對郵件樣本集分為八個類別:廣告類、網上訂票類、網上購物類、網上賺錢類、情趣物品類、色情暴力類、欺詐信息類、銷售郵件地址類等。本文在垃圾郵件的過濾方面取得一些研究成果，但仍然存在許多不足，有待今后進一步研究，主要表現(xiàn)在:(1) 本文采用的郵件分類方法是人工的分類方法，該方法計算量龐大，效率很低，根據每個人的社會常識的認知程度不同，對分類的效果也會產生影響，在以后的學習過程中逐步完善這個問題，引入一個可行的文本自動分類方法，以便更精確的對郵件進行分類，提高分類效率。參考文獻[1]Jon Postel，On the Junk Mail Problem，RFC 706，Nov 1975。[5]趙英、黃九梅，計算機工程與應用，2003。[9]房子敬，杜絕垃圾郵件，網絡安全技術與應用，2004。[13]邊肇祺、張學工，模式識別（第2版），2000。[11]陳華輝、薛春陽，一種基于貝葉斯網的垃圾郵件過濾器[J]，微機發(fā)展，2004。[7]中國互聯(lián)網協(xié)會,中國互聯(lián)網協(xié)會互聯(lián)網公共電子郵件服務規(guī)范, 。[3]中國互聯(lián)網協(xié)會,中國互聯(lián)網協(xié)會互聯(lián)網公共電子郵件服務規(guī)范, 。解決方法：應該根據提取的特征向量，引入特征分布數，解決向量分量之間的拓撲關系。需要完成從過濾模型的建立，到具體功能的實現(xiàn)方法和具體步驟，以及過濾算法的實現(xiàn)。本文采用了基于貝葉斯算法的郵件過濾方法。本文在分析這些已有的技術的基礎上提出一種基于Bayes算法的垃圾郵件過濾系統(tǒng)。為了表示不同情況下垃圾郵件系統(tǒng)的代價。我們這里通過兩個指標來衡量算法的準確性。假設待測試的郵件集合中共有N封郵件，一個垃圾郵件過濾系統(tǒng)的判定結果如下表41所示: 表41垃圾郵件系統(tǒng)判定標準實際為垃圾郵件實際為合法郵件系統(tǒng)判定為垃圾郵件AB系統(tǒng)判定為合法郵件CD設N為郵件總數，則N=A+B+C+D，其中A+C為垃圾郵件的數量，B+D為合法郵件的數量，本文采用了下面幾個標準：(1) 查全率(Recall)：是人工和系統(tǒng)同時評判為正常的郵件數與系統(tǒng)評判為正常的郵件數的比值，這個指標反映了過濾系統(tǒng)發(fā)現(xiàn)垃圾郵件的能力，查全率越高表明分類器在該類上可能漏掉的垃圾郵件就越少。SQL Server2005所具有的將關系數據庫管理系統(tǒng)（RDBMS）擴展為虛擬的對象數據庫管理系統(tǒng)（ODBMS）的能力，使SQL Server2005成為當今應用于Intranet、Internet最具綜合性的數據庫開發(fā)環(huán)境。C的目的就是綜合Visual Basic 的高生產率和C++的行動力。(2) 開發(fā)平臺按照微軟公司的定義，. NET就是微軟公司的XML Web服務平臺，它是為了解決互聯(lián)網應用中存在的普遍問題而預先建立的基礎設施。 = 是垃圾郵件的概率為： + (dValue * 100).ToString() + %。 i 。 //定義類別數組●函數名稱：protected void Button_ExecValue_Click(object sender, EventArgs e)函數功能：根據貝葉斯算法計算概率代碼實現(xiàn)： protected void Button_ExecValue_Click(object sender, EventArgs e) { double dValue = 。 //概率 }●函數名稱：public struct structType函數功能：類別結構體代碼實現(xiàn)： public struct structType { public string Type。貝葉斯過濾系統(tǒng)是利用類別的先驗概率和詞的分布對于類別的條件概率來計算未知文本屬于某一類別的概率，它是建立在“貝葉斯假設”基礎上，假定所有特征之間相互獨立，應用到郵件分類中，它是通過郵件用戶先提供一定數量的垃圾郵件和非垃圾郵件作為郵件訓練集自動訓練分類模型,將訓練的結果作為判定未知郵件的主要依據，運用到相應分類算法中去。 while((keyWord)=0) { nCount++。100%80%60%40%20%0%% % % % % %%廣告購物賺錢欺詐郵址色情訂票情趣圖31垃圾郵件種類 提取分類向量的過程分類向量即對類別有作用的向量，下面將詳細介紹提取分類向量的流程和算法。在訓練過程中，對垃圾郵件樣本集中的郵件分類，把組成郵件的詞分離出來作為分類向量的處理數據。這兩類郵件實時更新使