基于貝葉斯算法的垃圾郵件過濾技術(shù)綜述(完整版)

　　

【正文】 貝葉斯計算的表示方法。1995年8月，第一次有人公開販賣200萬個郵箱地址，各種垃圾郵件網(wǎng)站和組織也相繼出現(xiàn)。例如，著名的反垃圾組織spamhaus提出，垃圾郵件具備以下兩個特征：(1) 不請自來。(2) 垃圾郵件侵害了用戶的隱私權(quán)。 (4) 垃圾郵件成了計算機病毒新的、快速的傳播途徑。我國反垃圾郵件的工作起步較晚，但發(fā)展很快。目前國際上有兩大類流行的郵件安全系統(tǒng)標(biāo)準(zhǔn)：端到端安全郵件標(biāo)準(zhǔn)（PGP）和傳輸層安全郵件標(biāo)準(zhǔn)S/MIME。(3) 本文采用互信息的方法進行特征選取，計算每個關(guān)鍵詞的RMI值，利用RMI值確定特征向量的分量詞條。 電子郵件的格式一個完整的電子郵件地址格式如下：user：用戶名，表示“(at)”的意思，的左邊是電子郵件用戶的登錄名，右邊是完整的主機名，它由主機名與域名組成。當(dāng)然，最終用戶只能看到用戶投遞代理。針對目前的垃圾郵件泛濫的形勢，反垃圾郵件立法的呼聲越來越高，但是反垃圾郵件立法也面臨一系列的問題。一般情況下，比較理想的方法是，在郵件服務(wù)器端直接將垃圾郵件屏蔽掉，這樣不僅用戶不會受到垃圾郵件的騷擾，而且服務(wù)器可以減少郵件的處理量，節(jié)約處理器資源和帶寬流量。(3) 對郵件主題的過濾這個應(yīng)該算是比較重要的一個過濾了，一般一些垃圾郵件的主題還是有一些共同的特性的。通過對這些信息的過濾，就可以把由同一地址發(fā)出的但收發(fā)信地址和主題隨機的垃圾郵件從眾多的郵件找出來。黑名單技術(shù)的關(guān)鍵就是對黑名單列表的維護和更新。但在某些需要嚴格控制郵件內(nèi)容的場合，有一定的使用價值。由此可以構(gòu)造一種基于貝葉斯算法來實現(xiàn)垃圾郵件過濾。(8) 質(zhì)詢－回應(yīng)技術(shù)質(zhì)詢－回應(yīng)技術(shù)是一種傳統(tǒng)的身份識別技術(shù)，這種技術(shù)就是識別方向被識別方問一些只有這兩方才可能知道正確答案的問題，通過被識別方回答的正誤來判斷被識別方的身份。LingSpam由提供者收到的垃圾郵件和來自于語言學(xué)家列表（Linguist list）的非垃圾郵件組成，因此LingSpam樣本集的郵件內(nèi)容沒有像PU系列樣本集一樣加密。｛SPAMPOT收錄發(fā)送到xxx（xxx可為任何字符串）｝。該內(nèi)容將與以上正常郵件的信頭一起構(gòu)造一個正常郵件。CCERT標(biāo)準(zhǔn)中文郵件樣本集包含已標(biāo)識類別的垃圾郵件和正常郵件，給研究反垃圾郵件的技術(shù)和算法提供一個公開、標(biāo)準(zhǔn)的訓(xùn)練和測試樣本集。通過不斷的自學(xué)習(xí)來擴充每個類別庫，以達到垃圾郵件樣本集的分類。 } return nCount。 //概率 }●函數(shù)名稱：public structWord[] WordList，public structType[] TypeList函數(shù)功能：定義類別數(shù)組和關(guān)鍵詞數(shù)組代碼實現(xiàn)： public structWord[] WordList。 //計算指定類別在判斷垃圾郵件中所占權(quán)重 dValue += dTempValue * TypeList[i].Value。(3) 語言環(huán)境本文主要采用C語言。根據(jù)前幾章的流程分析，我們設(shè)計的總體結(jié)構(gòu)圖51如下： 郵件樣本集人工分類提取關(guān)鍵詞樣本關(guān)鍵詞庫郵件過濾器正常郵件轉(zhuǎn)發(fā)出去提取特征樣本特征詞庫垃圾郵件過濾或刪除待分類郵件提取特征圖41 總體結(jié)構(gòu)圖依據(jù)本文構(gòu)建的郵件過濾模型，主要使用基于樸素貝葉斯算法構(gòu)建郵件過濾器，進行郵件訓(xùn)練和郵件判別實驗，在不同訓(xùn)練集規(guī)模、不同閾值等因素下，都對評估指標(biāo)產(chǎn)生了影響，分別得到了不同的判別結(jié)果，也顯示了不同的查全率和查準(zhǔn)率，經(jīng)不斷調(diào)整閾值，直至達到較理想的查全率與查準(zhǔn)率。除此之外，垃圾郵件過濾中還常常采用虛報率(Fallout )、漏報率(Missrate)等指標(biāo)。(2) 雖然大量的文獻表明，貝葉斯過濾系統(tǒng)有很高的過濾作用，但這些文獻都是針對英文的，而對于中文郵件，由于涉及到分詞和語言特點的問題，貝葉斯過濾系統(tǒng)不能實現(xiàn)同樣高的性能。本文在垃圾郵件的過濾方面取得一些研究成果，但仍然存在許多不足，有待今后進一步研究，主要表現(xiàn)在:(1) 本文采用的郵件分類方法是人工的分類方法，該方法計算量龐大，效率很低，根據(jù)每個人的社會常識的認知程度不同，對分類的效果也會產(chǎn)生影響，在以后的學(xué)習(xí)過程中逐步完善這個問題，引入一個可行的文本自動分類方法，以便更精確的對郵件進行分類，提高分類效率。[5]趙英、黃九梅，計算機工程與應(yīng)用，2003。[13]邊肇祺、張學(xué)工，模式識別（第2版），2000。[7]中國互聯(lián)網(wǎng)協(xié)會,中國互聯(lián)網(wǎng)協(xié)會互聯(lián)網(wǎng)公共電子郵件服務(wù)規(guī)范, 。解決方法：應(yīng)該根據(jù)提取的特征向量，引入特征分布數(shù)，解決向量分量之間的拓撲關(guān)系。本文采用了基于貝葉斯算法的郵件過濾方法。為了表示不同情況下垃圾郵件系統(tǒng)的代價。假設(shè)待測試的郵件集合中共有N封郵件，一個垃圾郵件過濾系統(tǒng)的判定結(jié)果如下表41所示: 表41垃圾郵件系統(tǒng)判定標(biāo)準(zhǔn)實際為垃圾郵件實際為合法郵件系統(tǒng)判定為垃圾郵件AB系統(tǒng)判定為合法郵件CD設(shè)N為郵件總數(shù)，則N=A+B+C+D，其中A+C為垃圾郵件的數(shù)量，B+D為合法郵件的數(shù)量，本文采用了下面幾個標(biāo)準(zhǔn)：(1) 查全率(Recall)：是人工和系統(tǒng)同時評判為正常的郵件數(shù)與系統(tǒng)評判為正常的郵件數(shù)的比值，這個指標(biāo)反映了過濾系統(tǒng)發(fā)現(xiàn)垃圾郵件的能力，查全率越高表明分類器在該類上可能漏掉的垃圾郵件就越少。C的目的就是綜合Visual Basic 的高生產(chǎn)率和C++的行動力。 = 是垃圾郵件的概率為： + (dValue * 100).ToString() + %。 //定義類別數(shù)組●函數(shù)名稱：protected void Button_ExecValue_Click(object sender, EventArgs e)函數(shù)功能：根據(jù)貝葉斯算法計算概率代碼實現(xiàn)： protected void Button_ExecValue_Click(object sender, EventArgs e) { double dValue = 。貝葉斯過濾系統(tǒng)是利用類別的先驗概率和詞的分布對于類別的條件概率來計算未知文本屬于某一類別的概率，它是建立在“貝葉斯假設(shè)”基礎(chǔ)上，假定所有特征之間相互獨立，應(yīng)用到郵件分類中，它是通過郵件用戶先提供一定數(shù)量的垃圾郵件和非垃圾郵件作為郵件訓(xùn)練集自動訓(xùn)練分類模型,將訓(xùn)練的結(jié)果作為判定未知郵件的主要依據(jù)，運用到相應(yīng)分類算法中去。100%80%60%40%20%0%% % % % % %%廣告購物賺錢欺詐郵址色情訂票情趣圖31垃圾郵件種類 提取分類向量的過程分類向量即對類別有作用的向量，下面將詳細介紹提取分類向量的流程和算法。這兩類郵件實時更新使得我們的樣本集能夠保證最新內(nèi)容。CCERT中文垃圾郵件過濾規(guī)則集() 就是由該中文郵件數(shù)據(jù)庫生成的。我們收集公開論壇所發(fā)表的最新帖子用來模仿正常郵件的主題和內(nèi)容。普通意義上的垃圾郵件指的是未經(jīng)主動請求的大量的電子郵件。很多系統(tǒng)會自動產(chǎn)生郵件，而這些自動產(chǎn)生郵件的系統(tǒng)，絕大多數(shù)都不具備回應(yīng)質(zhì)詢的能力。由于貝葉斯算法預(yù)設(shè)的先驗概率是通過經(jīng)驗來確定的，由此其預(yù)設(shè)值未必是最合適的，所以應(yīng)增加自學(xué)習(xí)功能，通過不斷校正預(yù)設(shè)的先驗概率來提高郵件過濾的準(zhǔn)確率。目前，郵件掃描檢查三個方面：郵件主題、郵件內(nèi)容、郵件附件。具體來說一個使用RBL技術(shù)的軟件要確定某一IP地址是否應(yīng)該被列入黑名單，會向黑名單服務(wù)器發(fā)出DNS查詢，黑名單服務(wù)器查詢黑名單后會將結(jié)果反饋給查詢計算機。如果郵件的發(fā)件人與已知的垃圾郵件地