基于貝葉斯算法的垃圾郵件過濾技術綜述(專業版)

　　

【正文】 [6]The Chinese AntiSpam Alliance, 。不過，相比傳統的基于規則的垃圾郵件過濾方法，貝葉斯過濾系統還是更加優越的。垃圾郵件過濾的性能評價通常指文本分類的相關指標。 } dValue = dValue * 100。 }●函數名稱：private void GetWord(string source)函數功能：提取郵件中的關鍵詞，判斷敏感庫中是否有此關鍵詞，如果沒有該詞并且判斷該詞為敏感字符，就把該詞放入敏感詞庫，如果有此關鍵詞，判斷下一個是否為敏感字符。其中垃圾郵件由CCERT垃圾郵件蜜罐系統所捕獲的，正常郵件來自公開的中文論壇。這樣可以收到更多、更廣泛的垃圾郵件。但這種技術要求反垃圾郵件系統預先和全部可能的發件人定下一個或多個秘密問題及答案。(4) 郵件掃描技術 如果郵件服務器能夠對接收的郵件進行掃描，并按照指定的規則對郵件進行匹配，一旦接收的郵件和垃圾郵件匹配成功，就認為本次接收的郵件是垃圾郵件并自動刪除該郵件。 服務器端垃圾郵件過濾技術在服務器端有以下幾種過濾技術：(1) 基于黑/白名單的過濾技術 黑名單技術的原理是管理員收集、歸納和整理垃圾郵件的發件人地址，并制作成一個地址列表，即所謂的黑名單。但是，相當多的電子郵件服務提供商，并沒有把這件事做好，特別是一些不夠規范的免費電子郵件提供商(有些免費的電子郵件服務提供商甚至向別的廠商和公司收取費用直接往自己的免費用戶郵箱里投放廣告郵件)。常見的投遞代理包括procmail等。(4) 解決基于向量空間模型的郵件文本信息表示、文本分類中的特征向量的選擇等問題，在對實現過濾器的關鍵技術中，設計和實現基于貝葉斯算法分類的反垃圾郵件系統的改進的過濾系統，完成郵件過濾過程。2005 年 12 月成立了一個政府資助的反垃圾郵件聯盟，以應對越來越嚴重的垃圾郵件問題。由于垃圾郵件的內容不可控制，所以常常有很多有害的內容。隨著垃圾郵件的出現和泛濫，人們開始了反垃圾郵件的不懈努力。 繼續教育學院 畢業論文題目：基于貝葉斯算法的垃圾郵件過濾技術綜述學生姓名： 李達夫 學 號： 092028010027班 級: CMU3097專 業： 指導教師： 鄒政2011 年 10 月基于貝葉斯算法的垃圾郵件過濾技術綜述摘要現在電子郵件成為一種快捷、成本少的通信技術手段，很大地方便了人們的通信與交流。1996 年的1 月，第一個反垃圾郵件組織“自由騎士”成立；1996 年 7 月，著名的反垃圾郵件網站SpamHaus成立， 的工具來過濾郵件地址。例如，很多垃圾郵件的附件中帶有病毒，一旦收件人打開郵件，附件中的病毒就會對系統造成各種破壞。2006年2月信息產業部頒布了中華人民共和國信息產業部第38號令《互聯網電子郵件服務管理辦法》，明確規定了對制造和傳播垃圾郵件者的處罰辦法。第二章 垃圾郵件技術 根據用戶對反垃圾規則的可控性，本章根據電子郵件的原理，分析電子郵件技術及相關協議的不足，列舉了當前的一些常用的反垃圾郵件技術，以便用戶合理的選擇反垃圾郵件技術。整個郵件傳輸過程如下（如圖21所示）： 服務器發件方收件方服務器InternetDNSMDA郵箱SMTPSMTPPOP/IMAP圖21電子郵件傳輸過程 非技術手段反垃圾郵件垃圾郵件正以每年5%的速度遞增。如果是這樣，我們只能在客戶端這最后的一道防線上去抵擋垃圾郵件的進攻了。如果郵件的發件人與已知的垃圾郵件地址相同，就認為該郵件是垃圾郵件，并拒收該郵件。目前，郵件掃描檢查三個方面：郵件主題、郵件內容、郵件附件。很多系統會自動產生郵件，而這些自動產生郵件的系統，絕大多數都不具備回應質詢的能力。我們收集公開論壇所發表的最新帖子用來模仿正常郵件的主題和內容。這兩類郵件實時更新使得我們的樣本集能夠保證最新內容。貝葉斯過濾系統是利用類別的先驗概率和詞的分布對于類別的條件概率來計算未知文本屬于某一類別的概率，它是建立在“貝葉斯假設”基礎上，假定所有特征之間相互獨立，應用到郵件分類中，它是通過郵件用戶先提供一定數量的垃圾郵件和非垃圾郵件作為郵件訓練集自動訓練分類模型,將訓練的結果作為判定未知郵件的主要依據，運用到相應分類算法中去。 = 是垃圾郵件的概率為： + (dValue * 100).ToString() + %。假設待測試的郵件集合中共有N封郵件，一個垃圾郵件過濾系統的判定結果如下表41所示: 表41垃圾郵件系統判定標準實際為垃圾郵件實際為合法郵件系統判定為垃圾郵件AB系統判定為合法郵件CD設N為郵件總數，則N=A+B+C+D，其中A+C為垃圾郵件的數量，B+D為合法郵件的數量，本文采用了下面幾個標準：(1) 查全率(Recall)：是人工和系統同時評判為正常的郵件數與系統評判為正常的郵件數的比值，這個指標反映了過濾系統發現垃圾郵件的能力，查全率越高表明分類器在該類上可能漏掉的垃圾郵件就越少。本文采用了基于貝葉斯算法的郵件過濾方法。[7]中國互聯網協會,中國互聯網協會互聯網公共電子郵件服務規范, 。[5]趙英、黃九梅，計算機工程與應用，2003。(2) 雖然大量的文獻表明，貝葉斯過濾系統有很高的過濾作用，但這些文獻都是針對英文的，而對于中文郵件，由于涉及到分詞和語言特點的問題，貝葉斯過濾系統不能實現同樣高的性能。根據前幾章的流程分析，我們設計的總體結構圖51如下： 郵件樣本集人工分類提取關鍵詞樣本關鍵詞庫郵件過濾器正常郵件轉發出去提取特征樣本特征詞庫垃圾郵件過濾或刪除待分類郵件提取特征圖41 總體結構圖依據本文構建的郵件過濾模型，主要使用基于樸素貝葉斯算法構建郵件過濾器，進行郵件訓練和郵件判別實驗，在不同訓練集規模、不同閾值等因素下，都對評估指標產生了影響，分別得到了不同的判別結果，也顯示了不同的查全率和查準率，經不斷調整閾值，直至達到較理想的查全率與查準率。 //計算指定類別在判斷垃圾郵件中所占權重 dValue += dTempValue * TypeList[i].Value。 } return nCount。CCERT標準中文郵件樣本集包含已標識類別的垃圾郵件和正常郵件，給研究反垃圾郵件的技術和算法提供一個公開、標準的訓練和測試樣本集。｛SPAMPOT收錄發送到xxx（xxx可為任何字符串）｝。(8) 質詢－回應技術質詢－回應技術是一種傳統的身份識別技術，這種技術就是識別方向被識別方問一些只有這兩方才可能知道正確答案的問題，通過被識別方回答的正誤來判斷被識別方的身份。但在某些需要嚴格控制郵件內容的場合，有一定的使用價值。通過對這些信息的過濾，就可以把由同一地址發出的但收發信地址和主題隨機的垃圾郵件從眾多的郵件找出來。一般情況下，比較理想的方法是，在郵件服務器端直接將垃圾郵件屏蔽掉，這樣不僅用戶不會受到垃圾郵件的騷擾，而且服務器可以減少郵件的處理量，節約處理器資源和帶寬流量。當然，最終用戶只能看到用戶投遞代理。(3) 本文采用互信息的方法進行特征選取，計算每個關鍵詞的RMI值，利用RMI值確定特征向量的分量詞條。我國反垃圾郵件的工作起步較晚，但發展很快。(2) 垃圾郵件侵害了用戶的隱私權。1995年8月，第一次有人公開販