基于貝葉斯算法的垃圾郵件過濾技術綜述(更新版)

　　

【正文】 址相同，就認為該郵件是垃圾郵件，并拒收該郵件。(4) 對郵件內容關鍵字的過濾郵件內容的過濾一般以一個關鍵字詞或多個關鍵字詞為判斷依據。如果是這樣，我們只能在客戶端這最后的一道防線上去抵擋垃圾郵件的進攻了。其次就是法律的執行問題，即給予什么樣的處罰才是得當的，而且如果缺少國際合作，即使發現來自境外的垃圾郵件，也無法制裁。整個郵件傳輸過程如下（如圖21所示）： 服務器發件方收件方服務器InternetDNSMDA郵箱SMTPSMTPPOP/IMAP圖21電子郵件傳輸過程 非技術手段反垃圾郵件垃圾郵件正以每年5%的速度遞增。 郵件傳送過程在通常的情況下，一封電子郵件的發送需要經過郵件用戶代理MUA(Mail User Agent)、郵件傳輸代理MTA(Mail Transfer Agent)和郵件投遞代理(Mail Delivery Agent)等三個程序的參與。第二章 垃圾郵件技術 根據用戶對反垃圾規則的可控性，本章根據電子郵件的原理，分析電子郵件技術及相關協議的不足，列舉了當前的一些常用的反垃圾郵件技術，以便用戶合理的選擇反垃圾郵件技術。用戶需要安全的電子郵件系統產品，能夠迅速構建安全可靠、高性能的電子郵件系統，并且維護管理和使用都比較方便簡單。2006年2月信息產業部頒布了中華人民共和國信息產業部第38號令《互聯網電子郵件服務管理辦法》，明確規定了對制造和傳播垃圾郵件者的處罰辦法。由此可見，垃圾郵件的危害性是非常大的。例如，很多垃圾郵件的附件中帶有病毒，一旦收件人打開郵件，附件中的病毒就會對系統造成各種破壞。(2) 批量性。1996 年的1 月，第一個反垃圾郵件組織“自由騎士”成立；1996 年 7 月，著名的反垃圾郵件網站SpamHaus成立， 的工具來過濾郵件地址。但是，電子郵件在為人們提供極其方便的傳遞信息的同時，也成為垃圾郵件、病毒、惡意程序或包含敏感內容郵件傳播的重要載體，對系統安全造成了嚴重的威脅。 繼續教育學院 畢業論文題目：基于貝葉斯算法的垃圾郵件過濾技術綜述學生姓名： 李達夫 學 號： 092028010027班 級: CMU3097專 業： 指導教師： 鄒政2011 年 10 月基于貝葉斯算法的垃圾郵件過濾技術綜述摘要現在電子郵件成為一種快捷、成本少的通信技術手段，很大地方便了人們的通信與交流。關鍵詞：電子郵件；垃圾郵件；郵件過濾；貝葉斯理論目錄第一章 緒論 4 引言 4 垃圾郵件的定義及其危害 4 垃圾郵件定義 4 垃圾郵件危害 5 國內外反垃圾郵件現狀 6 研究目標與內容 7第二章 垃圾郵件技術 8 電子郵件的概述 8 電子郵件的格式 8 郵件傳送過程 8 10第三章 基于標準郵件集構造垃圾郵件分類向量 15 15 15 15 16 16 16 提取分類向量的過程 17 19 19第四章 實驗結果及分析 22 22 23 23第五章 總結與展望 26 26 27參考文獻 ……………………………………………………………………………28第一章 緒論 引言伴隨著電子郵件的迅速普及，越來越多的人使用電子郵件。隨著垃圾郵件的出現和泛濫，人們開始了反垃圾郵件的不懈努力。用戶事先并未提出要求或者同意接收該郵件。由于垃圾郵件的內容不可控制，所以常常有很多有害的內容。有些病毒利用瀏覽器的漏洞，以郵件的形式把自己偽裝成補丁和安全升級的電子郵件發送給用戶，只要用戶點擊該郵件，該病毒就會被激活。2005 年 12 月成立了一個政府資助的反垃圾郵件聯盟，以應對越來越嚴重的垃圾郵件問題。隨著我國政府電子政務的建設，中國加入WTO，越來越多的企事業單位會建設自己的郵件系統/自動化辦公系統，提高無紙化辦公，實現電子商務。(4) 解決基于向量空間模型的郵件文本信息表示、文本分類中的特征向量的選擇等問題，在對實現過濾器的關鍵技術中，設計和實現基于貝葉斯算法分類的反垃圾郵件系統的改進的過濾系統，完成郵件過濾過程。其中，域名由幾部分組成，每一部分稱為一個子域(Subdomain)，各子域之間用圓點“.”分隔，每個子域都會告訴用戶一些有關這臺郵件服務器的信息。常見的投遞代理包括procmail等。如垃圾郵件的定義，即到底什么樣的郵件是垃圾郵件。但是，相當多的電子郵件服務提供商，并沒有把這件事做好，特別是一些不夠規范的免費電子郵件提供商(有些免費的電子郵件服務提供商甚至向別的廠商和公司收取費用直接往自己的免費用戶郵箱里投放廣告郵件)。比如前一段時間鬧的比較兇的SoBig. F病毒，一共以9個主題來發送病毒郵件，發件人和收件人地址都不確定，只要你過濾掉這9個主題，你就不會受到SoBig. F病毒所發送的垃圾郵件騷擾了。 服務器端垃圾郵件過濾技術在服務器端有以下幾種過濾技術：(1) 基于黑/白名單的過濾技術 黑名單技術的原理是管理員收集、歸納和整理垃圾郵件的發件人地址，并制作成一個地址列表，即所謂的黑名單。現在垃圾郵件大量增加，如果靠使用者手動維護黑名單很難應付，針對這種情況，實時黑名單(簡稱 RBL)技術應運而生，該技術結合DNS查詢實現對黑名單的自動更新。(4) 郵件掃描技術 如果郵件服務器能夠對接收的郵件進行掃描，并按照指定的規則對郵件進行匹配，一旦接收的郵件和垃圾郵件匹配成功，就認為本次接收的郵件是垃圾郵件并自動刪除該郵件。可以根據特有的垃圾郵件和合法消息來進行定制。但這種技術要求反垃圾郵件系統預先和全部可能的發件人定下一個或多個秘密問題及答案。除此以外，SpamAssassin的開發組也提供垃圾郵件和正常郵件樣本集，與LingSpam有些類似，其正常郵件來自公眾論壇。這樣可以收到更多、更廣泛的垃圾郵件。由于垃圾郵件和正常郵件都是實時更新，因此中文郵件數據庫中能夠體現出中文郵件最新的特性。其中垃圾郵件由CCERT垃圾郵件蜜罐系統所捕獲的，正常郵件來自公開的中文論壇。垃圾郵件樣本集中共有44844個樣本，本文將垃圾郵件集分為八個類別:廣告類、網上訂票類、網上購物類、網上賺錢類、情趣物品類、色情暴力類、欺詐信息類、銷售郵件地址類等，每類樣本的數量如圖31。 }●函數名稱：private void GetWord(string source)函數功能：提取郵件中的關鍵詞，判斷敏感庫中是否有此關鍵詞，如果沒有該詞并且判斷該詞為敏感字符，就把該詞放入敏感詞庫，如果有此關鍵詞，判斷下一個是否為敏感字符。 //定義關鍵詞數組 public structType[] TypeList。 } dValue = dValue * 100。C是一種類型安全的、現代的、簡單的、由C和C++衍生出來的面向對象的編程語言，它是牢牢根植于C和C++語言之上的，并可立即被C和C++的使用者所熟悉。垃圾郵件過濾的性能評價通常指文本分類的相關指標。另外，我們在前面提到，在實際的垃圾郵件過濾中，人們往往不希望將合法郵件誤判成垃圾郵件。不過，相比傳統的基于規則的垃圾郵件過濾方法，貝葉斯過濾系統還是更加優越的。(2) 本文根據樸素貝葉斯原理，該原理是建立在假設基礎上的，假設每個向量是相互獨立的，未考慮各向量之間的拓撲關系，可能會丟失郵件特征，造成部分郵件的誤判。[6]The Chinese AntiSpam Alliance, 。