基于貝葉斯算法的垃圾郵件過濾技術綜述-全文預覽

　　

【正文】 得我們的樣本集能夠保證最新內容。每個集合中包含兩個目錄：spam和ham。CCERT中文垃圾郵件過濾規則集() 就是由該中文郵件數據庫生成的。來自SPAMPOT的郵件，如果被認為是中文垃圾郵件則存放到垃圾郵件數據庫；如果被認為是正常郵件則把該郵件的信頭信息存放到數據庫，刪除內容，確保不侵犯個人隱私問題。我們收集公開論壇所發表的最新帖子用來模仿正常郵件的主題和內容。另外，只收集簡體中文的垃圾郵件，即主題或者內容中包含至少一個國標（Gb2312）的漢字。普通意義上的垃圾郵件指的是未經主動請求的大量的電子郵件。PU樣本集只保留了郵件的標題和正文的純文本內容。很多系統會自動產生郵件，而這些自動產生郵件的系統，絕大多數都不具備回應質詢的能力。 分布協作分析的主要原理：從郵件中提取出可以代表內容的指紋數據，不同的內容會產生不同的指紋，用這些指紋代表郵件，全球的兼容用戶會提交郵件的指紋，從服務器得到響應，以知道有多好封相同的郵件在全球傳播，這樣來識別郵件是否為垃圾郵件。由于貝葉斯算法預設的先驗概率是通過經驗來確定的，由此其預設值未必是最合適的，所以應增加自學習功能，通過不斷校正預設的先驗概率來提高郵件過濾的準確率。在實施中很難對付會自動變化主題的垃圾郵件，帶來了很高的誤判率。目前，郵件掃描檢查三個方面：郵件主題、郵件內容、郵件附件。例如一些詞匯“免費”被變成“免…費”或“免費”,令垃圾郵件過濾防不勝防，同時導致了正常郵件如果使用了這些詞匯也被拒絕。具體來說一個使用RBL技術的軟件要確定某一IP地址是否應該被列入黑名單，會向黑名單服務器發出DNS查詢，黑名單服務器查詢黑名單后會將結果反饋給查詢計算機。如果以前獲得批準的客戶改變了郵件地址，用戶必須將新地址寫入白名單，否則就收不到來自這位客戶的電子郵件。如果郵件的發件人與已知的垃圾郵件地址相同，就認為該郵件是垃圾郵件，并拒收該郵件。(5) 對郵件頭信息過濾郵件頭信息是記錄郵件投遞過程的原始信息，這一點對垃圾郵件有著非常重要的意義。(4) 對郵件內容關鍵字的過濾郵件內容的過濾一般以一個關鍵字詞或多個關鍵字詞為判斷依據。這種情況就是考慮到郵件列表了，因為郵件列表在發送的時候，收件人地址只是一個列表的名稱，所以，雖然有些郵件收件人不是你，但是，是以郵件列表的形式發送的，所以，你還是會收到的。如果是這樣，我們只能在客戶端這最后的一道防線上去抵擋垃圾郵件的進攻了。近年來，有關垃圾郵件過濾技術的研究開始逐步興起，相關的投入也越來越大，涌現了一大批相關產品，如果能從技術上解決垃圾郵件問題，那是最理想的垃圾郵件解決方法了。其次就是法律的執行問題，即給予什么樣的處罰才是得當的，而且如果缺少國際合作，即使發現來自境外的垃圾郵件，也無法制裁。立法模式是由國家和政府主導的模式，這種模式的基本做法是由國家通過立法的方法，從法律上確立網絡隱私保護的各項基本原則與各項具體的法律、規定和制度，并在此基礎上建立相應的司法或者行政措施。整個郵件傳輸過程如下（如圖21所示）： 服務器發件方收件方服務器InternetDNSMDA郵箱SMTPSMTPPOP/IMAP圖21電子郵件傳輸過程 非技術手段反垃圾郵件垃圾郵件正以每年5%的速度遞增。常用的MTA程序有Sendmail、Qmail和Postfix。 郵件傳送過程在通常的情況下，一封電子郵件的發送需要經過郵件用戶代理MUA(Mail User Agent)、郵件傳輸代理MTA(Mail Transfer Agent)和郵件投遞代理(Mail Delivery Agent)等三個程序的參與。通過連接全世界的Internet，實現各類信號的傳送、接收、存儲等處理，將郵件送到世界的各個角落。第二章 垃圾郵件技術 根據用戶對反垃圾規則的可控性，本章根據電子郵件的原理，分析電子郵件技術及相關協議的不足，列舉了當前的一些常用的反垃圾郵件技術，以便用戶合理的選擇反垃圾郵件技術。(2) 將垃圾郵件樣本集分類，基于已分好類別的垃圾郵件樣本集進行研究，提取每個類別中垃圾郵件的關鍵詞，該關鍵詞是垃圾郵件中的敏感字符，是一個類別中能表達該類別文本內容的詞條，即分類向量。用戶需要安全的電子郵件系統產品，能夠迅速構建安全可靠、高性能的電子郵件系統，并且維護管理和使用都比較方便簡單。所有的郵件作者和廠商都要執行它，那么我們在Internet上將具有安全的電子郵件。2006年2月信息產業部頒布了中華人民共和國信息產業部第38號令《互聯網電子郵件服務管理辦法》，明確規定了對制造和傳播垃圾郵件者的處罰辦法。與此同時，垃圾郵件也越來越深入網民的日常生活，%，在網絡應用中排名第六位。由此可見，垃圾郵件的危害性是非常大的。這樣做可以節省郵件發送者經費，但是會給被盜用者帶來很多危險，如由于線路擁塞，造成系統的癱瘓。例如，很多垃圾郵件的附件中帶有病毒，一旦收件人打開郵件，附件中的病毒就會對系統造成各種破壞。 垃圾郵件危害垃圾郵件的泛濫給人們帶來的危害和損失主要體現在以下幾個方面：(1) 垃圾郵件給網絡運營商造成了嚴重的損失。(2) 批量性。 垃圾郵件的定義及其危害 垃圾郵件定義垃圾郵件的英文名稱為 Spam或Junk Mail，一般使用Spam一詞。1996 年的1 月，第一個反垃圾郵件組織“自由騎士”成立；1996 年 7 月，著名的反垃圾郵件網站SpamHaus成立， 的工具來過濾郵件地址。一些商人開始學習Canter 和 Siegel，為商業公司提供廣告信件和發送服務。但是，電子郵件在為人們提供極其方便的傳遞信息的同時，也成為垃圾郵件、病毒、惡意程序或包含敏感內容郵件傳播的重要載體，對系統安全造成了嚴重的威脅。常用的包括黑/白名單技術、基于內容的分析方法以及基于規則的方法等。 繼續教育學院 畢業論文題目：基于貝葉斯算法的垃圾郵件過濾技術綜述學生姓名： 李達夫 學 號： 092028010027班 級: CMU3097專 業： 指導教師： 鄒政2011 年 10 月基于貝葉斯算法的垃圾郵件過濾技術綜述摘要現在電子郵件成為一種快捷、成本少的通信技術手段，很大地方便了人們的通信與交流。目前，對付垃圾郵件的主要方法和手段是通過反垃圾郵件立法和使用郵件過濾技術進行處理，現已經相繼出現了多種郵件過濾技術。關鍵詞：電子郵件；垃圾郵件；郵件過濾；貝葉斯理論目錄第一章 緒論 4 引言 4 垃圾郵件的定義及其危害 4 垃圾郵件定義 4 垃圾郵件危害 5 國內外反垃圾郵件現狀 6 研究目標與內容 7第二章 垃圾郵件技術 8 電子郵件的概述 8 電子郵件的格式 8 郵件傳送過程 8 10第三章 基于標準郵件集構造垃圾郵件分類向量 15 15 15 15 16 16 16 提取分類向量的過程 17 19 19第四章 實驗結果及分析 22 22 23 23第五章 總結與展望 26 26 27參考文獻 ……………………………………………………………………………28第一章 緒論 引言伴隨著電子郵件的迅速普及，越來越多的人使用電子郵件。這是第一次使用 Spam（垃圾郵件）一詞，用來描述新聞或電子郵件的主動性發布。隨著垃圾郵件的出現和泛濫，人們開始了反垃圾郵件的不懈努力。由于網絡的開放性，垃圾郵件成為互聯網上的一個日益嚴重的全球性安全問題，越來越得到社會大眾和研究