基于貝葉斯算法的垃圾郵件過濾技術綜述(已修改)

　

【正文】 繼續教育學院 畢業論文題目：基于貝葉斯算法的垃圾郵件過濾技術綜述學生姓名： 李達夫 學 號： 092028010027班 級: CMU3097專 業： 指導教師： 鄒政2011 年 10 月基于貝葉斯算法的垃圾郵件過濾技術綜述摘要現在電子郵件成為一種快捷、成本少的通信技術手段，很大地方便了人們的通信與交流。但是，垃圾郵件的產生，影響了電子郵件的正常通信，占用的傳輸帶寬，并對系統安全造成了很大的威脅。因此，反垃圾郵件的研究問題已經成為具有重大現實意義的全球性的課題。目前，對付垃圾郵件的主要方法和手段是通過反垃圾郵件立法和使用郵件過濾技術進行處理，現已經相繼出現了多種郵件過濾技術。常用的包括黑/白名單技術、基于內容的分析方法以及基于規則的方法等。基于內容分析的技術正逐步進入郵件過濾技術當中，并且成為當前研究的熱點，其中，基于內容分析的郵件過濾方法中的典型方法是基于貝葉斯算法的垃圾郵件過濾模型。本論文對中文垃圾郵件的特點進行了比較系統的分析和研究，結合貝葉斯（Bayes）理論，構造基于貝葉斯分類的垃圾郵件過濾模型，在特征提取方面，采用互信息值的方法，在分類方法上，引入了適合本文的分類方法，并采用了一種更加適合于貝葉斯計算的表示方法。關鍵詞：電子郵件；垃圾郵件；郵件過濾；貝葉斯理論目錄第一章 緒論 4 引言 4 垃圾郵件的定義及其危害 4 垃圾郵件定義 4 垃圾郵件危害 5 國內外反垃圾郵件現狀 6 研究目標與內容 7第二章 垃圾郵件技術 8 電子郵件的概述 8 電子郵件的格式 8 郵件傳送過程 8 10第三章 基于標準郵件集構造垃圾郵件分類向量 15 15 15 15 16 16 16 提取分類向量的過程 17 19 19第四章 實驗結果及分析 22 22 23 23第五章 總結與展望 26 26 27參考文獻 ……………………………………………………………………………28第一章 緒論 引言伴隨著電子郵件的迅速普及，越來越多的人使用電子郵件。但是，電子郵件在為人們提供極其方便的傳遞信息的同時，也成為垃圾郵件、病毒、惡意程序或包含敏感內容郵件傳播的重要載體，對系統安全造成了嚴重的威脅。最早在 1975年的 RFC706“On the Junk Mail Problem”中就提到了垃圾郵件，首次關于垃圾郵件的記錄可以追溯到 1985 年 8 月的一封以電子郵件發送的連鎖信。歷史上比較著名的事件是1994年4月份，Canter 和 Siegel 的法律事務所把一封信發到 6000 多個新聞組，宣傳獲得美國國內綠卡的法律支持。這是第一次使用 Spam（垃圾郵件）一詞，用來描述新聞或電子郵件的主動性發布。一些商人開始學習Canter 和 Siegel，為商業公司提供廣告信件和發送服務。1995 年 5月，網上出現了歷史上第一個專用的垃圾郵件工具Floodgate，一次可以自動把郵件發給很多人，垃圾郵件越來越多與商業聯系起來。1995年8月，第一次有人公開販賣200萬個郵箱地址，各種垃圾郵件網站和組織也相繼出現。隨著垃圾郵件的出現和泛濫，人們開始了反垃圾郵件的不懈努力。1996 年的1 月，第一個反垃圾郵件組織“自由騎士”成立；1996 年 7 月，著名的反垃圾郵件網站SpamHaus成立， 的工具來過濾郵件地址。近幾年來，垃圾郵件的泛濫是由于專門發送垃圾郵件的服務器大批涌現。根據中國互聯網協會反垃圾郵件中心的統計，2005年以來幾乎每月我國都有100多臺服務器被國外權威反垃圾郵件組織列入黑名單。由于網絡的開放性，垃圾郵件成為互聯網上的一個日益嚴重的全球性安全問題，越來越得到社會大眾和研究人員的重視和關注。 垃圾郵件的定義及其危害 垃圾郵件定義垃圾郵件的英文名稱為 Spam或Junk Mail，一般使用Spam一詞。很多組織或機構都給垃圾郵件下過定義。例如，著名的反垃圾組織spamhaus提出，垃圾郵件具備以下兩個特征：(1) 不請自來。用戶事先并未提出要求或者同意接收該郵件。(2) 批量性。該郵件的副本在短時間內被大量發送給一個或多個用戶。2003 年，中國互聯網協會在《中國互聯網協會反垃圾郵件規范》中對垃圾郵件作了以下定義：(1) 收件人事先沒有提出要求或者同意接收的廣告、電子刊物、各種形式的宣傳品等宣傳性的電子郵件；(2) 收件人無法拒收的電子郵件；(3) 隱藏發件人身份、地址、標題等信息的電子郵件；(4) 含有虛假的信息源、發件人、路由等信息的電子郵件。從以上界定的郵件內容上看，目前可以將垃圾郵件歸納為具有以下幾類特征的郵件：帶有商業廣告性質的郵件；色情、暴力郵件；網上購物及賺錢的郵件；帶有政治目的的郵件以及帶有病毒的郵件等。 垃圾郵件危害垃圾郵件的泛濫給人們帶來的危害和損失主要體現在以下幾個方面：(1) 垃圾郵件給網絡運營商造成了嚴重的損失。大量的垃圾郵件在網絡上傳播，占用了網絡帶寬，導致網絡通信質量下降，甚至是網絡發生擁塞，干擾郵件系統的正常運行，根據2001年的一份研究報告顯示，僅2000年垃圾郵件就給全球ISP造成了至少1000萬美元的損失。(2) 垃圾郵件侵害了用戶的隱私權。由于垃圾郵件的內容不可控制，所以常常有很多有害的內容。例如，很多垃圾郵件的附件中帶有病毒，一旦收件人打開郵件，附件中的病毒就會對系統造成各種破壞。(3) 垃圾郵件給網絡帶來了各種安全性的問題。垃圾郵件會極大的影響網絡的安全和系統的穩定性，特別是那些利用別人的服務器轉發郵件的情況。因為目前大部分的垃圾郵件是利用第三方服務器轉發。這樣做可以節省郵件發送者經費，但是會給被盜用者帶來很多危險，如由于線路擁塞，造成系統的癱瘓。他就會讓被盜用的郵件服務器背上轉發垃圾郵件的黑鍋，影響正常的信件發送。 (4) 垃圾郵件成了計算機病毒新的、快速的傳播途徑。有些病毒利用瀏覽器的漏洞，以郵件的形式把自己偽裝成補丁和安全升級的電子郵件發送給用戶，只要用戶點擊該郵件，該病毒就會被激活。由此可見，垃圾郵件的危害性是非常大的。必須重視垃圾郵件的危害性以及開展反垃圾郵件工作的重要性，與垃圾郵件進行不懈的斗爭。 國內外反垃圾郵件現狀雖然垃圾郵件問題是最初從西方開始，以英文垃圾郵件為主，但是它越來越成為一個國際性的問題，很多學者和技術人員也開展了反垃圾郵件的研究工作。2008年7月24日，中國互聯網絡信息中心（CNNIC）在京發布《第22次中國互聯網絡發展狀況統計報告》顯示，截至2008年6月底，首次大幅度超過美國，躍居世界第一位。與此同時，垃圾郵件也越來越深入網民的日常生活，%，在網絡應用中排名第六位。只有不到40％網民使用電子郵件過濾軟件，超過一半的網民沒有使用過濾軟件，數字顯示網民對于防范垃圾郵件的意識薄弱。我國反垃圾郵件的工作起步較晚，但發展很快。2005 年 12 月成立了一個政府資助的反垃圾郵件聯盟，以應對越來越嚴重的垃圾郵件問題。2006年2月信息產業部頒布了中華人民共和國信息產業部第38號令《互聯網電子郵件服務管理辦法》，明確規定了對制造和傳播垃圾郵件者的處罰辦法。組織各網絡服務提供者、電子郵件服務商起草制訂并發布《中國互聯網協會互聯網公共電子郵件服務規范》；連續 7 次對外公布垃圾郵件黑名單 IP 地址；推出反垃圾郵件專業門戶網站－中國反垃圾郵件中心()等等一系列的具體而實際的反垃圾郵件治理工作，以減少垃圾郵件的泛濫。國內外電子郵件系統相關各方都進行了大量的工作，包括在電子郵件系統中引入數字證書，建立各種加密郵件