基于貝葉斯算法的垃圾郵件過濾技術綜述-文庫吧

【正文】 協議和標準，研究郵件防病毒技術和垃圾郵件過濾技術等；同時，不少國家都出臺了電子郵件應用相關的法律法規，如電子簽名法、反垃圾郵件立法等，對其進行約束和規范。為了保證電子郵件在Internet上安全的運行，在理想狀態下，應該有一個Internet電子郵件的安全標準。所有的郵件作者和廠商都要執行它，那么我們在Internet上將具有安全的電子郵件。安全電子郵件先后提出了不同的標準：PGP、PEM和S/MIME。目前國際上有兩大類流行的郵件安全系統標準：端到端安全郵件標準（PGP）和傳輸層安全郵件標準S/MIME。隨著我國政府電子政務的建設，中國加入WTO，越來越多的企事業單位會建設自己的郵件系統/自動化辦公系統，提高無紙化辦公，實現電子商務。用戶需要安全的電子郵件系統產品，能夠迅速構建安全可靠、高性能的電子郵件系統，并且維護管理和使用都比較方便簡單。安全電子郵件系統有著廣泛的市場前景。 研究目標與內容本文的研究目標是基于貝葉斯算法，構造垃圾郵件過濾模型，并對相關算法進行分析、比較、驗證，最后基于改進的貝葉斯算法，實現對垃圾郵件的過濾。本文的主要工作內容如下：(1) 對當前現有過濾技術發展現狀、基本原理、基本方法和過程進行研究和分析，并對主要過濾技術的優缺點進行比較。(2) 將垃圾郵件樣本集分類，基于已分好類別的垃圾郵件樣本集進行研究，提取每個類別中垃圾郵件的關鍵詞，該關鍵詞是垃圾郵件中的敏感字符，是一個類別中能表達該類別文本內容的詞條，即分類向量。計算每個分類向量在各類別中出現的概率，即得到特征向量。(3) 本文采用互信息的方法進行特征選取，計算每個關鍵詞的RMI值，利用RMI值確定特征向量的分量詞條。(4) 解決基于向量空間模型的郵件文本信息表示、文本分類中的特征向量的選擇等問題，在對實現過濾器的關鍵技術中，設計和實現基于貝葉斯算法分類的反垃圾郵件系統的改進的過濾系統，完成郵件過濾過程。第二章 垃圾郵件技術 根據用戶對反垃圾規則的可控性，本章根據電子郵件的原理，分析電子郵件技術及相關協議的不足，列舉了當前的一些常用的反垃圾郵件技術，以便用戶合理的選擇反垃圾郵件技術。 電子郵件工作原理簡介 電子郵件的概述電子郵件（簡稱EMail）又稱電子信箱、電子郵政，它是—種用電子手段提供信息交換的通信方式。它是全球多種網絡上使用最普遍的一項服務。這種非交互式的通信，加速了信息的交流及數據傳送，它是—個簡易、快速的方法。通過連接全世界的Internet，實現各類信號的傳送、接收、存儲等處理，將郵件送到世界的各個角落。到目前為止，可以說電子郵件是Internet資源使用最多的一種服務，電子郵件不只局限于信件的傳遞，還可用來傳遞文件、聲音及圖形、圖像等不同類型的信息。 電子郵件的格式一個完整的電子郵件地址格式如下：user@：用戶名@，@表示“(at)”的意思，@的左邊是電子郵件用戶的登錄名，右邊是完整的主機名，它由主機名與域名組成。其中，域名由幾部分組成，每一部分稱為一個子域(Subdomain)，各子域之間用圓點“.”分隔，每個子域都會告訴用戶一些有關這臺郵件服務器的信息。 郵件傳送過程在通常的情況下，一封電子郵件的發送需要經過郵件用戶代理MUA(Mail User Agent)、郵件傳輸代理MTA(Mail Transfer Agent)和郵件投遞代理(Mail Delivery Agent)等三個程序的參與。用戶代理MUA接受用戶輸入的各種指令。傳輸代理MTA軟件負責處理所有接收和發送的郵件。對每一個外發的郵件MTA決定接收方的目的地。常用的MTA程序有Sendmail、Qmail和Postfix。投遞代理MDA程序則從信件傳輸代理取得信件傳送至最終用戶的郵箱。當然，最終用戶只能看到用戶投遞代理。常見的投遞代理包括procmail等。整個郵件傳輸過程如下（如圖21所示）： 服務器發件方收件方服務器InternetDNSMDA郵箱SMTPSMTPPOP/IMAP圖21電子郵件傳輸過程 非技術手段反垃圾郵件垃圾郵件正以每年5%的速度遞增。這意味著人們每周都會收到數千封不請自來的電子郵件，這些垃圾郵件不僅消耗了電子郵件網關75%的處理能力，使垃圾郵件使得網絡線路繁忙，服務器性能大打折扣；而且也浪費了員工的大量時間和精力。 反垃圾郵件成為了當前急需解決的問題。現在非技術手段有以下幾種：(1) 立法模式。立法模式是由國家和政府主導的模式，這種模式的基本做法是由國家通過立法的方法，從法律上確立網絡隱私保護的各項基本原則與各項具體的法律、規定和制度，并在此基礎上建立相應的司法或者行政措施。例如，一旦確認某個團體或個人發送垃圾郵件，那他將面臨法律的制裁與處罰。針對目前的垃圾郵件泛濫的形勢，反垃圾郵件立法的呼聲越來越高，但是反垃圾郵件立法也面臨一系列的問題。如垃圾郵件的定義，即到底什么樣的郵件是垃圾郵件。其次就是法律的執行問題，即給予什么樣的處罰才是得當的，而且如果缺少國際合作，即使發現來自境外的垃圾郵件，也無法制裁。(2) 行業自律模式。行業控制方面主要是利用實時的黑名單服務來限制垃圾郵件的傳播。(3) 利用垃圾郵件過濾技術。近年來，有關垃圾郵件過濾技術的研究開始逐步興起，相關的投入也越來越大，涌現了一大批相關產品，如果能從技術上解決垃圾郵件問題，那是最理想的垃圾郵件解決方法了。 常用反垃圾郵件技術 一般來說，反垃圾郵件的方法有服務器端和客戶端兩種。一般情況下，比較理想的方法是，在郵件服務器端直接將垃圾郵件屏蔽掉，這樣不僅用戶不會受到垃圾郵件的騷擾，而且服務器可以減少郵件的處理量，節約處理器資源和帶寬流量。但是，相當多的電子郵件服務提供商，并沒有把這件事做好，特別是一些不夠規范的免費電子郵件提供商(有些免費的電子郵件服務提供商甚至向別的廠商和公司收取費用直接往自己的免費用戶郵箱里投放廣告郵件)。如果是這樣，我們只能在客戶端這最后的一道防線上去抵擋垃圾郵件的進攻了。在客戶端可以對以下幾種內容進行過濾：(1) 對發件人地址的過濾這項技術就是依據發件人地址進行判斷是否是垃圾郵件，例如不合法的郵件地址就會認為是垃圾郵件，如????@163. net，和一些不合規范的郵件地址及空地址，如lakdjfhkiu}lkdfnehgugnuoi,lkjsfuiern}。這些郵件將被判斷為垃圾郵件。(2) 對收件人地址的過濾大家可能會說，收件地址不就是我的郵箱地址嗎?這還需要過濾?當然，收件人地址也是可以用來發送垃圾郵件的。這種情況就是考慮到郵件列表了，因為郵件列表在發送的時候，收件人地址只是一個列表的名稱，所以，雖然有些郵件收件人不是你，但是，是以郵件列表的形式發送的，所以，你還是會收到的。對于收件人地址的檢查和過濾也是必要的。(3) 對郵件主題的過濾這個應該算是比較重要的一個過濾了，一般一些垃圾郵件的主題還是有一些共同的特性的。比如前一段時間鬧的比較兇的SoBig. F病毒，一共以9個主題來發送病毒郵件，發件人和收件人地址都不確定，只要你過濾掉這9個主題，你就不會受到SoBig. F病毒所發送的垃圾郵件騷擾了。(4) 對郵件內容關鍵字的過濾郵件內容的過濾一般以一個關鍵字詞或多個關鍵字詞為判斷依據。根據關鍵字詞的命中率來確認這封郵件是否是垃圾郵件。如果命中率超過了設置的閾值，就認為是垃圾郵件。同時關鍵字詞還可以是短語和短句。(5) 對郵件頭信息過濾郵件頭信息是記錄郵件投遞過程的原始信息，這一點對垃圾郵件有著非常重要的意義。雖然垃圾郵件發送者在發送垃圾郵件的時候，可以利用各種的工具隨機偽造不同的收發件人、主題和內容，但是在郵件頭信息中，這些郵件還是有一些共同的信息的，主要是IP、主機名、X標識。通過對這些信息的過濾，就可以把由