基于貝葉斯算法的垃圾郵件過濾技術綜述-文庫吧在線文庫

　　

【正文】 郵件和正常郵件，其中每一封郵件（垃圾或正常）的原始信頭和內容保存在一個文件，文件名為從1開始編號的數字。首先人工的方法將垃圾郵件樣本集進行分類，提取對分類有作用的敏感字符即特征詞，將垃圾郵件樣本集分為幾個具有代表性的類別，對待分類的樣本與已分好類的樣本進行匹配，匹配成功后放入相應的類別中，匹配不成功的進行人工處理，判斷該樣本屬于哪個類別就把該郵件放入相應的類別中。 source = ((keyWord),)。 //關鍵詞的類別 public double Value。 i++) {//計算指定類別中的在郵件中出現的所有詞條的權重和 dTempValue = GetValue(TypeList[i].Type)。本文使用Microsoft Visual Studio 2005開發工具，它提供了一個集成開發環境(Integrated Development Environment，IDE)。這就是我們采用SQL Server2005作為支持數據庫的主要原因。垃圾郵件查全率和正常郵件誤判率。本文的主要工作和研究成果有：(1) 根據當前的垃圾郵件發展狀況，分析電子郵件的基本原理、垃圾郵件的危害及目前過濾垃圾郵件的主要技術，其中包括客戶端過濾技術和服務器端過濾技術，對現有的主要過濾技術的優缺點進行比較，確定合理運用現有過濾技術的初步方式和方法。(4) 在實際使用中，完成了訓練集的構成以及訓練集的自學習功能，依據實驗所判定的垃圾郵件反饋信息對郵件訓練集進行調整，通過試驗對閾值得調整，得到較好的查全率與查準率，使誤判損失降到最低。[4]曹麒麟、張千里，垃圾郵件與反垃圾郵件技術，人民郵電出版社，2003。[12]王新梅，基于內容挖掘的垃圾郵件過濾技術，2006。[8]Tanenbaum A S. Computer[M]，清華大學出版社，2005。綜合上述，本課題的研究是十分有意義的，但是在研究的過程中我們還是發現了很多不足之處，需要我們在今后的學習中不斷努力。其中，為了盡可能提高過濾效率，貝葉斯過濾器必須用一個比較大的訓練樣本集來訓練，而且對于處理中文文本的問題時，如何進行中文的分詞處理在很大程度上會影響到貝葉斯過濾器的性能。Androutsopoulos等人提出了代價因子的概念。公式：為： (2) 正確率(Precision)：是人工和系統同時評判為正常的郵件數與人工評判為正常的郵件數的比值，正確率越大，將非垃圾郵件誤判為垃圾郵件的數量越少。(4) 數據庫平臺SQL Server2005是微軟公司推出的基于RDBMS（關系數據庫管理系統）技術的數據庫。}●函數名稱：private void ExecuteAndGetType()函數功能：獲得所有的類別和類別的權重●函數名稱：private double GetValue(string strType)函數功能：計算指定類別中的在郵件中出現的所有詞條的權重和 上面給出了判斷一封郵件是否為垃圾郵件概率的算法的主要步驟，該算法過濾垃圾郵件的準確性很高。 //總的概率值 double dTempValue = 。根據貝葉斯算法來計算一封郵件是否為垃圾郵件的概率，下面介紹算法中主要函數及代碼的實現。(1) 提取分類向量的流程如圖(32): 郵件樣本(已知類別)每個類別的總詞數取詞Y計算詞出現的頻率計算詞出現的概率存入關鍵詞數據庫結束完成YNN存入正常數據庫圖32 分類向量提取流程圖32描述了分類向量的具體實現過程：將已分好類別的樣本提取關鍵詞，如果判斷該詞是敏感字符就把該詞放入關鍵詞庫，否則放入正常詞庫，計算關鍵詞的頻率及在每個類別中出現的概率(2) 提取分類向量的算法下面介紹算法中主要函數及代碼的實現：●函數名稱：private int Total(string keyWord,string source)函數功能：統計敏感詞出現的次數，參數為關鍵字keyWord和郵件的內容source代碼實現：private int Total(string keyWord,string source) { int nCount=0。樣本集中保留原始信頭和文本內容，因此不但可以用來研究郵件內容過濾技術，而且還可以研究垃圾郵件發送行為等技術。根據需求，從中文郵件數據庫生成并發布一個中文垃圾和正常郵件樣本集，并計劃定期更新該樣本集的版本。這樣可以避免公布正常郵件時涉及到個人隱私問題。一般來說，收件人事先沒有提出要求或者同意接收的廣告、電子刊物、各種形式的宣傳品等宣傳性的電子郵件；收件人無法拒收的電子郵件；隱藏發件人身份、地址、標題等信息的電子郵件；含有虛假的信息源、發件人、路由等信息的電子郵件都被認為是垃圾郵件。這就會是反垃圾郵件系統認為這些系統自動產生的郵件是偽裝過的郵件，被錯誤的丟棄。貝葉斯技術克服了傳統內容分析技術準確性低、誤判率高的缺陷，不需要預先搜集和編制關鍵詞表，可以實現對樣本的自動采集和學習，貝葉斯過濾器是目前比較好的過濾器，我們將在本文第三章對它進行詳細闡述。郵件主題掃描的實現比較簡單，就是掃描接收的每一個郵件，對郵件主題的關鍵字進行過濾，凡是符合預定義關鍵字值的就認為是垃圾郵件。目前國內支持地址黑名單的服務器比較多，很多郵件服務器軟件都是默認支持實時黑名單技術，但從實際的角度來看，這種方式并不是非常有效。該方法的缺點是垃圾郵件基本上都是采用了偽造和變換發件人地址的手段，單靠管理員的手工處理根本不可能構造出一個及時有效的黑名單列表。根據關鍵字詞的命中率來確認這封郵件是否是垃圾郵件。在客戶端可以對以下幾種內容進行過濾：(1) 對發件人地址的過濾這項技術就是依據發件人地址進行判斷是否是垃圾郵件，例如不合法的郵件地址就會認為是垃圾郵件，如????163. net，和一些不合規范的郵件地址及空地址，如lakdjfhkiu}lkdfnehgugnuoi,lkjsfuiern}。(2) 行業自律模式。這意味著人們每周都會收到數千封不請自來的電子郵件，這些垃圾郵件不僅消耗了電子郵件網關75%的處理能力，使垃圾郵件使得網絡線路繁忙，服務器性能大打折扣；而且也浪費了員工的大量時間和精力。用戶代理MUA接受用戶輸入的各種指令。 電子郵件工作原理簡介 電子郵件的概述電子郵件（簡稱EMail）又稱電子信箱、電子郵政，它是—種用電子手段提供信息交換的通信方式。安全電子郵件系統有著廣泛的市場前景。組織各網絡服務提供者、電子郵件服務商起草制訂并發布《中國互聯網協會互聯網公共電子郵件服務規范》；連續 7 次對外公布垃圾郵件黑名單 IP 地址；推出反垃圾郵件專業門戶網站－中國反垃圾郵件中心()等等一系列的具體而實際的反垃圾郵件治理工作，以減少垃圾郵件的泛濫。必須重視垃圾郵件的危害性以及開展反垃圾郵件工作的重要性，與垃圾郵件進行不懈的斗爭。(3) 垃圾郵件給網絡帶來了各種安全性的問題。該郵件的副本在短時間內被大量發送給一個或多個用戶。近幾年來，垃圾郵件的泛濫是由于專門發送垃圾郵件的服務器大批涌現。最早在 1975年的 RFC706“On the Junk Mail Problem”中就提到了垃圾郵件，首次關于垃圾郵件的記錄可以追溯到 1985 年 8 月的一封以電子郵件發送的連鎖信。但是，垃圾郵件的產生，影響了電子郵件的正常通信，占用的傳輸帶寬，并對系統安全造成了很大的威脅。本論文對中文垃圾郵件的特點進行了比較系統的分析和研究，結合貝葉斯（Bayes）理論，構造基于貝葉斯分類的垃圾郵件過濾模型，在特征提取方面，采用互信息值的方法，在分類方法上，引入了適合本文的分類方法，并采用了一種更加適合于