基于貝葉斯算法的垃圾郵件過濾技術(shù)綜述-預(yù)覽頁

　

【正文】 人員的重視和關(guān)注。用戶事先并未提出要求或者同意接收該郵件。從以上界定的郵件內(nèi)容上看，目前可以將垃圾郵件歸納為具有以下幾類特征的郵件：帶有商業(yè)廣告性質(zhì)的郵件；色情、暴力郵件；網(wǎng)上購物及賺錢的郵件；帶有政治目的的郵件以及帶有病毒的郵件等。由于垃圾郵件的內(nèi)容不可控制，所以常常有很多有害的內(nèi)容。因?yàn)槟壳按蟛糠值睦]件是利用第三方服務(wù)器轉(zhuǎn)發(fā)。有些病毒利用瀏覽器的漏洞，以郵件的形式把自己偽裝成補(bǔ)丁和安全升級的電子郵件發(fā)送給用戶，只要用戶點(diǎn)擊該郵件，該病毒就會被激活。2008年7月24日，中國互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）在京發(fā)布《第22次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至2008年6月底，首次大幅度超過美國，躍居世界第一位。2005 年 12 月成立了一個政府資助的反垃圾郵件聯(lián)盟，以應(yīng)對越來越嚴(yán)重的垃圾郵件問題。為了保證電子郵件在Internet上安全的運(yùn)行，在理想狀態(tài)下，應(yīng)該有一個Internet電子郵件的安全標(biāo)準(zhǔn)。隨著我國政府電子政務(wù)的建設(shè)，中國加入WTO，越來越多的企事業(yè)單位會建設(shè)自己的郵件系統(tǒng)/自動化辦公系統(tǒng)，提高無紙化辦公，實(shí)現(xiàn)電子商務(wù)。本文的主要工作內(nèi)容如下：(1) 對當(dāng)前現(xiàn)有過濾技術(shù)發(fā)展現(xiàn)狀、基本原理、基本方法和過程進(jìn)行研究和分析，并對主要過濾技術(shù)的優(yōu)缺點(diǎn)進(jìn)行比較。(4) 解決基于向量空間模型的郵件文本信息表示、文本分類中的特征向量的選擇等問題，在對實(shí)現(xiàn)過濾器的關(guān)鍵技術(shù)中，設(shè)計(jì)和實(shí)現(xiàn)基于貝葉斯算法分類的反垃圾郵件系統(tǒng)的改進(jìn)的過濾系統(tǒng)，完成郵件過濾過程。這種非交互式的通信，加速了信息的交流及數(shù)據(jù)傳送，它是—個簡易、快速的方法。其中，域名由幾部分組成，每一部分稱為一個子域(Subdomain)，各子域之間用圓點(diǎn)“.”分隔，每個子域都會告訴用戶一些有關(guān)這臺郵件服務(wù)器的信息。對每一個外發(fā)的郵件MTA決定接收方的目的地。常見的投遞代理包括procmail等。現(xiàn)在非技術(shù)手段有以下幾種：(1) 立法模式。如垃圾郵件的定義，即到底什么樣的郵件是垃圾郵件。(3) 利用垃圾郵件過濾技術(shù)。但是，相當(dāng)多的電子郵件服務(wù)提供商，并沒有把這件事做好，特別是一些不夠規(guī)范的免費(fèi)電子郵件提供商(有些免費(fèi)的電子郵件服務(wù)提供商甚至向別的廠商和公司收取費(fèi)用直接往自己的免費(fèi)用戶郵箱里投放廣告郵件)。(2) 對收件人地址的過濾大家可能會說，收件地址不就是我的郵箱地址嗎?這還需要過濾?當(dāng)然，收件人地址也是可以用來發(fā)送垃圾郵件的。比如前一段時間鬧的比較兇的SoBig. F病毒，一共以9個主題來發(fā)送病毒郵件，發(fā)件人和收件人地址都不確定，只要你過濾掉這9個主題，你就不會受到SoBig. F病毒所發(fā)送的垃圾郵件騷擾了。同時關(guān)鍵字詞還可以是短語和短句。 服務(wù)器端垃圾郵件過濾技術(shù)在服務(wù)器端有以下幾種過濾技術(shù)：(1) 基于黑/白名單的過濾技術(shù) 黑名單技術(shù)的原理是管理員收集、歸納和整理垃圾郵件的發(fā)件人地址，并制作成一個地址列表，即所謂的黑名單。該方法的缺點(diǎn)是如果用戶希望收到來自某一地址的電子郵件，用戶必須事先設(shè)置允許接收這一地址郵件的規(guī)則。現(xiàn)在垃圾郵件大量增加，如果靠使用者手動維護(hù)黑名單很難應(yīng)付，針對這種情況，實(shí)時黑名單(簡稱 RBL)技術(shù)應(yīng)運(yùn)而生，該技術(shù)結(jié)合DNS查詢實(shí)現(xiàn)對黑名單的自動更新。(3) 基于靜態(tài)內(nèi)容過濾技術(shù)靜態(tài)內(nèi)容過濾實(shí)際上只對“規(guī)矩”的垃圾郵件有效，這些規(guī)矩的垃圾郵件常常是網(wǎng)絡(luò)營銷的廣告，有些更規(guī)矩的廣告在郵件主題上提示“ADV：”，這種郵件其實(shí)反而不是最主要防范的郵件，如果用戶不想接收廣告郵件，只需簡單過濾郵件主題，發(fā)現(xiàn)ADV即拒收。(4) 郵件掃描技術(shù) 如果郵件服務(wù)器能夠?qū)邮盏泥]件進(jìn)行掃描，并按照指定的規(guī)則對郵件進(jìn)行匹配，一旦接收的郵件和垃圾郵件匹配成功，就認(rèn)為本次接收的郵件是垃圾郵件并自動刪除該郵件。目前，市場上常用的反垃圾郵件軟件提供此郵件主題掃描和郵件附件掃描功能，支持郵件內(nèi)容掃描的反垃圾郵件軟件很少。可以根據(jù)特有的垃圾郵件和合法消息來進(jìn)行定制。但每個收件人必須看了內(nèi)容以后才知道該郵件是垃圾郵件，利用分布協(xié)作的內(nèi)容指紋過濾方法對此類郵件有很好的過濾作用。但這種技術(shù)要求反垃圾郵件系統(tǒng)預(yù)先和全部可能的發(fā)件人定下一個或多個秘密問題及答案。第三章 基于標(biāo)準(zhǔn)郵件集構(gòu)造垃圾郵件分類向量國際上已經(jīng)有一些英文的垃圾郵件樣本集，如由希臘學(xué)者Androutsopoulos提供的PU系列和Lingspam樣本集。除此以外，SpamAssassin的開發(fā)組也提供垃圾郵件和正常郵件樣本集，與LingSpam有些類似，其正常郵件來自公眾論壇。(2) 域中真實(shí)用戶收到但接受者認(rèn)為不是他(她)所希望收到的也被視為要收的集垃圾郵件。這樣可以收到更多、更廣泛的垃圾郵件。采用人工判別方式，對臨時數(shù)據(jù)庫中的內(nèi)容進(jìn)行人工分類。由于垃圾郵件和正常郵件都是實(shí)時更新，因此中文郵件數(shù)據(jù)庫中能夠體現(xiàn)出中文郵件最新的特性。該樣本集包含兩集合：“2005Jun”和 “2005Jul”，分別記錄2005年6月和7月的中文郵件。其中垃圾郵件由CCERT垃圾郵件蜜罐系統(tǒng)所捕獲的，正常郵件來自公開的中文論壇。一封郵件在經(jīng)過解碼、分詞之后就成為詞的集合，對收集的樣本郵件進(jìn)行處理分析得到所有郵件詞的集合即全特征集。垃圾郵件樣本集中共有44844個樣本，本文將垃圾郵件集分為八個類別:廣告類、網(wǎng)上訂票類、網(wǎng)上購物類、網(wǎng)上賺錢類、情趣物品類、色情暴力類、欺詐信息類、銷售郵件地址類等，每類樣本的數(shù)量如圖31。 } keyWord = ()。 }●函數(shù)名稱：private void GetWord(string source)函數(shù)功能：提取郵件中的關(guān)鍵詞，判斷敏感庫中是否有此關(guān)鍵詞，如果沒有該詞并且判斷該詞為敏感字符，就把該詞放入敏感詞庫，如果有此關(guān)鍵詞，判斷下一個是否為敏感字符。 //關(guān)鍵詞 public double Value。 //定義關(guān)鍵詞數(shù)組 public structType[] TypeList。 // 獲得所有的類別和類別的權(quán)重 for (int i = 0。 } dValue = dValue * 100。對于本論文的實(shí)驗(yàn)測試, Windows Server 2003有很好的穩(wěn)定性。C是一種類型安全的、現(xiàn)代的、簡單的、由C和C++衍生出來的面向?qū)ο蟮木幊陶Z言，它是牢牢根植于C和C++語言之上的，并可立即被C和C++的使用者所熟悉。在我國，采用WINDOWS NT作為局域網(wǎng)操作系統(tǒng)的占不小比例，而從技術(shù)角度來說， SQL Server2005同WINDOWS NT緊密的結(jié)合在一起，能很好的處理部門級的數(shù)據(jù)。垃圾郵件過濾的性能評價(jià)通常指文本分類的相關(guān)指標(biāo)。公式：為： 一個算法的準(zhǔn)確與否體現(xiàn)在：一是需要準(zhǔn)確的把真正的垃圾郵件給過濾掉，增加郵件過濾的準(zhǔn)確性；二是減少把正常郵件給過濾掉，即減少正常郵件的誤判率。另外，我們在前面提到，在實(shí)際的垃圾郵件過濾中，人們往往不希望將合法郵件誤判成垃圾郵件。第五章 總結(jié)與展望隨著電子郵件的廣泛應(yīng)用，垃圾郵件的增長也越來越快，反垃圾郵件已經(jīng)成為全世界共同關(guān)注的問題，對于垃圾郵件過濾的研究已經(jīng)取得了一定的成果。不過，相比傳統(tǒng)的基于規(guī)則的垃圾郵件過濾方法，貝葉斯過濾系統(tǒng)還是更加優(yōu)越的。 (3) 設(shè)計(jì)和實(shí)現(xiàn)一個基于貝葉斯算法的過濾模型。(2) 本文根據(jù)樸素貝葉斯原理，該原理是建立在假設(shè)基礎(chǔ)上的，假設(shè)每個向量是相互獨(dú)立的，未考慮各向量之間的拓?fù)潢P(guān)系，可能會丟失郵件特征，造成部分郵件的誤判。[2]中國教育和科研網(wǎng)垃圾郵件處理小組，垃圾郵件的文化與歷史，H://.。[6]The Chinese AntiSpam Alliance, 。[10]江河，對抗垃圾郵件[J]，網(wǎng)管員世界，2005。