基于貝葉斯算法的垃圾郵件過濾技術(shù)綜述(存儲(chǔ)版)

　　

【正文】 管理系統(tǒng)（RDBMS）擴(kuò)展為虛擬的對象數(shù)據(jù)庫管理系統(tǒng)（ODBMS）的能力，使SQL Server2005成為當(dāng)今應(yīng)用于Intranet、Internet最具綜合性的數(shù)據(jù)庫開發(fā)環(huán)境。我們這里通過兩個(gè)指標(biāo)來衡量算法的準(zhǔn)確性。本文在分析這些已有的技術(shù)的基礎(chǔ)上提出一種基于Bayes算法的垃圾郵件過濾系統(tǒng)。需要完成從過濾模型的建立，到具體功能的實(shí)現(xiàn)方法和具體步驟，以及過濾算法的實(shí)現(xiàn)。[3]中國互聯(lián)網(wǎng)協(xié)會(huì),中國互聯(lián)網(wǎng)協(xié)會(huì)互聯(lián)網(wǎng)公共電子郵件服務(wù)規(guī)范, 。[11]陳華輝、薛春陽，一種基于貝葉斯網(wǎng)的垃圾郵件過濾器[J]，微機(jī)發(fā)展，2004。[9]房子敬，杜絕垃圾郵件，網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2004。參考文獻(xiàn)[1]Jon Postel，On the Junk Mail Problem，RFC 706，Nov 1975。本文采取人工的分類方法，對郵件樣本集分為八個(gè)類別:廣告類、網(wǎng)上訂票類、網(wǎng)上購物類、網(wǎng)上賺錢類、情趣物品類、色情暴力類、欺詐信息類、銷售郵件地址類等。他們把決策損失引入到評價(jià)體系中。 公式：為： (3) 精確率(Accuracy)，是對所有郵件的判對率。它有著安裝方便、使用簡單的優(yōu)點(diǎn)，而且在性價(jià)比上有著其它數(shù)據(jù)庫無法比擬的優(yōu)勢。第四章 實(shí)驗(yàn)結(jié)果及分析 (1) 操作系統(tǒng)本文使用Windows Server 2003操作系統(tǒng)，Windows Server 2003集成了功能強(qiáng)大的應(yīng)用程序環(huán)境以開發(fā)全新的 XML Web 服務(wù)和改進(jìn)的應(yīng)用程序，這些程序顯著提高進(jìn)程效率。 //臨時(shí)概率值 ExecuteAndGetType()。●函數(shù)名稱：public struct structWord函數(shù)功能：詞條的結(jié)構(gòu)體代碼實(shí)現(xiàn)： public struct structWord { public string Word。 if((keyWord==null)||(().Length==0)) { return nCount。此外，該樣本集還可以被用來重構(gòu)郵件的發(fā)送和接收過程，這樣可以實(shí)現(xiàn)垃圾郵件的實(shí)時(shí)測試模型。2005年8月公布的樣本集包含從2005年6月1日至7月31日收到的垃圾郵件和正常郵件（）。收集到的垃圾郵件和正常帖子存放在一個(gè)臨時(shí)數(shù)據(jù)庫中。我們收集垃圾郵件樣本的原則是：(1) 域中不存在用戶所收到的郵件被視為要收集的垃圾郵件。而要讓這些系統(tǒng)增加回應(yīng)質(zhì)詢的能力，需要做大量額外的工作。(6) 分布協(xié)作的內(nèi)容指紋分析技術(shù)有些郵件使用假的郵件地址、偽造了郵件頭或利用了開放式轉(zhuǎn)發(fā)功能發(fā)送的。這種匹配一般都支持正則表達(dá)式的匹配方法，從而提高了掃描的執(zhí)行效率。該技術(shù)手段太單一，致命的弱點(diǎn)在于被放入黑名單的少量可疑主機(jī)數(shù)目和大量的垃圾郵件發(fā)送者不成比例，即使郵件服務(wù)器支持實(shí)時(shí)黑名單技術(shù)，依然會(huì)收到大量的垃圾郵件，無法全面封堵。白名單技術(shù)的原理與黑名單正好相反，其中列出了可信的郵件地址，凡是發(fā)件人地址符合其中地址的郵件，都會(huì)被認(rèn)為是正常郵件而被放行。如果命中率超過了設(shè)置的閾值，就認(rèn)為是垃圾郵件。這些郵件將被判斷為垃圾郵件。行業(yè)控制方面主要是利用實(shí)時(shí)的黑名單服務(wù)來限制垃圾郵件的傳播。 反垃圾郵件成為了當(dāng)前急需解決的問題。傳輸代理MTA軟件負(fù)責(zé)處理所有接收和發(fā)送的郵件。它是全球多種網(wǎng)絡(luò)上使用最普遍的一項(xiàng)服務(wù)。 研究目標(biāo)與內(nèi)容本文的研究目標(biāo)是基于貝葉斯算法，構(gòu)造垃圾郵件過濾模型，并對相關(guān)算法進(jìn)行分析、比較、驗(yàn)證，最后基于改進(jìn)的貝葉斯算法，實(shí)現(xiàn)對垃圾郵件的過濾。國內(nèi)外電子郵件系統(tǒng)相關(guān)各方都進(jìn)行了大量的工作，包括在電子郵件系統(tǒng)中引入數(shù)字證書，建立各種加密郵件協(xié)議和標(biāo)準(zhǔn)，研究郵件防病毒技術(shù)和垃圾郵件過濾技術(shù)等；同時(shí)，不少國家都出臺了電子郵件應(yīng)用相關(guān)的法律法規(guī)，如電子簽名法、反垃圾郵件立法等，對其進(jìn)行約束和規(guī)范。 國內(nèi)外反垃圾郵件現(xiàn)狀雖然垃圾郵件問題是最初從西方開始，以英文垃圾郵件為主，但是它越來越成為一個(gè)國際性的問題，很多學(xué)者和技術(shù)人員也開展了反垃圾郵件的研究工作。垃圾郵件會(huì)極大的影響網(wǎng)絡(luò)的安全和系統(tǒng)的穩(wěn)定性，特別是那些利用別人的服務(wù)器轉(zhuǎn)發(fā)郵件的情況。2003 年，中國互聯(lián)網(wǎng)協(xié)會(huì)在《中國互聯(lián)網(wǎng)協(xié)會(huì)反垃圾郵件規(guī)范》中對垃圾郵件作了以下定義：(1) 收件人事先沒有提出要求或者同意接收的廣告、電子刊物、各種形式的宣傳品等宣傳性的電子郵件；(2) 收件人無法拒收的電子郵件；(3) 隱藏發(fā)件人身份、地址、標(biāo)題等信息的電子郵件；(4) 含有虛假的信息源、發(fā)件人、路由等信息的電子郵件。根據(jù)中國互聯(lián)網(wǎng)協(xié)會(huì)反垃圾郵件中心的統(tǒng)計(jì)，2005年以來幾乎每月我國都有100多臺服務(wù)器被國外權(quán)威反垃圾郵件組織列入黑名單。歷史上比較著名的事件是1994年4月份，Canter 和 Siegel 的法律事務(wù)所把一封信發(fā)到 6000 多個(gè)新聞組，宣傳獲得美國國內(nèi)綠卡的法律支持。因此，反垃圾郵件的研究問題已經(jīng)成為具有重大現(xiàn)實(shí)意義的全球性的課題。基于內(nèi)容分析的技術(shù)正逐步進(jìn)入郵件過濾技術(shù)當(dāng)中，并且成為當(dāng)前研究的熱點(diǎn)，其中，基于內(nèi)容分析的郵件過濾方法中的典型方法是基于貝葉斯算法的垃圾郵件過濾模型。1995 年 5月，網(wǎng)上出現(xiàn)了歷史上第一個(gè)專用的垃圾郵件工具Floodgate，一次可以自動(dòng)把郵件發(fā)給很多人，垃圾郵件越來越多與商業(yè)聯(lián)系起來。很多組織或機(jī)構(gòu)都給垃圾郵件下過定義。大量的垃圾郵件在網(wǎng)絡(luò)上傳播，占用了網(wǎng)絡(luò)帶寬，導(dǎo)致網(wǎng)絡(luò)通信質(zhì)量下降，甚至是網(wǎng)絡(luò)發(fā)生擁塞，干擾郵件系統(tǒng)的正常運(yùn)行，根據(jù)2001年的一份研究報(bào)告顯示，僅2000年垃圾郵件就給全球ISP造成了至少1000萬美元的損失。他就會(huì)讓被盜用的郵件服務(wù)器背上轉(zhuǎn)發(fā)垃圾郵件的黑鍋，影響正常的信件發(fā)送。只有不到40％網(wǎng)民使用電子郵件過濾軟件，超過一半的網(wǎng)民沒有使用過濾軟件，數(shù)字顯示網(wǎng)民對于防范垃圾郵件的意識薄弱。安全電子郵件先后提出了不同的標(biāo)準(zhǔn)：PGP、PEM和S/MIME。計(jì)算每個(gè)分類向量在各類別中出現(xiàn)的概率，即得到特征向量。到目前為止，可以說電子郵件是Internet資源使用最多的一種服務(wù)，電子郵件不只局限于信件的傳遞，還可用來傳遞文件、聲音及圖形、圖像等不同類型的信息。投遞代理MDA程序則從信件傳輸代理取得信件傳送至最終用戶的郵箱。例如，一旦確認(rèn)某個(gè)團(tuán)體或個(gè)人發(fā)送垃圾郵件，那他將面臨法律的制裁與處罰。 常用反垃圾郵件技術(shù) 一般來說，反垃圾郵件的方法有服務(wù)器端和客戶端兩種。對于收件人地址的檢查和過濾也是必要的。雖然垃圾郵件發(fā)送者在發(fā)送垃圾郵件的時(shí)候，可以利用各種的工具隨機(jī)偽造不同的收發(fā)件人、主題和內(nèi)容，但是在郵件頭信息中，這些郵件還是有一些共同的信息的，主要是IP、主機(jī)名、X標(biāo)識。(2) 實(shí)時(shí)黑名單技術(shù)黑名單技術(shù)是人們收集垃圾郵件的地址，組成一個(gè)列表后應(yīng)用到郵件服務(wù)器，郵件服務(wù)器在轉(zhuǎn)發(fā)過程中丟棄那些地址來自黑名單的郵件。因此，基于關(guān)鍵詞的郵件內(nèi)容過濾技術(shù)在實(shí)用中會(huì)導(dǎo)致很高的誤判率。(5) 基于貝葉斯分析垃圾郵件過濾技術(shù)垃圾郵件的貝葉斯分析技術(shù)，就是利用貝葉斯定理，以已知垃圾郵件和非垃圾郵件為樣本，通過對樣本郵件內(nèi)容的分析和統(tǒng)計(jì)，來計(jì)算下一封郵件可能是垃圾郵件的概率。(7) 反向域名驗(yàn)證技術(shù)對收到郵件的來源IP地址采用反向DNS查找驗(yàn)證真實(shí)性，如果反向DNS查找提供的域與郵件上的來源IP地址相符合，該郵件被接受，如果不符合，系統(tǒng)認(rèn)定該郵件是垃圾郵件予以拒絕，但由于現(xiàn)在很多反向DNS目錄未被有效建立或無法正常建立，造成反向域名驗(yàn)證產(chǎn)生不可接受的高誤報(bào)率。為了保護(hù)提供者的隱私，樣本集中將郵件中的不同詞匯用不同整數(shù)代替。使用SPAMPOT，即垃圾郵件蜜罐技術(shù)來收集垃圾郵件。來自公開論壇的內(nèi)容，如果符合正常郵件的要求則存放到正常郵件內(nèi)容數(shù)據(jù)庫。分別存放垃圾