web攻擊異常檢測技術的研究和實現—計算機畢業設計(編輯修改稿)

　

【文章內容簡介】 ），并為檢測屬性設定一個動態監測的閥值。在檢測期間，模型對每個觀測實例的屬性值返回一個異常得分，這個得分是一個在區間 [0,1]之間的值，這個值代表了與學習階段確定出來的 “正常” 屬性的輪廓的相關性的大小。也就是說，得分越接近 1，表示被檢測的屬性與“正常”屬性的相關性越高，是異常的概率就越小，反之，得分越接近 0，表示越有可能是一個異常屬性。 由于這多種模型分別與 Web 應用的多個方面相關聯，所以，一個被檢測屬性的最終異常得分是每個模 型單獨得分的權重的加和，如果權重和的值大于學習期間設定的閥值，則異常檢測程序認為這個請求有異常，并提出警告。本章之后的部分簡要描述異常檢測組件使用模型的實現。 屬性長度（ Attribute Length） 屬性長度模型（ Attribute Length Model），又叫字符串長度模型（ String Length Model）是基于大部分屬性值的變動都在一個長度范圍內，這個長度可能是個確定值，也可能是個短長度，而惡意的屬性經常違反這個假設，比如，緩沖區溢出，要包含 shellcode， shellcode要足夠的長，從而溢出受攻擊的進程所給的緩沖區，從而達到控制目標進程的目的。這個模型的目標是盡可能接近真實值，然而，字符串和檢測實例的長度的分布是未知的，而且檢測結果很大程度上依賴觀測到的真實值。 這個模型的實現過程，在學習階段首先計算每個樣本屬性的平均值 (μ )和方差 (σ 2)，在檢測階段，一個給定的屬性長度 l，來自真實的屬性長度的分布情況，而異常的概率的計算基于Chebyshev不等式： l ：被檢測的屬性長度 μ ：樣本平均值 σ 2：樣本方差 22 )()(|)||(| ???? ?????? llplxp 公式 1 在 Chebyshev不等式中，約束條件越弱，結果中屬性長度的容忍范圍就越大。 字符分布（ Character Distribution） 字符分布模型（ Character Distribution Model）的依據正常的屬性值一般有一個較為規則的字符 分 布 ， 而 且 這 些 字 符 通 常 是 人 可 讀 的 可 打 印 字 符 （ 例如： ‖/?username=aaaamp。password=bbb‖）。一般說來，一個給定屬性的值會有一個基本相似的字符分布情況，一個字符分布是由相對字符頻率的降序排列組成的 256個 ASCII字符。對于合法的輸入來說，這個相對字符頻率是緩慢的降低的，而對于一些惡意的輸入，相對字符頻率或者是由于某個單字符的大量使用而急劇降低，或者是由于隨機字符的使用而基本不變化。 在學習階段，一個屬性的理想化的字符分布會通過輸入樣本而被計算出來，而后所有字符屬性的的平均值將被計算出來。在檢測階段，被檢測屬性的字符分布的概率將通過理想化的分布并使用變量的 Pearsonχ 2檢驗發被計算出來。 結構推論（ Structural Inference） 結構推論模型（ Structural Inference Model）主要是學習字符串的結構從而確定異常信息的模型。他的的思想來源于觀察到的合法屬性值字符串一般有規則的語法形式。例如，一個合法的路徑一般只有字母數字和路徑分隔符組成 (. | / | [azAZ09] )。因此，形成一個近似真實的正則語法是很必要的。 模型在學習階段產生相應的正則語法，它認為觀測到的屬性值是一個正則語法的輸出。在學習階段結構及推論模型收集所有相關的正則語法。算法首先創建一個非確定的有限自動機（ NFA），它反映原始的輸入數據，然后逐漸的合并狀態，直到產生一個能反映原始輸入的合理的規則表 達式。狀態合并目標是盡量抓住中間區域（即避免過于簡化和過于概括），過于簡化的語法僅能識別原始的輸入，而過于概括的語法又會兼容所有可能的輸入，從而丟失結構信息。 在檢測階段，一個被檢測屬性將被沿著這個自動機的一條路徑，如果存在沒有一條路徑能將這個被檢測屬性的值轉化為一個已有的規則表達形式，則說明被檢測屬性不可能來自學習階段產生的規則語法，那么這個屬性就是一個異常屬性，反之，如果可以轉化到規則語法形式，則說明這個屬性是一個正常屬性。 令牌發現（ Token Finder） 令牌發現模型（ Token Finder Model）使用統計檢測來確定是否輸入域中是否包含一個令牌，它依賴于被檢測屬性的期望值是否在一個常量集合中來判斷是否發生了異常情況。 在學習階段，每個屬性的唯一值被記錄在這個集合中，如果，這個集合的大小可以增長到所有觀測屬性的總數（集合中每個記錄都不重復），那屬性的期望值是一個隨機值，否則，模型假設屬性的期望值是一個枚舉值。 在檢測階段，如果屬性集合被確定接受枚舉枚舉值，那么檢測屬性值會被檢測是否存在于學習階段產生的集合中，如果被檢測的屬性值存在于這個集合中，那么模型假設這個值是無害的，否則，模 型認為這個值是個異常值。 第 4 章 異常 檢測 異常的檢測是根據不同的檢測模型提供的方法，根據學習階段得到的信息，對檢測階段的屬性進行分析，已確定檢測屬性是否是異常屬性，以及相應的異常得分。異常檢測模型一般是建立在統計方法的基礎上，運用各自的方法對應用程序或 Web請求進行學習和分析，在學習訓練階段，一般模型會認為給定的學習數據都是正常數據，模型對這些正常數據進行不同方式的轉換并進行統計分析，并將保存結果，當程序轉換到測試階段后，異常檢測模型就會對被檢測數據做同樣的轉換，并利用之前保存的統計結果進 行比較分析，從而確定被檢測的數據是否是異常數據。 屬性長度模型 屬性長度模型在學習階段存儲屬性大概的長度分布，這個屬性長度分布以樣本屬性的平均值 mean和方差的 σ 2的形式被給出，在檢測階段根據下面的公式進行計算： cdi stob sv dl ?? |)(| 22?? 如果公式計算的結果小于給出的閥值 dcdist，則說明觀測屬性的長度偏離正常情況，他很可能是一個異常的屬性，如果公式計算的結果大于給出的閥值 dcdist，則說明該檢測屬性是正常屬性。 利用屬性長度模型進行異常檢測的具體步驟為： 在機器的學習 階段，在向量中記錄下每一個屬性長度值 X[i],以及這個值出現的次數N[i]， X和 N的長度為 n。 n iNiX? ?? ])[][(? 1 )][(][2? ??? n iXiN ?? 異常檢測得分為： |)(| 22???obsvl 其中： lobsv :被檢測的屬性長度 根據異常檢測得分和給定的閥值，進行異常判斷。 字符分布模型 字符分布模型在學習階段存儲了應用程序屬性的理性化字符分布（ LCD），而后，在檢測階段，它利用 Pearsonχ 2檢驗確定屬性的字符分布的正常狀態 ，如果模型被表示為異常，結果通過下面兩種方法之一被確定： 如果被檢測的字符分布表象為一種極具的下降，這表明有少量的字符出現的頻率很高。根據每個字符出現的的頻率值構建一個字符分布向量，一般的形式為： C={(c1, f1) , (c2, f2) , . . . , (cm, fm)} 其中 ci是 出現頻率為第 i位的字符值， fi是這個字符出現的頻率。 C是一個 m個元素組成的向量， C中的每個元素是一個 (字符值 ,出現頻率 )的值對。 在檢測時期，一個被檢測的屬性值是不是異常屬性，將通過分析 Cobsv和 Corig得到結論 ，這里 Cobsv是 被檢測的屬性的字符分布向量， Corig是從訓練信息中的字符分布向量。 如果： cd istjo rigio b sv dff ?? || , 其中： (cobsv,i,fobsv,i)和 (corig,j,forig,j)分別是觀測向量和正常向量中的一項，且 cobsv,= corig,j dcdist設定的距離閥值，當某一字符的檢測頻率和正常頻率相差的距離超過設定的閥值，則認為，觀測屬性是異常行為，否則，為正常行為。 如果被檢測的屬性的字符分布呈現呈現一種同一的分布，這時檢測變成檢查被檢測屬性的字符分布是否 是一個隨機分布，主要實現方法是計算在向量 Cobsv和 Corig中任何兩個值對的頻率差的最大值。 對于每個 i,j(0≤ i,j≤ m)有： c d i s tjo r i gio b s v dff ?? |)m a x ( | , 其中， m為向量的長度。 如果， Cobsv和 Corig中頻率的最大差值大于設定的閥值 dcdist，則說明被觀測屬性呈現一個隨機分布，并報告異常，否則，為正常字符分布。 結構推論模型 結構推論模型在學習階段使用訓練數據，為訓練屬性構建一個近似于真實語法的概括語法。 在檢測階段，如果一個被檢測的屬性被結構推論模型確定為異常 ，概括過程提取異常字符串的前綴和違反概括語法的第一個字符，用于預防其他的網絡攻擊。使用違規字符串的前綴來概括攻擊字符串是有根據的，它是根據對同一個 Web應用程序的重復攻擊一般會有相似的 URLs前綴或路徑前綴。 字符串轉化到字符串前綴一般基于字符分類，例如，將所有的小寫字母被映射為“ a”，所有的大寫字母被影射為“ A”，所有的數字字符被影射為“ 0”，其他所有字符保持不變。 例如： 首先進行簡單的轉換： /usr/lib/ → /aaa/aaa/ /etc/X11/XF86Config → /aaa/A00/AA00Aaaaaa 然后，由于轉換后相同字符多次出現，所以相同的字符進行合并： /aaa/aaa/ → /a/a/ /aaa/A00/AA00Aaaaaa → /a/A0/A0Aa 通過以上兩步，一個簡單的概括語法被建立。 然后，可以檢測轉換后目標屬性值 (sobsv)與轉化后的異常屬性字符串 (sorig)的相似性，具體做法是比較這兩個格式化的屬性值是否相等，即： 對于每個 0≤ i≤ m，其中， m=| sorig | 判斷 sobsv,i = sorig,i 是否成立，如果成立，則說明目標屬性值有著異常字符串的特征，這個目標屬性是一個異常屬性。 舉例說明： 如果，一個屬性值僅有小寫字符和數字組成，則概括過程可能建立一個正常標識，基于語法： [ a | 0 ]+，如果檢測到一個第一個異常字符是分號 ( ― 。 ‖ )的字符串，則模型建立一個異常規則： [ a | 0 ]+。 ，那么，今后試圖使用分號 ‖ 。 ‖字符執行的攻擊將被分類器簡單的劃為異常行為。 令牌發現模型 令牌發現模型首先會檢測訓練數據的相關性，如果訓兩數據是相關的，則模型在檢測階段測試被檢 測的屬性值是否是訓練過程所產生的集合的成員，如果被檢測屬性不是集合的成員，則模型返回異常，并發出警告，否則為正常情況。 這個檢測的具體過程是： I是一個輸入向量，假設長度為 n； 根據 I確定另外兩個向量 A和 B： A[0]=0,B[0]=0 在第 n步時， A[n]=A[n1]+1 If( I[n] == I[n1]) B[n]=B[n1]+1 Else B[n]=B[n1]1 通過 KolgomorovSmirnov無參數的檢測方法，確定 A、 B向量是否是相關的， 平均數計算公式： n iXXA V G ?? ][)( X為長度為 n的向量 方差計算公式： 1A V G (X ))(X [i ])V A RIA N CE (X2?? ? n X為長度為 n的向量 協方差 計算公式： 1 ))(][))((][(),( ? ??? ? n YA V GiYXA V GiXYXCO V A R IA NCE X和 Y的長度都相同，都為 n 計算步驟： rho= COVARANCE(A,B)/sqrt(VARANCE (A)*(VARANCE(B))) z= * log(( + rho)/( rho)) addend = / sqrt((double) (N 3)) upper = (exp(2*(z+addend)) 1) / (exp(2*(z+addend)) + 1) lower = (exp(2*(zaddend)) 1) / (exp(2*(zaddend)) + 1) 通過以上步驟得到兩個相關值： upper和 lower 如果 upper和 lower同號，則表示 A和 B相關，如果 A和 B異號，則表明 A和 B不相關。 如果相關則從訓練數據中返回令牌集。 在檢測期間，用輸入的屬性值在學習期間返回的令牌集中進行查找，如果找到匹配的令牌，則模型返回 1，否則 模型返回 0。 第 5 章 系統設計與實現 LibAnomaly是加利福尼亞大學圣塔芭芭拉分校的可靠軟件組開發的一個用于異常檢測的工具，它建立了一個異常檢測系統的框架， LibAnomaly使用 C++實現的在 GPL許可證下的自由軟件，但其主要運