分布式入侵檢測系統設計與實現畢業論文-資料下載頁

　　

【正文】 那是一個艱難的過程。我們選擇現有的數據庫系統來建立存儲系統。現有的數據庫系統都支持SQL查詢，它對搜索的封裝使得分析系統可以使用通用的接口。跟據入侵檢測系統的規模，存儲系統也有和大的區別，它可能是一個單一的數據文件，也可能是一個數據庫系統，對于大規模的入侵檢測系統來也有可能配置一個數據倉庫作為其存儲系統。圖4－1 存儲系統框圖 數據載入 使用數據庫系統，事件數據進入數據庫時有如下兩種選擇：n 把原始數據直接寫入數據庫系統中進行存儲，并在數據庫空中完成過濾分析。n 在世界課外進行過濾分析，在數據庫中只存放分析結果。第一種選擇的優點在于，一旦制定了載入原始數據的方法并對它們進行處理，就解決的數據載入的所有問題。第二種方法的優點就是能夠得到更好的性能和靈活性，但只要任何事情發生改變就必須重新處理數據載入的問題。我們選擇的一種數據載入方法。這樣做的影響減低了系統實時性的要求。主要原因是在數據載入數據庫后，要在正把該數據寫到數據庫的物理存儲中，就必須調用提交命令(mit)。如果每個數據得到就提交一次，這樣對信息處理會提供方便但對影響系統的運行性能。如果分批提交，你就可以獲得更高的性能，但這樣延長了系統的等待時間。系統的實時性和檢測性能總是一對矛盾，在我們的系統中，為了在兩者中找到最佳結合點而設計了兩個分析層次。在網絡引擎和主機代理中對已知的攻擊方法進行實時檢測，在這個層次的檢測中強調實時性所以采用的是比較計算量比較小的模式匹配方法。而分析部件做個層次強調了對事件的深層次的分析和統計，已發掘新的未知的攻擊方法和分布式的攻擊形式，因此實時性在這個層次中的要求是可以減小的。同時亦可以通過調節每次提交的數量來控制實時性的要求，如果系統硬件條件允許（有比較高的處理器速度、比較大的內存、高速的外部存儲設備）可以將批量提交的數量減小，甚至可以是減小到每個數據就提交一次，以得到更好的實時性。為了提高檢測粒度，就可以將提交的數量適量增大。可以通過用戶設定一個實時性要求參數、根據需要載入數據庫的原始數據的速度來自動調節每次提交的數量。采用直接載入數據庫的方法，在不同規模的入侵檢測系統可以使用相同的接口。由于入侵檢測系統的規模大小直接影響到存儲系統的規模，因此不同規模的系統的使用的存儲系統大不相同。使用相同的接口可以維護各系統間數據存儲的一致性，便于入侵檢測系統間的數據交換，同時也減小設計的復雜性。 數據縮減 即使編寫的很好的過濾器也會出現誤報警。這時分析員就需要系統提供所有的數據，包括數據包頭和內容，進行手工分析。但是我們無法悠久保存這樣的高保真數據，就需要對數據庫進行一次或多次縮減。 對數據進行縮減的一種有效的辦法是把數據庫分為兩個主要的存儲裝置：原始數據數據庫和長期記錄數據庫。 原始數據數據庫：原始數據數據庫中存儲了近一段時間的高保真數據，這些數據包括源IP地址、目標IP地址、原始數據、欺騙包的特征、新的攻擊特征、最后一次見到的時間等。這個數據庫應該建立多重索引和優化，以便能夠進行最有效的搜索。原始數據數據庫中存儲很短一段時間內的數據包，這個時間通常是3天到一周之間。 原始數據數據庫中還重要的一個問題是存儲多少數據、原始數據要保存多長時間。一般認為原始數據應該保存3天到一周，我們總是盡可能長地保存原始數據，源為數據縮減后進行手工分析就會受到限制。但原始數據要占用大量的存儲器。同時原始數據的增加會延長數據庫檢索的時間，降低數據分析速度。 系統提供兩種保存原始數據的設置方式：按時間和按存儲容量。按時間設置以分析為依據設置原始數據應該保存的時間，而按存儲容量是以保證檢索性能為前提來配置系統。 長期記錄數據庫：長期記錄數據庫以縮減數據的格式記錄了很長一段時間內的檢測情況。長期記錄數據庫主要支持產生報告而不是交互式的查詢，還能幫助可能漏掉的事件進行檢測。縮減數據格式一般只包括時間、源IP地址、目標IP地址、源端口、目標端口、協議標志。 推與拉技術存儲系統從事件發生器（網絡引擎、主機代理）和其他部件中提取數據有兩種方案：推(PUSH)和拉(PULL)。推技術是在檢測器探測到一個事件時就事件“推”給存儲系統。拉技術是存儲系統在需要數據時查詢各事件發生器，一起獲得最新的數據。看起來推技術可以獲得更好的實時性，但推技術也有一個嚴重的問題。如果檢測器對每一個檢測到的事件都產生一個數據包，并且檢測器是可以觀測到的，那么很容易判斷出檢測器是如何配置的。經過一段時間的觀察，攻擊者就能夠判斷出哪些是檢測器所忽略的。低層次的攻擊者不太可能有這樣的耐心，但對于高層次的攻擊者幾乎肯定會這樣做，例如高級經濟間諜。解決這種問題的一個簡單的辦法就是以流的方式有規律地推出事件檢測信息。這樣做能夠給出相同的檢測結果，雖然會對實時響應能力有些影響，但卻能夠掩蓋檢測器的檢測內容。如果沒有檢測到任何事件，就用加密的空字符串進行填充。總的說來，推對于入侵檢測系統來說是一種好的結構。但拉結構有一個很好的應用就是隱藏檢測器。許多黑客用來收集用戶ID和密碼的嗅探器程序就是拉結構。 分析系統分析系統在整個ODIDS系統中處于二級分析結構中，它從存儲系統中的數據進行進一步的分析。由于分析系統和存儲系統是利用統一的網絡接口交換數據，所以一個ODIDS中可能有多個分析系統，每個分析系統采用的檢測方法也不一定相同。即使是同一個分析系統中，也可以同時才用幾種檢測方法，對相同的數據使用不同的檢測方法進行分析，對各自的檢測結果進行比較，可以提高檢測準確度，也可以完善不同的檢測方法。分析系統可以采用兩種類型的檢測技術，基于行為的檢測和基于知識的檢測。 基于行為的檢測基于行為的檢測指根據使用者的行為或資源使用狀況來判斷是否入侵，而不依賴于具體行為是否出現來檢測，所以也被稱為異常檢測(Anomaly Detection)。基于行為的檢測與系統相對無關，通用性較強。它甚至有可能檢測出以前未出現過的攻擊方法，不像基于知識的檢測那樣受已知脆弱性的限制。但因為不可能對整個系統內的所有用戶行為進行全面的描述，況且每個用戶的行為是經常改變的，所以它的主要缺陷在于誤檢率很高。尤其在用戶數目眾多，或工作目的經常改變的環境中。其次由于統計簡表要不斷更新，入侵者如果知道某系統在檢測器的監視之下，他們能慢慢地訓練檢測系統，以至于最初認為是異常的行為，經一段時間訓練后也認為是正常的了。基于行為的檢測方法主要有以下兩種。概率統計方法　　概率統計方法是基于行為的入侵檢測中應用最早也是最多的一種方法。首先，檢測器根據用戶對象的動作為每個用戶都建立一個用戶特征表，通過比較當前特征與已存儲定型的以前特征，從而判斷是否是異常行為。用戶特征表需要根據審計記錄情況不斷地加以更新。用于描述特征的變量類型有：1)操作密度：度量操作執行的速率，常用于檢測通過長時間平均覺察不到的異常行為；2)審計記錄分布：度量在最新紀錄中所有操作類型的分布；3)范疇尺度：度量在一定動作范疇內特定操作的分布情況；4)數值尺度：度量那些產生數值結果的操作，如CPU使用量，I/O使用量。　　這些變量所記錄的具體操作包括：CPU 的使用，I/O 的使用，使用地點及時間，郵件使用，編輯器使用，編譯器使用，所創建、刪除、訪問或改變的目錄及文件，網絡上活動等。在SRI/CSL的入侵檢測專家系統(IDES)中給出了一個特征簡表的結構：變量名，行為描述，例外情況，資源使用，時間周期，變量類型，門限值，主體，客體，值其中的變量名、主體、客體唯一確定了每一個特征簡表，特征值由系統根據審計數據周期性地產生。這個特征值是所有有悖于用戶特征的異常程度值的函數。如果假設S1，S2，…，Sn 分別是用于描述特征的變量M1，M2，…，Mn 的異常程度值，Si值越大說明異常程度越大。則這個特征值可以用所有Si值的加權平方和來表示：　　M=a1s12+ a2s22+…+ ansn2，ai0，其中ai表示每一特征的權重。　　如果選用標準偏差作為判別準則，則　　標準偏差：σ＝√M/(n1) μ2其中均值 μ=M/n　　如果某S值超出了μ177。dσ就認為出現異常。這種方法的優越性在于能應用成熟的概率統計理論。但也有一些不足之處，如：統計檢測對事件發生的次序不敏感，也就是說，完全依靠統計理論可能漏檢那些利用彼此關聯事件的入侵行為。其次，定義是否入侵的判斷閾值也比較困難。閾值太低則漏檢率提高，閾值太高則誤檢率提高。神經網絡方法利用神經網絡檢測入侵的基本思想是用一系列信息單元(命令)訓練神經單元，這樣在給定一組輸入后，就可能預測出輸出。與統計理論相比，神經網絡更好地表達了變量間的非線性關系，并且能自動學習并更新。實驗表明UNIX系統管理員的行為幾乎全是可以預測的，對于一般用戶，不可預測的行為也只占了很少的一部分。用于檢測的神經網絡模塊結構大致是這樣的：當前命令和剛過去的w個命令組成了網絡的輸入，其中w是神經網絡預測下一個命令時所包含的過去命令集的大小。根據用戶的代表性命令序列訓練網絡后，該網絡就形成了相應用戶的特征表，于是網絡對下一事件的預測錯誤率在一定程度上反映了用戶行為的異常程度。基于神經網絡的檢測思想可用下圖表示：圖4－2 神經網絡檢測思想圖中輸入層的W個箭頭代表了用戶最近的W個命令，輸出層預測用戶將要發生的下一個動作。神經網絡方法的優點在于能更好地處理原始數據的隨機特性，即不需要對這些數據作任何統計假設，并且有較好的抗干擾能力。缺點在于網絡拓撲結構以及各元素的權重很難確定，命令窗口w的大小也難以選取。窗口太小，則網絡輸出不好，窗口太大，則網絡會因為大量無關數據而降低效率。 基于知識的檢測基于知識的檢測指運用已知攻擊方法，根據已定義好的入侵模式，通過判斷這些入侵模式是否出現來檢測。因為很大一部分的入侵是利用了系統的脆弱性，通過分析入侵過程的特征、條件、排列以及事件間關系能具體描述入侵行為的跡象。基于知識的檢測也被稱為違規檢測(Misuse Detection)。這種方法由于依據具體特征庫進行判斷，所以檢測準確度很高，并且因為檢測結果有明確的參照，也為系統管理員做出相應措施提供了方便。主要缺陷在于與具體系統依賴性太強，不但系統移植性不好，維護工作量大，而且將具體入侵手段抽象成知識也很困難。并且檢測范圍受已知知識的局限，尤其是難以檢測出內部人員的入侵行為，如合法用戶的泄漏，因為這些入侵行為并沒有利用系統脆弱性。基于知識的檢測方法大致有以下3種。專家系統　　專家系統是基于知識的檢測中運用最多的一種方法。將有關入侵的知識轉化成ifthen結構的規則，即將構成入侵所要求的條件轉化為if 部分，將發現入侵后采取的相應措施轉化成then部分。當其中某個或某部分條件滿足時，系統就判斷為入侵行為發生。其中的ifthen結構構成了描述具體攻擊的規則庫，狀態行為及其語義環境可根據審計事件得到，推理機根據規則和行為完成判斷工作。在具體實現中，專家系統主要面臨一下問題：1. 全面性問題，即難以科學地從各種入侵手段中抽象出全面的規則化知識；2. 效率問題，即所需處理的數據量過大，而且在大型系統上，如何獲得實時連續的審計數據也是個問題。因為這些缺陷，專家系統一般不用于商業產品中，運用較多的是特征分析。像專家系統一樣，特征分析也需要知道攻擊行為的具體知識。但是，攻擊方法的語義描述不是被轉化為檢測規則，而是在審計紀錄中能直接找到的信息形式。這樣就不像專家系統一樣需要處理大量數據，從而大大提高了檢測效率。這種方法的缺陷也和所有基于知識的檢測方法一樣，即需要經常為新發現的系統漏洞更新知識庫。另外，由于對不同操作系統平臺的具體攻擊方法可能不同，以及不同平臺的審計方式也可能不同，所以對特征分析檢測系統進行構造和維護的工作量都較大。模型推理模型推理是指結合攻擊腳本推理出入侵行為是否出現。其中有關攻擊者行為的知識被描述為：攻擊者目的，攻擊者達到此目的的可能行為步驟，以及對系統的特殊使用等。根據這些知識建立攻擊腳本庫，每一腳本都由一系列攻擊行為組成。檢測時先將這些攻擊腳本的子集看作系統正面臨的攻擊。然后通過一個稱為預測器的程序模塊根據當前行為模式，產生下一個需要驗證的攻擊腳本子集，并將它傳給決策器。決策器收到信息后，根據這些假設的攻擊行為在審計記錄中的可能出現方式，將它們翻譯成與特定系統匹配的審計記錄格式。然后在審計記錄中尋找相應信息來確認或否認這些攻擊。初始攻擊腳本子集的假設應滿足：易于在審計記錄中識別，并且出現頻率很高。隨著一些腳本被確認的次數增多，另一些腳本被確認的次數減少，攻擊腳本不斷地得到更新。　　模型推理方法的優越性有：對不確定性的推理有合理的數學理論基礎，同時決策器使得攻擊腳本可以與審計記錄的上下文無關。另外，這種檢測方法也減少了需要處理的數據量，因為它首先按腳本類型檢測相應類型是否出現，然后再檢測具體的事件。但是創建入侵檢測模型的工作量比別的方法要大，并且在系統實現時決策器如何有效地翻譯攻擊腳本也是個問題。狀態轉換分析狀態轉換分析最早由 提出，即將狀態轉換圖應用于入侵行為的分析。狀態轉換法將入侵過程看作一個行為序列，這個行為序列導致系統從初始狀態轉入被入侵狀態。分析時首先針對每一種入侵方法確定系統的初始狀態和被入侵狀態，以及導致狀態轉換的轉換條件，即導致系統進入被入侵狀態必須執行的操作(特征事件)。然后用狀態轉換圖來表示每一個狀態和特征事件，這些事件被集成于模型中，所以檢測時不需要一個個地查找審計記錄。但是，狀態轉換是針對事件序列分析，所以不善于分析過分復雜的事件，而且不能檢測與系統狀態無關的入侵。　　Petri 網用于入侵行為分析是一種類似于狀態轉換圖分析的方法。利用Petri網的有利之處在于它能一般化、圖形化地表達狀態，并且簡潔明了。雖然很復雜的入侵特征能用Petri網表達得很簡單，但是對原始數據匹配時的計算量卻會很大。下面是這種方法的一個簡單示例，表示在一分鐘內如果登錄失敗的次數超過4次，系統便發出警報。其中豎線代表狀態轉換，如果在狀態 S1發生登錄失敗，則產生一個標志變量，并存儲事件發生時間 T1，同時轉入狀態 S2。如果在狀態 S4時又有登錄失敗，而且這時的時間 T2T160 秒，則系統轉入狀態 S5，即為入侵狀態，系統發出警報并