某市電子政務(wù)監(jiān)控預(yù)警平臺(tái)建設(shè)方案-文庫(kù)吧

【正文】 點(diǎn)的平臺(tái)，平臺(tái)需要數(shù)據(jù)訪問(wèn)的透明性以及實(shí)現(xiàn)數(shù)據(jù)源的及時(shí)可用性，因此平臺(tái)需要設(shè)計(jì)一個(gè)合理方案，以對(duì)來(lái)自不同數(shù)據(jù)源的各種數(shù)據(jù)進(jìn)行表示，從而便于進(jìn)行統(tǒng)一處理；其次則應(yīng)考慮異構(gòu)數(shù)據(jù)轉(zhuǎn)換問(wèn)題，將來(lái)自不同數(shù)據(jù)源的各種數(shù)據(jù)轉(zhuǎn)換成集成系統(tǒng)能進(jìn)一步處理的統(tǒng)一格式；另外還必須定義基本運(yùn)算，進(jìn)行信息數(shù)據(jù)的歸并，從而能夠有效完成數(shù)據(jù)查詢、存取等具體功能。因此數(shù)據(jù)采集引擎在通過(guò)一定的協(xié)議或者文件方式采集到大量的原始數(shù)據(jù)后，會(huì)對(duì)數(shù)據(jù)進(jìn)行如下的處理：　　數(shù)據(jù)格式統(tǒng)一標(biāo)準(zhǔn)化，因?yàn)閿?shù)據(jù)來(lái)源來(lái)自多種不同類型的設(shè)備和系統(tǒng)，數(shù)據(jù)采集方式也存在著較大的差異化，導(dǎo)致獲取到的原始數(shù)據(jù)格式是多種多樣的，因此數(shù)據(jù)采集層首先將原始數(shù)據(jù)按照平臺(tái)規(guī)定的數(shù)據(jù)格式，進(jìn)行統(tǒng)一標(biāo)準(zhǔn)化處理。　　數(shù)據(jù)歸并，針對(duì)海量的原始數(shù)據(jù)，數(shù)據(jù)采集層會(huì)按照安全事件的類型、安全事件發(fā)生的時(shí)間、安全事件的次數(shù)等條件對(duì)原始數(shù)據(jù)進(jìn)行必須的歸并。　　數(shù)據(jù)壓縮，當(dāng)大量的數(shù)據(jù)在網(wǎng)絡(luò)中傳輸時(shí)，勢(shì)必會(huì)造成網(wǎng)絡(luò)擁擠，影響正常的業(yè)務(wù)應(yīng)用。為了保證網(wǎng)絡(luò)傳輸?shù)臅惩ǎ瑪?shù)據(jù)采集層對(duì)原始數(shù)據(jù)一定的壓縮處理，再提交到數(shù)據(jù)傳輸接口。　　數(shù)據(jù)傳輸，此為數(shù)據(jù)采集層向數(shù)據(jù)處理層提交數(shù)據(jù)的傳輸接口。　　五、 數(shù)據(jù)處理層　　數(shù)據(jù)采集引擎將標(biāo)準(zhǔn)化和歸并后的安全告警數(shù)據(jù)、性能數(shù)據(jù)、配置數(shù)據(jù)、故障數(shù)據(jù)等信息提交給平臺(tái)的核心數(shù)據(jù)處理系統(tǒng)后，核心數(shù)據(jù)處理系統(tǒng)能夠有效識(shí)別各類數(shù)據(jù)，并將不同的數(shù)據(jù)分發(fā)給不同的數(shù)據(jù)處理子系統(tǒng)進(jìn)行處理，防止同一數(shù)據(jù)被不同的數(shù)據(jù)處理子系統(tǒng)分別處理。　　我們將原始數(shù)據(jù)分為三類：業(yè)務(wù)系統(tǒng)數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)和安全數(shù)據(jù)，因此數(shù)據(jù)處理平臺(tái)設(shè)計(jì)了如下三個(gè)數(shù)據(jù)處理子系統(tǒng)：　　業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)；　　網(wǎng)絡(luò)數(shù)據(jù)處理子系統(tǒng)；　　安全數(shù)據(jù)處理子系統(tǒng)。　　 業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)　　業(yè)務(wù)系統(tǒng)數(shù)據(jù)的來(lái)源，主要是：業(yè)務(wù)系統(tǒng)、日志服務(wù)器等。數(shù)據(jù)采集平臺(tái)通過(guò)程序接口訪問(wèn)業(yè)務(wù)系統(tǒng)獲取主要監(jiān)測(cè)數(shù)據(jù)，提交給數(shù)據(jù)處理平臺(tái)后，數(shù)據(jù)處理平臺(tái)進(jìn)行初步判斷，檢測(cè)為業(yè)務(wù)系統(tǒng)數(shù)據(jù)，會(huì)自動(dòng)提交給業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)。在業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)中，我們又將數(shù)據(jù)進(jìn)行了一定的分門(mén)別類，具體類別如下：　　操作系統(tǒng)數(shù)據(jù)；　　數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)；　　中間件系統(tǒng)數(shù)據(jù)。　　業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)定期自動(dòng)向安全數(shù)據(jù)處理子系統(tǒng)輸出數(shù)據(jù)。業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)在進(jìn)行數(shù)據(jù)處理時(shí)，一旦檢測(cè)到各種異常，就會(huì)生成特定安全事件，并隨時(shí)輸出到安全數(shù)據(jù)處理子系統(tǒng)，作為安全數(shù)據(jù)處理子系統(tǒng)的數(shù)據(jù)來(lái)源之一。　　 操作系統(tǒng)數(shù)據(jù)處理 　　業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)在獲取到操作系統(tǒng)數(shù)據(jù)后，會(huì)根據(jù)不同操作系統(tǒng)的特性，對(duì)數(shù)據(jù)進(jìn)行一定的處理。　　平臺(tái)所支持的操作系統(tǒng)類型，至少包括：Windows2000/2003服務(wù)器系統(tǒng)、Linux服務(wù)器系統(tǒng)、IBM AIX服務(wù)器系統(tǒng)、SUN Solaris服務(wù)器系統(tǒng)、HP UNIX服務(wù)器系統(tǒng)、Tru64服務(wù)器系統(tǒng)等。　　操作系統(tǒng)數(shù)據(jù)處理的內(nèi)容，如下表所示：序號(hào)類別描述1基本信息整理操作系統(tǒng)所屬主機(jī)名稱、網(wǎng)絡(luò)接口數(shù)量，每個(gè)接口的IP地址/MAC地址、子網(wǎng)掩碼等；最近24小時(shí)內(nèi)主機(jī)操作系統(tǒng)連接狀態(tài)的統(tǒng)計(jì)分析2CPU靜態(tài)信息整理CPU編號(hào)、核心數(shù)、CPU品牌3CPU動(dòng)態(tài)信息整理記錄時(shí)間、CPU使用率4內(nèi)存動(dòng)態(tài)信息總物理內(nèi)存、可用物理內(nèi)存、總虛擬內(nèi)存、可用虛擬內(nèi)存、總頁(yè)面文件大小、可用頁(yè)面文件大小、記錄時(shí)間、內(nèi)存使用率5系統(tǒng)進(jìn)程動(dòng)態(tài)信息進(jìn)程ID、使用用戶、映像名稱、CPU使用率、內(nèi)存、記錄時(shí)間6硬盤(pán)動(dòng)態(tài)信息掛載點(diǎn)、類型、總大小、可用大小、文件系統(tǒng)類別、硬盤(pán)IO、記錄時(shí)間7性能事件在業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)檢測(cè)到某個(gè)操作系統(tǒng)的CPU使用率、內(nèi)存使用率、硬盤(pán)空間使用率等性能指標(biāo)超過(guò)特定閥值時(shí)，會(huì)自動(dòng)生成性能事件，隨后提交給安全數(shù)據(jù)處理子系統(tǒng)。8故障事件在業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)檢測(cè)到某個(gè)主機(jī)設(shè)備由UP狀態(tài)轉(zhuǎn)換為DOWN狀態(tài)等，會(huì)自動(dòng)生成故障事件，隨后提交給安全數(shù)據(jù)處理子系統(tǒng)。　　 數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)處理　　業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)在獲取到數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)后，會(huì)根據(jù)不同的數(shù)據(jù)庫(kù)系統(tǒng)特性，對(duì)數(shù)據(jù)進(jìn)行一定的處理。　　平臺(tái)所支持的數(shù)據(jù)庫(kù)系統(tǒng)類型，至少包括： DBOracle、SQL Server、MYSQL等。　　數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)處理內(nèi)容，如下表所示：序號(hào)類別描述1基本信息整理數(shù)據(jù)庫(kù)名稱、數(shù)據(jù)路徑、基本目錄、數(shù)據(jù)庫(kù)版本、字符集、配置的臨時(shí)表大小、臨時(shí)表目錄、更新時(shí)間2數(shù)據(jù)表信息表的名稱、行的格式、行數(shù)、索引長(zhǎng)度、表的類型、當(dāng)前大小、擴(kuò)展大小、表創(chuàng)建時(shí)間、表更新時(shí)間、更新時(shí)間等信息3緩存信息創(chuàng)建的臨時(shí)文件數(shù)目、創(chuàng)建的臨時(shí)表數(shù)目、在查詢緩存中的空閑內(nèi)存塊數(shù)量、查詢緩存中空閑內(nèi)存數(shù)量、查詢緩沖的請(qǐng)求命中率、添加到插敘緩存中的查詢數(shù)量、由于低內(nèi)存而從查詢緩存中刪除的查詢數(shù)量、注冊(cè)在查詢緩存中的查詢請(qǐng)求數(shù)量、在插敘緩存中塊的總數(shù)目、使用內(nèi)存大小、打開(kāi)表的數(shù)量、打開(kāi)過(guò)的表的數(shù)量、表緩存配置數(shù)、更新時(shí)間等信息4線程信息緩存中的線程數(shù)、為處理遠(yuǎn)程連接請(qǐng)求創(chuàng)建的線程總數(shù)、當(dāng)前打開(kāi)的連接數(shù)、處于非睡眠狀態(tài)的線程數(shù)、更新時(shí)間等信息5鎖信息表的直接鎖定次數(shù)、鎖等待的次數(shù)、更新時(shí)間等信息6頁(yè)和行鎖信息數(shù)據(jù)的頁(yè)數(shù)量、臟頁(yè)數(shù)目、緩沖池中頁(yè)刷新請(qǐng)求數(shù)目、空閑頁(yè)的數(shù)量、頁(yè)緩存池的大小、頁(yè)的大小、當(dāng)前被等待的行鎖的數(shù)量、共計(jì)消耗在獲取行鎖上的時(shí)間、為獲取行鎖平均等待時(shí)間、更新時(shí)間等信息7性能事件在業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)檢測(cè)到某個(gè)數(shù)據(jù)庫(kù)系統(tǒng)的表空間使用率、連接數(shù)使用率等性能指標(biāo)超過(guò)特定閥值時(shí)，會(huì)自動(dòng)生成性能事件，隨后提交給安全數(shù)據(jù)處理子系統(tǒng)。8故障事件在業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)檢測(cè)到某個(gè)數(shù)據(jù)庫(kù)系統(tǒng)的實(shí)例未啟動(dòng)、連接服務(wù)未啟動(dòng)、數(shù)據(jù)庫(kù)關(guān)閉、數(shù)據(jù)庫(kù)歸檔日志已滿、數(shù)據(jù)庫(kù)連接數(shù)已滿等異常時(shí)，自動(dòng)生成故障事件，隨后提交給安全數(shù)據(jù)處理子系統(tǒng)。　 應(yīng)用系統(tǒng)數(shù)據(jù)處理 　　業(yè)務(wù)系統(tǒng)數(shù)據(jù)處理子系統(tǒng)在獲取到應(yīng)用系統(tǒng)數(shù)據(jù)后，會(huì)根據(jù)不同的應(yīng)用系統(tǒng)特性，對(duì)數(shù)據(jù)進(jìn)行一定的處理。　　平臺(tái)能夠支持應(yīng)用系統(tǒng)類型，至少包括：IBM Websphere、Apache Tomcat、Microsoft IIS等。　　應(yīng)用系統(tǒng)數(shù)據(jù)處理的內(nèi)容，如下表所示：序