海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)在運營管理中的運用(專業(yè)版)

　　

【正文】 14:43:3814:43:3814:433/27/2023 2:43:38 PM1越是沒有本領(lǐng)的就越加自命不凡。 14:43:3814:43:3814:43Saturday, March 27, 20231乍見翻疑夢，相悲各問年。 日志類采集技術(shù)要點216。防火墻webServerAPP服務(wù)器DBServerOracletrace tail DB 采集，查詢，歸檔 ，實時監(jiān)控 6個月 銷毀文本 tail webServer 采集，查詢，歸檔，實時監(jiān)控 12個月 留存中間件應(yīng)用日志性能 tail OVO 采集，查詢，實時監(jiān)控 1個月 銷毀ITM事件 tail OMNIBUS采集，查詢，實時監(jiān)控，歸檔6個月 銷毀資產(chǎn) tail 交易流水 采集，查詢，實時監(jiān)控，歸檔12個月 留存統(tǒng)一監(jiān)控平臺網(wǎng)絡(luò)報文 tail BPC 采集，查詢，實時監(jiān)控，歸檔6個月 銷毀WRT技術(shù)要點與實現(xiàn)架構(gòu)： 明確數(shù)據(jù)對象、設(shè)計技術(shù)手段216。 哪些是非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)： 運行產(chǎn)生的各類日志【靜態(tài)】運行過程中產(chǎn)生的各類日志為非結(jié)構(gòu)化特性數(shù)據(jù)輸入? 日志的結(jié)構(gòu)化程度很低? 日志的字段標示等非標準化? 跨日志關(guān)聯(lián)性高，但搜索線索難以自動化? 日志生成的形式多種多樣（文件名不定）? 難以采集、歸檔、查詢? 非標準日志難以定期清理? 難以保證日志的完整性? 難以做上下文關(guān)聯(lián)分析網(wǎng)絡(luò)端口? 監(jiān)聽所有端口? TCP/UDP? syslog, SNMP, IMAP, POP3, JMS計算機文件? 監(jiān)測運行的文件? 批量上傳文件? 網(wǎng)絡(luò)，應(yīng)用，服務(wù)器和設(shè)備日志自定義腳本與 APIs? 可設(shè)定測試? WMI, perfmon, AD, LDAP, SQL/DBI, OPSEC, LEA, JMX, VMware, Powershell文件系統(tǒng)? 監(jiān)測系統(tǒng)的變化? 配置? 密碼文件? 關(guān)鍵性腳本與代碼13q XX系統(tǒng)應(yīng)用協(xié)議分析：– WTC+SOP是基本結(jié)構(gòu)， SOP內(nèi)還封裝其他協(xié)議– 封裝 XML、封裝 ~|~分隔的 keyvalue pair非結(jié)構(gòu)化數(shù)據(jù)： 運行產(chǎn)生的網(wǎng)絡(luò)報文【動態(tài)】生產(chǎn)環(huán)境中的各類數(shù)據(jù)的關(guān)聯(lián)性、多樣性、復(fù)雜性?短會話連接情況短會話連接情況（標準輸出）（標準輸出）?網(wǎng)絡(luò)報文網(wǎng)絡(luò)報文?系統(tǒng)日志（系統(tǒng)日志（ SYSLOG)?WEBSERVER日志（文本日志（文本 /XML））?用戶打開頁面用戶打開頁面詳細記錄（文本）詳細記錄（文本）?系統(tǒng)日志（系統(tǒng)日志（ SYSLOG)?中間件日志（文本，中間件日志（文本，每臺服務(wù)器每個服務(wù)每臺服務(wù)器每個服務(wù)一個）一個）?交易日志（交易日志（ group文件文件，每臺服務(wù)器，每臺服務(wù)器 50個）個）?程序報錯日志（程序報錯日志（ XML））?系統(tǒng)日志（系統(tǒng)日志（ SYSLOG））?數(shù)據(jù)庫日志（多數(shù)據(jù)庫日志（多個文本）個文本）?系統(tǒng)日志系統(tǒng)日志（（ SYSLOG））數(shù)據(jù)庫表數(shù)據(jù)庫表系統(tǒng)間會話網(wǎng)絡(luò)報文、交易報文、文本日志、數(shù)據(jù)庫流水系統(tǒng)間會話網(wǎng)絡(luò)報文、交易報文、文本日志、數(shù)據(jù)庫流水目錄16銀行數(shù)據(jù)全生命周期管理探討1海量非結(jié)構(gòu)化數(shù)據(jù)特點及使用2167。 哪些是結(jié)構(gòu)化數(shù)據(jù)216。 數(shù)據(jù)分類及采集216。處理工作會被委派給不同的任務(wù)處理組件，每個組件負責一項簡單的、特定的處理任務(wù)。? Storm負責對日志進行實時計算。 14:43:3814:43:3814:43Saturday, March 27, 20231不知香積寺，數(shù)里入云峰。 2023/3/27 14:43:3814:43:3827 March 20231一個人即使已登上頂峰，也仍要自強不息。 14:43:3814:43:3814:433/27/2023 2:43:38 PM1成功就是日復(fù)一日那一點點小小努力的積累。 數(shù)據(jù)整體管理與展現(xiàn)運維數(shù)據(jù)采集與運用整體技術(shù)架構(gòu)? 通過配套方式將各類數(shù)據(jù)轉(zhuǎn)換為 SysLog和 GroupLog等形式，轉(zhuǎn)發(fā)到采集機。42大數(shù)據(jù)平臺 邏輯架構(gòu)? Kafka 是由 LinkedIn 開發(fā)，主要是用來處理 LinkedIn的大面積活躍數(shù)據(jù)流處理 (activity stream)1. 可持久化消息2．目標是高流量處理 3．消費狀態(tài)信息并不保存在服務(wù)端，而是保存在消費端 4．支持分布式。 日志類采集及使用216。 結(jié)構(gòu)化數(shù)據(jù)是哪些，非結(jié)構(gòu)化數(shù)據(jù)是哪些，如何獲取？海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)要點與實現(xiàn)3銀行數(shù)據(jù)全生命周期管理 系統(tǒng)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)設(shè)計階段落實數(shù)據(jù)