大數據平臺概要設計說明書-文庫吧

【正文】 ，所有job的執行都由它來調度，而且Hadoop系統中只配置一個JobTracker 應用。它們都是由一個master服務JobTracker和多個運行于多個節點的slaver服務TaskTracker兩個類提供的服務調度的。 master負責調度job的每一個子任務task運行于slave上，并監控它們，如果發現有失敗的task就重新運行它，slave則負責直接執行每一個taskTaskTrackerTaskTracker都需要運行在HDFS的DataNode上，而JobTracker則不需要，一般情況應該把JobTracker 部署在單獨的機器上HBaseHBase是一個分布式的、面向列的開源數據庫，該技術來源于Chang et al所撰寫的Google論文“Bigtable：一個結構化數據的分布式存儲系統”。就像Bigtable利用了Google文件系統（File System）所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關系數據庫，它是一個適合于非結構化數據存儲的數據庫。另一個不同的是HBase基于列的而不是基于行的模式。Hivehive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。 StormStorm為分布式實時計算提供了一組通用原語，可被用于“流處理”之中，實時處理消息并更新數據庫。這是管理隊列及工作者集群的另一種方式。 Storm也可被用于“連續計算”（continuous putation），對數據流做連續查詢，在計算時就將結果以流的形式輸出給用戶。它還可被用于“分布式RPC”，以并行的方式運行昂貴的運算。FlumeFlume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統，Flume支持在日志系統中定制各類數據發送方，用于收集數據；同時，Flume提供對數據進行簡單處理，并寫到各種數據接受方（可定制）的能力。ETLETL是數據抽取（Extract）、清洗（Cleaning）、轉換（Transform）、裝載（Load）的過程。是構建數據倉庫的重要一環，用戶從數據源抽取出所需的數據，經過數據清洗,最終按照預先定義好的數據倉庫模型，將數據加載到數據倉庫中去。KettleKettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，綠色無需安裝，數據抽取高效穩定。MySQLMySQL是一個開放源碼的小型關聯式數據庫管理系統，開發者為瑞典MySQL AB公司。目前MySQL被廣泛地應用在Internet上的中小型網站中。由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，許多中小型網站為了降低網站總體擁有成本而選擇了MySQL作為網站數據庫。MongoDBMongoDB是一個介于關系數據庫和非關系數據庫之間的產品，是非關系數據庫當中功能最豐富，最像關系數據庫的。他支持的數據結構非常松散，是類似json的bson格式，因此可以存儲比較復雜的數據類型。Mongo最大的特點是他支持的查詢語言非常強大，其語法有點類似于面向對象的查詢語言，幾乎可以實現類似關系數據庫單表查詢的絕大部分功能，而且還支持對數據建立索引。 對象及范圍開發人員、DBA、測試人員；研發主管領導、產品人員； 參考資料《大數據處理體系架構》《HBase The Definitive Guide》《》《Programming_Hive》2. 系統總體設計 需求規定 運行環境操作系統：RedHad Enterprise 軟件環境：Java Kettle MySQL 硬件環境：8核16G內存PC服務器8臺 基本設計思路和處理流程按照數據分析的實時性，分為在線數據分析和離線數據分析。 在線數據分析：往往要求系統在數秒內返回上億行數據的分析，從而才能達到不影響用戶體驗的目的。 離線數據分析：對大多數反饋時間要求不高的應用，比如離線統計分析、機器學習等，應采用離線分析的方式，通過數據采集工具將日志數據導入專門的分析平臺進行分析。系統主要以離線數據分析為主，采用目前在互聯網業界流行的hadoop體系結構對大批量的數據進行運算，采用hadoop集群的方式對大數據進行運算。數據運算平臺以調度為主線，作為運算平臺的核心控制系統，對運算平臺的各個環節進行控制，且對運算過程中的步驟依賴關系進行控制，同時對各個環節進行監控，通過監控異常報警來提高系統的穩定性和異常響應速度。 系統結構 大數據運算系統架構圖日志存儲統計分析數據應用Hadoop(HDFS、HBASE)在線計算： Storm 流計算框架離線計算： Hadoop(Map/Reduce、Hive、pig)日志采集 日志采集系統 Flume數據服務數據提取，報表展現，功能、網頁展示…… 統計、分析數據存儲，數據接口MongoDB、MySql 大數據平臺系統功能圖系統功能圖邏輯說明1） 生產系統的源數據通過sqoop，flume，Kettle等獲取后保存在Kafka消息隊列中或者保存到hadoop的hdfs系統中。2） 調度系統負責自身的控制功能，通過讀取調度控制的配置信息調用驅動代理程序處理相關的運算功能。3） 驅動代理程序負責所有基于運算平臺的相關組件的驅動任務，讀取調度系統傳遞過來的模版信息，讀取模版信息，并執行相應的驅動操作。4） 系統管理功能部分完成系統相關配置，管理等相關信息的維護操作。5） 監控系統對整個系統的運行狀況進行監控，由各個業務子系統按照監控系統的要求實現相應的監控功能。 大數據平臺功能結構圖大數據平臺功能結構圖說明：1）大數據平臺功能結構主要劃分為計算平臺，應用平臺，系統管理以及監控，配置等相關應用功能。2）計算平臺分為基礎運算部分，模版管理部分，驅動代理部分，系統調度部分。3）計算平臺分為離線計算與實時計算兩種形式。4）計算平臺基于模版的功能開發，實際應用中做到模版的熱插拔，對于功能需求只需要開發相應的模版，并部署上計算平臺即可應用。5）驅動代理程序管理所有的基于大數據運算的相關組件的代理功能，對外提供給調度系統應用，調用模版設置的相應的類型，進行相應類型的驅動操作。6）調度系統只關心其自身的系統控制能力，不參與具體的業務以及計算功能組件的調用。 尚未解決的問題無3. 模塊/功能設計 調度模塊 設計思路一：調度模塊實現功能思路 二：流程說明以及注意事項： 任務與步驟采用配置表的方式保存在mysql中，調度程序定時掃描任務表，判斷是否有啟動的任務，如果有啟動的任務，則啟動任務。 調度任務需要判斷任務中步驟之間的依賴關系，根據依賴關系判斷是