正文內容

大數據處理技術研究(編輯修改稿)

2026-07-19 21:43 本頁面

　

【文章內容簡介】。分布式計算技術讓不可能變成可能，分布式計算技術正引領著將不可能變為可能。Skybox Imaging就是一個很好的例子。這家公司通過對衛星圖片的分析得出一些實時結果，比如說某個城市有多少可用停車空間，或者某個港口目前有多少船只。它們將這些實時結果賣給需要的客戶。沒有這個技術，要想快速便宜的分析這么大量衛星圖片數據將是不可能的。如圖五所示：圖五分布式計算技術是Google的核心，也是Yahoo的基礎，目前分布式計算技術是基于Google創建的技術，但是卻最新由Yahoo所建立。Google總共發表了兩篇論文，2004年發表的叫做MapReduce的論文介紹了如何在多計算機之間進行數據處理。另一篇于2003年發表，主要是關于如何在多服務器上存儲數據。來自于Yahoo的工程師Doug Cutting在讀了這兩篇論文后建立了分布式計算平臺，以他兒子的玩具大象命名。如圖六所示　圖六而Hadoop作為一個重量級的分布式處理開源框架已經在大數據處理領域有所作為6. Hadoop大數據處理的核心技術大數據技術涵蓋了硬軟件多個方面的技術，目前各種技術基本都獨立存在于存儲、開發、平臺架構、數據分析挖掘的各個相對獨立的領域。這一部分主要介紹和分析大數據處理的核心技術——Hadoop。 Hadoop的組成大數據不同于傳統類型的數據，它可能由TB甚至PB級信息組成，既包括結構化數據，也包括文本、多媒體等非結構化數據。這些數據類型缺乏一致性，使得標準存儲技術無法對大數據進行有效存儲，而且我們也難以使用傳統的服務器和SAN方法來有效地存儲和處理龐大的數據量。這些都決定了“大數據”需要不同的處理方法，而Hadoop目前正是廣泛應用的大數據處理技術。Hadoop是一個基于Java的分布式密集數據處理和數據分析的軟件框架。該框架在很大程度上受Google在2004年白皮書中闡述的MapReduce的技術啟發。Hadoop主要組件包含如圖七：圖七Hadoop Common：通用模塊，支持其他Hadoop模塊Ha d o o p Di s t r i b u t e d Fi l eSystem（HDFS）：分布式文件系統，用以提供高流量的應用數據訪問Hadoop YARN：支持工作調度和集群資源管理的框架HadoopMapReduce：針對大數據的、靈活的并行數據處理框架其他相關的模塊還有：ZooKeeper：高可靠性分布式協調系統Oozie：負責MapReduce作業調度HBase：可擴展的分布式數據庫，可以將結構性數據存儲為大表Hive：構建在MapRudece之上的數據倉庫軟件包Pig：架構在Hadoop之上的高級數據處理層在Hadoop框架中，最底層的HDFS存儲Hadoop集群中所有存儲節點上的文件。HDFS的架構是基于一組特定的節點構建的（如圖八），圖八這些節點包括一個NameNode和大量的DataNode。存儲在HDFS中的文件被分成塊，然后將這些塊復制到多個計算機中（DataNode）。這與傳統的RAID架構大不相同。塊的大小（通常為64MB）和復制的塊數量在創建文件時由客戶機決定。NameNode可以控制所有文件操作。HDFS內部的所有通信都基于標準的TCP/IP協議。NameNode在HDFS內部提供元數據服務，負責管理文件系統名稱空間和控制外部客戶機的訪問。它決定是否將文件映射到DataNode上的復制塊上。DataNode通常以機架的形式組織，機架通過一個交換機將所有系統連接起來。H a d o o p M a p R e d u c e 是Google MapReduce的開源實現。MapReduce技術是一種簡潔的并行計算模型，它在系統層面解決了擴展性、容錯性等問題，通過接受用戶編寫的Map函數和Reduce函數，自動地在可伸縮的大規模集群上并行執行，從而可以處理和分析大規模的數據[6]。Hadoop提供了大量的接口和抽象類，從而為Hadoop應用程序開發人員提供許多工具，可用于調試和性能度量等。在H a d o o p 應用實例中，一個代表客戶機在單個主系統上啟動Ma pRe d u c e的應用程序稱為JobTracker。類似于NameNode，它是Ha d o o p 集群中唯一負責控制MapReduce應用程序的系統。在應用程序提交之后，將提供包含在HDFS中的輸入和輸出目錄。JobTr a cke r使用文件塊信息（物理量和位置）確定如何創建其他TaskTracker從屬任務。MapReduce應用程序被復制到每個出現輸入文件塊的節點，將為特定節點上的每個文件塊創建一個唯一的從屬任務。每個TaskTracker將狀態和完成信息報告給JobTracker。如圖顯示一個示例集群中的工作分布，如圖九:圖九 Hadoop的優點：Hadoop能夠使用戶輕松開發和運行處理大數據的應用程序。它主要有以下幾個優點：高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。高擴展性。Hadoop是在可用的計算機集簇間分配數據并完成計算任務的，這些集簇可以方便地擴展到數以千計的節點中。高效性。Hadoop能夠在節點之間動態地移動數據，并保證各個節點的動態平衡，因此處理速度非常快。高容錯性。Hadoop能夠自動保存數據的多個副本，并且能夠自動將失敗的任務重新分配。Hadoop帶有用Java語言編寫的框架，因此運行在Linux生產平臺上是非常理想的。Hadoop上的應用程序也可以使用其他語言編寫，比如C++。 Hadoop的不足Hadoop作為一個處理大數據的軟件框架，雖然受到眾多商業公司的青睞，但是其自身的技術特點也決定了它不能完全解決大數據問題。在當前Hadoop的設計中，所有的metadata操作都要通過集中式的NameNode來進行，NameNode有可能是性能的瓶頸。當前Hadoop單一NameNode、單一Jobtracker的設計嚴重制約了整個Hadoop可擴展性和可靠性。首先，NameNode和JobTracker是整個系統中明顯的單點故障源。再次，單一NameNode的內存容量有限，使得Hadoop集群的節點數量被限制到2000個左右，能支持的文件系統大小被限制在1050PB。實際上，有用

點擊復制文檔內容

研究報告相關推薦

大數據處理技術研究(編輯修改稿)

大數據價值挖掘的難點和重點：非結構化數據處理-資料下載頁

lidar數據處理-資料下載頁

大數據環境下醫保數據監測和預警平臺關鍵技術研究02322-資料下載頁

大數據環境下醫保數據監測和預警平臺關鍵技術研究docdoc-資料下載頁

應用數據處理-資料下載頁

gps測量數據處理-資料下載頁

項目二誤差與分析數據處理技術-資料下載頁

數據處理計算專題-資料下載頁

pospac數據處理流程-資料下載頁

數據處理和數據服務-資料下載頁

氣象數據處理流程-資料下載頁

數據處理ppt課件-資料下載頁

數據處理方法介紹-資料下載頁

skipro數據處理步驟-資料下載頁

excel表格數據處理-資料下載頁

大數據處理技術研究-wenkub

大數據處理技術研究(已修改)

大數據處理技術研究(編輯修改稿)

大數據處理技術研究-wenkub.com

大數據處理技術研究(已改無錯字)