正文內容

大數據處理技術參考架構(編輯修改稿)

2026-08-09 22:22 本頁面

　

【文章內容簡介】應用運算邏輯實現方式SQL 語言 SQL202部分 PL/SQL、 R、Java、Scala 等精選資料可修改編輯MPP Hadoopamp。Spark數據訪問接口JDBC、ODBC JDBC、ODBC、R 語言接口等索引支持支持（rowkey 索引、二維索引、全文關鍵字索引）. Hadoopamp。Spark 技術優勢存儲、處理、分析 PB 級別的結構化、半結構化、非結構化數據。低成本運算能力，使用低成本的存儲和服務器構建，僅花費 40%左右價格，便可以達到甚至超越 IOE 架構的性能。動態擴展運算能力，擴容無需停機、服務不中斷，數據無需重新分布，新數據自動被分配到新的節點中，性能沒有影響。高擴展能力，集群規模可擴展至幾千個節點。高容錯能力，數據處理過程中存放中間結果，出錯時只需要重新運行出錯的子任務。應用運算邏輯，支持 Java、R 語言、Scala 、SQL2022 等。. Hadoop 框架對比Apache Hadoop Cloudera CDH Hortonworks HDP開源程度完全開源部分開源（包含免費版/企業版）完全開源（包含免費版/企業版）技術支持無每年按節點數量收費每年按節點數量收費集群部署復雜容易容易精選資料可修改編輯51%24%25%開源版本發行版（免費）發行版（付費）Apache Hadoop Cloudera CDH Hortonworks HDP集群監控較易容易容易集群管理較易容易容易專有代碼依賴無有（如：管理工具）無主要特點 Apache Hadoop已經形成生態系統，除了包含HDFS、YARN、MapReduce，還包含了很多其他 Apache 項目，如：HBase、Hive、ZooKeeper、Ambari、Sqoop等等，使用者可以根據需要自由組合。通過添加專有代碼實現的 Cloudera Manager 完成集群的部署和管理，并對集群的節點及服務進行實時監控。所有解決方案都通過 Apache Software Foundation以項目形式開發，HDP 內無需專用擴展。避免隨著擴展而背離主干，以及隨之而來的兼容性問題。. Hadoop 使用情況根據咨詢機構 Wikibon 在 2022 年進行的一項調查，部署 Hadoop 的機構中，僅有 25%是付費用戶，而有 51%是基于 Hadoop 的開源版本自行開發，還有 24%的用戶則是使用 Cloudera、Hortonworks 等 Hadoop 開發商推出的免費版本。精選資料可修改編輯. Hadoop 血緣關系IBM BigInsights 是基于 Apache Hadoop 框架的存儲，管理和分析 Inter 級別數據量的半結構化和非結構化數據的方案，具備企業級管理、工作流管理、安全管理、可視化挖掘與展現等能力，能與現有基礎設施和大數據流計算技術集成。產品設計思路是基于 Apache Hadoop 框架，在保持完全 100% Apache Hadoop兼容的情況下，加入 IBM 的項目和研究開發的分析能力。整體架構如下圖所示：精選資料可修改編輯EMC Pivotal HD 是 EMC 公司進行自主研發的 Hadoop 商業化產品，在2022 年 2 月獨立推出的商業發行版（2022 年以前 EMC 和 MapR 公司在 Hadoop領域為合作伙伴）。Pivotal HD 產品包括 Hadoop 的 MapReduce 和 HDFS，可以利用 Hive、HBase、Pig 開發語言、Yarn 資源管理、Mahout 分析工具和Zookeeper 工具等。還包括 Hardware Virtual Extensions（HVE）組件，它可以讓Hadoop 集群知道自己是建立在虛擬機還是物理服務器上。整體架構如下圖所示：MapR Hadoop 是 MapR Technologies 公司于 2022 年正式發布的產品，目標是使 Hadoop 變為一個速度更快、可靠性更高、更易于管理、使用更加方便的分布式計算服務和存儲平臺，同時性能也不斷提高。它將極大的擴大了 Hadoop 的使用范圍和方式。它包含了開源社區許多流行的工具和功能，例如 Hbase、Hive。它還 100%與 Apache Hadoop 的 API 兼容。目前有 M3（免費版）和 M5（收費版）兩個版本。整體架構如下圖所示：精選資料可修改編輯天云趨勢科技 Hadoop 解決方案主要基于 Hortonworks 發行版，同時也提供了對 Cloudera Hadoop 發行版的支持。整體架構如下圖所示：音智達 Hadoop 解決方案基于 Cloudera Hadoop 發行版。整體架構如下圖所示：浪潮 Hadoop 解決方案基于 Intel Hadoop 發行版。整體架構如下圖所示：精選資料可修改編輯華為 FusionInsight Hadoop 是完全基于 Apache Hadoop 組件構建的 Hadoop產品，在 Apache Hadoop 版本的基礎上對 HBase、HDFS 和 MapReduce 等組件增加了 HA、查詢和分析功能，進行了性能優化，并及時回饋 Hadoop 社區，保持版本同步，接口與社區版本完全一致。整體架構如下圖所示：星環科技 Transwarp Data Hub（TDH）基于 Apache Hadoop 組件構建，并在此基礎之上研發了交互式 SQL 分析引擎 Inceptor、實時 NoSQL 數據庫Hyperbase 和 Transwarp Manager 等引擎。同時支持 R 語言數據挖掘、機器學習、實時流處理、全文搜索和圖計算和系統安裝及集群配置功能。整體架構如下圖所示：精選資料可修改編輯. 行業大數據應用場景對比分析　基于 MPP 的數據倉庫 Hadoop amp。 Spark 阿里云工商銀行 Teradata 信息庫　建設銀行 Teradata 　　交通銀行 Teradata 　　廣發銀行 Oracle 　　中國銀聯　風險控制與交易查詢（Cloudera）實時查詢采用 HadoopHBase　民生銀行　大數據分析

點擊復制文檔內容

物理相關推薦

大數據處理技術參考架構(編輯修改稿)

大數據價值挖掘的難點和重點：非結構化數據處理-資料下載頁

pospac數據處理流程-資料下載頁

氣象數據處理流程-資料下載頁

數據處理方法介紹-資料下載頁

lidar數據處理-資料下載頁

地震數據處理方法-資料下載頁

大數據架構和模式-資料下載頁

應用數據處理-資料下載頁

多波束水深測量數據處理及思考(參考)-資料下載頁

智慧校園的數據處理技術畢業論文-資料下載頁

智慧校園的數據處理技術畢業論文-資料下載頁

項目二誤差與分析數據處理技術-資料下載頁

數據處理及誤差分析-資料下載頁

大數據中臺架構棧-資料下載頁

天寶tbc數據處理教程-資料下載頁

大數據處理技術參考架構-文庫吧在線文庫

大數據處理技術參考架構(完整版)

大數據處理技術參考架構(更新版)

大數據處理技術參考架構(專業版)

大數據處理技術參考架構(留存版)