企業高性能計算解決方案(編輯修改稿)

　

【文章內容簡介】 Jobkeeper任務調度系統的基本組成和主要功能。 cStor 系統基本組成 cStor 云存儲資源管理系統采用分布式的存儲機制，將數據分散存儲在多臺獨立的存儲服務器上。它采用包括卷管理服務器、元數據管理服務器（ Master Server）、數據存儲節點服務器（ Chunk Server）和掛接訪問客戶端以及管理監控中心服務器的結構構成虛擬統一的海量存儲空間。在每個服務器節點上運行 cStor 云存儲資源管理系統的相應的軟件服務程序模塊。系統架構框圖如下圖所示。 cStor 云存儲資源管理系統架構 其中， Master Server 保存系統的元數據，負責對整個文件系統的管理， Master Server在邏輯上只有一個，但采用主備雙機鏡像的方式，保證系統的不間斷服務； Chunk Server負責具體的數據存儲工作，數據以文件的形式存儲在 Chunk Server 上， Chunk Server 的個數可以有多個，它的數目直接決定了 cStor 云存儲系統的規模；掛接訪問客戶端即為服務器對外提供數據存儲和訪問服務的窗口，通常情況下，客戶端可以部署在 Chunk Server 上，每一個塊數據服務器，既可以作為存儲服務器同時也可以作為客戶端服務器。 由一對元數據服務器及其管理的存儲服務器節點所提供的存儲空間稱為一個卷空間，不同的卷空間由卷管理服務器虛擬化統一管理，對外可提供統一的海量存儲空間。 管理 監 控中心提供統一易用的 WEB 配置管理監控平臺，提供設備監控、 空間監控、文件監控、服務監控、用戶認證管理、配額管理、故障告警及預警等功能，實現智能化管理。 這種分布式系統最大的好處是有利于存儲系統的擴展和實現，在小規模的數據擴展時，只需要添加具體的 Chunk Server 即可，而不需要添加整套設備。在實現大規模擴展時也可方便地添加整個卷設備。 cStor 系統功能描述 cStor 云存儲資源管理系統從功能上劃份為三大部分： 1) cStor 分布式 文 件 系統 分布式文件系統實現文件數據存儲、可靠性容錯、可伸縮性保證、高可用保證、負載均衡和流量分擔等功能 。 2) 存儲訪問接口 cStor 提 供符合 POSIX 規范的文件系統訪問接口，通過 cStor 訪問掛接程序可將云存儲空間掛接為本地目錄或磁盤。同時可提供專用的 API 接口，支持業務應用層程序對云存儲系統的直接訪問。 3) 管理 監控中心 管理監控中心提供帳戶管理、設備管理、系統監控、卷管理、告警管理、故障管理等功能。 下面逐一詳細介紹各部分系統功能。 cStor 分布式 文 件 系統 cStor 分布式 文 件 系統 包括卷管理、元數據管理、塊數據管理服務。參考上面系統架構框圖左側部分。 元數據是指文件的名稱、屬性、數據塊位置信息等，元數據管理通過元數據服務程序完成。 因元數據訪問頻繁，故系統將元數據加載緩存至內存中管理，提高訪問效率。由于元數據的重要性，元數據損壞或丟失則相當于文件數據丟失，因此實現了元數據服務器主備雙機高可用，確保７２４小時不間斷服務。 通過元數據遠程多機冗余備份功能，實現在多臺其它機器上備份元數據，當元數據服務器損壞，可以通過備份的元數據重新恢復服務，切保數據可以完整找回。 塊數據是指文件數據被按照一定大小（默認 64MB）分割而成的多個數據塊，分布存儲到不同的存儲節點服務器上，并通過編解碼容錯算法產生相應的冗余塊。 塊數據服務是運行在每個存儲節點服 務器上的塊數據管理程序，負責使用存儲服務器上的磁盤空間存儲文件數據塊，并實現相應的編解碼功能。 相比較傳統業界的云存儲采用塊數據簡單備份冗余容錯機制，編解碼容錯方式大大降低了硬件資源冗余度，提高了磁盤利用率。 由一對主備元數據服務器及其所管理的塊數據服務器管理節點設備及其所提供的存儲空間稱為一個卷。 卷管理服務器負責將多個卷虛擬化整合，對外提供統一的整體訪問云存儲空間。 文件系統采用中心服務器模式分布式存儲架構，控制流與數據流分離，通過增加存儲節點 系統采用自動注冊機制，實現系統高可伸縮性，增加或減少存儲節 點規模，不影響系統正常提供存儲訪問服務。 該系統架構實現了統一調度，負載均衡和流量自動分擔功能，多個存儲節點同時對外提供數據流服務，系統根據磁盤空間使用比例進行資源優化配置。同時在多個不同的存儲節點之間實現根據空間比例進行優化配置，數據優先存儲的空間利用比例相對較低的磁盤或存儲服務器上。 cStor 分布式 文 件 系統 具有自動冗余重 建 功能 ， 確保損壞的數據塊能夠被解碼或編碼后存儲到在線的正常的存儲服務器節點上。 存儲訪問接口 cStor 分布式文件系統提供符合 POSIX 規范的文件系統訪問接口。支持 Linux、Windows、 MaxOS X 等操作系統平臺。可將云存儲系統提供的存儲空間掛接為本地目錄或本地盤符來使用。用戶操作云存儲空間和操作本地文件相同。 另外 cStor 提供專用的高速存取訪問 API 接口，供性能要求很高的高端應用程序對接使用。 管理監控中心 管理監控中心為系統管理員配置和維護 cStor 云存儲資源管理系統的有效工具，充分體現了系統的可維護性。 管理監控中心提供帳戶管理、設備管理、系統監控、卷管理、告警管理、故障管理等功能。以下為部分系統管理界面。 ? 設備管理 ? 系統監控 ? 告警信息 ? 告警配置 ? 告警日志 ? 故障處理 ? 卷管理 ? 帳戶管理 ? 添加帳戶 Jobkeeper 系統基本組成 Jobkeeper 的系統架構如下圖所示： 上圖中對 Jobkeeper 進行了分層，對每層進行具體闡述 ? 虛擬化資源層：將機器進行虛擬化，形成更大范圍的服務集群。 ? 存儲層：存儲數據的處理結果集或其他中間結果集的單元。 ? 數據處理層：獨立的數據處理程序，是對不同需求數據的統一處理方案，由JobKeeper 調度平臺進行統一的配置管理。 ? 業務層：對于應用層的相關功能的業務化，數字化處理，用于將應用層的需求任務進行規則化劃分，形成統一的處理化模式。 ? 應用層：一組用于管理和結果反饋的顯示組件。是整個系統面向用戶和開發人員的基礎承載。 JobKeeper 的任務分發流程如下圖所示： JobKeeper 任務分發流程圖 當用戶在應用層下發任務給管理節點，管理節點調度機器采集機器節點的信息，根據具體的算法選取最優節點并分發任務，接下來具體的處理節點接收到任務并處理同時將結果返回給管理節點，管理節點整理匯總處理結果，而后返回給應用層。 服務器 節點組：負責對處理節點的系統信息以及任務處理信息進行實時的跟蹤和保存，對應的信息鏡像存儲在基于 cStor 或者 NFS 服務的存儲系統上。 處理節點組：通過 RPC 的遠程調用獲取各自節點的任務處理目標，并實時的和處理節點上的任務處理目標進行對比，控制程序的執行和結束。處理節點組會在一個設定的心跳間隔內主動的和管理節點組聯系一次，報告節點存活狀態。 4 系統安全性設計 安全保障體系框架 NSA 提出的信息安全保障技術框架（ IATF），如下圖所示。 IATF 依據“深度防護戰略”理論，要求從整體、過程的角度看待信息安全問題， 強調人、技術、操作這三個核心原則，關注四個層次的安全保障：保護網絡和基礎設施、保護邊界、保護計算環境、支撐基礎設施。 圖表 基于深度防護戰略的 IATF 模型 IATF 模型從深度防護戰略出發，強調人、技術和操作三個要素： 人：人是信息的主體，是信息系統的擁有者、管理者和使用者，是信息保障體系的核心，是第一位的要素，同時也是最脆弱的。正是基于這樣的認識，安全組織和安全管理在安全保障體系中是第一位的，要建設信息安全保障體系，首先必須建立安全組織和安全管理，包括組織管理、技術管理和操作管理等多個方面。 技術：技術是實現信息安全保障的重要手段，信息安全保障體系所應具備的各項安全服務就是通過技術機制來實現的。當然 IATF 所指的技術是防護、檢測、響應、恢復并重的、動態的技術體系。 操作：也可稱之“運行”，它體現了安全保障體系的主動防御，如果說技術的構成是被動的，那操作和流程就是將各方面技術緊密結合在一起的主動過程，運行保障至少包括安全評估、入侵檢測、安全審計、安全監控、響應恢復等內容。 信息安全保障體系的實現就是通過建立安全組織、安全管理和防護技術體系，協調組織、技術、運作三者之間的關系，明確技術實施和安全操作 中技術人員的安全職責，從網絡和基礎設施、區域邊界、計算環境、支撐基礎設施等多層次保護，從而達到對安全風險的及時發現和有效控制，提高安全問題發生時的反應速度和恢復能力，增強網絡與信息的整體安全保障能力。 對于 云計算安全參考模型 ， 云安全聯盟 CSA（ Cloud Security Alliance）提出了基于 3 種基本云服務的層次性及其依賴關系的安全參考模型 ,并實現了從云服務模型到安全控制模型的映射。該模型顯示 PaaS 位于 IaaS 之上 ,SaaS 位于 PaaS 之上。該模型的重要特點是供應商所在的等級越低 ,云服務用戶所要承 擔的安全能力和管理職責就越多。 根據資源或服務的管理權、所有權和資源物理位置的不同 ,CSA 也給出了不同的云部署模型的可能實現方式及其不同部署模式下共享云服務的消費者之間的信任關系 ,如下 圖所示。 圖表 云部署模型的實現 此圖顯示 ,對于私有云和社區云 ,有多種實現方式 ,可以和公共云一樣 ,由第三方擁有和管理并提供場外服務（ offpremises） ,所不同的是共享云服務的消費者群體之間具有信任關系 ,局限于組織內部和可信任的群體之間。 對于每一種云部署實現方式 ,都可以提供 3 種基本的云服務。云部署實現的不同 方式和基本云服務的組合構成不同的云服務消費模式。結合云服務安全參考模型 ,可以確定不同的云服務消費模式下供應商和用戶的安全控制范圍和責任 ,用戶評估和比較不同云服務消費模式的風險及現有安全控制與要求的安全控制之間的差距 ,做出合理的決策。 云計算平臺的多級信任保護 云計算可信平臺實現系統平臺（計算環境）認證、應用系統完整性認證、分布式資源信任認證和用戶身份認證 4 個層次。多層信任保護的具體結構如下圖所示。 圖表 多級信任保護 在上圖中，平臺認證是基礎，為其他 3 種認證提供一個可靠的計算環境。平臺認證、應用認證、資 源認證和用戶認證都通過統一的證書機制來實現。 （ 1）云平臺信任保護 由于 TPM（ trust platform module）規范能夠支持現有的公鑰基礎設施，并且 TPM內部的認證密鑰和 64 位物理唯一序列號都能很好地實現自身和平臺的綁定。因此可信平臺之間的信任關系可以借助基于可信第三方的證書機制來保障。即每一個節點將能夠代表自身特征的關鍵信息以可靠地方式提交到可信第三方（如 CA 中心），可信第三方在核實這些數據的真實性和完整性后對其簽名，并為其頒發一個平臺證書。此后，該平臺在和其他平臺通信時可以出示該證書，以表明 自己的合法身份。平臺在向可信第三方提交平臺信息和驗證其他平臺證書合法性時，都需要借助 TPM 的硬件支持。在下圖所示的實例中，云平臺 A 和 B 都從證書頒發中心獲得自己的平臺證書。當 B 請求與 A 建立連接并向 A 出示自己的證書后， A 借助 TPM 驗證 B 出示的證書的有效