集群存儲解決方案-資料下載頁

【導讀】項目存儲系統解決方案。北京龍存科技有限責任公司

　　

【正文】 在任何單點性能限制。存儲服務器集群中所有的存儲服務器都同時提供 IO 服務，能夠向應用服務器提供數百 GByte/s 級的聚合 IO帶寬，能夠滿足應用平臺中大量的應用服務器同時訪問存儲系統帶來的性能需求。 集群存儲系統的雙集群模式（元數據服務器集群和存儲服務器集群）使得整個存儲平臺在架構上沒有任何性能瓶頸，能夠提供超過數百 GByte/s 的聚合 IO帶寬以及 1000 萬次以上的 IOPS（每秒讀寫次數 ）。 34 動態在線擴展 集群存儲系統中的元數據服務器集群和存儲服務器集群都可以在線動態擴展。存儲服務器集群的擴展包括存儲服務器數量和存儲服務器中磁盤數量的擴展，存儲服務器集群的擴展帶來的是容量上的增長，在擴展過程中無需中斷存儲系統上應用的運行，擴展的容量即插即用。而且隨著存儲服務器數量的增多，整套集群存儲系統的聚合帶寬也會線性的增長。 元數據服務器集群的擴展帶來的是文件數量存儲能力的增長，整個擴展過程對整個應用平臺完全透明，擴展的元數據服務器即刻能夠提供服務，前端應用無需進行任何配臵。隨著元數據服務 器數量的增多，整套集群存儲系統所提供的元數據服務能力也會呈線性增長，能夠管理的文件總個數也線性增加。 高可靠性 在集群存儲系統設計中，我們假設任何硬件設備都是不可靠的，集群存儲系統的可靠性不依賴任何硬件設備來實現，在集群存儲系統中任何元數據服務器、存儲服務器、磁盤以及網絡設備的失效都不影響集群存儲系統的穩定運行。 1）元數據高可靠 如下圖所示，在集群存儲系統中，把文件系統的整個名字空間按照元數據服務器的個數進行均分，分別存儲在不同的元數據服務器上，并同時向客戶端提供服務。在元數據集群中所有的元數據都是同時對外提供服務的，支持海量文件高速查詢，能夠輕松應對大量客戶端并發進行查詢操作。 35 元數據分布模式 為了防止元數據服務器的單點故障，我們把元數據服務器進行兩兩配對。配對的元數據服務器互相備份對方的數據和服務，并實時的同步元數據的更新，任何一臺元數據宕機或者損毀，另一臺元數據服務器都將自動接管其服務，而不會造成前端應用的中斷。 2）數 據高可靠 在應用平臺中，不同的應用的不同數據對數據的可靠性有不同的需求，集群存儲系統允許對虛擬存儲池中不同的目錄設臵不同的副本數，可手動設臵 14 個文件副本數量 以及 LeoRAID 的文件級別 RAID 的數據保護機制 ， 可保證數據在多塊磁盤甚至單臺服務器損壞的情況下 存儲系統的 服務正常運轉。 為了保證任何一臺存儲服務器失效或者是任何一塊硬盤失效都不會影響數據的可靠性和一致性，在客戶端往存儲系統中寫入數據時，所有的數據副本 以及數據校驗都 是同時寫入到存儲系統中的，當正在有數據發生寫入的磁盤和存儲服務器發生故障時，元數據服務 器會為此數據對象分配在正常的存儲服務器和磁盤中分配新的空間，以繼續進行數據寫入，而之前在失效磁盤上寫入的數據則會通過另一份數據副本恢復到相應的磁盤和存儲服務器上。 S i n g l e N a m e S p a c em e t a 1 m e t a 2 m e t a ( N ) m e t a ( N + 1 )m e t a 2 m e t a 1 m e t a ( N + 1 ) m e t a ( N )元 數 據 分 布 模 式36 為了保障失效的數據能夠得到及時的恢復，讓整個存儲系統能夠時刻保證最高的安全狀態，我們在集群存儲系統中內臵一套自動故障探測機制，一旦探測到故障則自動啟動數據恢復流程。為了完成無人工干預的自動回復，在集群存儲系統的架構設計中，我們無需在恢復過程中加入新的硬件。存儲系統將為損失的數據在完好設備中分配新的空間，失效設備上的數據將被恢復到正常的存儲服務器和 磁盤中。 為了提高數據恢復的效率，在集群存儲系統中數據恢復是基于真實數據的恢復，只恢復存儲設備中有效的數據，而不是像傳統存儲系統那樣針對整個磁盤所有塊的數據恢復，這樣可以有效的減少數據恢復過程中的數據傳輸量。 數據動態遷移 隨著應用平臺的持續運行和擴展，集群存儲系統也需要進行不斷的擴展。擴展帶來了一個問題，新添加的存儲服務器中沒有任何的數據，而原有的存儲服務器空間利用率卻維持在一個較高的狀態，此時集群存儲系統只能在新添加的存儲服務器上為數據分配空間，從而導致整個集群存儲系統的寫入性能不能得到有效提升。為此我們需要在系統擴容后可以將原有存儲服務器上的一部分數據動態的遷移到新添加的存儲服務器中，直到整個存儲服務器集群的空間利用率都達到一個相同的狀態。 數據動態遷移的實現還帶來一個好處，我們可以籍此替換老舊的過保硬件，我們可以將一臺存儲服務器上的數據動態遷移到剩余的完好存儲服務器上，在數據遷移完成之后即可在集群存儲系統中刪除此存儲服務器。借助數據動態遷移功能我們可以有效安全的撤除老舊設備，從而在線更新集群存儲系統中的所有的硬件。從上述可以得到，集群存儲系統可以確保集群存儲系統持續不斷地運行下去，37 并進行自我更新，實現可伸縮性綠色節能。 數據隔離與交互 存儲平臺是一個公共的服務平臺，我們需要在共享訪問的基礎上減少不同應用之間的相互干擾。在這里，我們可 以讓不同的應用掛載到集群存儲系統中不同的子目錄下，這樣既滿足了同一應用不同服務器之間的共享訪問需求，又隔離了不同應用的數據。這樣的數據隔離是邏輯上的隔離，各應用在相互隔離的情況下還能夠共享集群存儲系統的剩余空間和整體 IO 性能，無需將集群存儲系統像SAN 系統那樣分割成多個小塊，在滿足需求的同時也簡化了整個存儲平臺的管理，且 linux 可動態的對此目錄進行容量設臵。 系統可維護性 集群存儲系統可以對系統內所有服務器硬盤設備進行控制，并自帶硬盤探測機制，可以監控到硬盤的使用狀態以及數據讀寫延遲，一旦出 現硬盤壞道或訪問不穩定的情況，系統可自動恢復此磁盤上的所有數據到其它正常磁盤上，且可進行禁止寫入數據、禁止恢復數據的設臵，方便運維人員對系統進行系統化的維護，且可以根據現有服務器情況提出在線更換所有老舊設備方案，爭強整套存儲系統的可維護性。 監控系統 龍存集群存儲監控系統可以實現單點管理多處數據中心，且管理界面上嵌入了存儲系統中的所有配臵方法，可以監控到系統內所有存儲服務器的運行狀態、CPU 使用率、操作系統版本、存儲系統整體訪問帶寬、所有服務器磁盤使用效率與磁盤運行狀態、運行時間、內存使用率等信息，并可設臵自動報警機制，當38 服務器出現宕機或者磁盤損壞時，監控系統會自動將此消息發送到運維人員的手機或者 Email 上，方便運維人員管理，減少運維成本。 監控圖示如下圖所示： 分級存儲機制 龍存集群存儲自帶分級存儲機制，可以根據用戶對性能的不同需求 ，根據目錄劃分不同的硬件設備存儲目錄下的數據， 可適應于時代的發展，根據硬件設備的更新變革，為不同的應用系統添加更新后的硬件設備， 以此來保證在一套 存儲系統可以滿足所有應用系統對性能的需求，且提升整體硬件利用率。 POSIX 接口 為了廣泛支持各種現有的應用和方面構建新的應用系統，我們采用 POSIX接口作為應用訪問接口。從上述內容可知。 POSIX 接口是一個廣泛應用于各個39 操作系統的一個 API 規范，采用 POSIX 接口作為集群存儲系統的訪問方式能夠滿足應用領域中多樣化的應用系統訪問存儲系統的兼容性。 POSIX 也是一個應用廣泛的編程模型，現有的應用可以無縫的遷移到應用平臺上。如果采用特有API 模式（如 S3 和 Google File System）則所有的應用都必須進行大量的修改，甚至完全重新開發。開發人員需要新的編程模型，也加大了開發新應用的難度，不利于云計算平臺的推廣和使用。如果采用 Web 模式（如 Facebook 的 Haystack）則只能滿足網站類應用，不能滿足應用平臺上多種應用類型的需求。 40 方案構成 序號 軟件名稱 產品編碼 功能描述 數量 1 元數據服務軟件 基礎軟件 LSSW5030MDBASE 存儲數據物理和邏輯管理 2 2 集群軟件 LSSW5030MDCLST 元數據服務器集群調度 2 3 大目錄 LSSW5030MDDRCT 提高單目錄文件數量管理能力 2 4 靈活冗余 LSSW5030MDFLBK 支持文件動態冗余度設臵 2 5 自動恢復 LSSW5030MDRCVR 故障偵測，數據自動遷移恢復 2 6 負載均衡 LSSW5030MDLDBC 負載平均分配到各存儲節點 2 7 存儲節點控制軟件 LSSW5030NDCTLR 存儲及網絡設備管理，提供網絡文件共享協議 Server端支持 8 8 網絡文件共享協議 LSSW5030NDNFPT 客戶端支持 不限 41 第五章 服務承諾及 服務保證 服務承諾 1.） 我公司 將在項目初期 組建 專業的技術支持團隊 ， 團隊由以下人員組成：系統部項目經理、系統維護高級工程、住場工程師組成，其職責是對系統的技術支持、咨詢、定期巡檢、現場排查和解決問題，確保系統正常高效運行； 2.）在合同 規定的保修期內負責 維護 系統正常運行過程中產生的軟硬件故障 ，并對系統內損壞硬件進行無條件更換（如果項目中硬件非我公司提供，則此條服務承諾失效）。 3.） 服務類型包括：熱線電話 ， 由工程師指導排除故障 ，工程師 現場排除故障 ， 最快速度響應用戶的服務需預防性服務，提供定期維護以保證系統的正常運行和排除故障隱患 。 服務條款 及保證 ：客戶的系統初步建成并投入運行后，由于受外界環境、內部組織結構變化及可能的人員操作不當的影響，可能會產生一切非產品本身的問題。為了使客戶擁有一個健壯的業務系統，我們將與客戶共同評估今后對系統維護的需求， 由工程進行現場維護，直到系統穩定為止； ：當系統發生問題時，首先由客戶的技術人員對故障現象、故障信息進行詳細的觀察記錄，然后通過有效手段將資料通報我們，由我們的技術人員與客戶一起進行故障會診，確認合適的解決方案，然后指導客戶方人員進行現場操作，排除故障 ； 小時響應：當客戶系統發生故障時，客戶通知我們后，公司方面將在42 2 小時內作出響應，確定問題的性質，以便確定派出有此方面經驗的工程技術人員或高級技術顧問，盡快趕赴現場解決問題 ； ：龍存科技不僅能夠為客戶提供所有產品和應用開發 方面的具體服務，還將依據技術合同對其計算機網絡系統的業務及管理運作提供更深入的咨詢服務 ； ：在系統運行的每一個關鍵點，如系統擴容、數據從舊系統向新系統遷移、升級到更高端系統等，公司將響應客戶請求派出應用工程師到現場提供技術保障 ； ：如有可能公司將建立維護環境，通過遠程網絡為客戶提供系統支持和維護服務。 ：龍存科技對于客戶提出的簡單問題，通過電話進行咨詢和解答 ； 43 第六章 總結 本建議書首先對用戶存儲系統規劃進行需求進行分析，提出了采用Loongstore集群存儲 系的總體方案建議，將數據資源的相關的內容存儲整合起來，提高行業整體競爭力。并總結出應用系統架構存儲系統的設計原則和目標，包括安全性、可靠性、高性能、共享訪問、可擴展性、易管理性、數據一致性、特制服務和總擁有成本。 總而言之，龍存科技將憑借著先進的技術前瞻性、卓越的技術實力和豐富的項目實施經驗，為貴公司的存儲基礎架構提供高質量的產品、解決方案和服務，作出高價值的貢獻。 北京 龍存科技有限 責任 公司 地址：北京市海淀區 靜淑苑路 2 號創業廣場 502A 電話 : 01082374884 傳真 : 01082372453 網址 :