云存儲技術研究發展畢業設計(已修改)

　

【正文】 武漢理工大學畢業設計（論文）云存儲技術研究發展畢業設計目錄摘要 IAbstract II1緒論 1 1 22云存儲的概念 3 3 3 4 43云存儲的關鍵技術 6 6 7 數據備份技術 8 8 副本數據布局 8 連續數據保護 8 數據縮減技術 9 自動精簡配置 9 自動存儲分層 9 重復數據刪除 10 數據壓縮 10 11 容錯技術 124云存儲的架構技術 13 13 15 16 175云計算仿真CloudSim 20 20 22 22 296 總結及展望 30 本文工作總結 30 30參考文獻 31致謝 33摘要云計算是當前研究與應用的熱點問題。至今為止，Google、Microsoft、IBM、亞馬遜等IT商業巨頭都推出了自己的云計算平臺，并把云計算作為其未來發展的最主要戰略之一。云存儲作為云計算的底層服務，對上層服務提供重要的支持；同時，云存儲可以有效的存儲和管理海量數據，所以更是成為專家學者們關注的焦點。因此，云存儲的研究不但緊跟發展的趨勢，同時還具有較高的應用價值。云存儲是一種架構復雜的分布式文件系統，一是其建立在云計算系統的基礎設施之上，這樣的基礎實施是基于廉價的或虛擬化了的不可信物理硬件；二是其必須支持超大節點規模和海量數據的高效存儲，這對于系統架構和模塊設計的關鍵技術提出了巨大的挑戰。本文討論了云存儲的發展背景，給出了云存儲的定義，描述了云存儲的特點，提出了云存儲的架構模型，系統地闡述了云存儲的關鍵技術，對比了GFS、GPFS、HDFS、Dynamo架構的特點，并用CloudSim對云計算系統進行了仿真。關鍵詞：云存儲，關鍵技術，架構模型，HDFS，CloudSimAbstractCloud puting is a hot topic in recent research and applications．Up to now, Google、Microsoft、IBM、Amazon and some other famous cooperations have proposed their cloud puting application, and take cloud puting as one of the most important strategy in the future．Cloud storage is the lower layer of cloud puting system which supports the service of the other layers above it．Meanwhile，it is an effective way to store and manage heavy data．So it focused even more attentions from some researchers．Therefore, the research of cloud storage will not only keep up on trends, but also has a high application value.Cloud storage is a distributed file system with plicated architecture．Firstly，it is implemented on top of the cloud puting infrastructure which is based on cheap，virtualized and unreliable physical hardware．Secondly，it should supports huge server scale，efficient heavy data storage．All of these challenge the key technologies of the system architecture and modules design．This article discusses the background of the development of cloud storage, gives the definition of cloud storage,describes the characteristics of cloud storage, proposes the mode of cloud storage architecture,exposed the key technologies of cloud storage systematically, pared the features of GFS, GPFS, HDFS, Dynamo architecture , and simulated the cloud puting system with CloudSim.Key Words:cloud storage,the key technologies,the mode of cloud storage architecture,HDFS,CloudSimII1緒論近年來，隨著云計算[12]和軟件即時服務[35]的興起，云存儲成為信息存儲領域的一個研究熱點。與傳統的存儲設備相比，云存儲不僅僅是一個硬件，而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的系統[6]。這是一種具有很大誘惑性的存儲技術，云存儲可以實現存儲完全虛擬化，大大簡化應用環節，節省客戶建設成本，同時提供更強的存儲和共享功能。云狀存儲中所有設備對使用者完全透明，任何地方任何被授權用戶都可以通過一根接入線與云存儲連接，進行空間與數據訪問。用戶無需關心存儲設備型號、數量、網絡結構、存儲協議、應用接口等，應用簡單透明。因此，云存儲的研究不但緊跟發展的趨勢，同時還具有較高的應用價值。迄今為止，人類對于計算機發展的需求所關心的共同問題都集中在如何進行高效的存儲和存儲如何促進計算的協作上。存儲與之相關計算的發展歷經了以下四個的階段[7]：（1）集中式的應用和存儲——客戶機/服務器計算在計算的初期，所有的應用軟件、所有的數據和控制器都位于大型的電腦主機之上。用戶必須連接到主機，獲得適當的權限后才能訪問數據。（2）存儲資源共享——對等計算無須經由服務器，將一臺計算機連接到另一臺計算機，導致了P2P對等計算的發展。在P2P網絡中沒有主機，所有的通信不再經由主服務器，計算機平等運行，所有的數據分散存儲到對等的節點上，提高了通信效率，易于進行數據的共享。（3）存儲與計算的分布式化個人電腦能的計算和存儲的資源很大一部分沒有得到較好的利用，分布式計算能很好的利用這些資源。當一臺計算用于某個分布式項目時，需要在機器上安裝軟件，它會利用空閑的時間進行數據的存儲與運算并定期傳送到分布式計算網絡中與該項目中的其它計算合并結果。只要有足夠的計算機參與，這種做法足以比擬更大的主機和超級計算機的處理能力，用戶可以共享文件并同時在相同的文件上工作。（4）云計算——瘦客戶端下的計算與存儲隨著手持設備的發展，云計算的產生使得在瘦客戶端——沒有多少計算力和存儲空間的接入設備上，也能夠進行海量數據的處理[8]。更深入的來看存儲技術的發展。由于單機存儲方案無法滿足數據拓展和協作性，而產生了分布式存儲系統[10]。分布式存儲系統是基于硬件的存儲技術，由于其較大的成本和較差的靈活性而逐漸被大型企業放棄[9]。云存儲是一種新的分布式存儲模式，具有廉價、高可靠性和安全性的優點[7,9,11,12]，成為未來最值得期待推廣和應用的技術之一。云存儲這個概念一經提出，就得到了眾多廠商的支持和關注[13]。Amazon公司推出彈性塊存儲技術支持數據持久性存儲；Google推出在線存儲服務GDrive；內容分發網絡服務提供商CDNetworks和云存儲平臺服務商Nirvanix結成戰略伙伴關系，提供云存儲和內容傳送服務集成平臺；EMC公司收購Berkeley Data Systems，取得該公司的Mozy在線服務軟件，并開展SaaS業務；Microsoft公司推出Windows Azure，并在美國各地建立龐大的數據中心；IBM也將云計算標準作為全球備份中心擴展方案的一部分。目前有近百種云存儲系統。一些系統有明確的關注點，如存儲網絡電子郵件信息或者數字圖片。其它一些用來存儲所有形式的數字文件。一些云存儲系統是小規模操作的，其它一些是超大集群的以至于物理設備能填滿整個倉庫。盡管對于云存儲來說有很多優勢值得我們選擇和研究，然而云存儲仍面臨著許多技術的難題，特別是安全性。[13]，可以看出安全、控制和性能等問題是關注的焦點。有效的控制和性能反映出用戶對于云存儲可用性的期待。目前云存儲研究的熱點仍集中在安全性、可用性、可靠性三個方面。云存儲安全特別是用戶數據的隱私問題，即服務商也不能得到用戶的數據，至今沒有較好的解決方案。 云存儲的關注調查2云存儲的概念 云存儲是指通過集群應用、網格技術或分布式文件系統等功能, 將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作, 共同對外提供數據存儲和業務訪問功能的一個系統。云存儲系統以傳統的分布式存儲技術為基礎，利用高吞吐率網絡技術為依托，一方面高效地整合管理網絡存儲資源，另一方面對外提供友好的接口，發布便捷的網絡數據存儲服務。與傳統的存儲設備相比，云存儲不僅僅是一個硬件，而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的系統[12]。云存儲不是存儲, 而是服務。使用者使用云存儲，并不是使用某一個存儲設備，而是使用整個云存儲系統帶來的一種數據訪問服務。云存儲的核心是應用軟件與存儲設備相結合，通過應用軟件來實現存儲設備向存儲服務的轉變[13]。相比于傳統的集中存儲方式，云存儲系統具有以下幾點優勢：（1）更容易擴容(包括帶寬)云存儲的擴容過程將變得簡單：新設備僅需安裝操作系統及云存儲軟件后，打開電源接上網絡，云存儲系統便能自動識別，自動把容量加入存儲池中完成擴展。相比傳統的存儲擴容，云存儲架構采用的是并行擴容方式，即當容量不夠時，采購新的存儲服務器即可，擴容環節無任何限制。（2）更易于管理在傳統存儲系統管理中，管理人員需要面對不同的存儲設備不同的管理界面，要了解每個存儲的使用狀況，工作復雜而繁重，當傳硬盤或是存儲服務器損壞時，讀寫效率會降低，數據很可能丟失；而云存儲沒有這個困擾，硬盤壞掉，數據會自動遷移到別的硬盤，不需要立即更換硬盤，大大減輕了管理人員的工作負擔。對云存儲來說，管理人員只要在整體硬盤容量快用完時，按需采購服務器即可，通過一個統一管理界面監控每臺存儲服務器的使用狀況，使得維護變得簡單和易操作。（3）成本更低廉傳統的存儲系統對硬盤的要求近乎苛刻，必須同廠家、同容量、同型號，否則系統很容易出問題。面對升級換代較快的IT產業，硬盤在使用2～3年后很難找到同型號產品更換。而云存儲沒有這個問題，云存儲系統中不同的硬盤可以一起工作，既可以實現原有硬件的利舊保護投入，又可以實現新技術、新設備的快速更新，合理搭配、可持續發展。且云存儲系統中所采用的存儲及服務器設備均是性價比較高的設備?？蓪崿F長久合作關系下，設備商采購的穩定渠道，便于實現對成本及服務質量的控制。（4）數據更安全，服務不中斷傳統存儲系統會因為硬件損壞而導致服務停止，雖然可以設計全冗余的環境，但成本相對太高且工作復雜。云存儲系統則不同，它可通過將文件和數據保存在不同的存儲節點， 避免了單一硬件損壞帶來的數據不可用。云存儲系統知道文件存放的位置，在硬件發生損壞時，云存儲系統會自動將讀寫指令導向存放在另一臺存儲服務器上的文件，保持服務的繼續。另外，傳統存儲系統在升級時，往往需要把舊的存儲設備文件備份出來后，停機換上新的存儲設備，這通常會導致服務的短暫停止。云存儲并不單獨依賴一臺存儲服務器，因此存儲服務器硬件的更新、升級并不會影響存儲服務的提供，系統會將舊存儲服務器上的文件遷移到別的存儲服務器，等新的存儲服務器上線后，文件會再遷移回來。從整體來看，云計算系統可以認為是以數據處理、數據運算為中心的系統。云計算的設計方向是將在不同地域的各種計算資源，通過虛擬化方式統一到龐大的計算資源“云”系統中來。云系統統一調配、協調、處理來自不同客戶的運算需求，通過云系統計算后對外輸出運算結果。云計算的一個核心理念就是通過不斷提高“云”的處理能力，進而減少用戶終端的處理負擔，最終使用戶終端簡化成一個單純的輸入輸出設備，并能按需享受“云”的強大計算處理能力。通過云計算技術，網絡服務提供者可以在數秒之內，處理數以千萬計甚至億計的信息，達到和“超級計算機”同樣強大的網絡服務功能。云計算系統不但能對數據進行處理和運算，系統中還有大量的存儲陣列設備，以實現對計算數據的保存和管理。在云計算系統中配置相應的存儲設備，該計算系統即擁有了云存儲系統功能。由此可以理解，云存儲是云計算系統的延伸，是配置了大容量存儲空間的云計算系統，可以說云存儲是云計算服務的一種，即SaaS[13](storage as a service，存儲即服務)，甚至可以說，利用云計算系統來建立存儲系統，此時的云存儲概念相當于一個云計算服務，它往往稱之為“存儲云”。如亞馬遜的S3服務，我們可以利用它來建立另外一個存儲系統，S3服務本身就是云服務，所以這樣的系統可以稱為云存儲。云存儲系統的結構模型由4層組成。（1）存儲層存儲層是云存儲最基礎的部分。數量龐大的云存儲設備分布在不同地域，彼此之間通過廣域網、互聯網或者FC光纖通道網絡連接。各存儲設備上都安裝有統一的存儲設備管理系統，可以實現存儲設備的邏輯虛擬化管理、集中管理、多鏈路冗余管理以及硬件設備的狀態監控和維護升級等。（2）基礎管理層基礎管理層是云存儲最核心的部分，也是云存儲中