13面向海量數據處理領域的云計算及其關鍵技術研究_任崇廣(編輯修改稿)

　

【文章內容簡介】 的一個重要發展方向。它利用最先進的信息技術和網絡技術將各種天文研究資源,包括天文數據、天文文獻、計算資源、存儲資源、各種軟件工具,甚至天文望遠鏡等觀測設備,以統一的服務模式透明的匯集在統一的系統中。因此,導致了世界范圍內天文觀測的數據量以指數級別迅速增長。國家天文臺聯合上海天文臺、紫金山天文臺共同建設八個中國科學院科學數據主題庫中的天文科學數據主題庫,目前天文數據總共約90TB,包含有國內的郭守敬望遠鏡科學試觀測數據、上海天文臺天體多體與流體數值模擬數據、紫金山天文臺亞毫米波射電天文數據、南極天文臺CSTAR天體測光數據、BATC天體星表星圖數據,鏡像的國外數據:SDSS光譜星表、CDS星表、UCAC天體照相星表、2MASS星表等。中國科學院國家天文臺正在研制的空間太陽望遠鏡(SST)項目,在24小時內觀測所獲得的原始科學數據總量高達8640GB。空間科學數據網格數據資源覆蓋日地空間物理和行星科學兩大空間科學學科方向,數據資源總量近2TB。在高能物理學領域(),歐洲原子能研究機構CERN是世界最大的粒子物理研究中心,擁有世界最大的正負電子對撞機LEP (Large ElectronPositron Collider),原始數據的產生速率為IMB/sec,。而于2005年投入使用的大型強子對撞機LHC (Large Hadron Collider)其原始數據產生速度將達到lOOMB/s,導致每年約1PB的數據總量。這個數據量將是目前CERN所有設備產生的數據量的總和還要多一到兩個數量級。通過對各個領域海量數據的分析,我們發現海量數據有以下幾個共同的特點:(1)數據量過大——海量。由上述海量數據的分析可以看出,目前許多領域所要面對的數據其數據量已經達到TB級,并且將很快達到PB級。這給現存的大容量、高性能存儲設備,海量數據分析處理提出了巨大的挑戰。(2)數據的多源性和異構性。不同的領域、不同的行業在數據獲取階段所采用的設備、手段和方式都千差萬別,取得的數據在數據形態、數據結構上也各不相同。例如遙感領域的實驗數據大部分是以圖像的形式存在；而在流體力學的分析中,數據則由上百個表示不同屬性的參數組成,例如時間、溫度、壓力等；即使同一領域也可能包含有來自多種數據源的數據。數據多源性導致數據有不同的分類,不同的分類具有不同的數據格式,最終導致結構化數據、半結構化數據、非結構化數據并存,造成了數據資源的異構性。(3)高分布性和不確定性。數據量的增長速度已經遠遠超過了存儲能力的增長速度,現有的存儲設備已經不能滿足海量數據的存儲需求。即使在目前的狀況下,高性能計算機可以滿足部分領域海量數據的存儲需求,但是其價格相當昂貴,運行成本,維護成本也非常高,操作復雜,難以被推廣應用。相比于高性能計算機,磁盤、磁帶等存儲設備雖然存儲容量較低,但易于購買、維護,而且價格也容易讓人接受。因此大部分機構選擇磁盤或磁帶作為主要的存儲設備,將數據由早期的集中式存儲改為分布式存儲。在同一領域,甚至跨領域之間的合作已經越來越普遍,數據或信息之間的共享與交換變得非常頻繁。因此無論是從技術角度、成本角度,還是使用角度,都決定了海量數據資源的高分布性已經成為一種必然。不確定性可能是原始數據本來就不準確或是采用了粗粒度的數據集合,也可能是原始數據是為了滿足特殊應用目的或是經過處理缺失值或者數據集成而生成的。處理過程中的數據本身的不確定性、語義匹配的不確定性和查詢分析的不確定性等。為了獲得客觀對象的準確信息,需要去粗取精、去偽存真,以便人們更全面地進行表達和推理等。現代通信和傳播技術,大大提高了信息傳播的速度和廣度。隨著信息技術和互聯網的迅速發展,網絡中數據量的急劇增加,信息時代出現了數據爆炸,信息泛濫及噪音化趨勢,人們獲取所需信息也變得越來越困難。隨著網絡中數據的爆炸式增長,人們的需求己經不只是簡單的查詢信息,而是希望能夠對這些數據進行較高層次的處理和分析,從而發現數據中潛在的知識,以便更好地利用這些數據。目前的大多數據庫系統只提供數據錄入,查詢,統計等功能,很難發現數據中存在關系和規則,無法根據己有的數據預測未來的發展趨勢,不能挖掘出數據背后隱藏的知識,導致了數據爆炸,但知識貧乏的現象。數據統合處理即資源整合過程,是指將某一范圍內的,原本離散的、多元的、異構的、分布的信息資源通過邏輯的或物理的方式組織為一個整體,使之有利于管理、利用和服務。我們也可以這樣來理解數據統合處理,就是把分散的資源集中起來,把無序的資源變為有序。這也是廣義的信息數據統合概念,它包含了信息采集、組織、加工以及服務等過程。資源的種類越來越豐富,數據庫和信息資源檢索系統越來越多,檢索方式、檢索手段各式各樣。造成了數據冗余、相互關聯程度低,大量的信息孤島出現,同時用戶的檢索負擔也日益加重。因此,需要有一種手段把這些信息集中、整序、關聯起來,把檢索系統集成起來,使用戶知道到哪里可以找到所需要的信息,怎樣去查找這些信息,如何篩選檢索結果,這就是數據統合處理的最終目的。數據統合的必要性:數據和信息系統分散信息資源利用程度較低支持管理決策能力較低對于大量的數據不能提供一個統一的數據接口,不能釆用一種通用的標準和規范,無法獲得共享通用的數據源,于是不同的應用系統之間必然會形成彼此隔離的信息孤島。信息孤島是當前信息化建設中亟待解決的主要癥結,因此如何徹底的消除信息孤島,有效的整合現有及未來的業務應用系統的數據資源已成為當前信息化建設的重中之重。信息資源的整合方法、途徑和手段多種多樣,但一般來說包括三個層面:其一是數據層(又稱資源層),即把有關信息資源集中為一體；第二是操作層(又稱作服務層或中間層),即通過軟件或平臺對有關信息資源進行統一利用；第三是系統層(又稱應用層),即包含數據內容、軟件系統以及基礎設置的全面整合。數據統合是一個系統工程,如何在理論的指導和經驗的驅使下,使信息資源的整合工程做到最優。信息數據統合不僅僅是把信息資源聚集在一起,而是涉及到對信息描述、組織、處理、整序、檢索、服務等方方面面,這些方面都需要有一定的技術來支撐。具體技術主要包括如下幾個方面。數據的組織、轉換相關技術數據的組織技術主要解決不同類型、不同結構的數據如何組織在一起；如信息資源涉及到的分類控制方法:行業分類表、地區分類表、中圖法范疇分類體系、用戶自定義分類體系等資源多分類組織技術。數據轉換技術主要解決將不同格式、不同平臺下的數據轉換問題,MARC、DOC、PDF、TXT等不同格式的文件的格式分析,數據交換或轉換技術,數據的查重去重技術等。此外還包括數據封裝技術,如XML技術。索引技術索引技術的研究,主要解決整合后的索引如何構造的問題,這些索引要滿足不同檢索算法和檢索需求,如,全文檢索、同義詞檢索、排除檢索、擴檢和縮檢、集成(整合、跨庫、一站式)檢索技術(涉及到關鍵詞、主題詞、分類導航、元搜索、TOPK集成檢索等整合檢索)、跨語言的信息檢索技術、概念檢索技術(利用同義詞詞典、概念詞典)等進行基于概念(或基于語義、基于本體)的檢索。數據描述技術信息源的語義內容描述、語義的識別能力及信息重復率,覆蓋度等研究,也包括如何用元數據來表達整合后的數字信息,信息標引中所使用的元數據標準(如DC),元數據之間(如DC與MARC的兼容互換、不同分類體系之間(如DDC號與中圖分類號)的自動映射技術等。信息自動化處理技術信息的自動標引(包括智能分詞、信息抽取、信息過濾、話題跟蹤、關鍵詞標引、主題標引、概念標引及其它元數據的自動標引)、自動分類(分類也是一種整合)、自動文摘、自動篇章分析、機器翻譯(多語種的資源進行整合時)等。智能信息處理中所應用的方法,如數據挖掘、機器學習、自然語言處理技術、本體工程等。個性化服務技術個性化可以劃分為界面風格的個性化(包括面向各個用戶的個性化風格、提供資源服務的風格界面與其它Web應用系統的界面的一致性風格等)、提供個性化的資源(就圖書館整體來說,提供特色資源,就用戶個體來說,提供個人化的資源)。后者涉及到的核心技術有用戶檢索行為的獲取、分析與利用、用戶反饋檢索、用戶檢索歷史的應用、個性化推薦服務、信息協同過濾等、定題信息提供(SDI)等。信息數據統合涉及到的其他的關鍵技術主要包括:信息數據統合的相關標準、協議,如元數據標準,數據轉換標準及檢索協議；此外,還包括動態信息發布技術,分布式軟件體系,網絡安全控制技術等。信息數據統合引發的網絡服務變革,數據統合后,信息服務部門的信息資源將成為一個整體,過去在不同資源中來回切換的訪問變成了一站式服務,過去的等待服務轉變成了主動服務,服務的深度加強了,服務的范圍擴大了,人們已經意識到信息數據統合將為網絡服務帶來新的變革。從信息服務到內容服務的轉變數據整合以后,信息資源管理單位擁有統一的用戶交互接口,提高了資源的獲取效率并方便了用戶使用。更重要的是,整合后的資源其間關聯更加緊密,許多隱藏在信息中的知識逐漸顯現或能夠被挖掘出來,人們對知識服務的需求已經可以得到滿足。因此,從信息服務到內容服務、知識服務的轉變,已成為一種必然。從等待服務到主動服務的轉變信息服務部門大多以等待服務或被動服務為主的服務形式,由于用戶對資源缺乏了解和對系統使用技能的掌握,使之不能得到及時和有效的服務。但是,在傳統的信息服務系統下,要做到或者說要做好主動的信息提供是非常困難的。網絡環境下的數據統合系統則可以使主動的信息提供很方便的做到和做好。基于知識共享的服務網絡通過信息數據統合,知識達到充分共享的程度,知識價值得到充分體現。今后的信息服務機構的資源將會向整合化方向發展,提供的服務由最初提供單一的物理實體服務,向多層次、多元化、數字化的知識共享服務方向發展。如緒論中所述,云計算是分布式計算(Distributed Computing)、并行計算(Parallel Computing)、效用計算(Utility Computing)、網絡存儲(Network Storage Technologies)、虛擬化(Virtualization)、負載均衡(Load Balance)、面向服務架構(ServiceOriented Architecture,簡稱為SOA)等計算機技術和網絡技術發展融合的產物。云計算(Cloud Computing)是在2007年第3季度才誕生的新名詞,但僅僅過了半年多,其受到關注的程度就超過了網格計算,分布式計算,并行計算,。 云計算、網格計算等在Google中的搜索趨勢云計算模式是一種通過第三方網絡服務方式提供高性能計算和海量存儲的商業計算模型,能夠屏蔽IT基礎設施、軟件平臺的復雜性,實現自動管理,提供高可靠性、高可擴展性、可配置以及按需服務的網絡化服務能力。其特點如下:(1)超大規模“云”具有相當的規模,Google云計算已經擁有100多萬臺服務器,Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬臺服務器。企業私有云一般擁有數百上千臺服務器。“云”能賦予用戶前所未有的計算能力。(2)虛擬化云計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自“云”,而不是固定的有形的實體。應用在“云”中某處運行,但實際上用戶無需了解、也不用擔心應用運行的具體位置。只需要一臺筆記本或者一個手機,就可以通過網絡服務來實現我們需要的一切,甚至包括超級計算這樣的任務。(3)高可擴展性和高可靠性“云”使用了數據多副本容錯、計算節點同構可互換等措施來保障服務的高可靠性,使用云計算比使用本地計算機可靠。對互聯網應用來說,其用戶數量和資源需求量的變化都非常大,很難事先有個準確的系統容量估算。而對于傳統應用來說,不同時間段中用戶使用應用的模式也有很大的差異。云計算平臺的高可擴展可以很好地滿足應用負載和需求變化的要求。云計算平臺的資源池相對于單個用戶的需求而言是比較大的,考慮到會有大量不同用戶共用一個資源池,他們之間的資源使用模式一般存在一定的互補性,所以對于某個用戶的需求而言,云計算具有很高的擴展性,其資源幾乎是無限的。另外,云計算平臺在做架構設計的時候,都需要考慮到如何讓用戶可以平滑擴展他們的資源需求,比如計算資源、存儲資源等。(4)按需服務云計算是把信息技術作為服務(IT as a Service )提供的一種方式。這種服務的概念都是從消費方(用戶)角度出發、而不是從服務提供方出發來考慮問題,因此一個基本特點是要求按需服務,即用戶可以根據需求即時得到服務。從這個角度講,云計算就像我們公共服務中的自來水、電和煤氣一樣,集中供應并按需服務和計費。對用戶來說這種按需服務的方式可以降低他們使用服務的進入和退出門濫,從而降低服務綁定的可能性和投資風險。(5)經濟性由于“云”的特殊容錯措施可以釆用極其廉價的節點來構成云,“云”的自動化集中式管理使大量企業無需負擔日益高昂的數據中心管理成本,“云”的通用性使資源的利用率較之傳統系統大幅提升,用戶可以充分享受“云”的低成本優勢,經常只要花費幾百美元、幾天時間就能完成以前需要數萬美元、數月時間才能完成的任務。(6)資源池化云計算帶來的一個好處是能夠提高資源的利用率,一般需要通過共享的方式來達到這個目的,而共享需要先把資源集中到一個公共的資源池中。因此,云計算需要把計算資源集中到一個資源池中通過多主租用的方式來為不同用戶提供服務。對用戶來說,具體物理資源的位置對他們而言是透明的,用戶一般也不能控制具體資源的位置。但是,有時候出于法規遵循和數據傳輸性能的考慮,云計算服務商會提供一些高層次的位置信息,比如在哪個國家和地區或在哪個數據中心。根據這個資源池中資源的類別,我們把云計算的服務模型分為三大類,即所謂的Sn模型SaaS,PaaS和laaS。所以,云計算是分布式計算、互聯網技術、大規模資源管理等技術的融合與發展,其研究和應用是一個系統工程,涵蓋了數據中心管理、資源虛擬化、海量數據處理、計算機安全等重要問題閱,。云計算目前在國際上應用的現狀。大概可以分成三個層面:第一個層面是公共層面,比較典型的例子是雅虎和谷歌搜索,以及谷歌所提供的Gmail。這些是公共商業服務,基本模式是免費的,用廣告支撐。當然也有付費的,按照基本上是以公眾服務為主。這就是云計算互