基于linux集群的云服務(wù)的技術(shù)設(shè)計與實現(xiàn)碩士學(xué)位論文(存儲版)

　　

【正文】 數(shù)據(jù)中心就是一大堆物理設(shè)備孤立的堆砌，想要建立好數(shù)據(jù)中心，必須管理好日益增多的物理設(shè)備，保持良好的環(huán)境，不要損壞和丟失，出了故障要有人維修。 同時， 應(yīng)用程序可以與底層服務(wù)協(xié)作，最大限度的利用資源。本文就結(jié)合這一研發(fā)過程，由“云”在企業(yè)軟件架構(gòu)中的應(yīng)用引入，深入研究基于 Linux 集群的云服務(wù)技術(shù)的研發(fā)與實現(xiàn)，著重 對分布式系統(tǒng)部署，以及云計算安全等方面進行探索研究。使人們“像用電一樣使用計算資源”的夢想成為現(xiàn)實，這不僅標(biāo)志著 IT技術(shù)的重大革新，還引發(fā)了商業(yè)模式的巨大變革。基于云計算的應(yīng)用已經(jīng)通過多種云服務(wù)模式 的實現(xiàn) 為行業(yè)發(fā)展帶來了重大改變 。與我一同工作的 同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。 （保密的學(xué)位論文在解密后適用本授權(quán)書） 學(xué)位論文作者簽名： 導(dǎo)師簽名： 簽字日期： 年 月 日 簽字日期： 年 月 日 浙江大學(xué)碩士學(xué)位論文 摘要 i 摘要 隨著云計算產(chǎn)業(yè)的不斷發(fā)展，云計算 的概念在不斷的被否認(rèn)與被認(rèn)可中走向清晰 。 Secondly, through the study of the cloud puting technology and the detailed exploration of application technology on the DMOC product development required, derive the product framework and put them into practice。 SAP 公司基于這一現(xiàn)狀，在云計算發(fā)展迅速的當(dāng)下，以已有產(chǎn)品為基礎(chǔ)，結(jié)合云計算技術(shù)，研發(fā)并推出了云計算解決方案 DMOC(Data Management on Cloud)。 云 計算平臺中的服務(wù)器既可以是由專業(yè)人員部署的物理服務(wù)器，也可以是虛擬服務(wù)器。同時，通過集群技術(shù)，云計算能夠容忍節(jié)點的錯誤 , 通過節(jié)點間的冗余，即使有很大一部分節(jié)點發(fā)生失效也不會影響程序的正確運行。 總之，對于傳統(tǒng)數(shù)據(jù)中心 [22]，由于缺乏對資源部 署的統(tǒng)一規(guī)劃，導(dǎo)致異構(gòu)的計算資源和存儲資源難以進行有效整合與擴展， 從而會給企業(yè)和用戶帶來 資源浪費、管理困難 以及維護 成本高昂等弊端。云計算起源于亞馬遜和 Google 兩個公司，它們最早使用了“ Cloud Computing” [23]的表述方式。 IBM 公司于 20xx 年底宣布了云計算計劃，云計算的概念出現(xiàn)在大眾面前。 Amazon 的云計算平臺 — 彈性計算云 (elastic pute cloud，簡稱 EC2)[20]，是一個可以提供給軟件開發(fā)人員或者其他應(yīng)用開發(fā)商 遠程服務(wù)的 云計算服務(wù)平臺 。 云計算的機遇 云計算發(fā)展至今，對它的認(rèn)識和定義一直存在激烈地爭辯和分歧，但是不可否認(rèn)，云計算給整個 IT 行業(yè)帶了了新的機遇。只保留終端就可以對持有數(shù)據(jù)進行訪問操作。直至今日，對于云計算安全的擔(dān)憂依然是云計算面臨的最大問題。雖然云計算發(fā)展中，安全等會成為其制約因素，但是這些必將會被克服和不斷完善。通過對幾大典型云計算平臺的分析，引出當(dāng)前云計算發(fā)展的幾大方式，進而引出本文所研究的 Data Management on Cloud 產(chǎn)品。數(shù)據(jù)管理項目幾乎支持所有商業(yè)版本數(shù)據(jù)庫。 DM 產(chǎn)品局限性 雖然，作為一個實現(xiàn) ETL 功能的數(shù)據(jù)處理工具， DM 已經(jīng)具備相對出色齊全的各種功能，但是，隨著企業(yè)和 IT技術(shù)的發(fā)展，企業(yè)對于該類產(chǎn)品的需求又有所改變。同時，隨著項目的不斷龐大，產(chǎn)品的 維護和開發(fā)成本也越來越高，無法支持自動化管理是 DM 產(chǎn)品的巨大劣勢。這里的優(yōu)化亦是對開發(fā)者的挑戰(zhàn)，目的是將一個本地化實現(xiàn)數(shù)據(jù)管理功能的產(chǎn)品移植到云端，在云平臺實現(xiàn)數(shù)據(jù)管理功能。 同時 , 云計算系統(tǒng) 通過共享計算機資源，以及整合了有效可用資源的浙江大學(xué)碩士學(xué)位論文 第 2 章 DMOC 產(chǎn)品介紹 9 大規(guī)模云計算平臺處理數(shù)據(jù)，這樣，對于當(dāng)前流行的大數(shù)據(jù)處理需求，云計算可以完美實現(xiàn)。 DMOC 的服務(wù)器軟件被部署于多個服務(wù)器上，這些服務(wù)器以集群的方式，通過負(fù)載均衡， 實現(xiàn)對不同客戶端的管理和服務(wù)。 NFS 就是用以存儲服務(wù)器端秘鑰的公共文件系統(tǒng)。 PaaS 云服務(wù)模式 PaaS 模式是云計算的典型應(yīng)用，它可以將軟件開發(fā)平臺作為一種服務(wù)，通過互聯(lián)網(wǎng)交 付，同時還可以使開發(fā)的應(yīng)用像 SaaS 模式一樣，用戶可以通過瀏覽器享用到開發(fā)的應(yīng)用軟件提供的功能 [9]。使用這一服務(wù)方式的好處顯而易見。 圖 三種云服務(wù)模式的在靈活性上的比較 浙江大學(xué)碩士學(xué)位論文 第 3 章 應(yīng)用技術(shù)介紹 13 綜上看來， PaaS 是介于 SaaS 和 IaaS 之間的一種云服務(wù)模式。 PaaS 服務(wù)能發(fā)揮“群眾的集體智慧”， 能為更多的軟件編程人員提供優(yōu)良的土壤，能使軟件的使用成本降低。應(yīng)用程序 被注冊到在 PaaS 平臺，也就是 托管在 PaaS 管理的云基礎(chǔ)設(shè)施 中之后，在 借助其 提供的平臺運行時，用戶可以便捷地開發(fā)和部署應(yīng)用程序， 不用將經(jīng)歷分散于平臺搭建和維護工作， 可以 大大 縮短應(yīng)用程序開發(fā)周期、降低運行和維護成本。用戶訪問網(wǎng)絡(luò)時，對于那些需 要認(rèn)證的網(wǎng)站，只需作一次身份認(rèn)證隨后就可以對被授權(quán)的資源進行訪問而無需多次輸入自己的認(rèn)證信息。這兩種單點登錄技術(shù)模型都是為了實現(xiàn)用戶通過網(wǎng)絡(luò)進行商務(wù)活動時更加安全便捷而提出的。它基于分布式框架，支持通用的 Web 應(yīng)用開發(fā)語言，具有極好的擴張性。 DMOC 的 JPaaS 模式 DMOC 采用的服務(wù)模式為 基于 PaaS 平臺的 SaaS 模式，為了實現(xiàn)跨平臺，DMOC 基于 Java 進行開發(fā)，所以 其開發(fā)平臺 也可以稱為 JPaaS 模式。通過這種服務(wù)模式，同樣可以達到靈活性、高可用性以及高擴展性的目的。 IaaS 云服務(wù)模式 所謂 IaaS 是指云計算服務(wù)商 向用戶提供例如虛擬主機、存儲、網(wǎng)絡(luò)等虛擬的硬件資源。這一技術(shù)，可用于實現(xiàn)用戶登錄的認(rèn)證與服務(wù)器分離，用單獨的身份認(rèn)證服務(wù)器來存儲用戶信息，并做身份認(rèn)證可以更好的保證訪問安全，以及 實現(xiàn)統(tǒng)一維護。 DMOC 部署方案使用該軟件實現(xiàn)對服務(wù)器之間以及服務(wù)器和客戶端之間的消息的確認(rèn)、傳輸以及跟蹤。 （ 2）負(fù)載均衡。其余的作業(yè)設(shè)計，數(shù)據(jù)源和目標(biāo)數(shù)據(jù)源的管理都可以由運行維護項目組進行控制。 以上劣勢，都使得開發(fā)一款可以繼承 DM 產(chǎn)品主流功能，并可以實現(xiàn)統(tǒng)一維護管理的產(chǎn)品的需求提上日程。通常情況下， DM 產(chǎn)品并未關(guān)注到非IT 人員需求，許多操作需要相當(dāng)?shù)臉I(yè)務(wù)知識和輸入，操作界面也顯得過于技術(shù)化。其次，通過用戶或者軟件提供方，對作業(yè)的不同設(shè)計，相應(yīng)的能夠?qū)崿F(xiàn)不同的數(shù)據(jù)處理功能。該方案提供了一個完整獨立的數(shù)據(jù)處理平臺，可以在一系列涉及 SAP 或者非 SAP 的應(yīng)用中充當(dāng)標(biāo)準(zhǔn)的數(shù)據(jù)集成和數(shù)據(jù)質(zhì)量管理工具。 研究目標(biāo) 通過對云計算服務(wù)模式的研究，比較不同云服務(wù)模式的優(yōu)劣，得出 DMOC使用 PaaS 結(jié)合 SaaS 的理由； 通過對集群技術(shù)的研究，設(shè)計并實現(xiàn)云應(yīng)用部署中負(fù)載均衡和消息轉(zhuǎn)發(fā)； 通過對單點登錄技術(shù)的研究，有效實現(xiàn)云計算安全性中對用戶隱私的保護； 通過對云部署項目的架構(gòu)研究，展現(xiàn)云應(yīng)用部署的整體框架和規(guī)模。云端要保證準(zhǔn)確無誤，并且及時迅速地對海量數(shù)據(jù)進行有效處理。新增的角色，比如硬件提供商、云服務(wù)浙江大學(xué)碩士學(xué)位論文 第 1 章 緒論 5 提供商、基礎(chǔ)軟件提供商、運維商、云提供商等或新增，或給予之前存在的角色進行新的變革，他們都將借助云計算的發(fā)展得到更加長足的進步 [2]。 其次，云計算的目標(biāo)是使得用戶可以隨時隨地獲 取自己的數(shù)據(jù)，不管數(shù)據(jù)量有多大。 本文研究的云計算產(chǎn)品也將在后續(xù)的發(fā)展中 借助 Amazon 彈性云平臺，為用戶提供 更多 商業(yè)用途。 其特點主要體現(xiàn)在虛擬機以及對于大規(guī)模數(shù)據(jù)處理軟件 Apache Hadoop 的使用。 由于 Google 在 搜索引擎技術(shù) 上的 積累 是其他IT 企業(yè)無可匹敵的， Google 憑此優(yōu)勢， 在云計算技術(shù)上 一直 處于領(lǐng)先的地位。第一是降低運營成本，提升業(yè)務(wù)管理效果；第二點就是提高可靠性和承載能力，采用云計算之后，單點故障被消除，可靠性得到提升，我們可以把多臺計算機連接在一起，實現(xiàn)網(wǎng)浙江大學(xué)碩士學(xué)位論文 第 1 章 緒論 3 絡(luò)資源、計算資源、存儲資源的共享；第三就是集群應(yīng)用，實現(xiàn)規(guī)模效應(yīng)、彈性擴展，能夠提供更靈活便捷的服務(wù)。但隨著時間的推移，其劣勢也逐漸顯現(xiàn)。 基于此定義，可以將云計算的優(yōu)勢概括 為兩個方面 : 一方面針對基礎(chǔ)設(shè)施的選擇 ,既可以選用昂貴高效的大型機，又使虛擬服務(wù)器或者廉價服務(wù)器的使用成為可能；另一方面針對構(gòu)建于基礎(chǔ)設(shè)施之上的云計算應(yīng)用，其支持范圍 更加廣泛 ，可以實現(xiàn)按需開發(fā)，隨需而變 。研發(fā)過程中，本人主要負(fù)責(zé)產(chǎn)品服務(wù)器端的研發(fā)和部署工作。 當(dāng)今世界，正在以前所未有的速度由傳統(tǒng) IT 基礎(chǔ)架構(gòu)向云計算解決方案遷移。云計算以其高效性、可靠性、可擴展性和高負(fù)載能力 也越來越多的被企業(yè)和個人采納利用 。除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得 浙江大學(xué) 或其他教育機構(gòu)的學(xué)位或證書而使用過的材料。 由于云計算可以滿足現(xiàn)有企業(yè)對大數(shù)據(jù)處理的需求，各大企業(yè)在現(xiàn)有認(rèn)識的基礎(chǔ)上，競相加大對云計算的投入，由云計算衍生出的云計算平臺的構(gòu)建、云計算應(yīng)用的開發(fā)、云服務(wù)模式的實現(xiàn)發(fā)展勢頭迅猛。 Thirdly, the security of cloud puting is the most striking problem of the development process, we use a lot of ink to show a detailed study on the security implementation, through a prehensive exposition of the security in terms of cluster, single signon, authorization mechanisms, as well as security monitoring, the paper gives the methods to realize cloud application security development。 該產(chǎn)品是基于 DM(Data Management)進行的重構(gòu)和二次研發(fā)。高級的云計算可以包括一個完整的云平臺以及部署于這個云平臺 上的各種云計算的應(yīng)用 以及類似共享文件系統(tǒng)、防火墻和一些其他保證云計算安全的設(shè)備等計算機資源 。這些特征的具備將云計算之于企業(yè)和個人用戶的價值大大提高，進而造就了云計算現(xiàn)今勢如破竹的發(fā)展態(tài)勢。 云計算的產(chǎn)生就是在探索規(guī)避傳統(tǒng)數(shù)據(jù)中心弊端的道路上逐漸被提出的。目前為止， 公開宣布進入或支持云計算技術(shù)開發(fā)的業(yè)界巨頭包括微軟 谷歌、 IBM、亞馬遜、 Adobe 等。“藍云”計劃 [18]的提出推出了共有云和私有云的概念。 EC2 是一個建立在大規(guī)模集群計算上的云平臺，符合當(dāng)前對云計算平臺搭建的現(xiàn)有標(biāo)準(zhǔn)，當(dāng)然，浙江大學(xué)碩士學(xué)位論文 第 1 章 緒論 4 也可以說，是 Amazon 通過自己獨辟蹊徑的部署模式，為云計算平臺的部署提供了新的模式和標(biāo)準(zhǔn)。 首先，我們看到，在云計算領(lǐng)域，私有云和共有云之間的界限越來越模糊，各企業(yè)爭先選擇進入云計算領(lǐng)域，希望分一杯羹。服務(wù)的平臺化日趨明顯，用戶只需要關(guān)注服務(wù)本省，選定平臺即可實現(xiàn)所需的服務(wù)。如何保證對用戶的安全保證和控制，如何保證用戶大數(shù)據(jù)的安全，如何對商業(yè)機密或者用戶隱私進行有效保護，都是云計算現(xiàn)在以及將來需要面對的挑戰(zhàn)。相信不遠的將來，云計算將改變整個行業(yè)體系，浙江大學(xué)碩士學(xué)位論文 第 1 章 緒論 6 云計算也會在混沌中產(chǎn)生一個公認(rèn)的云標(biāo)準(zhǔn) [20]，為其發(fā)展提供有力助力。 通過對云計算的未來進行 展望，表明云計算產(chǎn)品的發(fā)展充滿機遇，但是挑戰(zhàn)依然并存。數(shù)據(jù)管理項目在加載數(shù)據(jù)前，需要建立表格，索引，通過密集型工作來實現(xiàn)數(shù)據(jù)流創(chuàng)建，以及一對一關(guān)系下的表格拖放。 數(shù)據(jù) 管理 項目作為面向所有企業(yè)數(shù)據(jù)管理任務(wù)的一體化解決方案，對不同類型的用戶，提供不同的用戶界面，并且能夠無縫集成元數(shù)據(jù)。 最后，數(shù)據(jù)管理項目自發(fā)布之日起，已經(jīng)歷了數(shù)年的演變，隨著客戶需求的不斷變更和升級進程的加速，看似簡單的業(yè)務(wù)軟件，已經(jīng)具有龐大甚至繁瑣的功能體系。 DMOC 產(chǎn)品采用 SaaS 模式，軟件即服務(wù)的模式，將開發(fā)的軟件部署到云平臺，實現(xiàn)其應(yīng)有的功能。 DMOC 產(chǎn)品組 成 DMOC 產(chǎn)品主要由七大部分組成： （ 1） DM Agent，即為 DM 客戶端。提供基于云的解決方案，實現(xiàn)數(shù)據(jù)集成，數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)分析，文本數(shù)據(jù)處理等功能，使我們能夠整合，改善和提供可靠的數(shù)據(jù)關(guān)鍵的業(yè)務(wù)流程。 （ 7） IDS, identity server。 通過對常見 PaaS 平臺的分析可以看出， PaaS 平臺 相較于傳統(tǒng)的開發(fā)和服務(wù)模式，提供了其所不具備的功能特性 [19]。浙江大學(xué)碩士學(xué)位論文 第 3