基于linux集群的云服務的技術設計與實現碩士學位論文-資料下載頁

【導讀】證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文。中作了明確的說明并表示謝意。送交本論文的復印件和磁盤，允許論文被查閱和借閱。本人授權浙江大學可。印、縮印或掃描等復制手段保存、匯編學位論文。由于云計算可以滿足現有企業對大數據處理的需求，各大企業在現有認識。另外，隨著本地化客戶端走。向衰退，人們希望能夠隨時隨地獲取數據。發展帶來重大變革從始至終一直是人們對云計算持有的夢想。性、可靠性、可擴展性和高負載能力也越來越多的被企業和個人采納利用。云計算的應用已經通過多種云服務模式的實現為行業發展帶來了重大改變。踐；再次，云計算的安全性問題一直是云計算發展過程中最為引人注目的問題，實了產品能夠實現對業務處理的安全保障。

　　

【正文】 析，轉換，換言之，通過簡單的拖拽， DM 就可以實現對單一表格讀取，以及數據讀取轉換流的設計。同時，在軟件應用中還封裝不同函數，實現特定的特殊功能。其次，通過用戶或者軟件提供方，對作業的不同設計，相應的能夠實現不同的數據處理功能。針對不同需求，可以提供統一但又不是靈活的設計 方案，使該產品具有很強的靈活性和適用性。這樣，對于需要進行數據分析的企業，數據管理就基本可以滿足其所有的 需求 。優秀的大數據處理能力，靈活的實現方式，以及出色的信息治理和分析能力，都使得數據管理軟件的推廣和使用得到普遍歡迎。 DM 產品局限性 雖然，作為一個實現 ETL 功能的數據處理工具， DM 已經具備相對出色齊全的各種功能，但是，隨著企業和 IT技術的發展，企業對于該類產品的需求又有所改變。 數據 管理 項目作為面向所有企業數據管理任務的一體化解決方案，對不同類型的用戶，提供不同的用戶界面，并且能夠無縫集成元數據。但是 ，隨著移動互聯網，移動終端來勢洶洶的進入 IT 市場，依賴于 SAP 商務智能平臺的數據管理就顯現出了無法和精悍小巧的移動客戶端抗衡的劣勢。具體可以概括為以下幾點： 浙江大學碩士學位論文 第 2 章 DMOC 產品介紹 8 首先，數據管理項目過多的關注業務。通常情況下， DM 產品并未關注到非IT 人員需求，許多操作需要相當的業務知識和輸入，操作界面也顯得過于技術化。所以，針對普通用戶，其入門較難。 其次，由于數據管理項目是本地化業務支持項目，其升級和維護都需要客戶方完成。即使有產品提供方的專門技術支持的幫助，有時候，產品的升級和維護依然很困難。同時，隨著項目的不斷龐大，產品的 維護和開發成本也越來越高，無法支持自動化管理是 DM 產品的巨大劣勢。 最后，數據管理項目自發布之日起，已經歷了數年的演變，隨著客戶需求的不斷變更和升級進程的加速，看似簡單的業務軟件，已經具有龐大甚至繁瑣的功能體系。這一點，也對數據管理項目的可用性帶來了挑戰。冗余功能的存在也對客戶造成一定 困擾 。 以上劣勢，都使得開發一款可以繼承 DM 產品主流功能，并可以實現統一維護管理的產品的需求提上日程。順應形勢發展，云計算可以滿足規避 DM 本地化劣勢的最佳選擇，一款部署于云計算平臺，并能實現部分數據管理功能的軟件的開發就成了必 然之舉。 DMOC 產品的提出 DMOC 就是綜合各種因素誕生的云計算產品。 從開發者角度來看， DMOC 只是簡單地將 DM 產品的部分主流功能抽取出來，在開發實現邏輯上并沒有很大的改變，是可以實現并能夠進行更好的優化的。這里的優化亦是對開發者的挑戰，目的是將一個本地化實現數據管理功能的產品移植到云端，在云平臺實現數據管理功能。 DMOC 產品采用 SaaS 模式，軟件即服務的模式，將開發的軟件部署到云平臺，實現其應有的功能。 從管理者角度來看， DMOC 大大減輕了管理者的負擔。運維項目組只需將云平臺部署好，這其中包括服務器端 的搭建以及客戶端的安裝。其余的作業設計，數據源和目標數據源的管理都可以由運行維護項目組進行控制。這樣， DMOC 作為一個可控產品，相較于單獨部署的 DM，就可以節省大部分的人力物力，做到彈性化的集中管理。 從用戶的角度來看 , 云計算系統將各種 用戶數據通過網絡保存于云端， 減小了用戶數據管理的負擔 。用戶根據自己的需求，從云供應商處獲得所要的服務，按需付費 。 同時 , 云計算系統 通過共享計算機資源，以及整合了有效可用資源的浙江大學碩士學位論文 第 2 章 DMOC 產品介紹 9 大規模云計算平臺處理數據，這樣，對于當前流行的大數據處理需求，云計算可以完美實現。 DMOC 產品組 成 DMOC 產品主要由七大部分組成： （ 1） DM Agent，即為 DM 客戶端?？蛻舳藢⒈话惭b在客戶方，用于運行設計完成的作業，實現數據從客戶環境到 DMOC 應用或者是云計算應用的轉換和抽取。其主要封裝了 DM 原有產品的核心部件 job server 和引擎，用以實現作業的運行和分析。 （ 2）負載均衡。該部分可實現對應用服務器訪問的負載均衡，使用 HTTP server 完成負載均衡。 （ 3）應用服務器。該部分是整個 DMOC 服務器端的核心。 DMOC 的服務器軟件被部署于多個服務器上，這些服務器以集群的方式，通過負載均衡， 實現對不同客戶端的管理和服務。提供基于云的解決方案，實現數據集成，數據質量管理，數據分析，文本數據處理等功能，使我們能夠整合，改善和提供可靠的數據關鍵的業務流程。 （ 4） Active MQ 集群。 Active MQ 是 Apache 的一款開源消息處理中間件。 DMOC 部署方案使用該軟件實現對服務器之間以及服務器和客戶端之間的消息的確認、傳輸以及跟蹤。 （ 5） HANA server 集群。 DMOC 服務器采用 HANA 服務器作為其數據庫服務器，用以存儲服務器端的用戶和作業信息。 （ 6） NFS (Network File System)服務器， DMOC 采用數據庫和應用服務器共同存儲秘鑰的方式來保證服務器與數據庫之間通信的安全性。 NFS 就是用以存儲服務器端秘鑰的公共文件系統。 （ 7） IDS, identity server。身份認證服務器。該服務器可以作為身份認證的提供者和驗證者，要想實現對 SAP 云的訪問，甚至訪問部署于 SAP 云上的應用程序，都需要獲取這一由認證服務器提供的認證服務，來訪問 SAP 云。這一技術，可用于實現用戶登錄的認證與服務器分離，用單獨的身份認證服務器來存儲用戶信息，并做身份認證可以更好的保證訪問安全，以及 實現統一維護。 浙江大學碩士學位論文 第 2 章 DMOC 產品介紹 10 本章小結 本章主要概述了 DMOC 產品提出并進行研發的必要性，比較了 DMOC 產品相較于傳統 DM 產品的優勢。對 DMOC 產品的組成部分進行了簡要概括性介紹，在接下來的章節，會對其各個部分進行詳細描述和研究。浙江大學碩士學位論文 第 3 章 應用技術介紹 11 第 3章 應用技術介紹 云服務 隨著云計算應用的日趨成熟，根據服務提供類型的不同，云計算按其服務形式可分為三種服務模式： PaaS（平臺即服務）、 IaaS（基礎設施即服務）、 SaaS（軟件即服務） [16]。 PaaS 云服務模式 PaaS 模式是云計算的典型應用，它可以將軟件開發平臺作為一種服務，通過互聯網交 付，同時還可以使開發的應用像 SaaS 模式一樣，用戶可以通過瀏覽器享用到開發的應用軟件提供的功能 [9]。 通過對常見 PaaS 平臺的分析可以看出， PaaS 平臺 相較于傳統的開發和服務模式，提供了其所不具備的功能特性 [19]。首先， PaaS 平臺將提供給開發者一個完整的應用程序開發環境和運行環境，開發人員只需要借助這一環境進行開發即可，而不需要租用、購買、甚至維護任何軟件、硬件設備，如果是外圍開發人員，只是借助某些云平臺的功能來完成其他應用開發，那么 PaaS 也可以為其提供某一部分的接口供開發人員使用；其次，由于 PaaS 是一個專業級的云計算平臺，所以它將一直由專業人員進行維護，開發人員在開發過程中如果希望獲取應用的運行狀態或者是訪問統計信息，那么， PaaS 可以隨時為其提供專業數據，這從一方面也顯示出 PaaS 平臺的使用本來就是一個按需提供服務的過程；最后，由專業人員統一維護的平臺自然不僅僅滿足靜態需求，它還可以根據需求變化，提供更好的可擴展性和可用性 [19]?？傊?， PaaS 平臺將可以為開發人員或者是其使用商提供盡可能的符合其需求的服務，而不需要個人或者是個體單位將過多精力耗費于與主要業務無關的其他方面。 IaaS 云服務模式 所謂 IaaS 是指云計算服務商 向用戶提供例如虛擬主機、存儲、網絡等虛擬的硬件資源。用戶通過租賃的方式搭建自己的系統而不需要購買。 IaaS 是針對基礎設施提供的服務，所以它關注于底層。當用戶需要基礎設施服務時，就可以尋求IaaS 為其提供的按需分配和按需計費的服務。使用這一服務方式的好處顯而易見。浙江大學碩士學位論文 第 3 章 應用技術介紹 12 首先，用戶不需要自己購買昂貴的基礎設施，只需要根據自己的需求向 IaaS 提供商租用設備；其次，由專門的 IaaS 提供的硬件資源可以由 IaaS 提供商維護，用戶不需要專門雇傭相關人員對其進行維護部署，節約人力物力成本；最后，此類服務模式靈活可靠， 可以使用戶便捷地快速部署相應地基礎設施，并且按照自己的需求不進行擴展和提升性能。 SaaS 云服務模式 SaaS 云服務模式即指 服務提供商將應用軟件部署于 服務器上， 根據用戶的需求，比如用戶對軟件的定制數量，使用時間、軟件功能或者性能要求等為用戶提供定制級的軟件服務。用戶只需要通過瀏覽器訪問服務，實現服務即可。通過這種服務模式，同樣可以達到靈活性、高可用性以及高擴展性的目的。用戶方可以根據自己的要求隨時隨地使用由 SaaS 提供商提供的軟件應用和服務，而不需要投入大量的資金進行硬件軟件和人力的投入， 實現了即連即用的服務模式 。 云服務模式比較 在云服務這三種模式中， PaaS 是介于 SaaS 和 IaaS 之間的一種服務模式， PaaS需要開發人員對開放平臺的編程接口進行應用程序設計和開發，然后部署其上，其主要是針對開發人員的； SaaS 則是提供的應用程序服務，用戶不需要了解相關技術，只要對其配置具有一定的了解，即可上手使用；而 IaaS 提供的則是最底層的基礎服務設施，所以其針對的是 IT 人員和開發人員。 圖 是三種云服務模式的在靈活性上的比較。 圖 三種云服務模式的在靈活性上的比較 浙江大學碩士學位論文 第 3 章 應用技術介紹 13 綜上看來， PaaS 是介于 SaaS 和 IaaS 之間的一種云服務模式。一方面，它具有 IaaS 服務的靈活性但在自動化程度上面和易用性方面又超越了 IaaS 服務；另一方面，它又解決了 SaaS 提供軟件服務的單一性和無法為不同用戶提供差異化服務的缺點。所以 PaaS 服務模式被企業廣泛運用，也是 DMOC 產品選擇這一模式的理由。面向開發人員， DMOC 的服務器端應用是一個基于 PaaS 開發的應用程序，面向最終用戶，它又是相對意義上的 SaaS 產品 。 DMOC 的 JPaaS 模式 DMOC 采用的服務模式為 基于 PaaS 平臺的 SaaS 模式，為了實現跨平臺，DMOC 基于 Java 進行開發，所以 其開發平臺 也可以稱為 JPaaS 模式。我們知道，PaaS 模式中的“ P”是指平臺，這里的平臺是開放給第三方的應用平臺或者服務平臺，它將通過提供應用服務引擎或者是應用程序接口 /運行平臺，使得用戶基于該平臺進行開發，測試，部署相關應用。 DMOC 就是基于 SAP NetWeaver Cloud這一平臺開發的應用，為用戶提供數據處理服務。采用 PaaS 服務模式將軟件開發人員和 IT 運行維護人員對設備的日常維護中解 放出來。 PaaS 服務能發揮“群眾的集體智慧”， 能為更多的軟件編程人員提供優良的土壤，能使軟件的使用成本降低。將所有環境的部署都集中給云計算的 PaaS 平臺，并按需付費 [11]。這即是 DMOC 開發的一項重要目標。 SAP NetWeaver Cloud 是一個典型的云計算平臺，支持 Java 運行環。它基于分布式框架，支持通用的 Web 應用開發語言，具有極好的擴張性。通過 SDK 向SAP 內部開放提供各提供了內置安全的、可擴展的、多租戶的企業級應用軟件容器、中間件、服務和最新的技術。如后面將要講到的安全認證，數據存儲，郵 件處理等。用戶可快速、廉價地將自己開發的應用部署到這一平臺，并且可以借助這一平臺的接口，可以使得某些應用功能的開發和實現分離。應用程序 被注冊到在 PaaS 平臺，也就是 托管在 PaaS 管理的云基礎設施 中之后，在 借助其 提供的平臺運行時，用戶可以便捷地開發和部署應用程序， 不用將經歷分散于平臺搭建和維護工作， 可以 大大 縮短應用程序開發周期、降低運行和維護成本。 PaaS 為用戶管理云基礎設施，大量節省開發時間，并可以使維護變得更加輕松。因為 SAP NetWeaver Cloud 是一個有專門團隊維護的平臺，用戶無需擔心調用的功 能出現異常而無從解決。 浙江大學碩士學位論文 第 3 章 應用技術介紹 14 單點登錄技術 目前，比較主流的單點登錄技術實現模型有兩種，分別是 Kerberos 模型和SAML 模型 [17]。這兩種單點登錄技術模型都是為了實現用戶通過網絡進行商務活動時更加安全便捷而提出的。傳統意義上，用戶在訪問網絡的時候，一般分別需要輸入用戶名和密碼，在訪問多個網站的時候，則需要多次輸入，這就給用戶帶來了諸多不便。另外，用戶的登錄認證信息在網絡傳輸過程中很可能會產生泄露，這也會為商業活動帶來安全隱患。為了解決此類問題，單點登錄就成了解決這一問題的有效途徑。用戶訪問網絡時，對于那些需 要認證的網站，只需作一次身份認證隨后就可以對被授權的資源進行訪問而無需多次輸入自己的認證信息。該技術在提高用戶工作效率，使用戶對需要認證的 web service 的訪問更加便捷，并且也可以降低網絡傳輸負載，提高網絡安全性和降低出錯概率。 SAML 模型 SAML 的全稱為 Se