云計算與大數據學習報告(編輯修改稿)

　

【文章內容簡介】 掘和處理過程。數據審計師的出現是為滿足以市場為導向來解決數據真實性、可靠性問題的需求，這與20 世紀初期為了處理財務信息虛假而出現的審計人員一樣，都是為了滿足新需求而出現的。三、大數據挖掘數據的價值只有通過數據挖掘才能從低價值密度的數據中發現其潛在價值，而大數據挖掘技術的實現離不開云計算技術。在業界，全球著名的Google、EMC、惠普、IBM、微軟等互聯網公司都已經意識到大數據挖掘的重要意義。上述IT 巨頭們紛紛通過收購大數據分析公司，進行技術整合，希望從大數據中挖掘更多的商業價值。數據挖掘通常需要遍歷訓練數據獲得相關的統計信息，用于求解或優化模型參數，在大規模數據上進行頻繁的數據訪問需要耗費大量運算時間。數據挖掘領域長期受益于并行算法和架構的使用，使得性能逐漸提升。過去15 年來，效果尤其顯著。試圖將這些進步結合起來，并且提煉。GPU平臺從并行上得到的性能提升十分顯著。這些GPU平臺由于采用并行架構，使用并行編程方法，使得計算能力呈幾何級數增長。即便是圖形處理、游戲編程是公認的復雜，它們也從并行化受益頗多。研究顯示數據挖掘、圖遍歷、有限狀態機是并行化未來的熱門方向。MapReduce 框架已經被證明是提升GPU 運行數據挖掘算法性能的重要工具。 等提出一種非平凡的策略用來并行一系列數據挖掘與數據挖掘問題，包括一類分類SVM 和兩類分類SVM，非負最小二乘問題，及L1 正則化回歸（lasso）問題。由此得到的乘法算法，可以被直截了當地在如MapReduce 和CUDA 的并行計算環境中實現。 在MapReduce 框架下，討論如何設計高MapReduce 算法，對當前一些基于MapReduce 的數據挖掘和數據挖掘算法進行歸納總結，以便進行大數據的分析。Junbo Zhang 等提出一種新的大數據挖掘技術，即利用MapRedue 實現并行的基于粗糙集的知識獲取算法，還提出了下一步的研究方向，即集中于用基于并行技術的粗糙集算法處理非結構化數據。 提出了一種新的近似算法使基于核的數據挖掘算法可以有效的處理大規模數據集。當前的基于核的數據挖掘算法由于需要計算核矩陣面臨著可伸縮性問題，計算核矩陣需要O(N2)的時間和空間復雜度來計算和存儲。該算法計算核矩陣時大幅度降低計算和內存開銷，而且并沒有明顯影響結果的精確度。此外，通過折中結果的一些精度可以控制近似水平。它獨立于隨后使用的數據挖掘算法并且可以被它們使用。為了闡明近似算法的效果，在其上開發了一個變種的譜聚類算法，此外設計了一個所提出算法的基于MapReduce 的實現。在合成和真實數據集上的實驗結果顯示，所提出的算法可以獲得顯著的時間和空間節省。Christian Kaiser 等還利用MapReduce 框架分布式實現了訓練一系列核函數學習機，該方法適用于基于核的分類和回歸。Christian Kaiser 還介紹了一種擴展版的區域到點建模方法，來適應來自空間區域的大量數據。Yael BenHaim 研究了三種MapReduce 實現架構下并行決策樹分類算法的設計, 并在Phoenix 共享內存架構上對SPRINT 算法進行了具體的并行實現。 考慮了潛在狄利克雷分配（LDA）的兩種推理方法——塌縮吉布斯采樣（collapsed Gibbssampling，CGS）和塌縮變分貝葉斯推理（collapsedvariational Bayesian，CVB）在GPU 上的并行化問題。為解決GPU 上的有限內存限制問題， 提出一種能有效降低內存開銷的新穎數據劃分方案。這種劃分方案也能平衡多重處理器的計算開銷，并能容易地避免內存訪問沖突。他們使用數據流來處理超大的數據集。 的并行推理方法得到的LDA 模型一貫地具有與串行推理方法相同的預測能力；但在一個有30 個多核處理器的GPU 上，CGS 方法得到了26倍的加速，CVB 方法得到了196 倍的加速。他們提出的劃分方案和數據流方式使他們的方法在有更多多重處理器時可伸縮，而且可被作為通用技術來并行其它數據挖掘模型。BaoLiang Lu 提出了一種并行的支持向量機，稱為最小最大模塊化網絡(M3)，它是基“分而治之”的思想解決大規模問題的有效的學習算法。 提出了最大覆蓋裝箱算法來決定系統中多少節點、哪些節點應該應用于大數據分析的并行執行。這種方法可以使大數據進行分配使得各個計算節點可以同步的結束計算，并且使數據塊的傳輸可以和上一個塊的計算進行重疊來節省時間。實驗表明，這種方法比其他的方法可以提高大約60% 的性能。在分布式系統方面，Cheng 等人 提出一個面向大規模可伸縮數據分析的可伸縮的分布式系統——GLADE。GLADE 通過用戶自定義聚合（UDA）接口并且在輸入數據上有效地運行來進行數據分析。文章從兩個方面來論證了系統的有效性。第一，文章展示了如何使用一系列分析功能來完成數據處理。第二，文章將GLADE 與兩種不同類型的系統進行比較：一個用UDA 進行改良的關系型數據庫（PostgreSQL）和MapReduce(Hadoop)。然后從運行結果、伸縮性以及運行時間上對不同類型的系統進行了比較。四、總結 大數據的超大容量自然需要容量大，速度快，安全的存儲，滿足這種要求的存儲離不開云計算。高速產生的大數據只有通過云計算的方式才能在可等待的時間內對其進行處理。同時，云計算是提高對大數據的分析與理解能力的一個可行方案。大數據的價值也只有通過數據挖掘才能從低價值密度的數據中發現其潛在價值，而大數據挖掘技術的實現離不開云計算技術。總之，云計算是大數據處理的核心支撐技術，是大數據挖掘的主流方式。沒有互聯網，就沒有虛擬化技術為核心的云計算技術，沒有云計算就沒有大數據處理的支撐技術。參考文獻、云計算技術對審計的影響研究 : 深刻改變未來———關于未來審計的概念與框架的一些思考Big data and cloud puting Big Data(Big Data)in recent years, more and more occasions, the concept is mentioned more and more people, And often, and cloud puting together, what is the relationship between cloud puting and big data bee a hot Special report contains the following four aspects: value of big data。 data challenge。 data research。 puting is the mainstream way of data this report on our understanding of big data, as well as the understanding of the value of big data, large data processing and mining technology, large data mainly focus on “data”, provide the technology and methods of data collection, mining and analysis。Cloud puting technology focusing on “puting”, providing IT data and cloud puting technology can promote the development of continuous audit mode, the overall audit mode of application, the audit results of prehensive application, the application of related evidence, the development of efficient data audit and the development of large data big data and cloud puting technology measures of audit applications include set up longterm development strategy, accelerate the construction of the audit regulations, establish a platform, to strengthen research and development and improve the utilization : big data cloud puting data mining impact on the audit policy Suggestions第三篇：新技術—云計算與大數據云計算