數(shù)據(jù)堂-大數(shù)據(jù)產(chǎn)業(yè)調(diào)研及分析報(bào)告(編輯修改稿)

　

【文章內(nèi)容簡(jiǎn)介】 通過(guò)收費(fèi)模式允許醫(yī)藥 公司訪問(wèn)數(shù)據(jù)。l Moovit 通過(guò)眾包方式采集公共交通信息，包括負(fù)載信息和公交車 準(zhǔn)點(diǎn)信息。l 租車公司 Zipcar 通過(guò)車輛內(nèi)置系統(tǒng)，采集乘車人和車輛本身的數(shù) 據(jù)。l 旅游網(wǎng)站 Tripadvisor，提供平臺(tái)供用戶發(fā)布自己對(duì)景點(diǎn)、飯店 和酒店的評(píng)論，形成了一個(gè)高價(jià)值的旅游相關(guān)產(chǎn)業(yè)數(shù)據(jù)源。l Truecaller，通過(guò)讀取用戶手機(jī)上的通訊簿，采集全球的電話號(hào)碼，并與相應(yīng)的社交媒體關(guān)聯(lián)，為用戶提供聯(lián)系信息搜索服務(wù)。 模式創(chuàng)新數(shù)據(jù)銀行在大數(shù)據(jù)時(shí)代，數(shù)據(jù)已經(jīng)成為一種資產(chǎn)，企業(yè)、組織和個(gè)人開(kāi)始 普遍認(rèn)知到自身所擁有數(shù)據(jù)的外部?jī)r(jià)值，數(shù)據(jù)價(jià)值挖潛的概念在全社 會(huì)發(fā)酵。與金融資產(chǎn)類似，數(shù)據(jù)資產(chǎn)的供給和需求方分別對(duì)數(shù)據(jù)資產(chǎn) 存在著管理和融資的需求，因此在大數(shù)據(jù)產(chǎn)業(yè)鏈的數(shù)據(jù)源區(qū)塊，孕育 著一種類似銀行性質(zhì)的產(chǎn)業(yè)形態(tài)，即數(shù)據(jù)銀行。從融資角度看，數(shù)據(jù)銀行的本質(zhì)在于實(shí)現(xiàn)數(shù)據(jù)供需的對(duì)接，為數(shù) 據(jù)所有者找到數(shù)據(jù)資產(chǎn)價(jià)值變現(xiàn)的出口，同時(shí)使需求方獲得自身業(yè)務(wù) 發(fā)展所需的數(shù)據(jù)資源。與傳統(tǒng)銀行或交易平臺(tái)不同的是，數(shù)據(jù)銀行并 不是簡(jiǎn)單地對(duì)供需進(jìn)行對(duì)接和撮合：數(shù)據(jù)資產(chǎn)類型各異，沒(méi)有統(tǒng)一的 形式和度量，數(shù)據(jù)銀行必須積極從多個(gè)源頭引入資源，以專業(yè)的知識(shí) 和技能建立原始數(shù)據(jù)和最終應(yīng)用之間的通路，讓數(shù)據(jù)需求方可以順利 以市場(chǎng)化的手段獲得所需的數(shù)據(jù)資源。從資產(chǎn)管理的角度看，數(shù)據(jù)銀行的本質(zhì)在于為數(shù)據(jù)資源的價(jià)值體 現(xiàn)提供便利。傳統(tǒng)銀行所管理的金融資產(chǎn)，其形態(tài)和內(nèi)容已經(jīng)為資產(chǎn) 供需雙方所普遍理解，而數(shù)據(jù)資產(chǎn)尤其是原始數(shù)據(jù)的價(jià)值需要通過(guò)各 種手段主動(dòng)挖掘才能體現(xiàn)，且不同的需求方對(duì)于同一數(shù)據(jù)的價(jià)值認(rèn)知 也存在較大偏差。因此，在數(shù)據(jù)價(jià)值實(shí)現(xiàn)和數(shù)據(jù)資產(chǎn)流通的過(guò)程中必須進(jìn)行數(shù)據(jù)清洗、格式化以及必要的應(yīng)用場(chǎng)景開(kāi)發(fā)等工作，并且以相應(yīng)的機(jī)制設(shè)計(jì)和技術(shù)實(shí)現(xiàn)，聚合數(shù)據(jù)的供給和需求，確保數(shù)據(jù)資產(chǎn)接 入、發(fā)布和訪問(wèn)通道的順暢。數(shù)據(jù)的原始形態(tài)通常與應(yīng)用方的需求有一定差距，因此更準(zhǔn)確地 說(shuō)，數(shù)據(jù)資源必須經(jīng)過(guò)有目的的發(fā)掘和特定的處理環(huán)節(jié)，才能真正實(shí) 現(xiàn)資產(chǎn)化。相對(duì)于數(shù)據(jù)交易平臺(tái)一類的形態(tài)，數(shù)據(jù)銀行最大的差異點(diǎn) 在于需要對(duì)數(shù)據(jù)的轉(zhuǎn)化和規(guī)整。數(shù)據(jù)的質(zhì)量直接與企業(yè)成本負(fù)相關(guān)， 據(jù) Gartner 公司估算，數(shù)據(jù)混雜的 CRM 系統(tǒng)將使企業(yè)收入下降 25%， 而 Experian 公司則認(rèn)為不準(zhǔn)確的數(shù)據(jù)很可能導(dǎo)致公司的收入平均損 失 12%。通過(guò)脫敏、去噪和去重處理，以及針對(duì)文本、圖像和音視頻 等海量非結(jié)構(gòu)化數(shù)據(jù)的標(biāo)注和特征抽取，能夠?qū)?shù)據(jù)轉(zhuǎn)化為需求方易 于理解和利用的形式，降低數(shù)據(jù)分析和挖掘的難度。這一環(huán)節(jié)是數(shù)據(jù) 資產(chǎn)融資和管理的關(guān)鍵，是提取和挖掘數(shù)據(jù)所含高價(jià)值信息和知識(shí)的 前提，是大數(shù)據(jù)技術(shù)發(fā)展和應(yīng)用開(kāi)拓的核心推動(dòng)力。綜上所述，數(shù)據(jù)銀行的本質(zhì)就在于實(shí)現(xiàn)了數(shù)據(jù)資源的商品化、標(biāo) 準(zhǔn)化、資產(chǎn)化，承載著數(shù)據(jù)資產(chǎn)形成、管理和交易的職責(zé)。由于歐美 先進(jìn)國(guó)家在數(shù)據(jù)利用方面有較深傳統(tǒng)，在多個(gè)行業(yè)內(nèi)自發(fā)形成了數(shù)據(jù) 流通的渠道，數(shù)據(jù)資源商品化、標(biāo)準(zhǔn)化和資產(chǎn)化的動(dòng)作已滲透到大數(shù) 據(jù)產(chǎn)業(yè)鏈的各個(gè)環(huán)節(jié)中，全社會(huì)對(duì)于數(shù)據(jù)銀行或綜合性數(shù)據(jù)交易平臺(tái) 的需求并不突出。但是，對(duì)于信息產(chǎn)業(yè)相對(duì)落后、數(shù)據(jù)利用意識(shí)比較 淡薄的國(guó)家和地區(qū)，數(shù)據(jù)銀行形態(tài)的培育非常重要，從而在市場(chǎng)供給 和需求之間對(duì)數(shù)據(jù)資源進(jìn)行深度資產(chǎn)化改造，使數(shù)據(jù)真正成為大數(shù)據(jù) 產(chǎn)業(yè)以及其他行業(yè)和領(lǐng)域發(fā)展的助推器。眾包模式隨著大數(shù)據(jù)的應(yīng)用擴(kuò)展和深化，社會(huì)對(duì)數(shù)據(jù)的需求日益上升，現(xiàn)有的數(shù)據(jù)獲取渠道和方式已無(wú)法滿足科學(xué)研究和產(chǎn)業(yè)發(fā)展的需求，更為便捷的獲取方式、更為廣泛的覆蓋面和更為真實(shí)準(zhǔn)確的數(shù)據(jù)已成為 迫切的需要。隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和智能設(shè)備的發(fā)展，每個(gè)人都 成為一個(gè)潛在的數(shù)據(jù)采集點(diǎn)，導(dǎo)致眾包（crowdsourcing）模式成為 大數(shù)據(jù)時(shí)代一種極具現(xiàn)實(shí)意義的數(shù)據(jù)采集方式。眾包這一概念由美國(guó)《連線》雜志的記者杰夫?豪（JeffHowe）在 2006 年 6 月明確提出，指把工作任務(wù)以自由、自愿的形式外包給大 眾的方法，通常用于完成那些耗費(fèi)大量人力的繁重任務(wù)。眾包的思路 并非新鮮事物，18 世紀(jì)英國(guó)就通過(guò)向民間征集海洋經(jīng)度的精確測(cè)量 方法，解決了牛頓、惠更斯和哈雷等著名科學(xué)家未能解決的問(wèn)題，獲 獎(jiǎng)?wù)呤且晃粊?lái)自于鄉(xiāng)村的木匠。此后的幾個(gè)世紀(jì)中，類似的方法曾經(jīng) 有力地推動(dòng)了航空、計(jì)算機(jī)等行業(yè)的發(fā)展。隨著互聯(lián)網(wǎng)的出現(xiàn)，眾包的覆蓋范圍和可參與度都大大提升，日 益成為一種可行的商業(yè)模式與組織方式。以當(dāng)前的技術(shù)發(fā)展情況而言， 數(shù)據(jù)的采集、標(biāo)注和清理等重復(fù)性工作還很難完全實(shí)現(xiàn)自動(dòng)化，比如 人體特征的采集、圖片的標(biāo)注和重復(fù)數(shù)據(jù)的剔除等，而這些工作所需 耗用的人力隨著數(shù)據(jù)量的劇增而成為企業(yè)或組織難以承受的重負(fù)。對(duì) 于這些需要大量人力介入才能保證質(zhì)量的工作，眾包模式提供了一種 成本可控、規(guī)模易伸縮的實(shí)現(xiàn)途徑。比較典型的案例有：l Twitter 使用亞馬遜的眾包平臺(tái) Mechanical Turk，來(lái)響應(yīng)用戶對(duì) 熱點(diǎn)話題的搜索查詢。l 《國(guó)家地理》曾發(fā)動(dòng)近 萬(wàn)人在蒙古的衛(wèi)星圖像中搜尋成吉思汗的墓地。l 澳大利亞昆士蘭的公交乘客用隨身應(yīng)用采集信息（比如公車到站 時(shí)間等），提升市民的通勤效率，2011 年已經(jīng)可以做到通知下一 班車的到站時(shí)間。l 個(gè)人手工藝術(shù)品網(wǎng)站 Etsy 發(fā)動(dòng)用戶來(lái)鑒定新發(fā)布的手工品是否 存在版權(quán)侵權(quán)的問(wèn)題。l Foursquare（據(jù)報(bào)道，將被雅虎以 9 億美元的價(jià)格收購(gòu)）和 Factual 等公司讓企業(yè)用戶自己提交地理位置信息的做法，也屬于眾包采 集的范疇。l 亞馬遜與移動(dòng)打車應(yīng)用 Flywheel 合作，呼叫小型配送中心附近的 出租車來(lái)為用戶遞送包裹。在大數(shù)據(jù)時(shí)代，由于需要采集海量的底層原始數(shù)據(jù)，在成本可接 受的范圍內(nèi)，很多時(shí)候已無(wú)法基于現(xiàn)有采集設(shè)備來(lái)完成任務(wù)，因此眾 包模式在大數(shù)據(jù)產(chǎn)業(yè)中最重要的應(yīng)用場(chǎng)景就是數(shù)據(jù)的采集。同時(shí)，海 量數(shù)據(jù)的加工和標(biāo)注等任務(wù)所需的人力和時(shí)間太高，使得眾包模式在 數(shù)據(jù)處理環(huán)節(jié)也具有較大的應(yīng)用空間。除了采集和加工等高人力和時(shí)間消耗的任務(wù)之外，通過(guò)眾包模式 也可以將需要高智力和技術(shù)水平的問(wèn)題外包給大眾，通過(guò)受眾面的擴(kuò) 大來(lái)提高任務(wù)完成的效率。比如，將原始數(shù)據(jù)公布于眾，讓公眾積極 參與到對(duì)數(shù)據(jù)的分析挖掘和應(yīng)用創(chuàng)新活動(dòng)中，能夠有效推動(dòng)大數(shù)據(jù)技 術(shù)和產(chǎn)業(yè)的發(fā)展。 基礎(chǔ)架構(gòu)（Infrastructure）與傳統(tǒng) IT 基礎(chǔ)架構(gòu)相比，大數(shù)據(jù)基礎(chǔ)架構(gòu)必須應(yīng)對(duì)空前規(guī)模的數(shù) 據(jù)和各類音頻、圖像、視頻和文本等非結(jié)構(gòu)化信息；互聯(lián)網(wǎng)、移動(dòng)互 聯(lián)網(wǎng)和物聯(lián)網(wǎng)數(shù)據(jù)的指數(shù)級(jí)增長(zhǎng)，使得基礎(chǔ)架構(gòu)必須擁有高度的可擴(kuò) 展性；為了快速應(yīng)對(duì)變化、響應(yīng)市場(chǎng)，實(shí)時(shí)分析的需求日益強(qiáng)烈，基 礎(chǔ)架構(gòu)必須具有強(qiáng)大的數(shù)據(jù)吞吐和計(jì)算能力。基礎(chǔ)架構(gòu)區(qū)塊中的企業(yè)主要提供大數(shù)據(jù)的存儲(chǔ)和管理產(chǎn)品或服務(wù)， 為后續(xù)的分析和挖掘提供支撐，包含各類新興的 NoSQL、NewSQL、MPP 和圖數(shù)據(jù)庫(kù)，以及云服務(wù)、數(shù)據(jù)轉(zhuǎn)換工具、管理/監(jiān)控工具和存儲(chǔ)設(shè) 備等。l Neo4j。圖形數(shù)據(jù)庫(kù)，將結(jié)構(gòu)化數(shù)據(jù)以圖結(jié)構(gòu)進(jìn)行存儲(chǔ)，具備完全 的事物特性。l Aster data。MPP 數(shù)據(jù)庫(kù)，起源于斯坦福大學(xué)，已被 Teradata 收 購(gòu)。l Cloudera。基于 Hadoop 的產(chǎn)品與解決方案提供商。l MapR。基于 Hadoop 的產(chǎn)品與解決方案提供商，用自身文件系統(tǒng)取 代 HDFS，實(shí)現(xiàn)高速、鏡像、快照等功能。l Cleversafe。分布式存儲(chǔ)產(chǎn)品，為提升系統(tǒng)吞吐率優(yōu)化了 HDFS 的 副本設(shè)置。l VoltDB。內(nèi)存數(shù)據(jù)庫(kù)產(chǎn)品，NewSQL 的代表之一。同時(shí)滿足關(guān)系型 數(shù)據(jù)庫(kù)的 ACID 原則以及 NoSQL 的可擴(kuò)展性。l StackIQ。Hadoop 系統(tǒng)管理工具。l Greenplum。MPP 數(shù)據(jù)庫(kù)的代表之一，具有高可擴(kuò)展性的關(guān)系型并行數(shù)據(jù)庫(kù)。l 微軟 Dryad。關(guān)系型數(shù)據(jù)庫(kù)的并行實(shí)現(xiàn)，能夠?qū)?SQL 語(yǔ)句轉(zhuǎn)化為 基于 DAG 的多個(gè)操作。l Box 和 Dropbox。提供大數(shù)據(jù)存儲(chǔ)的云服務(wù)。 跨平臺(tái)（Cross infrastructure）本區(qū)塊中多為提供計(jì)算、存儲(chǔ)和分析平臺(tái)或服務(wù)的大型廠商，提 供對(duì)大數(shù)據(jù)分析進(jìn)行支撐的軟硬件一體化方案。l IBM 在 DB2 中集成了 BLU 技術(shù)、列式優(yōu)化和并行向量處理等技術(shù)， 以內(nèi)存計(jì)算大幅提升數(shù)據(jù)分析效率。在基礎(chǔ)平臺(tái)方面，為 Hadoop 平臺(tái)提供支持，同時(shí)有針對(duì)性地對(duì) GPFS 文件系統(tǒng)進(jìn)行了改造。l 微軟推出了基于 Hadoop 的大數(shù)據(jù)處理的組件，實(shí)現(xiàn)了 SQL Server 與 Hadoop 的連接；推出 LINQ Pack、Project“Daytona”以及 Excel DataScope，讓用戶可以在 Windows Azure 云上進(jìn)行大數(shù)據(jù)分析； 2015 年初， 微軟 收購(gòu) R 語(yǔ)言的商業(yè)版提供商 Revolution Analytics，加強(qiáng)數(shù)據(jù)分析方面的能力建設(shè)。l SAS 通過(guò)與 Hadoop 的集成，為客戶提供分布式的分析產(chǎn)品。l 1010data 公司提供基于云計(jì)算平臺(tái)的數(shù)據(jù)分析服務(wù)。l Talend 公司針對(duì)數(shù)據(jù)集成提供專業(yè)的 ETL 工具和主數(shù)據(jù)管理云服 務(wù)。l 惠普推出了針對(duì) Hadoop 平臺(tái)優(yōu)化的 AppSystem for Apache Hadoop，提供包括底層硬件、Hadoop 和實(shí)時(shí)數(shù)據(jù)分析的一體式解決方案。 開(kāi)源（Open source）由企業(yè)、高校或科研機(jī)構(gòu)所研發(fā)并開(kāi)源的大數(shù)據(jù)產(chǎn)品，是當(dāng)前大 數(shù)據(jù)基礎(chǔ)技術(shù)發(fā)展的最大推動(dòng)力，通常集中在基礎(chǔ)性平臺(tái)和分析工具 兩大類。l Hadoop。起源于雅虎公司，是當(dāng)前主流的大數(shù)據(jù)存儲(chǔ)和處理平臺(tái)， 實(shí)現(xiàn)了分布式的計(jì)算框架 MapReduce 和文件存儲(chǔ)系統(tǒng) HDFS。l Spark。誕生于加州伯克利大學(xué) AMP 實(shí)驗(yàn)室，是新一代大數(shù)據(jù)分布 式處理框架，以高效的內(nèi)存計(jì)算著稱，逐漸成為大數(shù)據(jù)處理環(huán)節(jié) 的主流平臺(tái)。l MongoDB。由 10gen 公司開(kāi)發(fā)，著名的分布式 NoSQL 數(shù)據(jù)庫(kù)，由于 功能豐富，在使用方面最接近關(guān)系數(shù)據(jù)庫(kù)。l Storm。由推特開(kāi)發(fā)的大數(shù)據(jù)流式分析解決方案，在接收數(shù)據(jù)的同 時(shí)就進(jìn)行計(jì)算和分析，具備一定的故障處理能力。l Mahout。數(shù)據(jù)挖掘工具，起源于 Apache 基金會(huì)，實(shí)現(xiàn)了一個(gè)分布 式機(jī)器學(xué)習(xí)算法的集合。l Solr。起源于 Apache Lucene 項(xiàng)目的開(kāi)源企業(yè)搜索平臺(tái)，功能包 括全文檢索、命中標(biāo)示和分面搜索等。 分析（Analytics）除了存儲(chǔ)，大數(shù)據(jù)管理的另一項(xiàng)大的挑戰(zhàn)是數(shù)據(jù)分析，只有通過(guò)分析才能獲取智能、深入、有價(jià)值的信息。數(shù)據(jù)分析大致可以分為以下幾類：數(shù)據(jù)挖掘，大數(shù)據(jù)分析的理論核心，基于不同的數(shù)據(jù)類型和 格式呈現(xiàn)出數(shù)據(jù)的各種特性，挖掘其中蘊(yùn)涵的價(jià)值；預(yù)測(cè)性分析，大 數(shù)據(jù)分析最重要的應(yīng)用領(lǐng)域之一，通過(guò)訓(xùn)練數(shù)據(jù)建立模型，并以此為 基礎(chǔ)預(yù)測(cè)未來(lái)的趨勢(shì)和走向；非結(jié)構(gòu)化分析，針對(duì)海量的音頻、圖像、 視頻和文本數(shù)據(jù)，結(jié)合人工智能技術(shù)抽取和提煉，使之能夠用于后續(xù) 的分析的挖掘；可視化分析，直觀的呈現(xiàn)數(shù)據(jù)統(tǒng)計(jì)分布特性，使普通 用戶能夠?qū)?shù)據(jù)形成大致的理解。 在大數(shù)據(jù)海量、多源、異構(gòu)特性和實(shí)時(shí)處理的需求推動(dòng)下，專門針對(duì)大數(shù)據(jù)的分析工具蓬勃發(fā)展，尤其是對(duì)于非結(jié)構(gòu)化數(shù)據(jù)以及對(duì)未 來(lái)進(jìn)行預(yù)測(cè)的分析。從創(chuàng)業(yè)和獲得投資的情況來(lái)看，本區(qū)塊是整個(gè)大 數(shù)據(jù)產(chǎn)業(yè)鏈中最為活躍的部分，其中典型的企業(yè)或產(chǎn)品如下所述：l 甲骨文宣布收購(gòu) Endeca Technologies，為企業(yè)用戶提供非結(jié)構(gòu)化數(shù)據(jù)的搜索和管理服務(wù)。l SAP 推出了 Hana 平臺(tái)，能夠?qū)Ψ墙Y(jié)構(gòu)化數(shù)據(jù)進(jìn)行高速分析，是大 數(shù)據(jù)內(nèi)存計(jì)算的代表性技術(shù)之一。l Google 推出企業(yè)級(jí)大數(shù)據(jù)分析云服務(wù) BigQuery，用來(lái)在云端處理 大數(shù)據(jù)，幫助企業(yè)在云平臺(tái)上分析數(shù)據(jù)、構(gòu)建應(yīng)用和分享服務(wù)。l Dataminr 公司通過(guò)對(duì)社會(huì)化媒體進(jìn)行分析，為金融行業(yè)與政府部 門提供服務(wù)，曾在股市下跌前三分鐘，預(yù)知黑莓股票將被拋售。l Splunk。專注于日志分析，首家上市的新興大數(shù)據(jù)公司，首個(gè)交 易日市值即突破 30 億美元。l Palantir Technologies。數(shù)據(jù)分析工具提供商，旗下 Palantir Gotham 系統(tǒng)主要用于反恐，協(xié)助美國(guó)中央情報(bào)局發(fā)現(xiàn)本拉登行 蹤；Palantir Metropolis 則主要為對(duì)沖基金、銀行等提供服務(wù)。l 為行業(yè)尤其是政府、金融等行業(yè)提供解決方案，2014 年底以 150 億美元估值完成融資。l Clear story 為客戶提供數(shù)據(jù)整合工具，可以整合包括 Facebook 在內(nèi)的多種數(shù)據(jù)源。l Affectiva 專注于人臉表情識(shí)別，商業(yè)媒體評(píng)為發(fā)展最快的創(chuàng)業(yè) 公司之一。2012 年美國(guó)總統(tǒng)競(jìng)選期間，Affectiva 追蹤人們觀看 奧巴馬和羅姆尼辯論片段的表情，結(jié)果以 73%正確率判斷出了選 民投票結(jié)果。 可視化圖形是直觀呈現(xiàn)數(shù)據(jù)的直接方法，數(shù)據(jù)可視化就是研究如何利用 圖形，展現(xiàn)數(shù)據(jù)中隱含的信息，發(fā)掘數(shù)據(jù)中所包含的規(guī)律。數(shù)據(jù)可視 化所需的專業(yè)知識(shí)橫跨計(jì)算機(jī)、統(tǒng)計(jì)和心理學(xué)。隨著大數(shù)據(jù)的發(fā)展， 海量的數(shù)據(jù)需要以直觀、便捷的方式展示給技術(shù)和業(yè)務(wù)人員。大數(shù)據(jù)可視化分析領(lǐng)域的典型公司包括：l Risk Management Solutions 用熱圖來(lái)直觀標(biāo)示自然災(zāi)害的風(fēng)險(xiǎn) 和類別，包括地震、龍卷風(fēng)、颶風(fēng)、暴風(fēng)、森林大火和火山爆發(fā) 等，進(jìn)而為保險(xiǎn)公司提供自然災(zāi)難風(fēng)險(xiǎn)模型，供客戶估算理賠風(fēng) 險(xiǎn)。l Compuware 公司每天采集 80 億個(gè)數(shù)據(jù)點(diǎn)，對(duì)外提供 Web 服務(wù)故障 熱圖，監(jiān)測(cè)全球 1500 個(gè) Web 服務(wù)。l RetailNext 基于店內(nèi)的攝像頭、WiFi 和其他探測(cè)設(shè)備所采集的 數(shù)據(jù)，用熱圖顯示顧客在商店內(nèi)的實(shí)