大數據的時代背景與商務智能(編輯修改稿)

　

【文章內容簡介】 銀行根據轉賬記錄建立一個大的社交網絡就可以傳播這些鏈條，就可以把一些細碎的、小型供應鏈通過計算模式挖掘出來。以前我們了解一件事情，可能大多是非常準確、非常精確的，不允許有任何混雜性的操作，要完全匹配。比如，面對流感這樣的突發性疫情，利用互聯網信息可以快速確認疫情分布。傳統做法是通過搜索引擎技術對相關關鍵詞進行主題跟蹤，得到疫情分布。大數據所涉及的資料量規模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。網絡上每一筆搜索，網站上每一筆交易、每一筆輸入都是數據，通過計算機做篩選、整理、分析，所得出的結果可不僅僅只得到簡單、客觀的結論，更能用于幫助企業經營決策，搜集起來的數據還可以被規畫，引導開發更大的消費力量。如何來看大數據與傳統數據的區別？銀行做數據業務做了十多年，那么大數據和傳統數據的倉庫有哪些差異？實際上就是群體和個體的差異?；ヂ摼W數據完全瞄向個體，數據結構也是精準于個體，而傳統的數據面向經營指標、面向群體。宏觀意義上來看，假如小明去了一百次書店，以前要回答的問題是他第一百零一次買不買書，即業績和經營指標的問題；而現在，互聯網關心的是什么？最關心的是他第一百零一次買什么書，需要將什么樣的內容推薦給他。這不是一個概率問題，而是一個模糊的程度問題。要量化這個程度，我們一定要基于個體，而不是基于群體的共性描述。傳統定義上，更多關注的是一類人群，用同一類規則制訂套餐給他們；而在互聯網時代，要把每個人都精準刻畫出來，進行精準匹配。有電商說他們要做到一百萬用戶要有一百萬個商店，特別是在移動的小屏幕上，三次點擊以后就會損失一個客戶。所以差異化絕對不可能是對群體共性的描述，而完全是對個體差異的刻畫。關于大數據的深度分析，很重要內容就是個性化的信息推薦。個性化的信息推薦不僅僅是基于用戶的相似性這么簡單的東西，還有大量比較深入的復雜模型。比如說，就用戶看資訊而言，我們怎么樣去判斷一個用戶點開一條八卦資訊后，是繼續深挖八卦到死，還是轉而瀏覽另外一個新聞。同樣，有的用戶登陸淘寶只是逛逛而已，有些用戶則是很明確地想要買一些東西，這就需要對用戶的意圖進行預測，這里面涉及到一些比較難的機器學習技術。我們現在生活的是信息化的世界，未來會走向個性化。在這一點上有一個例子，耐克制作了一款鞋子，在這個鞋子里裝上了傳感器，然后穿上這個鞋子的人，你一天大概走多少路，而且你走路的狀態比如著力點等相關情況的數據都會通過傳感器傳到耐克公司，耐克公司就會根據這些數據來給你量身定做鞋子。這樣，未來的銷售模式將會是個性化的。大數據的典型特征（3V）“大數據”這個詞，光從字面來看，可能會讓人覺得只是容量非常大的數據集合而已。但是，容量只不過是大數據特征的一個方面，如果只拘泥于數據量的話，就無法深入理解當前圍繞大數據所進行的討論。因為“用現有的一般技術難以管理”這樣的狀況，并不僅僅是由于數據量增大這一個因素所造成的。大數據的特征，可以用三個V開頭的關鍵詞來描述。（1）Volume（容量）看到大數據這個詞，大多數人的第一印象恐怕就是Volume，也就是數據量吧。從剛才我們講到的大數據的定義來看，也就是指用現有技術無法管理的數據量，從現狀來看，基本上是指從幾十TB到幾PB這樣的數量級。當然，隨著技術的進步，這個數值也會不斷變化。例如，在5年以后，也許只有幾EB數量級的數據量才能夠稱得上是大數據了。（2）Variety（多樣性）除了傳統的銷售、庫存等數據，現在企業所采集和分析的數據還包括像網站日志數據、呼叫中心通話記錄、Twitter和Facebook等社交媒體中的文本數據、智能手機中內置的GPS（全球定位系統）所產生的位置信息、時刻生成的傳感器數據，甚至還有圖片和視頻，數據的種類和幾年前相比已經有了大幅度的增加。其中，近年來爆發式增長的一些數據，如互聯網上的文本數據、位置信息、傳感器數據、視頻等，用企業中主流的關系型數據庫是很難存儲的，它們都屬于非結構化數據。當然，在這些種類的數據中，也有一些是過去就一直存在并保存下來的。然而，和過去不同的是，這些大數據并非只是存儲起來就夠了，還需要對其進行分析，并從中獲得有用的信息。以美國企業為代表的眾多企業正在致力于這方面的研究。監控攝像機的視頻數據正是其中之一。近年來，超市、便利店等零售企業幾乎都配備了監控攝像機，目的是為了防止盜竊和幫助抓捕盜竊嫌犯，但最近也出現了使用監控攝像機的視頻數據來分析顧客購買行為的案例。例如，美國大型折扣店Family Dollar Stores，以及高級文具制造商萬寶龍（Montblanc），都開始嘗試利用監控攝像頭對顧客在店內的行為進行分析。以萬寶龍為例，它們過去都是憑經驗和直覺來決定商品陳列的布局，但通過分析監控攝像機的數據，將最想賣出去的商品移動到最容易吸引顧客目光的位置，使得銷售額提高了20%。此外，美國移動運營商TMobile也在其全美1000家店中安裝了帶視頻分析功能的監控攝像機，可以統計來店人數，還可以追蹤顧客在店內的行動路線、在展臺前停留的時間，甚至是試用了哪一款手機、試用了多長時間等，對顧客在店內的購買行為進行分析。（3）Velocity（速度）數據產生和更新的頻率，也是衡量大數據的一個重要特征。例如，整個日本的便利店在24小時內產生的POS（Point Of Sales）數據，電商網站中由用戶訪問所產生的網站點擊流數據，高峰時高達每秒7000條的Twitter推文，日本全國公路上安裝的交通堵塞探測傳感器和路面狀況傳感器（可檢測結冰、積雪等路面狀態）等，每天都在產生著龐大的數據。廣義的大數據剛才我們講解了大數據的定義，即用現有的一般技術難以管理的大量數據的集合，并且用三個V對大數據的特征進行了描述。但是，僅憑這個定義還無法解釋當前大數據的火爆局面，因為這個定義的著眼點僅僅在于數據的性質上。這個定義我們把它視為狹義上的定義，而我們需要在廣義層面上為大數據下一個定義：這個狹義的定義所說的具備3V特征的數據就相當于是賓語，那么我們還需要主語和謂語。謂語就是“存儲、分析、處理”這些數據，（而用什么方法來進行分析處理，是機器學習還是統計分析或者其它什么，這些可以看做是方式狀語），主語那就是誰，誰來處理這些數據。這個誰就是指的“數據科學家”目前在歐美是十分緊俏的，他們通過分析這些數據獲得實用意義和觀點這就是大數據的廣義定義，它是一個綜合性的概念。大數據現象與新信息世界觀過去學術爭論的主題集中在世界是物質的還是精神的，也就有了馬克思主義世界觀，即我們都知道的“唯物主義”，講的就是人類社會和物理世界隨著大數據浪潮席卷而來，我們的世界觀就不再僅僅是物理世界和人類社會這兩方面了，還有一個——虛擬的信息世界。我們逐步進入“人機物”融合的三元世界，未來的世界可以做到“機中有人，人中有機，物中有機，機中有物”。所謂“機”就是聯系人類社會（包括個人身體與大腦）與物理世界的網絡空間，其最基本的構成元素是不同于原子和神經元的bit。物理空間和人類社會（包括人的大腦）都有共性的科學問題和規律。人們通過各種終端——手機、電腦等與虛擬的信息世界相連，各種信息組成了虛擬的信息世界，然后人們又用虛擬世界獲得的信息來對物理世界作決策指導?！按髷祿睂ι鐣l展的影響互聯網時代，一個重要的貢獻便是數據在線。它使得我們原先寫在紙上，或者是保存在磁盤里的數據在線了，讓數據搜集變得非常容易，于是成就了TAB。我們仔細觀察，可以發現TAB的核心競爭力都是數據，百度占據著web數據，阿里占據著電商數據，騰訊占據著社交數據。科學研究：第四種范式科學的第一范式是實驗歸納，第二范式是模型推演，第三范式是仿真模擬，第四范式就是密集數據分析。從海量數據中用統計手段挖掘相關性知識，而無需探索理論模型，這就是第四范式的目標。《科學革命的結構》中指出，范式（paradigm）是一個群體共享的信仰、價值和技術等等。科學范式指的是科學發現中賴以運作的理論基礎和實踐的規范，是科學工作者們所遵從的普適的世界觀和行為方式。它代表了人類思維的方式和根基，也是交流科學知識時所默認的共有法則。在歷史上，人類先后經歷了經驗、理論和計算的三個范式?；阼F球比羽毛更快落地的觀察，亞里士多德總結說越重的物體降落越快，這就是最典型的基于經驗的科學發現的范式。而在被無法阻擋的數據洪流沖擊的今天，人們發現傳統的三種科學發現模式已經不能在一些領域發揮有效的作用，比如分子生物學，社會科學。在數據的洪流無法阻擋的今天，傳統的科學模式確實不能在一些領域發揮有效的作用。而實際的業務場景中，經驗+感覺的方式也必將會被數字+事實的決策所取代。于是，圖靈獎的獲得者Jim Gray提出了著名的第四范式（The Fourth Paradigm），也就是數據思維或者數據科學。由此，數據科學家也成為了第四范式的實際踐行者這個群體的統稱。公共管理：智慧城市大數據對社會生活的影響也將逐漸凸顯。網絡科學的技術可以深入到每個細節，科學可以讓社會更民主。大數據時代所激發的智慧城市將深刻影響個人的社會生活。智能機器人、智能交通、智慧旅游、智能樓宇等信智能息技術系統產物，交織并構成了智慧城市。近幾年來，國內外都興起了建設智慧城市的浪潮。據國內智慧城市的領軍公司——神州數碼董事局主席郭為先生介紹：目前，國內有60多個城市已經將建設智慧城市納入了“十二五”規劃，智慧城市將成為拉動下一輪中國經濟增長的重要動力。但從一個更高的角度來看，智慧城市的建設問題，其實是一個城市的大數據綜合治理問題：一是要在以前沒有收集數據的地方收集更多的數據，這主要是利用物聯網的技術；二是要讓不同系統的數據準確地對接起來，這是系統整合的任務；最后，還要利用數據可視化的技術把海量數據中隱藏的知識揭示、展示出來，讓數據中的智慧能夠以一種直觀的形式流向城市的管理者、決策者和市民大眾。大數據將給各行各業帶來變革性機會，但真正大數據運用仍處于發展初級階段。據美國麥肯錫咨詢機構在其一份關于大數據研報中指出，大數據已經對美國健康醫療、歐洲的政府公共管