大數據時代互聯網企業面臨的機遇與挑戰論文-資料下載頁

　　

【正文】 到瓶頸，需要新模式，抑或加強原有模式。這兩點上，大數據都會起到大的作用。 BAT大數據思路迥異 百度是基于用戶搜索行為的需求數據，阿里掌握著交易以及信用數據，騰訊則掌握著社交關系數據。各有千秋。它們對大數據的應用方向并不相同。百度和阿里更為激進。騰訊觀望多過行動，也可能是說得少做得多。 首先是動機 百度收入95％以上來自廣告，淘寶的主要收入模式也是廣告。百度、淘寶和CCTV是中國前三大廣告投放陣地。騰訊主要收入來自游戲和社交增值業務，廣告收入占比僅為三成左右。本階段大數據變現的主要途徑是精準廣告，這契合百度和阿里的訴求，兩家將大數據升級為公司戰略。其次是技術搜索引擎是技術驅動，百度和其創始人李彥宏最具技術基因。馬云對外宣稱因為其不懂技術所以阿里技術最強。只有騰訊不怎么強調技術，一直強調產品能力。大數據是技術活兒，百度和阿里這兩位自認為技術很強的玩家探索在先符合常理。百度和阿里在大數據技術已經進行較多布局，從人才到架構到基礎設施再到技術理論。百度有深度學習研究院、高價聘請大數據領域人才以及與高校合作，正在建設亞洲最大云計算[注]機房；阿里有飛天計劃，有先進的跨機房5k集群、Apsara分布式計算系統，還有數據委員會這樣的架構。幾家在云計算平臺上的不同態度可以佐證我的觀點。云平臺和大數據是連體嬰?！耙苿佣恕?、合作伙伴和用戶個人的數據，均需要“云”來收集、存儲和處理。要掌握大數據，一定要具備承載數據的開放的云。阿里云09年成立，百度云12年推出，分別對應到IaaS[注]模式和PaaS[注]（Amazon VS Google）。它們的云服務在向開發者和用戶提供基礎設施、云端服務的同時，收集第三方網站、應用、硬件和用戶的數據。百度遷徙能夠生效便是得益于第三方App為百度貢獻位置數據。騰訊云去年9月才推出，起步晚了點。雖然騰訊開放平臺成熟，但開放平臺更多是分享騰訊的用戶和資源出來，目的不是收集數據。而且開放平臺是運營、合作、生態層面的事，云平臺才是技術問題。最后是位置典型的互聯網交易場景大概是這樣的，用戶在聊天、社交、娛樂的過程中，會被吸引注意力，關注“興趣”，抑或因為興趣而發現新的信息。然后用戶去了解、去尋找想要的東西（需求、欲望、找到所求），最后在網上完成交易（電商和O2O[注]）。 廣告收費模式可以看出三家的位置差異。百度是CPC，按照點擊次數付費（不管點擊后的行為），阿里淘寶客等廣告則直接可以對應到購買行為,CPA（按實際效果）和CPS（按效果傭金）居多。騰訊門戶、聊天Banner廣告更親睞于CPM或者CPT（按照展示次數或者時長），廣點通是CPA，但亮點案例集中在應用下載領域，而不是交易領域。 三家都不希望只處于某一個環節，而是期望上中下通吃。百度有貼吧這樣的興趣社交產品，有視頻這種注意力型業務，還推出了直接在結果頁下單的“微購”，上下延展；騰訊重組了搜索業務（與搜狗合并）和電商業務（與京東合并），向下的機會還有；阿里投資微博、布局智能電視以及做導購網站做微淘，努力在向上走。幾個互聯網巨頭的動機、技術和位置的不同，在大數據應用上的思路也不同：騰訊蜻蜓點水，阿里布局為先，百度技術至上。相同的是，幾家都在想方設法籠絡更多的數據，收集數據是第一階段，形成收集數據的能力和機制是第二階段，第三階段才是數據挖掘，目前BAT三家均處于從第二階段到第三階段之間，一旦大數據應用全面進入第三階段，積累更深、投入更多的百度或將有望顯出優勢。 AppStore和iPhone的誕生，將人們帶入了智能手機和移動互聯網時代，顛覆了傳統的軟件業和手機業。未來，對大數據商業價值的發掘將給互聯網公司拓展出更大的增長空間，甚至有可能催生出全新的商業模式和硬件產品，就像AppStore和iPhone那樣，給人們的工作和生活方式帶來顛覆性的變化。5企業應如何應對大數據時代2014年新春，百度遷徙圖與春運的完美“聯姻”使得大數據又借勢火了一把，大數據再次以風靡之勢席卷輿論，一股大數據熱正在不斷擴散。其實，提起大數據，相信大多數人并不陌生，但對于大數據的有效應用大家更多的是處在摸索和嘗試階段。特別是一些中小企業往往把大數據建設想象得過于龐大，而對大數據望而卻步。這種假象這很大程度掩蓋了中小企業依靠數據來挖掘市場潛力的機會。 大數據在百度遷徙圖上的應用根據IDC研究，然而只有1%數據中的一般進行了有意義的分析。但這微不足道的比例，也足以讓大家注意到大數據的重要性和潛力。事實證明，大數據的迅速增長及相關技術的發展正在給企業帶來全新的商業機遇。據《麻省理工學院斯隆管理評論》和IBM商業價值研究院聯合舉行的2011年新智能企業全球高管調查和研究項目指出，絕大多數企業都已抓住了這些機遇。2011年，58%的企業已經將分析技術用于在市場或行業內創造競爭優勢，而2010年這一比例僅為37%。值得注意的是，采用分析技術的企業持續超越同行的可能性要高兩倍。面對大數據可能帶來的商業機遇，中小企業為什么會望而卻步呢？其實這是把大數據廣義化的結果。從廣義的大數據建設來講，其涉及的技術要求、耗資成本、人力匹配等要素對一般中小企業來講存在很大的挑戰性。即使有大數據建設意愿，因為沒有成熟的系統架構理念，也使得老板們無從下手。其實，企業的數據可以分為結構化數據、半結構化數據和非結構化數據3種類型。而其中，85%的數據屬于廣泛存在于社交網絡、物聯網、電子商務等之中的非結構化數據。這些非結構化數據的產生往往伴隨著社交網絡、移動計算和傳感器等新的渠道和技術的不斷涌現和應用。在這些數據中，僅依托社交網絡而存在的數據對企業開拓新的市場需求就是一個巨大的機遇。如果企業能夠從這些依托社交網絡的數據（如網民對某行業的議論、某種需求訴求、某產品功能吐槽、電子網站上價格、媒體上的某新產品發布會等等）中獲取新的洞察力，并將其與已知業務的各個細節相融合，挖掘用戶需求點，創新產品，這就是機遇，也是競爭力。以房產行業為例。假如房企有效采集到論壇、微博、博客、貼吧、新聞跟帖上網關于住房話題議論數據，如民對房屋設計、小區環境、家居質量、交通情況、個人住房需求偏好以及用戶賬號的個人注冊信息等，就可以從中分類分析不同年齡段、性別、地區的客戶消費偏好、消費能力，以此為依據去了解區域市場的需求，肯定會有別樣的收獲。雖然，大數據在國內應該還處在探索和嘗試階段，但是一些行業巨頭進軍大數據的步伐從未停滯。從阿里巴巴到騰訊，從無印良品到海爾和小米，他們都在通過各種不同的方式或形式投身于大數據應用中。雖然這些企業分布在不同行業，但它們都有一個共同的特點，那就是在利用互聯網思維和大數據有效地為客戶提供更符合需求的產品。拿房地產巨頭之一的萬科來說。萬科在客戶行為數據調查中發現，移動互聯時代家里的網絡WiFi必不可少，但經常會出現每個房間WiFi信號強度有別的尷尬，因此在其樓房中統一配備了WiFi增強系統；同時，因為現在很多年輕人變得很宅，習慣在沙發上坐一整天，于是設計了“土豆位”的概念，迎合3C時代年輕人的生活習慣。而在社區配套服務上，萬科更嘗試讓業主、客戶可以在社區建設之初就參與到社區配套的設計和運營上來，引入時下最新的互聯網概念 “眾籌”，根據業主需求未來有可能實現“眾籌”健身房、超市、美容院等。同樣，這種從網絡數據中挖掘新的市場需求的做法也適用于婚戀公司。比如，作為一家婚戀網站，百合網不僅需要經常做一些研究報告，分析注冊用戶的年齡、地域、學歷、經濟收入等數據，即便是每名注冊用戶小小的頭像照片，這背后也大有挖掘的價值。百合網研究規劃部李琦曾經對百合網上海量注冊用戶的頭像信息進行分析，發現那些受歡迎頭像照片不僅與照片主人的長相有關，同時照片上人物的表情、臉部比例、清晰度等因素也在很大程度上決定了照片主人受歡迎的程度。例如，對于女性會員，微笑的表情、直視前方的眼神和淡淡的妝容能增加自己受歡迎的概率，而那些臉部比例占照片1/穿著正式、眼神直視沒有多余pose的男性則更可能成為婚戀網站上的寵兒。拋開以其他形式存在的結構化數據和半結構化數據不說，單單以基于社交及新聞媒介存在的信息數據而言，其就表現出以下三個特點。第一，數據呈現類型繁多。拜互聯網和通信技術近年來迅猛發展所賜，如今的網絡數據類型早已不是單一的文本形式，還包括辦公文檔、文本、圖片、XML、HTML、各類報表、圖像、音頻、視頻、數字等等各種豐富的數據信息，這對對數據的抓取及處理能力提出了更高的要求。第二，數據量巨大。大數據到底有多大？一組名為“互聯網上一天”的數據告訴我們，一天之中，；發出的郵件有2940億封之多（相當于美國兩年的紙質信件數量）；發出的社區帖子達200萬個（相當于《時代》雜志770年的文字量）。一分鐘內，微博推特上新發的數據量超過10萬；社交網絡“臉譜”的瀏覽量超過600萬……第三，“碎片化”傳播。自媒體時代的社交媒介。沒有任何的組織目標和指導方針，它的“碎片化”信息數據傳播迎合了社會信息化的進程，反應了信息數據的時效性、即時性、反饋性。散布在世界各地的微博主隨時傳播著產品信息和評論，見證著企業各種活動，評論產品的好壞等，以一種旁觀和參與兼顧的姿態記錄對自己接觸的所有事物的認知、建議、訴求、情緒。隨著網絡社交在線的互動性、便捷性增強，在社會化媒體進行評級、撰寫點評、博文、點贊，產生大量的非結構性數據和碎片化數據，那么這些流傳于網絡的信息數據會是以什么樣的形成存在呢？就拿上文中談到的房地產數據來說，這些數據完全可以來源于網絡房產類話題的網友議論內容，比如微博上網友在討論住房是提到的對wifi的信號的訴求；論壇上房產頻道網友住房不布置設想；貼吧上網友對住房小區配套設施的吐槽等等。這些網友的訴求、吐槽、設想信息數據分析結果，將指導產品的設計和社區配套的建設，包含戶型、景觀、住宅性能和鄰里空間等方面。有人說，發現知識正是大數據的真正價值，僅僅存儲數據而不去挖掘內在信息并沒有意義。但是，作為發現知識的必要條件，如何獲取這些支撐我們去挖掘內在信息的數據，是企業建設大數據的基石。Web是一個巨大的資源寶庫，目前頁面數目已超過800億，每小時還以驚人的速度增長，里面有你需要的大量有價值的信息，例如潛在客戶的列表與聯系信息，競爭產品的價格列表，實時金融新聞，供求信息，論文摘要等等?？墒怯捎陉P鍵信息都是以半結構化或自由文本形式存在于大量的HTML網頁中，很難直接加以利用。面對類型繁多、數量巨大以及碎片化的網絡信息數據，如何能對這些數據的有效、準確、全面采集是企業大數據戰略的一個重要組成部分之一。以樂思網絡信息采集系統的功能為例，系統可以根據用戶自定義的任務配置，批量而精確地抽取因特網目標網頁中的半結構化與非結構化數據，轉化為結構化的記錄，保存在本地數據庫中，用于內部使用或外網發布，快速實現外部信息的獲取。通過自定義任務配置，實施目標網站信息自動抓取，實現HTML頁面內各種數據的采集，如文本信息，URL，數字，日期，圖片等；對每類信息自定義來源與分類；下載圖片與各類文件；對于登陸網友實現用戶名與密碼自動登錄，并可以Windows任務計劃器配合，定期抽取目標網站；智能替換去除與內容無關部分如廣告；實現多頁面，多篇、多段文章內容自動瀏覽及自動抽取與合并；實現數據直接進入數據庫而不是文件中，直接或模擬提交表單；實現所有主流數據庫：MS SQL Server, Oracle, DB2, MySQL, Sybase, Interbase, MS Access數據匹配。廣義的大數據建設我們力不從心，但這并不能阻擋我們應用網絡大數據挖掘企業新的市場需求的步伐。通過收集企業外部信息，包括與本公司相關的信息，與競爭對手相關的信息，行業信息，價格信息，與合作伙伴相關的信息，用戶網上反饋的各種信息，科研技術信息，用戶家庭月收入、存款及還款信息，來自于零售商業、服務業的個人消費開支結構信息，從而先于行業、競爭對手鎖定客戶的需求，加快銷售節奏，實現銷售目標。 互聯網企業在很早之前就認識到用戶體驗的質量與企業的收入呈簡單的線性關系。對大范圍的用戶體驗數據進行分析，已成為主流的大數據處理方向，這也是大數據應用先行企業信奉的準則。，在分析這些數據后為顧客量身定制最佳的用戶體驗，同時收獲資深運營洞察力及反詐騙能力。作為一家為購車用戶提供汽車資訊及購買服務的網站，廣告的收益也是其營業額的一部分。這些標語廣告被廣泛貼在各大廠商的轎車、卡車、SUV和貨車上。，用戶在頁面上停留越久，廣告的效果就越明顯。：高性能、高安全性及為廣告商追蹤流量源，這也是有原因的?，F階段，bot和網絡蜘蛛流量作為持續已久的威脅會極大降低網絡性能。一些惡意的bot會將所售汽車列表抓取下來用于垃圾郵件以傳播虛假網站，讓那些毫無戒備的顧客泄露個人信息。日志文件是鑒別惡意行為和優化網站性能的關鍵，但人工處理這些網絡日志及流量數據是一件麻煩又耗時的事情。在沒有實時報告的情況下。大量的訪問源會生成非常多的系統數據，、索引、查詢和分析這些海量內容。Spluck獨有的“machine data web”(機器數據網)能夠組織和識別日志數據。此外該軟件預報機制還能幫助團隊鑒別非法抓取行為和bot流量，并將它們與合法用戶的流量區分開。這些報告舉足輕重，為后臺人員抵制非法流量提供有力數據。這項投資的實際回報有兩點。第一，高效、實時的數據采集每年為公司節省400人工作時。第二，能夠幫助公司緩解在流量高峰期的訪問壓力。例如在2012年美國橄欖球超級杯大賽中，公司通過詳細的性能統計采取了一系列措施，預計節省了服務器和管理成本160000美元。“Splunk軟件能夠讓我們在短時間內處理大量問題，”技術運營部主管Jon Abend說，“不僅網絡日志，我們還可以實時地分析應用日志、應用服務器、中間件部件及系統度量日志等。各類相關用戶——如性能工程師、中間件團隊、搜索引擎市場團隊等——通過本軟件都會獲得管理各類系統的能力。”從今年起，并還在以每小時250萬個網絡日志、每周1TB、每月750萬查詢量的速度繼續增加。有了這樣對大數據分析處理的能力。  結 論 近些年，大數據已經和云計算一樣，成為時代的話題。大數據是