電商經(jīng)濟(jì)形態(tài)背景下的數(shù)據(jù)挖掘、大數(shù)據(jù)分析技術(shù)及實(shí)用案例-資料下載頁(yè)

　　

【正文】 大數(shù)據(jù)產(chǎn)業(yè)鏈上的商機(jī)68facebook社交網(wǎng)絡(luò)…淘寶、 ebuy微博 、Apps…移動(dòng)互聯(lián)電子商務(wù)…什么是大數(shù)據(jù)TB PBEBZBGB1PB = 2^50字節(jié)1EB = 2^60字節(jié)1ZB = 2^70字節(jié)實(shí)時(shí)處理的要求 ,是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)技術(shù) ,BI技術(shù)的關(guān)鍵差別之一69為什么今天才談大數(shù)據(jù)facebook…淘寶、ebuy價(jià)格低廉的存儲(chǔ)價(jià)格低廉的計(jì)算設(shè)備爆炸社交網(wǎng)絡(luò)無處不在的連接傳感器網(wǎng)絡(luò)70為什么今天才談大數(shù)據(jù)美國(guó)醫(yī)療行業(yè)的年度大數(shù)據(jù)經(jīng)濟(jì)預(yù)測(cè)值－ 相當(dāng)于西班牙年度醫(yī)療行業(yè)總體投資的兩倍。歐洲公共事業(yè)的年度大數(shù)據(jù)經(jīng)濟(jì)預(yù)測(cè)－ 超過希臘的 GDP產(chǎn)值全球個(gè)人消費(fèi)者使用地理信息數(shù)據(jù)獲取的商業(yè)價(jià)值零售商借助大數(shù)據(jù)技術(shù)增加的利潤(rùn)增加的數(shù)據(jù)深度分析的工作崗位在美國(guó)，借助大數(shù)據(jù)技術(shù)從事數(shù)據(jù)相關(guān)的經(jīng)理工作崗位大數(shù)據(jù)價(jià)值71理解大數(shù)據(jù) —數(shù)據(jù)處理理念的轉(zhuǎn)變大轉(zhuǎn)變數(shù)據(jù)價(jià)值鏈三大轉(zhuǎn)變大數(shù)據(jù)所有權(quán)大數(shù)據(jù)技術(shù)能力大數(shù)據(jù)創(chuàng)新思維重要性上升重要性上升重要性下降數(shù)據(jù)處理理念的三大轉(zhuǎn)變傳統(tǒng)數(shù)據(jù)處理理念隨機(jī)采樣精確性因果關(guān)系大數(shù)據(jù)處理理念所有數(shù)據(jù)效率相關(guān)關(guān)系72理解大數(shù)據(jù) —不僅應(yīng)用于營(yíng)銷領(lǐng)域?應(yīng)用 － 通過對(duì)大數(shù)據(jù)的儲(chǔ)存、挖掘與分析，大數(shù)據(jù)在營(yíng)銷、企業(yè)管理、數(shù)據(jù)標(biāo)準(zhǔn)化與情報(bào)分析等領(lǐng)域大有作為?行業(yè) － 大數(shù)據(jù)一方面可以應(yīng)用于客戶服務(wù)水平提升及營(yíng)銷方式的改進(jìn)，另一方面可以助力行業(yè)內(nèi)企業(yè)降低成本，提升運(yùn)營(yíng)效益，同時(shí)還能幫助企業(yè)進(jìn)行商業(yè)模式的創(chuàng)新及發(fā)現(xiàn)新的市場(chǎng)商機(jī)?社會(huì) － 大數(shù)據(jù)在智慧城市、智慧交通及災(zāi)難預(yù)警等方面都有巨大的潛在應(yīng)用價(jià)值。專業(yè)機(jī)構(gòu)預(yù)測(cè)，隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，云計(jì)算、物聯(lián)網(wǎng)應(yīng)用的日益豐富，大數(shù)據(jù)未來發(fā)展前景將更為廣闊領(lǐng)域大數(shù)據(jù)社會(huì) 行業(yè)73大數(shù)據(jù) 應(yīng)用場(chǎng)景 —政府? 政府投入將形成示范效應(yīng)，大大推動(dòng)大數(shù)據(jù)的發(fā)展。政府職能變革交通優(yōu)化 自然災(zāi)害預(yù) 防 研究改進(jìn) 物流規(guī)劃環(huán)境監(jiān)控 就業(yè)分析社交網(wǎng)絡(luò)意 識(shí)熱點(diǎn)跟蹤經(jīng)濟(jì)預(yù)測(cè)欺詐檢測(cè)74職業(yè)乞丐腦袋里的大數(shù)據(jù) 大數(shù)據(jù)應(yīng)用案例 　　大數(shù)據(jù)應(yīng)用案例之汽車 制造 　　75大數(shù)據(jù)應(yīng)用 場(chǎng)景 — 智慧城市76大數(shù)據(jù)應(yīng)用 場(chǎng)景 —智慧醫(yī)療面臨挑戰(zhàn)數(shù)據(jù)源數(shù)據(jù)格式數(shù)據(jù)量結(jié)構(gòu)化、半結(jié)構(gòu)化（病歷），非結(jié)構(gòu)化（ PACS影像 )標(biāo)準(zhǔn)難制定 , 或不斷變化中型城市（ 1000萬人口）存放 50年會(huì)達(dá)到 10PB信息共享提升效率醫(yī)療信息區(qū)域內(nèi)準(zhǔn)實(shí)時(shí)共享，醫(yī)生可快速調(diào)閱病人信息個(gè)性化醫(yī)療基于病史的自動(dòng)醫(yī)療、飲食等建議；針對(duì)病史和病癥的 OTC藥物參考等疾病自動(dòng)分類和診斷計(jì)算機(jī)輔助診斷趨勢(shì)分析：例如，流行病擴(kuò)展情況分析、癌癥的歷年趨勢(shì)、藥物效果分析決策輔助系統(tǒng)區(qū)域醫(yī)療健康檔案系統(tǒng)解決問題解決方案特點(diǎn)優(yōu)勢(shì)居民電子病歷存儲(chǔ)、查詢HBase分布式數(shù)據(jù)庫(kù)存放健康檔案和 PACS影像數(shù)據(jù)高速數(shù)據(jù)導(dǎo)入；實(shí)時(shí)數(shù)據(jù)查詢；關(guān)鍵字搜索； 分布式統(tǒng)計(jì)77國(guó)外大數(shù)據(jù)應(yīng)用現(xiàn)狀大數(shù)據(jù) 在歐美已有多年的 投資應(yīng)用 經(jīng)驗(yàn)美國(guó)國(guó)務(wù)院采用大數(shù)據(jù)技術(shù)開發(fā)新的美國(guó)護(hù)照系統(tǒng)。美國(guó) IT公司開始意識(shí)到大數(shù)據(jù)技術(shù)能夠?yàn)楣緞?chuàng)造價(jià)值；IBM宣布投資 1億美元用于大數(shù)據(jù)研究；大數(shù)據(jù)公司引入汽車行業(yè)高管人員擴(kuò)展?fàn)I銷業(yè)務(wù)；78大數(shù)據(jù)應(yīng)用案例 ——營(yíng)銷之客戶行為分析 “ 猜你喜歡 ” 塔吉特百貨孕婦營(yíng)銷。沃爾瑪保潔專柜和沃爾瑪搜索。專業(yè)時(shí)裝零售商希望向客戶提供差異化服務(wù)。　　79國(guó)內(nèi)大數(shù)據(jù)落地面臨的困難數(shù)據(jù)的爆炸式增長(zhǎng)為全球各行業(yè)均帶來了管理上的問題 。? 對(duì)于企業(yè)用戶來說，大數(shù)據(jù)增加了他們所需承擔(dān)的責(zé)任以及成本。滿足這些龐大數(shù)據(jù)量在存儲(chǔ)方面的需求需要采購(gòu)和維護(hù)所需的硬件設(shè)備，并且還要不斷的進(jìn)行監(jiān)督與管理。 大數(shù)據(jù)能夠真正發(fā)揮作用，深層次看，還要改善我們的管理模式，需要管理方式和架構(gòu)的與大數(shù)據(jù)技術(shù)工具相適配。大數(shù)據(jù) 不夠豐富和開放 .? 我國(guó)數(shù)字化的數(shù)據(jù)資源總量遠(yuǎn)遠(yuǎn)低于美歐，每年新增數(shù)據(jù)量?jī)H為美國(guó)的 7%，歐洲的12%，其中政府和制造業(yè)的數(shù)據(jù)資源積累遠(yuǎn)遠(yuǎn)落后于國(guó)外。我國(guó)政府、企業(yè)和行業(yè)信息化系統(tǒng)建設(shè)往往缺少統(tǒng)一 規(guī)劃和科學(xué)論證，系統(tǒng)之間缺乏統(tǒng)一的標(biāo)準(zhǔn)，而且受行政壟斷和商業(yè)利益所限，數(shù)據(jù)開放程度較低。? 現(xiàn)今的分析僅局限在企業(yè)的現(xiàn)有數(shù)據(jù)庫(kù)還不夠 ，還需要保持?jǐn)?shù)據(jù)與當(dāng)前社會(huì)乃至全球的相關(guān)性。這意味著企業(yè)需要從社交媒體、地理位置、 CRM系統(tǒng)、政府的公開數(shù)據(jù)、手機(jī)信息等非專有的渠道獲取數(shù)據(jù)，進(jìn)行額外的分析。對(duì)于實(shí)時(shí)分析來說，當(dāng)前的移動(dòng)應(yīng)用潛力也才剛剛開始出現(xiàn)，其移動(dòng)分析或?qū)⒈阮A(yù)期的影響更加深遠(yuǎn)。大數(shù)據(jù)項(xiàng)目的七大誤區(qū)80盲目跟 風(fēng)?無明確目 標(biāo)?盲目采 購(gòu) 、采用 產(chǎn) 品思路僵化?放羊式管理?在數(shù)據(jù)捕 獲 、提 煉 中缺乏新方法新思路不善借 鑒?不關(guān)注同行數(shù)據(jù) 處 理 經(jīng)驗(yàn)?盲目 創(chuàng) 新“噱 頭 ”意 識(shí)?不重 視 大數(shù)據(jù)的 實(shí)際 價(jià) 值?數(shù)據(jù)浪 費(fèi) （ %決策）過 度夸大成果?過 度承 諾 刺激 銷 量?盲從數(shù)據(jù) 結(jié) 果幻想 獲 得所有數(shù)據(jù)?我 們 所能 獲 得的只是表 層 數(shù)據(jù)?數(shù)據(jù)價(jià) 值 是在使用中 滾 雪球的軟 件萬能?全面依 賴 系 統(tǒng) 放棄人 為 干 預(yù)?分析效果取決于數(shù)據(jù) 質(zhì) 量和分析81大數(shù)據(jù)項(xiàng)目落地前需要解決的幾個(gè)問題成本成本 問問題題帶寬帶寬 能能力力儲(chǔ)儲(chǔ) 存技存技術(shù)術(shù)容量容量 問問題題數(shù)據(jù)平數(shù)據(jù)平臺(tái)臺(tái)延延 遲問遲問題題個(gè)人個(gè)人 隱隱私私商商 業(yè)業(yè) 智智能能82大數(shù)據(jù)項(xiàng)目的具體推進(jìn)步驟數(shù)據(jù)準(zhǔn) 備數(shù)據(jù)集成數(shù)據(jù) 選擇預(yù)處 理數(shù)據(jù)挖掘 數(shù)據(jù)挖掘結(jié) 果表示 結(jié) 果表達(dá)和解 釋數(shù)據(jù)源數(shù)據(jù)目標(biāo)數(shù)據(jù)預(yù)處理后的數(shù)據(jù)模式知識(shí)83數(shù)據(jù)準(zhǔn)備階段選擇選擇 數(shù)據(jù)數(shù)據(jù) 預(yù)處 理數(shù)據(jù) 轉(zhuǎn)換 數(shù)據(jù)搜索所有與業(yè)務(wù)對(duì)象有關(guān)的內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)信息，并從中選出用于數(shù)據(jù)挖掘的數(shù)據(jù)研究數(shù)據(jù)的質(zhì)量，為進(jìn)一步的分析做準(zhǔn)備，并確定將要進(jìn)行的挖掘操作的類型將數(shù)據(jù)轉(zhuǎn)換成分析模型，這個(gè)分析模型是針對(duì)挖掘算法建立的。建立一個(gè)真正適合挖掘算法的分析模型是數(shù)據(jù)挖掘成功的關(guān)鍵84數(shù)據(jù)挖掘過程建模建模 評(píng) 估 部署可以選擇和使用不同的模型技術(shù)，將模型參數(shù)調(diào)整到最佳數(shù)值。需要注意的是，有些技術(shù)在數(shù)據(jù)形成上有特殊要求，有可能需要重復(fù)操作。數(shù)據(jù)模型已經(jīng)建立，檢查構(gòu)造模型的步驟，確保模型可以完成業(yè)務(wù)目標(biāo)。該階段結(jié)束后，必須打成一個(gè)使用數(shù)據(jù)挖掘結(jié)果的決定。模型的作用是從數(shù)據(jù)中找到知識(shí)并投入使用。可以形成一個(gè)簡(jiǎn)單的報(bào)告，或者實(shí)現(xiàn)一個(gè)較復(fù)雜、可重復(fù)的數(shù)據(jù)挖掘過程。85結(jié)果表示階段結(jié)結(jié) 果分析果分析 知 識(shí) 同化解釋并評(píng)估結(jié)果，其使用的分析方法一般應(yīng)視數(shù)據(jù)挖掘操作而定，用常會(huì)用到可視化技術(shù)將分析所得到的知識(shí)集成到業(yè)務(wù)信息系統(tǒng)的組織結(jié)構(gòu)中去。大數(shù)據(jù)應(yīng)用之 ——移動(dòng) BI項(xiàng)目移動(dòng) BI產(chǎn)品 Roambi用戶可以通過智能手機(jī)實(shí)時(shí)連接企業(yè)數(shù)據(jù)中心，獲取分析數(shù)據(jù)。可以隨時(shí)訪問企業(yè) BI應(yīng)用；實(shí)時(shí)鉆取，主題分析；信息定制推送服務(wù)；及時(shí)提醒，監(jiān)控與預(yù)警服務(wù)；隨需定制，個(gè)性化開發(fā)。Roambi是一個(gè)數(shù)據(jù)可視化平臺(tái)，需要其他 BI服務(wù)器的支持，比如 BO， Cognos等。 Thank you！！演講完畢，謝謝觀看！