數據挖掘與統計工作報告(編輯修改稿)

　

【文章內容簡介】 被紀錄的； 2. 以交互式個人化服務為終極目標，除了因應不同訪客呈現專屬設計的網頁之外，不同的訪客也會有不同的服務； 3. 可整合外部來源數據讓分析功能發揮地更深更廣，除了 log file、 cookies、會員填表數據、在線調查數據、在線交易數據等由網絡直接取得的資源外，結合實體世界累積時間更久、范圍更廣的資源，將使分析的結果更準確也更深入。 利用 Data Mining 技術建立更深入的訪客數據 剖析，并賴以架構精準的預測模式，以期呈現真正智能型個人化的網絡服務，是 Web Mining 努力的方向。 Data Mining 在 CRM 中扮演的角色為何？ CRM（ Customer Relationship Management）是近來引起熱烈討論與高度關切的議題，尤其在直效行銷的崛起與網絡的快速發展帶動下，跟不上 CRM 的腳步如同跟不上時代。事實上 CRM 并不算新發明，奧美直效行銷推動十數年的 CO（ Customer Ownership）就是現在大家談的 CRM— 客戶關系管理。 Data Mining 應用在 CRM 的主要方式可對應在 Gap Analysis 之三個部分： 針對 Acquisition Gap，可利用 Customer Profiling 找出客戶的一些共同的特征，希望能藉此深入了解客戶，藉由 Cluster Analysis 對客戶進行分群后再透過 Pattern 企業管理 資源網 ()大量管理資料下載 Analysis 預測哪些人可能成為我們的客戶，以幫助行銷人員找到正確的行銷對象，進而降低成本，也提高行銷的成功率。 針對 Sales Gap，可利用 Basket Analysis 幫助了解客戶的產品消費模式，找出哪些產品客戶最容易一起購買，或是利用 Sequence Discovery 預測客戶在買了某一樣產品之后，在多久之內會買另一樣產品等等。利用 Data Mining 可以更有效的決定產品組合、產品推薦、進貨量或庫存量，甚或是在店里要如何擺設貨品等，同時也可以用來評估促銷活動的成效。 針對 Retention Gap，可以由原客戶后來卻轉成競爭對手的客戶群中，分析其特征，再根據分析結果到現有客戶資料中找出可能轉向的客戶，然后設計一些方法預防客戶流失；更有系統的做法是藉由 Neural Network 根據客戶的 消費行為與交易紀錄對客戶忠誠度進行 Scoring 的排序，如此則可區隔流失率的等級進而配合不同的策略。 CRM 不是設一個（ 080）客服專線就算了，更不僅只是把一堆客戶基本數據輸入計算機就夠，完整的 CRM 運作機制在相關的硬軟件系統能健全的支持之前，有太多的數據準備工作與分析需要推動。企業透過 Data Mining 可以分別針對策略、目標定位、操作效能與測量評估等四個切面之相關問題，有效率地從市場與顧客所搜集累積之大量資料中挖掘 出對消費者而言最關鍵、最重要的答案，并賴以建立真正由客戶需求點出發的客戶關系管 理。企業管理 資源網 ()大量管理資料下載 Data Mining 的進行步驟 資料挖掘既然可以增加企業智慧，提升企業競爭優勢，到底應該如何進行呢？根據 Glymour 等人的研究，提出一個參考的進行步驟如下： （ Acquisition） （ Integration and checking） （ Data cleaning） （ Model and hypothesis development） 核所挖掘的數據（ Testing and verfication） （ Interpretation and use） 從八個步驟來看， Data Mining 牽涉大量的規劃與準備，而從其它文獻得知，專家聲稱高達 80%的過程花在準備數據階段，這包括表格的 Join 以及可能相當大量的數據轉換。從這個角度看， Data Mining 只是知識發掘過程中的一個步驟而已，而達到這個步驟前還有許許多多的工作要完成。 個案研究 現在已經有相當數量的公司安裝了數據挖采軟件，以找出那些會造成利潤差異的信息。 企業管理 資源網 ()大量管理資料下載 英國 Safeway 此個案研究探討英國的 Safeway 如何運用 Data Mining 來從大量的數據中萃取商業信息。英國 Safeway 使用 Intelligent Miner 從數據中萃取商業知識，這是一個 Data Mining 可以成為企業的一部份的最佳范例。英國 Safeway 定義了明確并實際的目標，使用相當干凈的數據源，進行 Data Mining，并且投注許多人力用以解讀 Data Mining 的結果，并且采取實際的行動以善用 Data Mining 所發掘出來的信息。 英國 Safeway 的 年銷售量超過一百億美金，旗下的員工接近七萬名，是英國第三大的連鎖超級市場，提供的服務種類則達三十四種。該公司的信息部有兩臺System/390 服務器，以平行的方式執行 DB2，其中最大者每周要管理八百萬筆交易，以及約 4TB 的磁盤儲存容量。 根據英國 Safeway 的信息總監邁克溫曲指出，該公司在兩年前就體會到必須要采用不同的方式來取得競爭上的優勢。「在英國市場運用傳統的技術，如更低的價位、更多的店面、以及更多種類的產品，競爭已經越來越困難了，」溫曲先生說：「大部份的競爭對手在價格以及產品范圍方面都能與我們匹敵 。由于土地以及擴充的成本，沒有一家公司有足夠的資源可以在擴充方面超越對手。」 溫曲先生的說法是，這個問題的答案是：「必須以客戶為導向，而非以產品與店家為導向。這意味著我們必須更了解客戶個人。為了達成這個目標，我們必須了解六百萬客戶所做的每一筆交易，以及這些交易彼此之間的關連性。」換句話說，英國 Safeway 想要知道哪些種類的客戶買了哪些種類的產品以及購買的頻率，以建立「個人導向的市場」。 (1)一把網住 將資源集中在特定的問題上，并設定可達成的目標之后，英國 Safeway 在商業智慧過程（也就是 Data Warehousing/Data Mining 過程）中的下一步，就是選擇企業管理 資源網 ()大量管理資料下載 適當的數據來源，將客戶的交易數據集中在 Data Warehouse 中。為了達到這個目的，該公司開始發信用卡給客戶，客戶用這種信用卡結帳可以享受各種優惠，這種信用卡就成為該公司在 500 家店面搜集六百萬客戶資料的「網」。這些客戶的消費行為數據不斷地被從主數據庫中萃取出來，每周存在 Data Warehouse 中（大約有 500GB），使用的平臺則為執行 Intelligent Miner 的 RS/6000SP2。 IBM 聲稱該公司在 1996 推出的 Intelligent Miner 能提供 Data Mining 作業所需的完整環境，提供數據準備的設施，以及八種 Data Mining 技術，包括預測模型、數據分割、以及產品吸引力分析，當然還有圖形化的結果顯示。 通常數據在存入 Data Warehouse 之前，都必須經過各種仔細的轉換（ Data Cleansing），例如將標稱值轉換為數值、定義衍生的屬性、以及去除空值（ Null Values）等等，這都要視應用而定。在英國 Safeway 的個案里，資料源為單一的交易處理系統，該公司對這些數據質量有足夠的信心， 而且該公司的目標僅在于大略的估計其客戶是哪些人，所以 Data Cleansing 并不是主要的問題。 在資料被存入 Data Warehouse 之后， Intelligent Miner 會根據客戶的相關資料，將客戶分為 150 類。然后再用 Association 的技術來比較這些數據集合（這些數據包括交易數據以及產品數據），然后將列出產品吸引力的清單（例如「在購買烤肉炭的客戶中， 75%也會購買打火機燃料」）。溫曲先生指出，這些功能是連續發生的：「并沒有一位統計師在那里跑來跑去的說：「你知道這件事嗎？」這個過程事實上是 我們業務的一部份。」 (2)找出模式 溫曲先生的說法是，由于 Data Mining 的貢獻，「我們找出了超過人類概念范圍的關連性。」例如 Intelligent Miner 發現某一種奶酪產品雖然銷售額排名第209，可是消費額最高的客戶中有 25%都常常買這種奶酪，這些客戶可是英國企業管理 資源網 ()大量管理資料下載 Safeway 最不想得罪的客戶。如果使用傳統的分析方法的話，這種產品很快就會不賣了，可是事實上這種產品是相當重要的。 英國 Safeway 也發現在 28 種品牌的橘子汁中，有 8 種特別受到歡迎。因此該公司得以重新安排貨架的擺設，使得橘子汁的 銷量能夠增加到最大。「我可以舉出數百種與客戶購買行為有關的例子，」溫曲先生指出：「這些信息實在是無價之寶。」 還有，英國 Safeway 在了解客戶每次采購時會購買哪些產品以后，就可以利用 Data Mining 中的 Sequence Discovery 的功能，以偵測出長期的經常購買行為。再將這些數據與主數據庫的人口統計數據結合在一起， Safeway 的行銷部門就可以根據每個家庭的「弱點」，也就是在哪些季節會購買哪些產品的趨勢，發出郵件。「根據這些信息，」溫曲先生指出：「我們在去年發出了一千兩百萬封完全根據個別狀況 設計的郵件，這在我們銷售量的成長方面扮演了很重要的角色。」 有些 Data Mining 的結果會比較容易應用到實際上，有的則不然。針對這個事實，英國 Safeway 使用另外一種工具來篩選結果，也就是將 Data Mining 的結果再做 Data Mining，以找出有顯著興趣的數據。這種工具雖然目前使用的人不多，可是等到 Data Mining 越來越普遍后，接受度應該會更高。 英國 Safeway 采取的 Data Mining 方式可能是很典型的。該公司把焦點集中在這種技術的商業利益上，保持數據的品質，設定實際的目標， 而利用其結果時采取的步驟雖然小，但是實用。換句話說，實際的「 Data Mining」只是較大規模的商業智慧過程中的一小部份而已。 通訊公司 企業管理 資源網 ()大量管理資料下載 與其它電話公司一樣， MCI 想要保有最多的顧客。方法之一就是及時找出可能考慮換到競爭公司的顧客。如果做得到這一點，該公司就可以設法留下客戶，例如提供特別的費率和服務。 如何從數百萬的顧客之中，找到你要維持的對象昵？ MCI 的辦法是徹底搜尋 1 億 4 千萬筆市場家庭數據，而評估每一筆數據的屬性，則高達一萬個。這些特性包括收入、生活力式、過去通話習慣的詳絀資料等。但是 哪些特性的組合才是最需要觀察的？且數據的范圍要訂在多少昵？賬單月費快速減少，可能代表顧客完全背公司而去了，但是我們可以從顧客的國際電話中找到更精微的模式嗎？或從顧客打電話紿客戶服務專線的次數找到模式？ 為找出這個模式， MCI 定期啟動該公司的 IBMSP/2 超級計算機－該公司的數據倉儲（ data warehouse），以找出最顯著的變項，并密切注意這個變項。到目前為止，在多次重復整理歷史資料后，這臺 SP/2 已經匯編出一套含 22 個詳細而高度機密的統計性資料文件。 MCI 的信息主管 指出，沒有 數據挖采程序的話，不可能開發出任何統計數據文件。 公司 和其它電話公司一樣，它也希望能找出有家用第二和第三條電話線的強烈需求的家庭。這些需求是為了家中的青少年、傳真設備和個人計算機。但是除非電話公司可以完全確定新增線路會產生實質的利益，否則他們是不會把錢投資在一些特別區域的網絡總機和電話干線的。甚且， US West 說，他們打算精確的找出特定顧客，這些顧客不僅接受公司提供的初級服務，而且會持續使用第二條電話線路，時間久到讓公司獲有利潤。 為了找到這些人， US West 使用一個叫做 PALMS 的程序。與該公司共同設計這套程序的有 ATamp。T 的 NCR 計算機部門，及擁有美國航空公司的 AMR 公司旗下的 Sabre Decision Technologies 部門。 PALMS 的執行平白是威力強大的 NCR平行處理計算機。首先， PALMS 過