正文內容

5決策樹-資料下載頁

2026-01-05 06:46本頁面

　　

【正文】例 : 192/384= I(64,0)=0 比例 : 64/384= 注意決策樹算法第 6章決策樹計數年齡收入學生信譽歸類：買計算機？ 64 青高否良不買 64 青高否優不買 128 中高否良買 60 老中否良買 64 老低是良買 64 老低是優不買 64 中低是優買 128 青中否良不買 64 青低是良買 132 老中是良買 64 青中是優買 32 中中否優買 32 中高是良買 63 老中否優不買 1 老中否優買年齡青年中年老年學生買信譽葉子否是優良買不買買 / 不買買葉子葉子葉子決策樹算法 ID3 決策樹建立算法 1 決定分類屬性； 2 對目前的數據表，建立一個節點 N 3 如果數據庫中的數據都屬于同一個類， N就是樹葉，在樹葉上標出所屬的類 4 如果數據表中沒有其他屬性可以考慮，則 N也是樹葉，按照少數服從多數的原則在樹葉上標出所屬類別 5 否則，根據平均信息期望值 E或 GAIN值選出一個最佳屬性作為節點 N的測試屬性 6 節點屬性選定后，對于該屬性中的每個值：從 N生成一個分支，并將數據表中與該分支有關的數據收集形成分支節點的數據表，在表中刪除節點屬性那一欄如果分支數據表非空，則運用以上算法從該節點建立子樹。決策樹算法（四） Decision Tree的建立過程 37 決策樹的停止 ? 決策樹是通過遞歸分割 (recursive partitioning)建立而成，遞歸分割是一種把數據分割成不同小的部分的迭代過程。 ? 如果有以下情況發生，決策樹將停止分割： ?該群數據的每一筆數據都已經歸類到同一類別。 ?該群數據已經沒有辦法再找到新的屬性來進行節點分割。 ?該群數據已經沒有任何尚未處理的數據。 2023/1/29 決策樹的剪枝 (pruning) 38 ? 決策樹學習可能遭遇模型過度擬合（ over fitting）的問題，過度擬合是指模型過度訓練，導致模型記住的不是訓練集的一般性，反而是訓練集的局部特性。 ? 如何處理過度擬合呢？對決策樹進行修剪。 ? 樹的修剪有幾種解決的方法，主要為先剪枝和后剪枝方法。 2023/1/29 （ 1）先剪枝方法 39 ? 在先剪枝方法中，通過提前停止樹的構造（例如，通過決定在給定的節點上不再分裂或劃分訓練樣本的子集）而對樹“剪枝”。一旦停止，節點成為樹葉。 ? 確定閥值法：在構造樹時，可將信息增益用于評估岔的優良性。如果在一個節點劃分樣本將導致低于預定義閥值的分裂，則給定子集的進一步劃分將停止。 ? 測試組修剪法：在使用訓練組樣本產生新的分岔時，就立刻使用測試組樣本去測試這個分岔規則是否能夠再現，如果不能，就被視作過度擬合而被修剪掉，如果能夠再現，則該分岔予以保留而繼續向下分岔。 2023/1/29 （ 2）后剪枝方法 40 ? 后剪枝方法是由“完全生長”的樹剪去分枝。通過刪除節點的分枝，剪掉葉節點。 ? 案例數修剪是在產生完全生長的樹后，根據最小案例數閥值，將案例數小于閥值的樹節點剪掉。 ? 成本復雜性修剪法是當決策樹成長完成后，演算法計算所有葉節點的總和錯誤率，然后計算去除某一葉節點后的總和錯誤率，當去除該葉節點的錯誤率降低或者不變時，則剪掉該節點。反之，保留。 2023/1/29 應用案例：在農業中的應用 2023/1/29 41 第一步：屬性離散化 2023/1/29 42 第二步：概化（泛化） 2023/1/29 43 第三步：計算各屬性的期望信息 2023/1/29 44 =(17/30)*LOG((17/30),2)+(10/30)*LOG((10/30),2)+(3/30)*LOG((3/30),2) 計算各屬性的信息增益 2023/1/29 45 第四步：決策樹 2023/1/29 46 案例 2：銀行違約率 2023/1/29 47 2023/1/29 48 案例 3 對電信客戶的流失率分析 2023/1/29 49 數據倉庫條件屬性類別屬性客戶是否流失案例 4：在銀行中的應用 2023/1/29 50 案例 5：個人信用評級 2023/1/29 51 個人信用評級決策樹（五）其他算法 52 ? ? Gini Index算法 ? CART算法 ? PRISM算法 ? CHAID算法 2023/1/29 演講完畢，謝謝觀看！

點擊復制文檔內容

公司管理相關推薦

5決策樹-資料下載頁

分類與決策樹-資料下載頁

決策樹建模概述-資料下載頁

決策樹分析方法-資料下載頁

分類挖掘：決策樹-資料下載頁

數據分類-決策樹-資料下載頁

決策樹學習資料-資料下載頁

12決策樹學習-資料下載頁

決策樹學習講義-資料下載頁

決策樹1-資料下載頁

決策樹培訓講義-資料下載頁

決策樹decisiontree-資料下載頁

決策樹模型概述-資料下載頁

決策樹141118-資料下載頁

決策樹和決策規則概述-資料下載頁

決策樹演算法-資料下載頁

5決策樹(留存版)

5決策樹-文庫吧

5決策樹-wenkub

5決策樹(已修改)