正文內容

2-dtree-決策樹(文件)

2026-01-31 07:59 上一頁面

下一頁面

　

【正文】 Gini Index = 1 – (^2 + ^2 + ^2) = ??? j jpIndexG in i 21_2023/2/9 Guilin 29 Gini索引的性質 ? 一個純的訓練數據集合（只有一個類）的 Gini索引值是 0，這是因為概率 1的 Gini索引值是 1(1)^2 = 0 ? 與熵一樣， Gini索引在每個類的概率相等時達到最大值 ? 下面的圖描出了不同的類個數 n的 Gini索引的最大值，這里， p=1/n ? 注意：無論有多少個類值， Gini索引值總是在 0和1之間 2023/2/9 Guilin 30 圖示 Gini索引的性質 2023/2/9 Guilin 31 舉例說明（用分類誤差計算概率） ? 計算訓練數據集合的不純度的第三個方法是采用分類誤差（ classification error） ? 已知 p(Bus) = , p(Car) = p(Train) = ，分類誤差值的計算如下： ? Classification_Error = 1 – Max{, , } = 1 = }max{1_ jperro rtio nCla ssif ica ??2023/2/9 Guilin 32 分類誤差的性質 ? 與熵和 Gini索引一樣，一個純的訓練數據集合（只有一個類）的分類誤差值是 0，這是因為概率 1的分類誤差值是 1max(1) = 0 ? 分類誤差值總是在 0和 1之間 ? 對于給定類的個數， Gini索引的最大值總是與分類誤差的最大值相等 ? 設每個類的概率為 p=1/n， Gini索引的最大值是1n*(1/n)^2 = 11/n，而分類誤差的最大值也是1max{1/n} =11/n 2023/2/9 Guilin 33 決策樹算法的運行方式 ? 這里解釋決策樹算法的運行方式 ? 設一個訓練數據集合 D有多個屬性和一個類屬性 ? 對于 D，取出每個屬性和類屬性形成一個子集合 ? 如果有 m個屬性，我們就從 D構造出 m個子集合 ? 設第 i個屬性的子集合為 Si ? 這里， D 是 Si的父親 2023/2/9 Guilin 34 舉例說明（訓練數據） 2023/2/9 Guilin 35 舉例說明（訓練數據的子集合） S1 S2 S3 S4 2023/2/9 Guilin 36 取多值的屬性 ? 對于屬性 i的 Si表（子集合），我們需要分別計算每個屬性 i的不純度 ? 例如，屬性 Travel cost有三個值： Cheap, Standard和 Expensive ? 它應該分成三個表（子集合） 2023/2/9 Guilin 37 屬性 Travel cost與三個表 Travel Costs: Cheap Standard Expensive 2023/2/9 Guilin 38 信息增益（ information gain） ? 選擇分裂數據集 D的屬性，需要比較 D和各個子集合 Si之間的不純度差異 ? 數據集 D和子集合 Si的不純度之差異被稱為信息增益（ information gain） ? 所以，需要計算每個屬性的信息增益值 2023/2/9 Guilin 39 信息增益計算方法 ? 一個屬性的信息增益是它產生的子集合的父集合的不純度與該子集合的不純度之差 ? 該子集合的不純度是它分解的表的不純度的加權之和，權值一般是每個表所占的比例 ? 對于熵方法，屬性 i的信息增益計算如下 ? Information gain(i) = i的父集合的熵 – ?(ki/n * Si產生的表 ki的熵 ) 2023/2/9 Guilin 40 屬性 Travel Cost的信息增益 ? 對于訓練數據集 D，我們有三個類 4B、 3C、 3T，D的熵是 ? 對于屬性 Travel Cost，它產生的子集合可以分成如下三個表 ? 值 Cheap有兩個類 4B, 1T，它的熵是 ? 值 Standard有一個類 2T，它的熵是 0 ? 值 Expensive有一個類，它的熵是 0 ? 屬性 Travel Cost的信息增益是 – (5/10 * +2/10*0+3/10*0) = 2023/2/9 Guilin 41 屬性 Travel Cost按三種方法計算的信息增益 ? 同樣，我們也可以用 Gini索引和分類誤差計算屬性 Travel Cost的信息增益 ? 采用三種方法計算出屬性 Travel Cost的信息增益如下 ? Entropy: ? Gini Index: ? Classification Error: 2023/2/9 Guilin 42 屬性 Gender按三種方法計算的信息增益 ? 采用三種方法計算

點擊復制文檔內容

環評公示相關推薦

2-dtree-決策樹(文件)

機器學習之決策樹-資料下載頁

相親、交友與決策樹-資料下載頁

決策樹培訓教材-資料下載頁

決策樹學習培訓講義-資料下載頁

chap4_決策樹-資料下載頁

分類挖掘之決策樹-資料下載頁

ch09決策工具-決策樹-資料下載頁

19決策樹與隨機森林-資料下載頁

決策樹和模型評估課件-資料下載頁

決策樹是通過遞回分割-資料下載頁

決策樹和決策規則培訓教材-資料下載頁

決策樹的重要性-資料下載頁

決策樹算法及應用拓展-資料下載頁

決策樹與模型評估教材-資料下載頁

決策樹分析及spss實現-資料下載頁

2-dtree-決策樹(專業版)

2-dtree-決策樹(留存版)

2-dtree-決策樹-文庫吧

2-dtree-決策樹-wenkub

2-dtree-決策樹(文件)

機器學習之決策樹-資料下載頁

相親、交友與決策樹-資料下載頁

決策樹培訓教材-資料下載頁

決策樹學習培訓講義-資料下載頁

chap4_決策樹-資料下載頁

分類挖掘之決策樹-資料下載頁

ch09決策工具-決策樹-資料下載頁

19決策樹與隨機森林-資料下載頁

決策樹和模型評估課件-資料下載頁

決策樹是通過遞回分割-資料下載頁

決策樹和決策規則培訓教材-資料下載頁

決策樹的重要性-資料下載頁

決策樹算法及應用拓展-資料下載頁

決策樹與模型評估教材-資料下載頁

決策樹分析及spss實現-資料下載頁

2-dtree-決策樹(專業版)

2-dtree-決策樹(留存版)

2-dtree-決策樹-文庫吧

2-dtree-決策樹-wenkub

相親、交友與決策樹-資料下載頁