正文內(nèi)容

決策樹培訓講義(ppt50頁)(編輯修改稿)

2026-01-31 19:35 本頁面

　

【文章內(nèi)容簡介】 in} 去除不代表任何分裂的集合：空集 {}和全集 {sunny, overcast, rain}。則基于 Outlook的劃分方式有 3種：分別計算每種劃分的 Gini指標： 32 3( 2 2) / 2 = 3? ?? ?? ?, ,( { } { }2 2 2 2, ,){}( { } )( { } , )()95= ( ) ( )14 149 6 3 5 2 3( 1 ( ( ) ( ) ) ) ( 1 ( ( ) ( ) ) )14 9 9 14 5 50() .3571(sun ny ov e rc ast rainsun ny ov e rc ast rainsun n ov e rc astov e rc asty rainsun ny rainG ini SG ini S G ini SG iniG iniS????? ? ? ? ? ???劃分劃分劃分0. 7) 393S ?選擇劃分 CART 分類樹對于離散值屬性，在算法中遞歸的選擇該屬性產(chǎn)生最小 Gini指標的子集作為它的分裂子集。（或使用其他不純度）對于連續(xù)值屬性，必須考慮所有可能的劃分點。其策略類似于，利用 Gini指數(shù)最小原則，選擇劃分點。 CART 分類樹 ? 節(jié)點 t的類 classify(t): c os ( | ) ( ) ( )()c os ( | ) ( ) ( )()( | )iijjiit j i p i N t Nc ost jc las si fy tt i j p j N t Nitiiijj??其中 p(i) 是類 i 的先驗概率 ,N 是總訓練數(shù) 據(jù) 集中類的樣本個數(shù) ，N 是節(jié) 點 t 的數(shù) 據(jù)若對于除集中類 i 的樣本個數(shù)是誤分類成本：表示實類以外的所有際上屬類都成立于類，被錯，則將 N 標記為類分成i類的概率? CART_classification(DataSet, featureList, alpha,)： – 創(chuàng)建根節(jié)點 R – 如果當前 DataSet中的數(shù)據(jù)的類別相同，則標記 R的類別標記為該類 – 如果決策樹高度大于 alpha，則不再分解，標記 R的類別 classify(DataSet) – 遞歸情況： ? 標記 R的類別 classify(DataSet) ? 從 featureList中選擇屬性 F（選擇 Gini(DataSet, F)最小的屬性劃分，連續(xù)屬性參考 (以 Gini最小作為劃分標準 )） ? 根據(jù) F，將 DataSet做二元劃分 DS_L 和 DS_R： – 如果 DS_L或 DS_R為空，則不再分解 – 如果 DS_L和 DS_R都不為空，節(jié)點 C_L= CART_classification(DS_L, featureList, alpha)。 C_R= CART_classification(DS_R featureList, alpha) – 將節(jié)點 C_L和 C_R添加為 R的左右子節(jié)點 CART 分類樹算法步驟示意 CART 回歸樹樣本： (X, y) y為分類 = 分類樹 y為實數(shù) = 回歸樹設 t代表樹的某個節(jié)點， t中的樣本集合為： {(X1,y1), (X2,y2) …}，應變量為實數(shù)， N(t)是節(jié)點 t中的樣本個數(shù)。節(jié)點 t的應變量的均值：節(jié)點 t內(nèi)的平方殘差最小化 (squared residuals minimization algorithm)： ()1,1()iNtii X tyyNt ??? ? () 21,( ) ( ( ) )iNtii X tSS t y y t?????CART 回歸樹劃分 (屬性 )F將 t劃分成左右節(jié)點 tL和 tR， phi值：能最大化上式的就是最佳的 (屬性 )劃分。 ( , ) ( ) ( ) ( )LRt F SS t SS t SS t? ? ? ?*( , ) m a x ( ( , ) )Ft F t F?? ???CART_regression(DataSet, featureList, alpha, delta)：創(chuàng)建根節(jié)點 R 如果當前 DataSet中的數(shù) 據(jù)的值都相同，則標記 R的值為該值如果最大的 phi值小于設定閾值 delta，則標記 R的值為 DataSet應變量均值如果其中一個要產(chǎn)生的節(jié)點的樣本數(shù)量小于 alpha，則不再分解，標記 R的值為 DataSet應變量均值遞歸情況：從 featureList中選擇屬性 F（選擇 phi(DataSet, F)最大的屬性，連續(xù)屬性（或使用多個屬性的線性組合）參考離散化過程 (以 phi最大作為劃分標準 )）根據(jù) F，將 DataSet做二元劃分 DS_L 和 DS_R：如果 DS_L或 DS_R為空，則標記節(jié)點 R的值為 DataSet應變量均值

點擊復制文檔內(nèi)容

化學相關推薦

決策樹培訓講義(ppt50頁)(編輯修改稿)

決策樹課件-資料下載頁

決策樹分類器培訓課件-資料下載頁

決策樹技術培訓課程-資料下載頁

決策樹算法-資料下載頁

決策樹分析技巧培訓課件-資料下載頁

決策樹和決策規(guī)則培訓教材-資料下載頁

決策與決策方法講義(ppt50頁)-資料下載頁

不良貸款分析決策樹-決策樹分析方法運用-資料下載頁

決策樹基本研究-資料下載頁

決策樹學習課件-資料下載頁

分類與決策樹-資料下載頁

決策樹建模概述-資料下載頁

決策樹分析方法-資料下載頁

分類挖掘：決策樹-資料下載頁

數(shù)據(jù)分類-決策樹-資料下載頁

決策樹培訓講義(ppt50頁)(存儲版)

決策樹培訓講義(ppt50頁)-文庫吧在線文庫

決策樹培訓講義(ppt50頁)(完整版)

決策樹培訓講義(ppt50頁)(更新版)

決策樹培訓講義(ppt50頁)(專業(yè)版)