正文內容

數據倉庫與數據挖掘7-文庫吧

2026-02-13 12:39 本頁面

【正文】 Ui）相差大，則 H（ U）就小。 7．互信息 (1)后驗熵當信宿沒有接收到輸出符號 V時，已知輸入符號 U的概率分布為 P（ U），而當接收到輸出符號 V=Vj 后，輸入符號的概率分布發生了變化 ,變成后驗概率分布 P（ U|Vj）。其后驗熵為：后驗熵是接收到單個輸出符號 Vj后關于信息源 U的不確定性 (信息度量 )。 ??i jijij VUPVUPVUH )|(1log)|()|(＝ ∑ 7．互信息 (2) 條件熵后驗熵對輸出符合 V(全部符號 )求平均值 (數學期望 )，得到條件熵 ? ??j i jijij VUPVUPVPVUH )|(1log)|()()|(∑ ＝ ∑ 這個條件熵稱為信道疑義度。它表示在輸出端收到全部輸出符號 V后，對于輸入端的符號集 U尚存在的不確定性（存在疑義）。從上面分析可知：條件熵小于無條件熵，即 H（ U|V） H（ U）。說明接收到符號集 V的所有符號后，關于輸入符號 U的平均不確定性減少了。即總能消除一些關于輸入端 X的不確定性，從而獲得了一些信息。（ 3）互信息定義 : I（ U,V） = H（ U）－ H（ U|V） I（ U,V）稱為 U和 V之間的互信息。它代表接收到符號集 V后獲得的關于 U的信息量。可見，熵（ H（ U）、 H（ U|V））只是平均不確定性的描述。熵差（ H（ U）－ H（ U|V））是不確定性的消除，即互信息才是接收端所獲得的信息量。對輸入端 U只有 U1， U2兩類，互信息的計算公式為 : ＝＝ ∑ ∑ ∑ ＝－決策樹方法 ? ? 決策樹是用樣本的屬性作為結點，用屬性的取值作為分支的樹結構。 ? 決策樹的根結點是所有樣本中信息量最大的屬性。樹的中間結點是該結點為根的子樹所包含的樣本子集中信息量最大的屬性。決策樹的葉結點是樣本的類別值。 ? 決策樹是一種知識表示形式，它是對所有樣本數據的高度概括。 ? 決策樹能準確地識別所有樣本的類別，也能有效地識別新樣本的類別。 ID3方法基本思想 ? 最有影響的決策樹方法首推 ID3。 ? 首先找出最有判別力的特征，把數據分成多個子集，每個子集又選擇最有判別力的特征進行劃分，一直進行到所有子集僅包含同一類型的數據為止。最后得到一棵決策樹。 ? ，他將其稱為信息增益（ information gain），作為特征判別能力的度量，并且將建樹的方法嵌在一個迭代的外殼之中。一、 ID3基本思想例如：關于氣候的類型，特征為 : 天氣取值為：晴，多云，雨氣溫取值為：冷，適中，熱濕度取值為：高，正常風取值為：有風，無風 ? 每個實體在世界中屬于不同的類別，為簡單起見，假定僅有兩個類別，分別為 P， N。在這種兩個類別的歸納任務中， P類和 N類的實體分別稱為概念的正例和反例。將一些已知的正例和反例放在一起便得到訓練集。 ? 表。由 ID3算法得出一棵正確分類訓練集中每個實體的決策樹，見下圖。 NO. 屬性類別天氣氣溫濕度風 1 晴熱高無風 N 2 晴熱高有風 N 3 多云熱高無風 P 4 雨適中高無風 P 5 雨冷正常無風 P 6 雨冷正常有風 N 7 多云冷正常有風 P 8 晴適中高無風 N 9 晴冷正常無風 P 10 雨適中正常無風 P 11 晴適中正常有風 P 12 多云適中高有風 P 13 多云熱正常無風 P 14 雨適中高有風 N 天氣濕度風晴雨多云高正常有風無風 P N N P P ID3決策樹 ? 決策樹葉子為類別名，即 P 或者 N。其它結點由實體的特征組成，每個特征的不同取值對應一分枝。 ? 若要對一實體分類，從樹根開始進行測試，按特征的取值分枝向下進入下層結點，對該結點進行測試，過程一直進行到葉結點，實體被判為屬于該葉結點所標記的類別。 ?現用來判一個具體例子，某天早晨氣候描述為 :

點擊復制文檔內容

環評公示相關推薦

數據倉庫與數據挖掘7-文庫吧

數據倉庫和數據挖掘的olap技術-資料下載頁

數據倉庫與數據挖掘演示稿第5章-資料下載頁

數據倉庫與數據挖掘的決策支持-資料下載頁

數據倉庫與數據挖掘實驗報告-資料下載頁

數據倉庫與數據挖掘課程設計-資料下載頁

數據倉庫與數據挖掘課程設計-資料下載頁

數據倉庫與數據挖掘概述(學時2)-資料下載頁

ch14數據倉庫與數據挖掘-資料下載頁

數據倉庫與數據挖掘項目建設方案-資料下載頁

數據倉庫和數據挖掘的olap技術概述-資料下載頁

2、數據倉庫和數據挖掘的olap技術-資料下載頁

數據倉庫與數據挖掘決策樹實驗-資料下載頁

第10章數據倉庫與數據挖掘的綜合應用-資料下載頁

數據倉庫與數據挖掘技術復習資料-資料下載頁

數據挖掘2章數據倉庫和數據挖掘的olap技術-資料下載頁

數據倉庫與數據挖掘7(已修改)

數據倉庫與數據挖掘7(編輯修改稿)

數據倉庫與數據挖掘7-wenkub.com

數據倉庫與數據挖掘7(已改無錯字)

數據倉庫與數據挖掘7-資料下載頁

數據倉庫與數據挖掘7-文庫吧

數據倉庫和數據挖掘的olap技術-資料下載頁

數據倉庫與數據挖掘演示稿第5章-資料下載頁

數據倉庫與數據挖掘的決策支持-資料下載頁

數據倉庫與數據挖掘實驗報告-資料下載頁

數據倉庫與數據挖掘課程設計-資料下載頁

數據倉庫與數據挖掘課程設計-資料下載頁

數據倉庫與數據挖掘概述(學時2)-資料下載頁

ch14數據倉庫與數據挖掘-資料下載頁

數據倉庫與數據挖掘項目建設方案-資料下載頁

數據倉庫和數據挖掘的olap技術概述-資料下載頁

2、數據倉庫和數據挖掘的olap技術-資料下載頁

數據倉庫與數據挖掘決策樹實驗-資料下載頁

第10章數據倉庫與數據挖掘的綜合應用-資料下載頁

數據倉庫與數據挖掘技術復習資料-資料下載頁

數據挖掘2章數據倉庫和數據挖掘的olap技術-資料下載頁

數據倉庫與數據挖掘7(已修改)

數據倉庫與數據挖掘7(編輯修改稿)

數據倉庫與數據挖掘7-wenkub.com

數據倉庫與數據挖掘7(已改無錯字)

數據倉庫與數據挖掘7-資料下載頁

2、數據倉庫和數據挖掘的olap技術-資料下載頁