02貝葉斯決策理論(編輯修改稿)

　

【文章內容簡介】 )都是非負的，且 p(x)是已知的，因此要使 R(α)最小，就要對所有 x使 R(α (x)|x)最小，因此，最小風險貝葉斯決策就是： 若 則 1 , ,( | x) m in ( | x) ,ijjkRR?? ??i??? 。決策步驟 ? 利用貝葉斯公式計算后驗概率 ? 利用決策表，計算條件風險 ? 在各種風險中選擇風險最小的決策，即 1( x | ) P ( )( | x) , 1 , , .( x | ) P ( )jjj ciiipP j cp?????????1( | x) ( , ) ( | x) , 1 , , .ci i j jjR P i k? ? ? ? ???1 , ,a r g m in ( | x) .iik R????特殊情形 ? 在樣本和決策都是兩類的情形下，最小風險貝葉斯決策為： 其中， ? 顯然，當 時，最小風險貝葉斯決策就變為最小錯誤率貝葉斯決策。 111 1 12 2 21 1 22 22( | x) ( | x) ( | x) ( | x) , x .P P P P ?? ? ? ? ? ? ? ? ?? ?? ? ? ???若 則( , ) .ij i j? ? ? ??11 22 12 21= = 0 = = 1? ? ? ?，幾種等價形式 111 21 1 22 12 2211 1 1 22 12 12 2222 2 2 11 21 21 1111 1 12 2222 2 21 11( ) P ( | x) ( ) P ( | x) x .P ( | x) ( x | ) P ( )x.( | x) ( x | ) P ( )( x | ) P ( ) ( )( x ) x .( x | ) P ( ) ( )pPpplp?? ? ? ? ? ???? ? ? ? ? ? ??? ? ? ? ? ? ??? ? ? ??? ? ? ?? ?? ? ? ???? ???? ? ? ?? ???? ???? ?? ??若 ， 則若 ， 則若 ， 則決策例子 決策 狀態 ω1 ω2 α1 0 6 α2 1 0 在前面例子的基礎上，利用下面的決策表，按最小風險貝葉斯決策重新進行分類決策。 P(ω1)=， P(ω2)=, 未知細胞 x滿足 P(x|ω1)=， P(x|ω2)=。 決策例子 ? 解：已計算出的后驗概率為 ? 條件風險 ? 由于 ，決策為 ω2，即判別待識別細胞為異常細胞。 12P ( | x) 18 , P ( | x) 82 .????21 1 12 212 21 1R ( | x) ( | x) ( | x) 2.R ( | x) ( | x) 8.jjjPPP? ? ? ? ?? ? ??? ? ????12R ( | x) R( | x)???分析 ? 同樣的數據，因為對兩類錯誤帶來的風險的認識不同，得出了與前面相反的結論。 ? 由于決策表是人為確定的，決策表的不同會導致決策結果的不同，因此，在實際應用中，需要認真分析所研究問題的內在特點和分類的目的，與應用領域的專家共同設計出適當的決策表，才能做出更有效的決策。 正態分布時的統計決策 ? 正態分布概率密度函數的定義及性質 ? 多元正態概型下的最小錯誤率貝葉斯判別函數和決策面 正態分布的重要性 ? 正態分布是所有分布中最受關注的分布 – 數學上易于分析 – 物理上的合理性：適合于給定類別 ωi的特征 x是某個單值向量 μi的隨機擾動的情形（根據中心極限定理，大量微小的，獨立的隨機擾動加和的累積效應會導致高斯分布） – 很多模式（比如魚，手寫字符，語音等）都可以看成一個理想模式被大量隨機過程所擾動的結果，因此正態分布是描述實際概率分布的理想模型 ㈠ 單變量正態分布 ● 單變量正態分布概率密度函數定義為 })(21exp{2 1)( 2? ??? ??? xxp ? ????? dxxxpxE )(}{? ???? ?? dxxpx )()(22 ??正態分布的重要性質 ? 正態分布可以由均值 μ和方差 σ完全確定 ? 正態分布與熵之間有著深刻的聯系， ? 熵度量的是從一個分布中隨機抽取樣本時的不確定性 ? 可以證明，在給定均值和方差的前提下，正態分布的熵是最大的 ( ( ) ) ( ) l n ( ) .H p x p x p x dx?? ? ㈡ 多元正態分布 ⒈多元正態分布的概率密度函數 ?? ?????? iiiE iii dxxpxdpxxE d )()(}{ xx?)}()(21exp{||)2(1)( 1212μxμxx ?????? ?Tdp?( ) ( )dEE x x p x dx? ?? ?1 1 1( ) ... ( ) ... ...i i i dp x p x dx dx dx dx????? ? ? ?? ??● 協方差的各分量為： ? ?111 1 d ddd1 1 1 1 1 1 d dd d 1 1 d d d d[ ] = { ( ) ( ) }[ ( ) ( ) ] [ ( ) ( ) ][ ( ) ( ) ] [ ( ) ( ) ]TijExE x xxE x x E x xE x x E x x?????? ? ? ?? ? ? ?? ? ? ??????? ? ????? ???? ? ? ??????? ? ? ???x μ x μ? ?????????????jijijjiijjii2),())(()])([(dxdxxxpxxxxEij?????● 協方差矩陣總是非負定陣。 ● 對于任意隨機向量 x， xT∑x是 ∑的二次型。如果對 x≠0的一切 x 有 xT∑x≥0 都成立，則稱 ∑為非負定陣。 ● 若 xT∑x0，則 ∑為正定陣。 ● 對于正定矩陣，各階主子式非零（包括|∑|≠0）。 ? ⑴參數 μ和 ∑對分布的決定性 ? ⑵等密度點的軌跡為一超橢球面 ? ⑶不相關性等價于獨立性 ? ⑷邊緣分布