[理學]模式識別導論二-文庫吧

【正文】 把 x歸于 ω2時風險： )()()( 2221212 xPxPxR ????? ??)()()( 2121111 xPxPxR ????? ??21221211121121)()()()()(???????????????????xxPxxRxR最小風險分類規則：分類器。這時便得到最小錯誤率最大，最小，就相當于后驗概率時時函數用)()()(1)()()()()(,1,0)(:1011xPxRxPxPxPxPxRjijiiiijjjijijijjMiiijjj????????????????????????????????????? ?? ?最小，使為常數時取聶曼－皮爾遜準則是在，如圖所示：的錯誤率判為為的錯誤率判為為10222211122211, ,12??????????????????????dxxPdxxP三、在一類錯誤率固定使另一類錯誤率最小的判別準則 （聶曼 皮爾遜判決 neymanpearson） )( 1?xP)( 2?xP1?2X1X1?2?2?? ? ? ?? ? ? ?? ?? ? ? ?? ?? ?? ? ? ?dxxPdxxPxxTxPxPxPxTPrdxxPxTPrdxxPdxxP??????????????????????????211122211121121112111),(.,11????????????同理：類屬于區域在即區域內應使在應使積分為負最小為變量，要使式中，因為? ? ? ?為代定常數其中：先定義一個輔助常數：要滿足以上條件TdxxPTdxxPTr ????????122121,????? ?.)()(.()()(,)()(121212221211TxTxPxPxTxPxPdxxTPxPr值皮爾遜規則歸結為找閾得到判決準則根據兩個不等式，我們區域）在??????????????? ???????????最小一定可確定，這時為常數時，的函數在取為的分界線作時當1222222121,)(.,)()(????????TTdxxPTTxPxPT???????? ??例 ： 兩類的模式分布為二維正態 協方差矩陣為單位矩陣 ∑1=∑2=I，設 ε2＝ 爾遜準則 T. 解： ? ? ? ? TT 0,1,0,1 21 ?????? ? ? ?? ?? ?? ? ? ?? ?? ??????? ?????????? ?????????? ?????????? ????21e x p212e x p21)(21e x p21 2e x p21)(22212222221111xxxxxPxxxxxPTT??????????同理：所以：因為是兩類正態? ?? ?? ?.1,。,ln212e x p2e x p2e x p)()(:121222112111121時為最小錯誤率小但大小大但小大如圖所示：的不同直線。判別邊界是平行于對于不同式有了判別邊界和判別形即判別式為：判別邊界為：如右圖所示?????????????????????TTTxTxTxxTxxTTxxPxP??????????4 2 121 411?1?1x2x1?2???所以此時聶曼 —— 皮爾遜分類器的分界線為： 2111,ln21???????????xxTTx所以因為由圖可知為保證 ε2足夠小，邊界應向 ω1一側靠， 則 ε1↑ T與 ε2的關系表如右： 最小的判別規則。時使這就是在給定最小上式使此時判別式為：由表查得給定121221212,2)()(???????????????????xTxPxPTT 4 2 1 189。 188。 ε2 四、最大最小判別準則 前邊的討論都是假定先驗概率不變，現在討論在 P(ωi)變化時如何使 最大可能風險最小，先驗概率 P(ω1)與風險 R間的變化關系如下： ? ?? ? ? ?? ?? ? ? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ?? ? ? ? ? ? ? ?? ?dxxPPxPPdxxPPxPPdxxPxxRdxxPxxRdxxPxxRRPRi????????????????2121222211212212111121)(???????????????? 關系：與風險? ? ? ? ? ?? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ?.)(,][111212221211121221112221222112112212的線性函數就是被確定，風險一旦，對二類情況有：??????????????????PRdxxPdxxPPdxxPRdxxPdxxPPP???????????????????????????? ?? ? ? ?? ? ? ? ? ? ? ? ? ???????????????????1222221211121221122212221dxxPdxxPbdxxPabPaR?????????????其中：1?)( 1?xP)( 2?xP1?2X1X2?2??這樣，就得出最小風險與先驗概率的關系曲線，如圖所示： ? ?1?PR固定21 , ??*RA選擇不同21 , ??)( 1* ?P?討論： ? ? ? ? ? ?? ? ? ? 。,2。,11211121關系為一條曲線與選擇不同時，當關系為直線關系與區間固定時，當???PRRPPR??????? ? ? ?? ? ? ? ? ? ? ? ? ?? ? ? ?? ? ? ?。使最大風險為不變，變化，則平行，與橫坐標這時直線如圖所示，這時候最大風險為最小即無關與使如果選擇a:0.,0,311222122222212111212211121212RPPRdxxPaRdxxPdxxPPRb??????????????????????????????????? ?1?PR *RB)( 1* ?P? ?不變變化RP 1?? ? ? ? ? ? ? ?.,0.0,2121211222112112兩類錯誤概率相等若選取損失為滿足應該使邊界所以在最大最小判別中ePePdxxPdxxPb???????????????????????上式證明，所選的判別邊界，使兩類的概率相等： ? ? ? ?ePeP 21 ??這時可使最大可能的風險為最小，這時先驗概率變化，其風險不變 五、序貫分類 迄今為止所討論的分類問題，關于待分類樣本的所有信息都是一次性提供的。但是，在許多實際問題中，觀察實際上是序貫的。隨著時間的推移可以得到越來越多的信息。 假設對樣品進行第 i 次觀察獲取一序列特征為：X=(x1,x2,…, xi)T 則對于 ω1， ω2兩類問題 , 若 X ∈ ω1，則判決完畢 若 X∈ ω2 ，則判決完畢 若 X不屬 ω1也不屬 ω2 ，則不能判決，進行第 i+1次觀察，得 X=(x1,x2,…, xi,x i+1)T ，再重復上面的判決，直到所有的樣品分類完畢為止。 這樣做的好處是使那些在二類邊界附近的樣本不會因某種偶然的微小變化而誤判，當然這是以多次觀察為代價的。 :),...,()()()()()(121211221時可計算其似然比當測得第一個特征參數其中，特征矢量xxxxXXPPXPXPxlTNi????????????)()()()()(2111211111 ??????xPxPxPxPxl?由最小錯誤概率的 Bayes 判決，對于兩類問題，似然比為 )()()(,)(,)(,)(22112121221121111111????xxPxxPxxlxAxlBxXBxlxXAxl，，并計算似然比則測量下一個特征參數如果則如果則如果?????????是上下門限），（其中的類別全部確定為止以上過程直到所有樣品，為重復，再測第三個特征參數，若，則，若，則，若BAxAxxlBxxXBxxlxxXAxxlTT.)()(,)()(,)(3212221212121212???????????現在來確定 A、 B的值。 ?因為 類的概率。類而判決為屬于，左邊的積分代表模式得：的特征空間內取積分可對上式兩邊對應于次測量表示第11211212111)()()()(,)()()(??????????????????dXXPAdXXPXAPXPNNAXPXPxlNNNNNNN? ?)()(1)()(1)()()()(1)(212112222111111ePePAeAPePePdXXPePePdXXPNN????????????或類的分類誤差概率類而錯判為為本來屬于而積分類的分類誤差概率類而錯判為表示本來屬于即：??????? ? )()(121 ePePA ??? ?)(1)(21 ePePB ??繼續觀察區區判決 1??X區判決 2??X