正文內容

信息論與編碼第二章(編輯修改稿)

2026-06-03 22:26 本頁面

　

【文章內容簡介】 ??? xpxI如果每次摸出一個球后又放回袋中，再進行下一次摸取，那么如此摸取次， n 紅球出現的次數為次，白球出現的次數為次。 )( 1xnp)( 2xnp隨機摸取 n 次后總共所獲得的信息量為 )()()()( 2211 xIxnpxIxnp ?而平均隨機摸取一次所獲得的信息量則為 )(l og)()]()()()([)]()()()([1)( 2122112211 ii ixpxpxIxpxIxpxIxnpxIxnpnXH ????????? 熵是從整個集合的統計特性來考慮的，它是從平均意義上來表征集合的總體特征的。 – 熵表示事件集合中事件發生后，每個事件提供的平均信息量； – 熵表示事件發生前，集合的平均不確定性；【例】（ 1）信源一： ?????????????)(1011 xxXpX H(X1) = log － log = （比特 /符號）（ 2）信源二： ?????????????)(1022 xxXpX H(X2) = log log = 1（比特 /符號）（ 3）信源三 : ?????????????)(321033 xxxxXpX H(X3) = 4 log = log4 = 2（比特 /符號）（ 4）信源四： ?????????????10)(1044 xxXpXH(X4) = 0 log 0 –1 log 1 = 0 計算結果說明確定事件的熵為零以上四個信源熵的大小關系正好是： )()()()( 4123 XHXHXHXH ???總括起來，信源熵有三種物理意義：信源熵 H（ X）表示信源輸出后，每個離散消息所提供的平均信息量。信源熵 H（ X）表示信源輸出前，信源的平均不確定度。信源熵 H（ X）反映了變數的隨機性。信息熵的性質：非負性 : ),. . .,(), . . . ,(l i m 212110 qqqq pppHpppH ???? ???信息熵的非負性即為 0)( ?XH對稱性 : 當信源含有 n 個離散消息時，信源熵 )(l og)()(1????niii xpxpXH，其中 ). . . . ,2,1(1)(0 nixp i ??? ， 1)(1???niixp熵的對稱性是指 )() ,. . . ,(),(2 ni xpxpxp的順序任意互換時，只是求和順序不同，熵的值不變。例如，有三個不同信源的信源空間分別為： ?????????????????216131321 xxxPX?????????????????312161321 yyyPY?????????????????612131321 zzzPZ由于這三個信源的概率空間的總體結構相同，他們的信息熵相等，即有）， 216131(H ），612131(H 4 5 9 312161( ?），H= = 比特 /信源符號確定性若信源 X 的概率空間中只要有一個 )( ixp 等于 1時，其它所有概率分量均等于零，則信源 X 的信息熵一定等于 0。即 0)0, . . . ,0,1,0,0()0,0,1,0()0,0,1()0,1( ???? HHHH 擴展性：若信源 X 中有 n 個事件，而另一個信源 39。X 中有 1?n個事件，信源和 X 39。X 的差別知識多了一個概率接近于零的事件，其他的概率分布相同，則這兩個信源的熵值相同。即 ), . . . . . ,(), . . . . . ,(l i m 212110 nnnn pppHpppH ???? ???，它對其他概率分布極值性：可加性：設有兩個信源 X和 Y,它們不是相互獨立的，則二維隨機變量（ X,Y)的熵等于 X的無條件熵加上當 X已給定時 Y的條件概率定義的熵統計平均值，即 )|()()( XYHXHXYH ??對任意兩個消息數相同的信源 X、 Y，有 )(l og)()]() ,.. .,(),([121 iniin ypxpxpxpxpH ????其中 1)()(11?? ????niinii ypxp。任一概率分布 ? ?)(ixp? ?)( iyp 的自信息 ])(1[lo giyp取數學期望時，必大于 ? ?)(ixp本身的熵。最大熵定理：上凸性：在離散的情況下，集合 X中的各事件等概率發生時，熵達到最大值，即 nnnnHPPPH n l o g)1,...,1,1(), . .. ,( 21 ??),. .. . ,( 21 npppH 是概率分布 ),.. . . ,( 21 nppp的嚴格上凸函數，即 )39。()1()(]39。)1([ PHPHPPH ???? ?????條件熵從通信角度來看，若將 },{21 ?? ixxxX ? 視為信源 },{ 21 ?? jyyyY ? 視為信宿接收符號， )( ji yxI 可看作信宿收到 jy 后，關于發送的符號是否為 ix仍然存在的疑義度（不確定性），那信宿收到 Y后，信源 X仍然存在不確定度，就用條件熵度量。輸出符號，定義聯合集 XY上，條件自信息量 I(y|x)的概率加權平均值定義為條件熵。即 ? ? ? ???? i j jii j jijiji yxpyxpyxIyxpYXH )|(l o g)()|()()|(說明：當 X,Y 統計獨立時，有 )()()(jiji ypxpyxp ?)()|( iji xpyxp ?則 ? ? ? ?XHxpxpxpxpypYXH iiiij iij ????? ?? ? )(l o g)()(l o g)()(|當 ? ? 0| ?YXH ，信源事件 },{21 ?? ixxxX ?和信宿 },{ 21 ?? jyyyY ? 是一一對應的關系，中的某個元素 jy 后，關于發送的符中的某個元素 ix不再存在疑義度（不信宿收到 Y 號是否為 X

點擊復制文檔內容

范文總結相關推薦

信息論與編碼第二章(編輯修改稿)

信息論與編碼第2章答案-資料下載頁

信息論與編碼ppt課件(2)-資料下載頁

信息論與編碼習題ppt課件-資料下載頁

信息論與編碼第一章緒論-資料下載頁

信息論與編碼理論第一章-資料下載頁

信息論與編碼第一章緒論-資料下載頁

信息論與編碼課件第三章-資料下載頁

信息論與編碼課件第一章-資料下載頁

信息論與編碼答案-資料下載頁

信息論與編碼理論thetheoryofinformationand-資料下載頁

第14講信息論與編碼-資料下載頁

信息論與編碼序論1講-資料下載頁

信息論與編碼新題ppt課件-資料下載頁

信息論習題答案第二章陳前斌版-資料下載頁

信息論與編碼復習總結-資料下載頁

信息論與編碼第二章-預覽頁

信息論與編碼第二章-免費閱讀

信息論與編碼第二章(存儲版)

信息論與編碼第二章-文庫吧在線文庫

信息論與編碼第二章(完整版)