香農(nóng)信息信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描-資料下載頁

　　

【正文】 當(dāng) r=s，且信道矩陣是可逆矩陣時(shí)，該方程組有唯一解。這時(shí)就可以求出 ，然后根據(jù) 求出信道容量： ( | ) l o g ( | ) ( | ) l o g ( )( | ) l o g ( )j i j i j i jjjj i jjp y x p y x p y x p y Cp y x p y C?????? ?????l o g ( )( | ) l o g ( | ) ( | )jjj i j i j i jp y Cp y x p y x p y x???????令 則 j? ( ) 1jj py ??21j Cj? ? ?? ??jjC ?2log所以 由 和 C就可以求得輸出概率分布 （ 1） 由 列 方程組求出 ； （ 2） 由 求出 C； （ 3） 由 求出 ； （ 4） 由 列方程組求 。 j? ( ) 2 j Cjpy ? ??( ) ( ) ( | )j i j iip y p x p y x? ? )( ixp再根據(jù) 列 方程組求 ( | ) ( | ) l o g ( | )j i j j i j ijjp y x p y x p y x? ??? j??? j jC ?2log將計(jì)算步驟總結(jié)如下： ( ) 2 j Cjpy ? ?? ()jpy( ) ( ) ( | )j i j iip y p x p y x? ? )( ixp 信道容量定理 從以上的討論可知，求 信道容量的問題實(shí)際上是在約束條件下求多元函數(shù)極值的問題，在通常情況下，計(jì)算量是非常大的。下面我們介紹一般離散信道的平均互信息 達(dá)到 信道容量的充要條件，在某些情況下它可以幫助我們較快地找到極值點(diǎn)。 定理 設(shè)有一般離散信道 ， 它有 r個(gè)輸入信號 ， s個(gè)輸出信號 。當(dāng)且僅當(dāng)存在常數(shù) C使輸入分布 滿足： (1) 當(dāng) (2) 當(dāng) 其中 ， 它表示信道輸入 時(shí) ， 所給出關(guān)于輸出 Y的信息量 。 常數(shù) C即為所求的信道容量 。 )。( YXI)( ixp? ?。iI x Y C?? ?。iI x Y C?( ) 0ipx ?( ) 0ipx ?)。( YXI時(shí)， 達(dá)到最大值。 ? ? ( | )。 ( | ) l o g ()jii j ij jp y xI x Y p y xpy? ?ix 信道容量定理 告訴我們，平均互信息 取到極大值也就是信道容量時(shí)，對于任意 ，只要它出現(xiàn)的概率大于 0， 都相等。 信道容量定理只給出了達(dá)到信道容量時(shí)，最佳輸入概率分布應(yīng)滿足的條件，并沒有給出最佳輸入概率分布值，也沒有給出信道容量的數(shù)值。另外，定理本身也隱含著達(dá)到信道容量的最佳分布不一定是唯一的，只要輸入概率分布滿足充要條件式，就是信道的最佳輸入分布。在一些特殊情況下，我們常常利用這一定理尋求輸入分布和信道容量值。 )。( YXIix )。( YXI 離散多符號信道及其信道容量 實(shí)際離散信道的輸入和輸出常常是隨機(jī)變量序列，用隨機(jī)矢量來表示，稱為 離散多符號信道， 如圖 。實(shí)際離散信道往往是有記憶 信道， 為了簡化起見，我們主要研究 離散無記憶信道。 定義 若在任意時(shí)刻信道的輸出只與此時(shí)刻信道的輸入有關(guān) ，而與其他時(shí)刻的輸入和輸出無關(guān) ， 則稱之為 離散無記憶信道 ， 簡稱為 DMC(discrete memoryless channel)。 輸入 、 輸出隨機(jī)序列的長度為 N的離 散無記憶平穩(wěn)信道通常稱為離散無記 憶信道的 N次擴(kuò)展信道 。 N次擴(kuò)展信道的信道矩陣是一個(gè) 的矩陣 。 圖 離散多符號信道 NNrs? 離散無記憶信道的數(shù)學(xué)模型仍然表示為： ，注意這時(shí)輸入、輸出均為隨機(jī)矢量。 根據(jù)信道無記憶的特性，其轉(zhuǎn)移概率 定理 若信道的輸入和輸出分別是 N長序列 X和 Y，且信道是無記憶的，則存在 這里 Xk、 Yk分別是序列 X和 Y中第 k位隨機(jī)變量。 ? ?, ( | ),X P Y X Y1 2 1 21 1 2 21( | ) | )| ) | ) | ) | )NNNN N k kkP P Y Y Y X X XP Y X P Y X P Y X P Y X???? ?YX （（ （ （ （??? Nkkk YXII1)。()。( YX 對于離散無記憶 N次擴(kuò)展信道，當(dāng)信源是平穩(wěn)無記憶信源時(shí)，其平均互信息 等于單符號信道的平均互信息的 N倍。 離散無記憶信道的 N次擴(kuò)展信道的信道容量為 因?yàn)楝F(xiàn)在輸入隨機(jī)序列在同一信道中傳輸，所以任何時(shí)刻通過離散無記憶信道傳輸?shù)淖畲笮畔⒘慷枷嗤? 所以 當(dāng)信源也是無記憶信源并且每一時(shí)刻的輸入分布各自達(dá)到最佳輸入分布時(shí)，才能達(dá)到這個(gè)信道容量 NC。 一般情況下，消息序列在離散無記憶 N次擴(kuò)展信道中傳輸時(shí)，其平均互信息量 )。( YXI?????????? NkkNkkkXPNkkkPPN CYXIYXIICk 11 )(1)()()。(m ax)。(m ax)。(m ax XX YX),2,1( NkCC k ???NCC N ?NCI ?)。( YX4. 4 組合信道及其信道容量 前面我們分析了單符號離散信道和離散無記憶信道的擴(kuò)展信道 。 實(shí)際應(yīng)用中常常會(huì)遇到兩個(gè)或更多個(gè)信道組合在一起使用的情況 。 例如 ， 待發(fā)送的消息比較多時(shí) ， 可能要用兩個(gè)或更多個(gè)信道并行發(fā)送 ， 這種組合信道稱為 并聯(lián)信道 ；有時(shí)消息會(huì)依次地通過幾個(gè)信道串聯(lián)發(fā)送 ， 例如無線電中繼信道 ， 數(shù)據(jù)處理系統(tǒng) ， 這種組合信道稱為 級聯(lián)信道 。 在研究較復(fù)雜信道時(shí) ， 為使問題簡化 ， 往往可以將它們分解成幾個(gè)簡單的信道的組合 。 這一節(jié)我們將討論這兩種 組合信道的信道容量與其組成信道的信道容量之間的關(guān)系 。 獨(dú)立并聯(lián)信道 一般獨(dú)立并聯(lián)信道如圖 。 可以把定理 N個(gè)獨(dú) 立并聯(lián)信道中來： 只有當(dāng)每個(gè)輸入隨機(jī)變量的概率分布 均達(dá)到各自信道的最佳輸入分布時(shí)， 獨(dú)立并聯(lián)信道的信道容量才等于各信 道容量之和： 當(dāng) N個(gè)獨(dú)立并聯(lián)信道的信道容量都相同時(shí)， 圖 獨(dú)立并聯(lián)信道 ???? Nk kNNXXP CYYXXICN 111)( )(m ax1??? ；并??? NkkCC1并NCC ?并 級聯(lián)信道 級聯(lián)信道是信道最基本的組合形式，許多實(shí)際信道都可以看成是其組成信道的級聯(lián)。圖 級聯(lián)信道。 X→ Y→ Z 組成一個(gè)馬爾可夫鏈。根據(jù)馬爾可夫鏈的性質(zhì)，級聯(lián)信道的總的信道矩陣等于這兩個(gè)串接信道的信道矩陣的乘積。求得級聯(lián)信道的總的信道矩陣后，級聯(lián)信道的信道容量就可以用求離散單符號信道的信道容量的方法計(jì)算。 圖 級聯(lián)信道 *4. 5 連續(xù)信道及其信道容量 連續(xù)隨機(jī)變量的互信息 連續(xù)隨機(jī)變量和之間的平均互信息定義為 連續(xù)隨機(jī)變量的平均互信息具有和離散隨機(jī)變量的平均互信息一樣的性質(zhì)： 1． 對稱性 ： 2． 非負(fù)性： 當(dāng)且僅當(dāng)隨機(jī)變量和統(tǒng)計(jì)獨(dú)立時(shí)等號成立。 2()( 。 ) ( ) l o g( ) ( )Rp x yI X Y p x y d x d yp x p y? ??( 。 ) ( 。 ) ( ) ( | )( ) ( | ) ( ) ( ) ( )I X Y I Y X h X h X Yh Y h Y X h X h Y h X Y? ? ?? ? ? ? ?( 。 ) 0I X Y ? 高斯加性信道的信道容量 高斯信道是最差的信道，實(shí)際應(yīng)用中往往把噪聲視為高斯噪聲。 噪聲源為高斯白噪聲的加性信道。其信道容量 如果噪聲 N是均值為 0、方差為 的高斯隨機(jī)變量，即 表示噪聲 N的平均功率。這種信道稱為 高斯加性連續(xù)信道 。 2?NN Pdnnpndnnnpdnnp???????????????????22 )(0)(1)(?NP? ? ? ?)()(m a x)|()(m a x)。(m a x )()()( NhYhXYhYhYXIC xpxpxp ????? 當(dāng)輸入隨機(jī)變量 X的概率密度是均值為 0、方差為 的高斯隨機(jī)變量，加性信道的噪聲 N是均值為 0、方差為 的高斯隨機(jī)變量時(shí)，輸出隨機(jī)變量 Y也是一個(gè)高斯隨機(jī)變量，其均值為 0、方差為 ，此時(shí)輸出隨機(jī)變量的熵 達(dá)到最大， 而信道達(dá)到信道容量： 其中 稱為信道的信噪比。 2X?2N?YNXY P??? 222 ??? ()hY2 2 2()22 22211m a x ( ) ( ) l og 2 ( ) l og 2221 1 1l og l og ( 1 ) l og ( 1 )2 2 2X N NpxXN XXN N NC h Y h N e ePP? ? ? ? ??? ???? ? ? ? ??? ? ? ? ?NXPP 多維高斯加性信道的信道容量 當(dāng)信道為多維高斯加性信道時(shí)，由于加性噪聲信道必然是一個(gè)無記憶信道，所以 當(dāng)且僅當(dāng)輸入隨機(jī)矢量 X中各分量統(tǒng)計(jì)獨(dú)立，并且均為高斯變量時(shí)達(dá)到信道容量。 如果在每個(gè)抽樣時(shí)刻信源和噪聲是均值為 0、 方差分別為 和 的高斯隨機(jī)變量 ， ??????? ni NXni ii iiPPYXII11)1lo g (21)。()。( YX( ) ( ) 1m a x ( 。 ) m a x ( 。 ) l o g ( 1 ) , 1 , 2 , ,2iin Xiippi NPnC I I X Y i nP?? ? ? ? ??xxXY因此 2X?2N?)1lo g (2 22NXnC????則 比特 /n個(gè)樣值 * 波形信道及其信道容量 波形信道通常根據(jù)抽樣定理轉(zhuǎn)化成多維連續(xù)信道進(jìn)行處理。 一般來說，信道的帶寬總是有限的。假設(shè)某信道的頻帶限于（ 0，B），則其輸入、輸出信號和噪聲都是限頻的隨機(jī)過程，頻帶限于（ 0， B）。根據(jù)抽樣定理，可把一個(gè)時(shí)間連續(xù)的信道變換成時(shí)間離散的隨機(jī)序列信道來處理，即用每隔 秒時(shí)間的采樣值來 表示輸入、輸出信號和噪聲。我們把一次采樣看成信道的一次傳輸，由于每秒傳送 2B個(gè)樣值，所以單位時(shí)間的信道容量為 當(dāng)噪聲是雙邊功率譜密度為 的高斯白噪聲時(shí)， 12B)1lo g ( 22NXt BC ???? 比特 /秒 20N )1lo g (02BNBCXt ??? 這就是著名的 香農(nóng)公式 ， 它適用于加性高斯白噪聲信道 。 從前面的討論可知 ， 只有當(dāng)輸入信號為功率受限的高斯白噪聲信號時(shí) ，才能達(dá)到該信道容量 。 香農(nóng)公式說明 ， 當(dāng)信道容量一定時(shí) ， 增大信道的帶寬 ， 可以降低對信噪功率比的要求；反之 ， 當(dāng)信道頻帶較窄時(shí) ， 可以通過提高信噪功率比來補(bǔ)償。 上式表明當(dāng)頻帶很寬時(shí)，信道容量正比于信號功率與噪聲譜密度之比。上式是加性高斯噪聲信道信息傳輸率的極限值。 B??當(dāng) 時(shí)，則 020202200202 o g)1l o g (l i m)1l o g (l i mNeNBNBNNBN