[理學(xué)]信息論與編碼原理_第4章_信息率失真函數(shù)(編輯修改稿)

　

【文章內(nèi)容簡(jiǎn)介】 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的定義 (3) 求信息率失真函數(shù)的方法 ?求信道容量的方法 ： 信道容量是假定信道固定的前提下，選擇一種 試驗(yàn)信源 ，使信息率最大。一旦找到了這個(gè)信道容量，它就與信源不再有關(guān)，而是信道特性的參量，隨信道特性的變化而變化。 基 本 概 念 第 36頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的定義 (3) 求信息率失真函數(shù)的方法 ?求信息率失真函數(shù)的方法 ： 信息率失真函數(shù) R(D) 是假定信源給定的情況下，在 用戶可以容忍的失真度 內(nèi)再現(xiàn)信源消息所必須獲得的 最小平均信息量 。它反映的是信源可壓縮程度。 率失真函數(shù)一旦找到，就與求極值過(guò)程中選擇的試驗(yàn)信道不再有關(guān)，而只是信源特性的參量。不同的信源，其 R(D) 是不同的。 返回目錄 基 本 概 念 第 37頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的定義 (4) 研究信道編碼和率失真函數(shù)的意義 ?研究信道容量的意義 ： 在實(shí)際應(yīng)用中，研究信道容量是為了解決在已知信道中傳送最大信息率問(wèn)題。目的是充分利用已給信道，使傳輸?shù)男畔⒘孔畲蠖l(fā)生錯(cuò)誤的概率任意小，以 提高通信的可靠性 。這就是 信道編碼 問(wèn)題。 基 本 概 念 第 38頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的定義 (4) 研究信道編碼和率失真函數(shù)的意義 ? 研究信息率失真函數(shù)的意義 ： 研究信息率失真函數(shù)是為了解決在已知信源和允許失真度 D 的條件下，使信源必須傳送給信宿的信息率最小。即用盡可能少的碼符號(hào)盡快地傳送盡可能多的信源消息，以 提高通信的有效性 。這是信源編碼 問(wèn)題。 返回目錄 基 本 概 念 第 39頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 (2) 率失真函數(shù)對(duì)允許平均失真度的下凸性 (3) 率失真函數(shù)的單調(diào)遞減和連續(xù) 性 基 本 概 念 第 40頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 ? 什么是率失真函數(shù)的定義域 ? 允許平均失真度 ： 率失真函數(shù)中的自變量 D，也就是人們規(guī)定的平均失真度 的上限值。 ? 率失真函數(shù)的定義域 問(wèn)題就是在信源和失真函數(shù)已知的情況下，討論 允許平均失真度 D 的最小和最大值問(wèn)題 。 ? D 的選取必須根據(jù)固定信源 X 的統(tǒng)計(jì)特性 P(X) 和選定的失真函數(shù) d(xi , yj)，在平均失真度 的可能取值范圍內(nèi)。 DD 基 本 概 念 第 41頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 ? 信源最小平均失真度 Dmin ? 是非負(fù)函數(shù) d(xi , yj) 的數(shù)學(xué)期望，也是一個(gè)非負(fù)函數(shù)，顯然其下限為 0。因此 允許平均失真度 D 的下限也必然是 0，這就是不允許有任何失真的情況。 ? 允許平均失真度 D 能否達(dá)到其下限值 0，與單個(gè)符號(hào)的失真函數(shù)有關(guān)。 D 基 本 概 念 第 42頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 ? 信源最小平均失真度 Dmin ? 信源最小平均失真度 Dmin ： 對(duì)于每一個(gè) xi，找出一個(gè) yj 與之對(duì)應(yīng)，使 d(xi , yj) 最小，不同的 xi 對(duì)應(yīng)的最小 d(xi , yj) 也不同。這相當(dāng)于在失真矩陣的每一行找出一個(gè)最小的 d(xi , yj) ，各行的最小 d(xi , yj) 值都不同。對(duì)所有這些不同的最小值求數(shù)學(xué)期望，就是信源的最小平均失真度。 ???nijiji yxdxpD1m i n ),(m i n)( 基 本 概 念 第 43頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 ? 信源最小平均失真度 Dmin ? 只有當(dāng)失真矩陣的每一行至少有一個(gè) 0 元素時(shí)，信源的平均失真度才能達(dá)到下限值 0。 當(dāng) Dmin=0時(shí)（信源不允許任何失真存在），信息率至少應(yīng)等于信源輸出的平均信息量（信源熵），即 R(0)=H(X)。 ? 連續(xù)信源有 。這時(shí)雖然信源熵是有限的，但信息量是無(wú)窮大。實(shí)際信道容量總是有限的，無(wú)失真?zhèn)魉瓦@種連續(xù)信息是不可能的。只有當(dāng)允許失真（ R(D)為有限值），傳送才是可能的。 ??? )(lim 0 DRD 基 本 概 念 第 44頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 ? 信源最小平均失真度 Dmin ? [舉例 ]： 除刪信源 X 取值于 {0,1}， Y 取值于 {0,1,2}，失真矩陣為： ? 滿足最小允許失真度的試驗(yàn)信道是一個(gè)無(wú)噪無(wú)損的試驗(yàn)信道： 0110qq1 － q1 － q3 . 2 . 7 b 二 元 除 刪 信 道 概 率 轉(zhuǎn) 移 圖E???????????21012110D00)(),(m i n)(11m i n ???? ????niinijiji xpyxdxpD???????010001P )()。( XHYXI ? 基 本 概 念 第 45頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 ? 信源最大平均失真度 Dmax ? 信源最大平均失真度 Dmax： 必須的信息率越小，容忍的失真就越大。當(dāng) R(D) 等于 0 時(shí)，對(duì)應(yīng)的平均失真最大，也就是 函數(shù) R(D) 定義域的上界值 Dmax 。 ? 信息率失真函數(shù)是平均互信息的極小值： ▼ 當(dāng) R(D) =0 時(shí)，平均互信息的極小值等于 0； ▼ 當(dāng) D Dmax 時(shí)，從數(shù)學(xué)意義上講，因?yàn)? R(D) 是非負(fù)函數(shù)，所以它仍只能等于 0。 這相當(dāng)于輸入 X 和輸出 Y 統(tǒng)計(jì)獨(dú)立。意味著 在接收端收不到信源發(fā)送的任何信息 ，與 信源不發(fā)送任何信息 等效。或者說(shuō) 傳送信源符號(hào)的信息率可以壓縮至 0。 基 本 概 念 第 46頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng jmjjypjiniijjimjniijypmjnijijiypDypDyxdxpDyxdxpypyxdypxpDjjj??? ?? ???? ?? ?????1)(m a x11 1)(1 1)(m a x)(m i n),()(),()()(m i n),()()(m i n則：令： 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 ? 信源最大平均失真度 Dmax ? 計(jì)算 Dmax 的值 ▼ 令試驗(yàn)信道特性 p(yj /xi)= p(yj) (i=1,2,…, n) 這時(shí) X 和 Y 相互獨(dú)立，等效于通信中斷，因此 I(X。Y) =0，即 R(D)=0。 ▼ 滿足上式的試驗(yàn)信道有許多，相應(yīng)地可求出許多平均失真度值，從中選取最小的一個(gè)，就是這類平均失真值的下界 Dmax 。 基 本 概 念 第 47頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 ? 信源最大平均失真度 Dmax ? 計(jì)算 Dmax 的值 ▼ 上式是用不同的概率分布 {p(yj)} 對(duì) Dj 求數(shù)學(xué)期望，取數(shù)學(xué)期望當(dāng)中最小的一個(gè)作為 Dmax 。 ▼ 實(shí)際是用 p(yj) 對(duì) Dj 進(jìn)行線性分配，使線性分配的結(jié)果最小。當(dāng) p(xi) 和 d(xi , yj) 給定時(shí)，必可計(jì)算出 Dj ， Dj 隨 j 的變化而變化， p(yj) 是任選的，只需滿足非負(fù)性和歸一性。若 Ds 是所有 Dj 當(dāng)中最小的一個(gè)，可取 p(ys)=1 ，其它 p(yj) 為 0，這時(shí) Dj 的線性分配（數(shù)學(xué)期望）必然最小，即： ),m i n (01)(21m a x mjDDDDsjsjyp???????? 基 本 概 念 ),()(1jiniij yxdxpD ???第 48頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 R ( D )D0H ( p )Dm a x圖 4 . 1 . 1 R ( D )函 數(shù) 的 一 般 形 式連 續(xù) 基 本 概 念 第 49頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 [例 ] 二元信源 ，相應(yīng)的失真矩陣 ， 計(jì)算 Dmax 。 ? 先計(jì)算 Dj ： ? 根據(jù)概率的完備性： p(y1)+p(y2)=1 ??????????323121 xx??????01102121xxyy),()(1jiniij yxdxpD ???321320311 ??????? ????D310321312 ??????? ????D? ? ?????? ???????? ??? 31)(31m i n)(31)(32m i n,m i n 12121m ax ypypypDDD 基 本 概 念 第 50頁(yè) 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息率失真函數(shù)的性質(zhì) (1) 率失真函數(shù)的定義域 [例 ] 二元信源 ，相應(yīng)的失真矩陣 ， 計(jì)算 Dmax 。 ? 當(dāng) p(y1)=0， p(y2)=1 時(shí)，得到最小值： ??????????323121 xx??????01102121xxyy313103131)(31m i n1m ax ??????????