[理學]信息論與編碼原理_第4章_信息率失真函數(已修改)

　

【正文】 第 1頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 信息論與編碼原理 （第四章） ────────────── 信息率失真函數 第 2頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 第四章 信息率失真函數 基本概念 離散信源的信息率失真函數 連續信源的信息率失真函數 信息率失真函數與信息價值 信道容量與信息率失真函數的比較 保真度準則下的信源編碼定理 信息論“三大定理”總結 第 3頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 基本概念 引言 失真度與平均失真度 信息率失真函數的定義 信息率失真函數的性質 第 4頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (1) “消息完全無失真傳送”的可實現性 (2) 實際中允許一定程度的失真 (3) 信息率失真理論 基 本 概 念 第 5頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (1) “消息完全無失真傳送”的可實現性 ? 信道編碼定理： 無論何種信道，只要信息率 R 小于信道容量 C，總能找到一種編碼，使在信道上能以任意小的錯誤概率和任意接近于 C 的傳輸率來傳送信息。反之，若 R C，則傳輸總要失真。 ? 完全無失真傳送不可實現 ? 實際的信源常常是連續的，信息率無限大，要無失真傳送要求信息率 R 為無窮大； ? 實際信道帶寬是有限的，所以信道容量受限制。要想無失真傳輸，所需的信息率大大超過信道容量 RC。 返回目錄 基 本 概 念 第 6頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (2) 實際中允許一定程度的失真 ? 技術發展的需要 ? 隨著科技的發展，數字系統應用得越來越廣泛，需要傳送、存儲和處理大量的數據。為了提高傳輸和處理效率，需要對數據壓縮，這樣會帶來一定的信息損失。 ? 信息時代，信息爆 炸， 要求解決對海量數據有效的壓縮，減少數據的 存儲容量 (如各種數據庫、電子出版物、多媒體娛樂 )、 傳輸時間 (如數據通信和遙測 )、或 占有帶寬 (如多媒體通信、數字音頻廣播、高清晰度電視 )，想方設法壓縮給定消息 集合占用的 空間域 、 時間域 和 頻率域 資源 . ? 如海洋地球物理勘探遙測數據，用 60 路傳感器，每路信號 1kHz，16 位 A/D 量化，每航測 1km 就需記錄 1 盤 英寸的磁帶，一條測量船每年就可勘測 15000km。 基 本 概 念 第 7頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (2) 實際中允許一定程度的失真 ? 實際生活中的需要 ? 實際生活中，人們一般并不要求獲得完全無失真的消息，通常只要求近似地再現原始消息，即允許一定的失真存在。 ? 打電話： 即使語音信號有一些失真，接電話的人也能聽懂。人耳接收信號的帶寬和分辨率是有限的。 ? 放電影： 理論上需要無窮多幅靜態畫面，由于人眼的“視覺暫留性”，實際上只要每秒放映 24 幅靜態畫面。 ? 有些失真沒有必要完全消除。 ? 既然允許一定的失真存在，對信息率的要求便可降低。 返回目錄 基 本 概 念 第 8頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (3) 信息率失真理論 ? 信息率失真理論研究的內容 : 信息率 與 允許失真 之間的關系 . ? 信息率失真函數 ? 香農定義了信息率失真函數 R(D)。 ? “保真度準則下的信源編碼定理”指出： 在允許一定失真度 D 的情況下，信源輸出的信息率可壓縮到 R(D)。 ? 信息率失真理論是 量化 （模數轉換）、 數模轉換 、 頻帶壓縮 和 數據壓縮 的理論基礎。 基 本 概 念 第 9頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (3) 信息率失真理論 ? 信息率失真函數 極小值 問題 ? I(X。Y) 是 P(X) 和 P(Y/X) 的二元函數； ? 在討論信道容量時 ： 規定了 P(Y/X) ， I(X。Y) 變成了 P(X) 的函數。在離散情況下，因為 I(X。Y) 對 p(xi) 是上凸函數，所以變更 p(xi) 所求極值一定是 I(X。Y)的極大值；在連續情況下，變更信源 P(X) 求出的也是極大值，但求極值時還要一些其它的限制條件。 基 本 概 念 第 10頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 引 言 (3) 信息率失真理論 ? 信息率失真函數 極小值 問題 ? 在討論信息率時 ： 可規定 p(xi)，變更 p(yj /xi) 來求平均互信息的極值，稱為 信道容量對偶問題 。 由于 I(X。Y) 是 p(yj /xi) 的下凸函數，所求的極值一定是極小值 。但若 X 和 Y 相互統計獨立（ p(yj /xi)= p(yj )），這個極小值就是 0，因為 I(X。Y) 是非負的，0 必為極小值，這樣求極小值就沒意義了。 ? 引入一個失真函數，計算在失真度一定的情況下信息率的極小值就變的有意義了。 返回目錄 基 本 概 念 第 11頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (1) 信息率與失真的關系 (2) 失真度 (3) 常用的失真函數 (4) 平均失真度 (5) N 次擴展信道的平均失真度 基 本 概 念 第 12頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (1) 信息率與失真的關系 ?信道中固有的 噪聲 和不可避免的 干擾 ，使信源的消息通過信道傳輸后造成誤差和失真。 ?誤差或 失真 越大，接收者收到消息后對信源存在的不確定性就越大，獲得的信息量就越小，信道傳輸消息的 信息率也越小。 返回目錄 基 本 概 念 第 13頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (2) 失真度 ? 失真度 ? 設離散無記憶信源為： ?????????????)(,),(),(,)( 2121mmj ypypypyyyypYY??：到接收端信源符號通過信道傳送?????????????)(,),(),(,)( 2121nni xpxpxpxxxxpX??? ??????????????)/()/()/()/()/()/()/()/()/()/(212222111211nmnnmmxypxypxypxypxypxypxypxypxypXYp??????信道的傳遞概率矩陣： 基 本 概 念 第 14頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (2) 失真度 ? 失真度 ? 對每一對 (xi,yj)，指定一個非負函數 d(xi,yj)≥0 i=1,2,…, n j=1,2,…, m 稱 d(xi,yj) 為 單個符號的 失真度 （失真函數）。表示信源發出一個符號 xi，在接收端再現 yj 所引起的誤差或失真。 基 本 概 念 第 15頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (2) 失真度 ? 失真矩陣 ? 失真度還可表示成矩陣的形式 ? 稱 [D] 為失真矩陣。它是 n m 階矩陣。 ? 連續信源和連續信道的失真函數 在連續信源和連續信道情況下，失真度定義為： d(x,y)≥0 ? ??????????????),(),(),(),(),(),(),(),(),(212221212111mnnnmmyxdyxdyxdyxdyxdyxdyxdyxdyxd??????D返回目錄 基 本 概 念 第 16頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (3) 常用的失真函數 ? 第一種： ? 當 i=j 時， X 與 Y 的取值一樣，用 Y 來代表 X 就沒有誤差，所以定義失真度為 0； ? 當 i≠j 時，用 Y 代表 X 就有誤差。 ? 這種定義認為對所有不同的 i 和 j 引起的誤差都一樣，所以定義失真度常數 a。 ? ?????????????????????????0000000),(????????aaaaaaaaaaaajiaajiyxdjiD 基 本 概 念 第 17頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (3) 常用的失真函數 ? 第一種： ? 特點： 對角線上的元素均為 0，對角線以外的其它元素都為常數 a。 ? 漢明失真函數 ： a=1 。 ? ?????????????????????????0000000),(????????aaaaaaaaaaaajiaajiyxdjiD 基 本 概 念 第 18頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (3) 常用的失真函數 ? 第二種（平方誤差失真函數）： d(xi,yj)=(yj－ xi)2 ? 失真矩陣： 平方誤差失真矩陣 。 ? 若信源符號代表輸出信號的幅度值，則較大的幅度失真比較小的幅度失真引起的錯誤更為嚴重 , 嚴重程度用平方表示 . ? 失真函數是根據人們的 實際需要 和 失真引起的損失 、 風險 、 主觀感覺上的差別大小 等因素 人為規定的 。 返回目錄 基 本 概 念 第 19頁 2022/2/16 Department of Electronics and Information, NCUT Song Peng 失真度與平均失真度 (4) 平均失真度 ? 平均失真度 ? d(