基于視覺特性的視頻編碼理論與方法研究畢業論文-資料下載頁

【導讀】(通信網)等數字媒體產業的共性關鍵技術。特別是近年來，我國的數字媒體產業。迅猛發展，年均產值已近萬億元，使得音視頻編解碼標準技術的地位越來越重要。經過多年努力，20xx年中國終于有了自己的視頻編碼國家標準AVS。準的制定早做準備，確保在下一輪的標準競爭中立于不敗之地。前提下最大限度地降低碼率，達到壓縮的目的。眾所周知，人類視覺系統的信息。確的重建，其本質是視覺信息的基本結構和有效表示問題。但遺憾的是，其基本神經機制、知覺和認知機理目前尚不完全清晰。和認知機理，研究相應的理論和模型，對其進行實驗驗證與計算仿真，以期能夠用以指導建立更加有效的視覺計算模型。提出了很多假說和模型。信息處理數學模型就成為一個重要的基礎科學問題。其解決不僅可以有。考慮編碼的符號(事件)集，因而對視頻中高階相關缺乏有效的描述手段。算視覺感知的后驗概率建立的。處理相關的統計模型和計算方法。

　　

【正文】 響，利用視覺心理冗余對監控視頻中的背景進行高效編碼。監控場景分析對于異常行為與事件的實時監測起著至關重要的作用。在本 項目 中，我們將研究基于時空要素圖的統一表達，對監控環境中的不同場景建立并學習相應的統計模型，并驗證其效果，例如對室內 /室外、不同天氣 (陰天、晴天、下雨或下雪等 )下光照的不 同變化情況建模、對動態噪音 (如樹、草、水、陰影、反光等 )的瞬時動態干擾建模、以及對物體運動的路徑軌跡等進行自動統計，從而總結歸納出其運動的規律，建立統計性的描述。當違反規律的事件發生時，即認為是異常事件，同時對異常事件中涉及的對象進行其特征提取并記錄在對象層碼流中，為今后實現視頻的高效檢索打下基礎。 物體是監控的重點對象，幾乎所有的物體檢測、識別與跟蹤都需要得到物體的位置和類型，這里由于時空要素圖能夠在語義層面對視頻進行表示和描述，我們還要驗證基于此種表達的不同物體檢測方法在不同環境下的檢測效果，如判別式模 型和生成式模型，并研究如何將這些檢測方法有效地結合在一起以適應不同環境的需求。本 項目 基于時空要素圖系統，可以從視頻中學習出不同熵域的運動圖像內容的視覺詞匯集以及不同基元的流形，并籍此對視頻中的物體進行高效編碼。本 項目 還將驗證以時空要素圖為表達的跟蹤算法和它們在不同環境的跟蹤效果。 人臉是監控中對人物進行監測和跟蹤的最重要依據之一，本項目將采用統計學習方法通過對大量人臉數據的學習，建立人臉的統計模型，以檢測出復雜背景中的多姿態人臉。在人臉識別方面，根據監控視頻中在一個時段內連續出現的特點，我們將從基于序列的人 臉檢測和識別方法入手展開工作，研究時序信息的有效利用、低質量人臉的預處理、基于局部視覺模型的識別方法、超分辨率分析等內容，以實現人物這一重要監控對象的提取和編碼。 視頻索引將充分利用視覺計算模型中的視覺注意選擇策略，同時融合對比度、位置和多運動等信息，并根據監控場景切換、突變或結構變化情況的分析結果，建立時間和空間上自適應的多尺度摘要生成算法，使其更加符合人類認知，同時滿足可計算性；并進一步根據視頻的時序關注曲線，研究并提出評價視頻片 24 段重要性的計量方法。視頻索引面向視頻特征和語義描述信息，主要采用通用技術與 特定算法相結合的方法獲得，通用技術主要是研究視頻基元的統計特性，以得到視頻的特征描述，并采用統計學習或規則學習的方法得到中層特征的模型，以得到視頻基本結構和基本對象的描述。特定算法是指對各種不同類型視頻片段和關鍵對象的檢測技術。對于視頻中的具體索引算法，將采用基于視覺關鍵詞的倒排索引方法；對于高維和時間序列數據，將采用改進樹結構、時序擴展等方法來進行高效索引。將視頻索引產生的描述信息置入壓縮碼流中，從而快速獲取所需的視頻監控信息。 寬帶移動多媒體應用原型研究與驗證平臺 在基于視覺特性的高效視頻編碼 理論和算法基礎上，本項目將面向遠程醫療、 IPTV 等應用搭建寬帶移動多媒體系統驗證平臺，提供基于寬帶和無線 移動網絡 /具備 高動態范圍視頻顯示等 功能的多媒體服務。 具體的研究思路介紹如下： (1)高動態視頻采集 在高動態范圍視頻的獲取上，本項目利用遠程醫療場景下已經配置有多個攝像頭的特點，通過設定每個攝像頭不同的快門速度，獲取不同動態范圍，在經過重建后就可以得到統一的高動態范圍場景。高動態范圍視頻的編碼需要考慮高動態范圍視頻的特點，根據人眼視覺特點進行高效的編碼。高動態范圍視頻不能直接在普通設備中顯示，必須要通過 色調映射轉化為普通動態范圍視頻。本項目研究新穎的色調映射方法，應用于遠程醫療中。 (2) 視頻轉碼技術 主要研究各種視頻源到媒體流生成轉換的工作，將視頻采集和其他來源的多媒體數據進行流化封裝，用于網絡傳輸準備。 傳統的視頻轉碼結構通常對應于某一特定的目標，例如碼率縮減，空間分辨率縮減或者時間分辨率縮減，而實際視頻轉碼過程往往涉及這幾個方面的同時實現。 為了綜合實現這幾個方面的目標，同時簡化轉碼算法的設計，本 項目 采取了分步驟實現各個轉碼目標的方法，為每一個轉碼目標設置假想的目標視頻層，每一次轉碼都把源編碼的 信息轉到這個假想的目標視頻層上。研究以分步驟的轉碼算法為主，適當設計跨目標的轉碼算法。 對于視頻轉碼的分析， 項目 將最基本的概率統計，信息論和量化理論入手，通過點漂移誤差分析來建立視頻轉碼幀的漂移誤差模型，進而確定視頻轉碼調度包的優先級。 25 (3) 面向可伸縮編碼的 多流封裝流化 可伸縮編碼是實現多流編碼的重要技術之一。但作為分層編碼特點，接收端在缺乏基本層數據條件下，無法進行解碼。利用多描述編碼在時間軸的冗余特性，對視頻數據進行分流操作。然后再采用可伸縮編碼，對每個子流分層處理。利用不同流數據之間的相關性，建 立相關性函數并進行流化封包，從而達到各流之間相關性最小。 針對無線信道誤碼率高的特點，基于 FCC(前向糾錯 )編碼的信道保護對無線媒體傳輸非常重要。根據無線信道拓撲、信號質量、和數據重要性，建立冗余量模型。對不同流、不同傳輸路徑采用不同的冗余參數，利用最小的冗余數據提高正確率。 (4) 面向遠程醫療的視頻編碼技術 驗證 跟蹤遠程醫療系統的演進情況，分析遠程醫療應用中針對視頻編碼的業務需求，設計面向遠程醫療的視頻編碼技術應用場景，包括： 感興趣區域編碼的遠程醫療會診技術應用研究：利用基于視覺特性的多維度可伸縮編 碼方法 ,實現手術監測圖像中不同重要性區域的編碼質量分級 , 提高圖像整體的壓縮比例。 高動態范圍視頻手術監測技術應用研究：利用高動態范圍視頻的高寬容度 ,實現遠程手術高保真傳送。 面向遠程醫療的寬帶移動多媒體應用原型系統研究：結合視頻編碼的最新成果和業務應用場景，提出面向遠程醫療的寬帶移動多媒體原型系統的設計方案。結合基于視覺特性的高效編碼技術、圖像處理技術和寬帶移動多媒體技術，保證視頻在單播以及組播場景下的連貫性和穩定性，研究寬帶移動多媒體傳輸支撐關鍵技術，搭建寬帶移動多媒體傳輸驗證平臺。 主要研究內容 間的相互支撐關系 本項目的主要研究內容從基本機理到計算模型、再到編碼理論和方法、最后到原型驗證，內容階次展開，互相緊密聯系，相互促進。這集中體現在視覺信息處理基本機理和視覺信息處理計算模型之間、計算模型與編碼理論和方法之間的強相關性上，這種相關性大體上可總結為表 2 和表 3。 表 2：視覺基本機理與計算模型之間的相互支撐和促進關系 視知覺機理或假說 表示或 計算模型 感受野 整合野 稀疏 編碼 群組 編碼 增量 成組 視覺 注意 運動 感知 顏色知覺 時序 編碼 拓撲 知覺 26 視覺基元模型 ★ ★ ★ ★ ★ ★ 時空要素圖 ★ ★ ★ ★ ★ 顯著性計算 ★ ★ ★ ★ ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ ★ 局部特征學習 ★ ★ ★ ★ 整體特征形成與識別模型 ★ ★ ★ ★ ★ ★ ★ 表 3 計算模型與編碼理論及方法之間的關系 編碼理論與方法及驗證 表示或 計算模型 視知覺熵及視覺信息論 基于視覺模型的編碼方法 視覺注意可伸縮編碼 分布式多視點編碼 面向智能監控的視頻編碼方法 視覺基元模型 ★ ★ ★ ★ ★ 時空要素圖 ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ 顯著性計算 ★ ★ ★ 局部特征學習 ★ ★ ★ 整體特征形成與識別模型 ★ ★ ★ 表 2 給出了本項目涉及的視知覺生理、心理機理和本項目研究的主要計算模型之間的相互關系。有 “?”的位置表示該行所代表的計算模型與該列中的生理、心理機理或假說具有強相關性。在底層的視覺信息處理機理方面，我們重點研究和驗證稀疏編碼、群組編碼、增量成組、運動感知和視覺注意等方面的機理與假說，這對本項目重點涉及的視覺基元模型、時空要素圖、視覺顯著性計算模型等視頻表示和計算模型提供 了重要的機理基礎和設計指南。反過來，這些計算模型的研究也可以反過來促進視知覺機理研究領域的發展，包括提出新的假說或深化現有機理假說。表 3 則給出了這些計算模型如何可以被應用于后面的四方面的視頻編碼理論和方法。類似的，其中的 “?”也表示了橫縱位置的計算模型和編碼方法之間有強相關性。 通過表 2 和表 3 不難看出，本項目的各個研究內容之間具有很強的關聯性，在項目執行過程中有非常強的交叉性研究特點，有利于創新思路的誕生。 特別是在局部視覺要素圖模型（如基元）計算模型方面，該模型有很強的視覺機理支持，即稀疏編碼理論。自然圖像 和視頻的統計分析表明，自然圖像的高階統計特性滿足非高斯分布，也就是說，大部分神經元對外界信號的響應很弱，甚至沒有響應，只有非常少量的神經元對外界信號有較強的響應，這種性質稱為稀疏編碼。稀疏編碼理論意味著圖像可以通過多個基函數的線性組合來表示。 27 再比如，本項目視覺信息處理基本機理方面將會重點研究的群組編碼也可以對后續的視頻處理提供有效支持。群組編碼研究表明，視覺處理的過程并非簡單的從初級視覺皮層到更高級的視覺皮層，而是有反饋機制，即既有自底向上的推理過程，也有自頂向下的反饋過程。因此，在視覺計算模型的設計上， 也就必須要采用自底向上和自頂向下二者的有機結合。通過對此展開研究，有利于在面向監控的智能視頻編碼中提供準確的對象信息，從而有利于實現分層索引編碼以及為后續的智能監控和視頻檢索服務。 本項目主要研究內容之間緊密耦合、相互支撐的另外一個例子則是視覺注意機制、顯著性計算模型及其多維度可伸縮編碼方法之間的緊密聯系。視覺注意目前主要有兩種模型，即：數據驅動的注意模型和任務驅動的注意模型。前者是自底向上的，主要思路是從圖像中提取各種特征（顏色、朝向、運動等），分別計算各種特征的顯著性圖，融合得到最終的興趣圖。而任務驅動 的注意模型則強調自頂向下的注意，涉及記憶和先驗等各種因素。上述注意模型可以提供有效的顯著圖，以便在視頻編碼時針對不同的顯著性進行有選擇性的比特分配，從而實現在視覺注意層面上的可伸縮。 注意機制和模型還可以用于面向智能監控視頻的編碼中，通過對重點關注對象或區域的有效編碼、索引和處理，可以實現基于注意機制的索引構建、對象檢索和分析，從而實現更加智能的視頻監控和檢索。 可行性分析 (1)研究目標明確，研究方案具體，并進行了長時期的論證。 本項目組 長期 以來對該 項目涉及的 研究 內容 進行了充分的調 研，并取得了一定的 前期成果。在此基礎上， 對項目的立項依據、研究目標、研究內容及具體研究方案進行了反復討論， 使得 設計的研究方案既具有較好的前瞻性和原創性，同時又充分考慮了許多理論與技術問題的難度，形成了比較成熟的思路。 (2)研究隊伍在相關課題的研究工作中已積累了豐富的經驗。 項目組的主要成員長期以來從事相關的研究工作，取得了 顯著 成果，為保證完成該項目的研究奠定了堅實的基礎。其中包括下述具有國際先進水平的研究工作： 在視知覺基本機理方面 ， 從結構和功能的角度在視網膜水平對人和哺乳動物進行了詳細的研究，并對不同種屬動物的視皮層神經元 反應特性和感受野進行了深入研究，系統地分析了年齡對視皮層神經元的感受野特性和視皮層視覺信息處理能力的影響，詳細闡述了老年猴視覺通路神經元的結構和功能特征，提出抑制性神經遞質可改善老年猴 V1 神經元的功能；在視覺計算模型方面，我們在尺度 28 空間理論、運動圖像模型與分析、局部視覺模型和特征提取方面積累了良好的基礎 ； 在視覺手勢分析、人臉模式分析與識別方面，分別榮獲了國家科技進步二等獎。在視頻編碼壓縮方面 ， 提出一系列高效智能的圖像視頻編碼算法，被 AVS、MPEG 視頻編碼標準接受，主導了面向標清與 高清的視頻編碼標準 AVS 的 制定。 項目組先后在國際知名期刊和國際會議上發表了 400 多篇論文，其中有超過 80 篇文章在本領域頂級國際期刊 Science、 Nature Neuroscience、 Neuron、IEEE Trans. on Pattern Analysis and Machine Intelligence、 IEEE Trans. on Circuits and Systems for Video Technology、 IEEE Trans. on Multimedia、 IEEE Trans. on Image Processing、 IEEE Trans. on Neural Network、 IEEE Trans. on Knowledge and Data Engineering、 Pattern Recognition、 International Journal of Computer Vision、 Neural Computation等上發表。 (3) 項目 承擔與合作單位各有所長，研究隊伍精干，專業分布合適。 本項目的一個最大特點是研究內容涉及到多個學科，具有很強的學科交叉性。該項目組的主要成員來自 神經科學、生理學、心理學、 數學、計算機科學和電子 等專業，能夠較好地適應研究任務的要求。同時，項目組由 研究隊伍由來自六個參與單位的科技人員組