基于視覺(jué)特性的視頻編碼理論與方法研究畢業(yè)論文(編輯修改稿)

　

【文章內(nèi)容簡(jiǎn)介】 不再是傳統(tǒng)方法中的像素或者圖像塊。這種信息表示機(jī)制變化的意義在于：通過(guò)將編碼符號(hào)集合定義在具有視覺(jué)意義的基元上，傳統(tǒng)的信息論就可以被擴(kuò)展，我們稱(chēng)之 為 “視覺(jué)信息論 ”，以區(qū)分一般意義上的信息論。為此，我們就需要探討符合視覺(jué)感知的視覺(jué)基元與視覺(jué)信息論中基本信源符號(hào)的關(guān)系，尋找基本信源符號(hào)的合理定義，進(jìn)而提出并形式化視覺(jué)信息量、視知覺(jué)熵等概念，研究其測(cè)度和數(shù)量化方法，尋找并借助客觀、魯棒、易行的視覺(jué)質(zhì)量評(píng)價(jià)方法，探索基于視知覺(jué)熵的率失真關(guān)系，進(jìn)而形成新的率失真理論。從而以視知覺(jué)熵和視知覺(jué)率失真理論為基礎(chǔ)，建立視覺(jué)信息論，為基于視覺(jué)模型的新型高效視頻編碼技術(shù)奠定堅(jiān)實(shí)的理論基礎(chǔ)。 本項(xiàng)目研究將基于上述總體思路展開(kāi)，分別在視覺(jué)信息處理基本機(jī)理、視覺(jué)表示與計(jì)算模型、 視頻編碼理論與方法以及系統(tǒng)驗(yàn)證等幾個(gè)層面展開(kāi)。 具體的，在視覺(jué)基本機(jī)理方面，我們將采用多電極矩陣植入猴腦和計(jì)算仿真兩種方法，重點(diǎn)探討稀疏編碼、群組編碼、增量成組、運(yùn)動(dòng)感知、視覺(jué)注意等主要內(nèi)容。這些機(jī)理可以指導(dǎo)我們研究新的視頻內(nèi)容表示與計(jì)算模型，具體的，我們擬沿著對(duì)視覺(jué)信息進(jìn)行統(tǒng)計(jì)學(xué)習(xí)的思路，學(xué)習(xí)圖像 /視頻的基本要素，建立時(shí)空要素圖模型，并在此基礎(chǔ)上對(duì)視覺(jué)注意進(jìn)行建模分析。最后則可以基于這些計(jì)算模型研究基于局部視覺(jué)模型的高效視頻編碼、包含注意機(jī)制的多維度可伸縮編碼、分布式多視編碼和面向智能監(jiān)控的視頻編碼等理 論與方法。 需要指出的是，本項(xiàng)目的上述研究方案強(qiáng)調(diào)了神經(jīng)科學(xué)、生理學(xué)、心理學(xué)、數(shù)學(xué)、計(jì)算科學(xué)和電子學(xué)等多學(xué)科的交叉 從而 有效地促進(jìn)我國(guó)科學(xué)與技術(shù)研究在 13 上述領(lǐng)域中的 進(jìn)一步 發(fā)展。 各主要研究?jī)?nèi)容的研究方案 基于上述總體學(xué)術(shù)思路和技術(shù)路線，本項(xiàng)目各個(gè)主要研究?jī)?nèi)容的研究方案概述如下： 視覺(jué)信息處理基本機(jī)理方面 這部分的研究將采用包括清醒動(dòng)物神經(jīng)電生理學(xué)、視覺(jué)行為學(xué)和藥物學(xué)方法以及 ERP、 fMRI 等技術(shù)手段研究生物視覺(jué)系統(tǒng)知覺(jué)組織主要環(huán)節(jié)的神經(jīng)機(jī)制和心理機(jī)理。 對(duì)視皮層神經(jīng)元群反應(yīng)特性等問(wèn)題的 研究方案 ，簡(jiǎn)述如下：采用不同的視覺(jué)刺激模式 (刺激 背景和自然景物圖像 )對(duì)靈長(zhǎng)類(lèi)動(dòng)物進(jìn)行視覺(jué)行為學(xué)訓(xùn)練；在動(dòng)物V1 區(qū)植入多電極矩陣；采用神經(jīng)電生理學(xué)記錄研究動(dòng)物作視覺(jué)識(shí)別和視覺(jué)學(xué)習(xí)時(shí) V1 區(qū)神經(jīng)元群反應(yīng)模式；在各級(jí)皮層采用物理或化學(xué)藥品手段改變縱向神經(jīng)輸入對(duì) V1 區(qū)的作用；研究當(dāng)動(dòng)物作視覺(jué)識(shí)別時(shí)記錄 V1 區(qū)神經(jīng)元群反應(yīng)特征。 視覺(jué)注意的生理心理基礎(chǔ)及在視覺(jué)認(rèn)知組織中的作用則將主要采用 ERP 和fMRI 技術(shù)，對(duì)被測(cè)試人的腦電活動(dòng)進(jìn)行測(cè)量，研究 知覺(jué)組織和 視覺(jué)信息處理過(guò)程中，基本成組和增量成組過(guò)程在時(shí)序和腦區(qū)上的差異，以及注意 等認(rèn)知過(guò)程對(duì)其 之間的相互影響的差異以 加工 及相應(yīng)的腦機(jī)制 。 具體方案為：向被試呈現(xiàn)不同的刺激圖片 (背景和圖像容易分離或不易分離，自然圖像或刺激－背景圖形 )，考察在給不同線索 (cue)情況下， ERP 的波形，反應(yīng)時(shí)間以及激活腦區(qū)的差異。 在模型研究方面， 考慮圖像在不同感覺(jué)、知覺(jué)層面上的不同表示，對(duì)于視覺(jué)信息的稀疏表示、視覺(jué)皮層 V2 區(qū)、 V4 區(qū)和 IT 區(qū)的各個(gè)層次 采用前饋聯(lián)接，采用無(wú)監(jiān)督和有監(jiān)督兩種不同學(xué)習(xí)方式解決局部特征和整體特征的學(xué)習(xí)任務(wù)。總體上采用階層、模塊化網(wǎng)絡(luò)結(jié)構(gòu)。其中， 第一層對(duì)應(yīng)稀疏表示，目標(biāo)是建立視覺(jué)信息的 超完備表示，模擬視覺(jué)初始皮層的功能，該層的學(xué)習(xí)算法采用自適應(yīng)的視覺(jué)信息稀疏表示算法，在神經(jīng)信息內(nèi)部編碼方面，研究基于神經(jīng)元信號(hào)獨(dú)立分解機(jī)理的內(nèi)部稀疏表示的統(tǒng)計(jì)模型，使得該層的神經(jīng)元具有超完備稀疏響應(yīng)特征。 第二層的功能是局部特征成組 (Feature Grouping)，該層的學(xué)習(xí)準(zhǔn)則是使得具有相近響應(yīng)特征的神經(jīng)元盡可能集群到相近的鄰域，我們擬引入鄰域神經(jīng)元之間的能量變化極小化實(shí)現(xiàn)局部特征成組 和無(wú)監(jiān)督學(xué)習(xí)機(jī)制 。 第三層的功能是視覺(jué)整體特征的形成，該層依賴于具體的視覺(jué)處理任務(wù)。我 14 們將針對(duì)某些特定的典型任務(wù)設(shè)計(jì)相 應(yīng)的整體特征形成與學(xué)習(xí)方法，研究如何將任務(wù)的先驗(yàn)知識(shí)或領(lǐng)域知識(shí)融入到整體特征的表示與學(xué)習(xí)中。 在最高的識(shí)別層，考慮到不可預(yù)測(cè)的信息包含更多信息量的情況，試圖對(duì)給定的圖像計(jì)算其不可預(yù)測(cè)信息。擬采用局部譜能量對(duì)數(shù)的殘余量來(lái)定義感興趣區(qū)域。殘差值越大，該區(qū)域的可預(yù)測(cè)性越差，因此我們把局部圖像譜能量對(duì)數(shù)值殘差超過(guò)一定閥值的區(qū)域定義為感興趣的區(qū)域。通過(guò)大量的計(jì)算機(jī)實(shí)驗(yàn)，利用該殘差定義的感興趣區(qū)域與人類(lèi)視知覺(jué)的注意區(qū)域相吻合。在定義感興趣區(qū)域的基礎(chǔ)上，我們將利用 Itti 的貝葉斯模型，定義視覺(jué)注意區(qū)域，并且給出計(jì)算算法。 面向視頻編碼的 視覺(jué)計(jì)算模型與方法 概括來(lái)說(shuō)，我們擬采用產(chǎn)生式的、多層結(jié)構(gòu)時(shí)空要素圖 (STITCH)系統(tǒng)作為視頻運(yùn)動(dòng)的統(tǒng)一表示，并采用 貝葉斯 理論框架下 的最大似然估計(jì) (Maximum likelihood estimation)方法實(shí)現(xiàn)推理計(jì)算。 具體地我們擬定以下研究方案： 首先，我們提出 “時(shí)空要素圖系統(tǒng) ”來(lái)統(tǒng)一地表示視頻中復(fù)雜的運(yùn)動(dòng)內(nèi)容。作為一種產(chǎn)生式系統(tǒng)，它包括三層結(jié)構(gòu)，： (i)系統(tǒng)的底層為圖像層，是我們觀察到的視頻序列。 (ii)系統(tǒng)的中層為要素圖層。為靜態(tài)圖像表示提出的 要素圖模型，其本質(zhì)上是一種屬性圖表示。本層是我們需要推理演算出的隱變量 (hidden variable)層， 是 以產(chǎn)生式要素圖模型生成底層的圖像。 (iii)系統(tǒng)的上層也是隱變量層，它代表使要素圖在運(yùn)動(dòng)過(guò)程中發(fā)生結(jié)構(gòu)變化的因素，擬采用圖語(yǔ)法表示。 我們將在 貝葉斯 理論框架下通過(guò)最大似然估計(jì)的方法學(xué)習(xí)時(shí)空要素圖系統(tǒng)中的最優(yōu)參數(shù) (包括以上提到的各方面內(nèi)容 )，從而實(shí)現(xiàn)對(duì)要素圖的整合、分割、與組合，并實(shí)現(xiàn)對(duì)運(yùn)動(dòng)基元 (或子圖 )的提取、跟蹤，以及對(duì)圖語(yǔ)法規(guī)則的學(xué)習(xí)。 具體研究方案 如下： (1) 基元在不同子空間中的動(dòng)態(tài)特性分析 在確立了以時(shí)空要素圖系統(tǒng)作為運(yùn)動(dòng)圖像序列的表示模型后，我們將運(yùn)動(dòng)基元定義為時(shí)空要素圖中的子圖，如飄落著的雪花、飛翔的小鳥(niǎo)等。運(yùn)動(dòng)基元也可以按粒度近一步的分解，如一個(gè)行走的人作為某一層上的運(yùn)動(dòng)基元可被進(jìn)一步分解成為頭、軀干、四肢等具有不同運(yùn)動(dòng)特性卻又相互關(guān)聯(lián)的不同運(yùn)動(dòng)基元。 15 由于運(yùn)動(dòng)的物體處于不同的熵域中，所以對(duì)不同類(lèi)型的靜態(tài)圖像基元有不同的表示，如表示低熵結(jié)構(gòu) “可勾畫(huà) ”部分 (sketchable)的簡(jiǎn)約圖模型和表示高熵 “不可勾畫(huà) ”部分 (nonsketchable) 的紋理模型。這些不同熵域中的靜態(tài)基元在時(shí)空中的動(dòng)態(tài)特性很不一樣。因此， (a) 我們首先要定義各種圖像基元在時(shí)空中的 “可跟蹤性 ”(trackability)及其度量。 我們將借鑒對(duì)一般跟蹤系統(tǒng)的分析方法，在貝葉斯推理理論框架下用信息論的方法 (information theoretic approach)，將物體狀態(tài)的 “不 可跟蹤性 ”度量定義為其后驗(yàn) 條件熵 。它 體現(xiàn)了狀態(tài)估計(jì)或跟蹤過(guò)程中的狀態(tài)的不確定性。由此我們可以導(dǎo)出可跟蹤性度量。 為 了獲得視頻的最優(yōu)的時(shí)空要素圖表示，我們將可跟蹤性度量作為此優(yōu)化問(wèn)題的 一個(gè)重要參量置于 系統(tǒng)動(dòng)態(tài)模型 中 ，使系統(tǒng)能夠通過(guò)計(jì)算，在不同基元優(yōu)化自身可跟蹤性度量的同時(shí)，能夠自動(dòng)地選擇適應(yīng)不同視頻內(nèi)容的基元表示方法，從而獲得最優(yōu)的表示。我們稱(chēng)之為基元對(duì)視頻的 “競(jìng)爭(zhēng)解釋機(jī)制 ”。這里我們所說(shuō)的 “最優(yōu) ”或者定義在對(duì)視頻內(nèi)容的最小描述長(zhǎng)度 (Minimum descriptive length)理論框架下，或者定義在貝葉斯推理理論下的最大后驗(yàn)概率 (Maximum a posteriori)估計(jì)意義下。 (b) 我們將通過(guò)基于采樣的學(xué)習(xí) (learning by sampling)方法，以及可跟蹤性與不可跟蹤性基元對(duì)視頻的競(jìng)爭(zhēng)解釋機(jī)制，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)圖像序列的全面分析，得到不同粒度上的基元、運(yùn)動(dòng)層次 (layer)或物體，以及它們?cè)跁r(shí)空中的對(duì)應(yīng)關(guān)系，并可以對(duì)運(yùn)動(dòng)基元進(jìn)行自動(dòng)分類(lèi) (可跟蹤與不可跟蹤 )。在此統(tǒng)計(jì)學(xué)習(xí)過(guò)程中，我們不斷地學(xué)習(xí)、更新可跟蹤運(yùn)動(dòng)基元在光度、幾何、運(yùn)動(dòng)、以及拓?fù)涞炔煌S度上的動(dòng)態(tài)特性。同時(shí)，對(duì)于不可跟蹤運(yùn)動(dòng)基元，我們將在其特征空間 (如 PCA、Fourier 空間 )研究其光度和運(yùn)動(dòng)等動(dòng)態(tài)特性。 (2) 運(yùn)動(dòng)基元的時(shí)空依賴及相互作用關(guān)系 在運(yùn)動(dòng)過(guò)程中，物體與物體之間、基元 與基元之間存在著相互作用，如鳥(niǎo)群在飛行的自組合狀態(tài)，即：個(gè)體間的運(yùn)動(dòng)軌跡基本相互平行，同時(shí)保持一定距離；人在行走過(guò)程中，手臂與腿之間保持一定的協(xié)調(diào)性；小船隨著波浪上下浮動(dòng)；車(chē)輛經(jīng)過(guò)時(shí)會(huì)遮擋背景物體等等。在分別研究了不同類(lèi)型運(yùn)動(dòng)基元的動(dòng)態(tài)特性后，我們將通過(guò)回歸式數(shù)學(xué)模型來(lái)描述物體以及基元之間在運(yùn)動(dòng)軌跡方面的相互影響；通過(guò)學(xué)習(xí)上下文相關(guān)的隨機(jī)圖語(yǔ)法來(lái)描述在運(yùn)動(dòng)過(guò)程中物體或基元之間在拓?fù)浣Y(jié)構(gòu)上產(chǎn)生的相互影響與作用關(guān)系。 (3) 運(yùn)動(dòng)基元在不同熵域間的轉(zhuǎn)換 同一物體或基元由于運(yùn)動(dòng)可能穿梭于不同的熵域。例如，一輛汽車(chē) 由遠(yuǎn)及近地駛來(lái)：它在很遠(yuǎn)的地方由于相機(jī)分辨率有限，成像后可以簡(jiǎn)單地用一個(gè)尺度很 16 小的點(diǎn) (blob)來(lái)表示，這時(shí)它處在高熵紋理區(qū)；隨著汽車(chē)的駛近，它會(huì)經(jīng)過(guò)中熵以及低熵圖像表示區(qū)。在此過(guò)程中，如果僅僅用一個(gè) blob 將不足以表示汽車(chē)不斷涌現(xiàn)的細(xì)節(jié)，這時(shí)我們要不斷選擇合適的視覺(jué) “詞匯集 ”(visual vocabulary)來(lái)描述它在不同熵域中的表觀。所以，對(duì)于這種感知轉(zhuǎn)換機(jī)制 (perceptual transition mechanism)的研究將在理論上指導(dǎo)我們?nèi)绾吾槍?duì)不同情況采用適合的視覺(jué) “詞匯集 ”來(lái)表示運(yùn)動(dòng)的 物體并通過(guò)解釋其中的變化來(lái)實(shí)現(xiàn)對(duì)復(fù)雜運(yùn)動(dòng)的魯棒分析。在本 項(xiàng)目 的研究中，我們將采用統(tǒng)計(jì)學(xué)習(xí)的方法，通過(guò)上下文相關(guān)的隨機(jī)圖語(yǔ)法來(lái)描述物體或基元在穿越不同熵域時(shí)發(fā)生的結(jié)構(gòu)變化。 基于視覺(jué)模型的高效視頻編碼理論 以往視頻壓縮技術(shù)的主要理論基礎(chǔ)是香農(nóng)信息論，但目前遇到了效率瓶頸，這表現(xiàn)在壓縮效率進(jìn)一步提升將以不可承受的復(fù)雜度增加為代價(jià)。基于此，本 項(xiàng)目 研究基于視知覺(jué)的視頻壓縮。人類(lèi)視覺(jué)系統(tǒng)提取外界信息是一個(gè)從底層像素到高層物體邊緣、結(jié)構(gòu)、顏色、紋理、運(yùn)動(dòng)的一個(gè)層級(jí)、漸進(jìn)抽象的過(guò)程。人類(lèi)視覺(jué)系統(tǒng)會(huì)忽略視知覺(jué)感受 不到的內(nèi)容，而關(guān)注于有實(shí)際物理意義的感興趣對(duì)象。因此，人類(lèi)視覺(jué)系統(tǒng)對(duì)有意義信息的提取，也即對(duì)視頻數(shù)據(jù)知覺(jué)冗余的壓縮，是相當(dāng)高效的。目前，傳統(tǒng)的視頻壓縮技術(shù)與人類(lèi)視覺(jué)系統(tǒng)的視頻處理過(guò)程有著本質(zhì)區(qū)別。兩者效率上的差距正是基于視覺(jué)的視頻壓縮技術(shù)發(fā)展的空間。本 項(xiàng)目 的研究?jī)?nèi)容包括理論基礎(chǔ)研究、算法及系統(tǒng)研究，具體的研究思路如下。 (1) 基于視知覺(jué)熵的視覺(jué)信息論 結(jié)合視知覺(jué)機(jī)理和視覺(jué)計(jì)算模型，我們認(rèn)為 “視頻要素 ”是符合人類(lèi)視覺(jué)處理機(jī)制的視頻信息的基本組成單元。因此，本 項(xiàng)目 擬將 “視頻要素 ”作為所提視覺(jué)信息論中的基本信源 符號(hào)，通過(guò) “視頻要素 ”的視知覺(jué)信息量的定義，即視知覺(jué)熵，以及 “視頻要素 ”有損表示下率失真關(guān)系的明確，完成視覺(jué)信息論的建立。 視知覺(jué)熵的定義及其數(shù)量化測(cè)度，特別是視知覺(jué)熵的動(dòng)態(tài)測(cè)度，是視覺(jué)信息論可應(yīng)用的關(guān)鍵。本 項(xiàng)目 擬采用一組無(wú)冗余視頻要素對(duì)視頻序列進(jìn)行表示，則視頻要素的視知覺(jué)熵可通過(guò)要素組合視頻與原始視頻的主觀視覺(jué)無(wú)差異性來(lái)測(cè)試獲得。測(cè)試方法、視知覺(jué)熵的數(shù)量化方法以及高階視覺(jué)熵的定義需要深入研究。 視知覺(jué)率失真理論可在視知覺(jué)熵?cái)?shù)量化的基礎(chǔ)上，通過(guò)視覺(jué)要素有損表示下組合視頻與原始視頻的主觀視覺(jué)差異性測(cè)試，來(lái)確定 率失真關(guān)系，從而完成視知覺(jué)率失真理論。 主觀視覺(jué)評(píng)價(jià)是上述方法中的關(guān)鍵步驟，因此對(duì)魯棒的主觀視覺(jué)評(píng)價(jià)方法也需要進(jìn)行深入研究。本 項(xiàng)目 會(huì)對(duì)以上設(shè)想及測(cè)試方法的正確性、魯棒性進(jìn)行分析、實(shí)驗(yàn)、論證，對(duì)具有更一般性的方法開(kāi)展研究。 17 (2) 基于視知覺(jué)的視頻壓縮算法及框架 基于視知覺(jué)的視頻壓縮算法及其系統(tǒng)要求具有高效、功能完備、可實(shí)現(xiàn)的特點(diǎn)。主要是從兩個(gè)方面進(jìn)行研究 ： 首先，在混合編碼框架內(nèi)結(jié)合所提取的視覺(jué)特征，提高傳統(tǒng)編碼框架下的編碼效率，對(duì)此我們將研究基于局部特征的動(dòng)態(tài)量化，即針對(duì)人的對(duì)比敏感度函數(shù)、紋理掩蔽效應(yīng) 、頻率掩蔽效應(yīng)、速度掩蔽效應(yīng)等動(dòng)態(tài)視覺(jué)特性，研究在視覺(jué)失真的最大容忍程度下的優(yōu)化量化編碼方法； 其次，視頻信息可由一組 “視頻要素 ”來(lái)進(jìn)行符合視知覺(jué)機(jī)理的高效表示，則壓縮算法需要以視頻要素為處理對(duì)象。這些視頻要素可以具體地由邊緣、紋理、運(yùn)動(dòng)等圖像 /視頻的局部特征來(lái)表示。基于所提取的圖像特征，提出新的編碼框架，建立一個(gè)基于局部特征的壓縮系統(tǒng)。為了保證所提出的基于視覺(jué)的編碼系統(tǒng)具有很好的適應(yīng)性，在各類(lèi)型的視頻序列上都能取得較高的編碼效率，我們將首先將自然圖像中的局部結(jié)構(gòu)分為幾個(gè)最基本的特征參數(shù)來(lái)描述，如：輪廓形狀 、方向，空間周期性，時(shí)間周期性等。然后用最基本的參數(shù)建立特征的基本集。之后通過(guò)學(xué)習(xí)大量的自然圖片，獲得基本特征的變體，同時(shí)對(duì)基本集進(jìn)行擴(kuò)充。最終形成一個(gè)基本覆蓋所有自然圖片局部特征類(lèi)型的集合，并建立模型，實(shí)現(xiàn)對(duì)這個(gè)特征類(lèi)型集合的模型表示。這個(gè)特征類(lèi)型集將是超完備并且恒定更新的，將會(huì)采用增量學(xué)習(xí)的辦法來(lái)保證編碼器和解碼器的內(nèi)容同步，并進(jìn)行模型更新， (3) 基于視覺(jué)的動(dòng)畫(huà)壓縮 我們擬結(jié)合動(dòng)畫(huà)制作的基本原理，提取有效的動(dòng)畫(huà)特征，包括邊緣，紋理，運(yùn)動(dòng)、或色彩等，建立起動(dòng)畫(huà)中對(duì)象的模型表示，搭建基于視覺(jué)的動(dòng)畫(huà) 壓縮系統(tǒng)，提高動(dòng)畫(huà)的壓縮效率。 (