基于人眼視覺特性的圖像增強算法研究畢業(yè)設計(編輯修改稿)

　

【文章內(nèi)容簡介】 ，在直方圖增強處理中，刻畫背景的灰度級由于統(tǒng)計值較大，被分配了較大的灰度級空間，而真正刻畫主要信息的灰度級因統(tǒng)計值較少，很難得到有效的拉伸，使得處理后的圖像質量還不如原圖像的效果，見圖 (b)。因此，僅僅依據(jù)數(shù)量上的統(tǒng)計結果，調(diào)整灰度級的動態(tài)范圍，難以保證對主要刻畫信息XX 大學 XX 學院 201X 屆 XXXX 專業(yè) 畢業(yè)設計 13 的灰度級進行有限拉伸，極大地影響基于直方圖的圖像增強算法的性能和魯棒性。 圖 rose 原圖和采用 GHE 算法的增強圖像及相應的直方圖 常用的區(qū)域顯著性度量方法 根據(jù)顯著性度量方法的不同，可將目前的顯 著區(qū)域檢測算法分為兩大類。第1 類是基于局部特征的算法，即從候選區(qū)域內(nèi)部提取顯著性特征。這類方法認為視覺顯著性的產(chǎn)生是由于視覺對象本身具有某種能夠引起觀察者注意的特殊屬性。比如： Bourque 比較候選區(qū)域與整幅圖像的邊緣密度差異； Kadir 將像素鄰域的復雜性（ plexity）作為其顯著性特征，并通過該鄰域的灰度直方圖的熵描述其復雜性； Gesu 通過離散對稱性變換（ DST）和離散矩變換（ DMT） 的結合描述像素鄰域的顯著性。該方法往往是針對某些特定的目標或圖像提出來的，通用性較差。第 2 類是基于視覺反差的算法， 即利用候選區(qū)域與外界比較產(chǎn)生的差XX 大學 XX 學院 201X 屆 XXXX 專業(yè) 畢業(yè)設計 14 異值或差異矢量來描述顯著性。這類方法認為視覺顯著性的產(chǎn)生是由于視覺對象與外界通過某種對比形成的能夠引起觀察者注意的新異刺激。在這些研究者中，有人利用候選區(qū)域與周邊區(qū)域比較產(chǎn)生的差異值或差異矢量來描述顯著性。比如： Wai 通過 DOG 算子比較候選區(qū)域與周邊區(qū)域的灰度差異 Itti 通過中央 周邊（ Centersurround）算子比較候選區(qū)域與周邊區(qū)域在亮度、顏色和朝向這些早期視覺特征上的差異等。有人用候選區(qū)域與整幅圖像比較產(chǎn)生的差異值來描述顯著性，例如： Stentiford 通過進化 規(guī)劃（ evolutionary programming）比較候選區(qū)域與圖像中其他區(qū)域的形態(tài)差異等。這些方法大都是 根據(jù)視覺感知過程提出來的，通用性較強。 基于數(shù)據(jù)驅動的視覺注意機制的顯著性度量方法 視覺注意包括兩種類型：自底向上注意和自頂向下注意。從而導致視覺注意模型包括兩種：（ 1）采用 bottomup 控制策略的數(shù)據(jù)驅動注意機制，由作為底層數(shù)據(jù)的視覺刺激驅動，與作為高層知識的觀察任務無關。（ 2）采用 topdown 控制策略的任務驅動注意機制，它引入外部命令，以適應外界命令的要求，從而達到將注意力集中 于特定目標的目的。按照大腦中存在兩個視覺通路（ what 通路和 where 通路）的理論，數(shù)據(jù)驅動的注意模型可以用來提供 what 信息，而任務驅動的注意模型可以用來解決 where 通路的問題。目前對數(shù)據(jù)驅動的注意模型研究較多，提出了許多計算模型，而對任務驅動的注意模型研究較少，其原因主要在于研究外界命令如何參與注意的計算方面存在較大的困難，目前大多數(shù)的工作限于生物實驗取證和理論研究。本文的研究也主要應用的是數(shù)據(jù)驅動的注意機制。 多尺度采樣 多尺度采樣模擬人類在掃視采集時對集采尺度的選擇過程。這一機制最早 由Zeevi 等在研究人類視網(wǎng)膜中心錐狀細胞的分布時發(fā)現(xiàn)，隨后在模擬生物視覺的模型中被頻繁采用。圖 33 所示為視網(wǎng)膜細胞對視覺信息的采樣模式。 Itti 提出了高斯金字塔模型，非均勻采樣體現(xiàn)在不同的采樣層次上。為了抽取圖像中的多尺度信息，對輸入圖像逐級進行子采樣和 Gauss 濾波，得到同一幅圖像的不同分辨率表示。在多尺度采樣中，原始圖像在最底層，由下而上，各層圖像分別是通過對其相鄰下層圖像濾波再采樣獲得的，圖像分辨率在水平和 垂直 方向分別以XX 大學 XX 學院 201X 屆 XXXX 專業(yè) 畢業(yè)設計 15 2 為因子遞減。 初級特征提取 輸入圖像的三個顏色信道 :紅色、綠色 、藍色 ,分別用 r、 g 、 b 符號來表示則圖像的灰度特征可以通過下面公式得到： I =(r +g +b)/3。為了從強度中分離出色度信號，使用 I來歸一化信道。因為亮度非常低的色度變化是察覺不到的，因此也是不顯著的，故歸一化僅在灰度大于全圖最大的 1/10 位置上進行，而其他位置的值則被賦為 0。根據(jù)歸一化后的 r，建立 4 個寬調(diào)諧的顏色通道：紅色R =r (g +b)/2， 綠色 G =g (r +b )/2，藍色 B =b (r +g)/2 和黃色 Y =(r+g )/2|r – g|/2b，負值則置為 0。 中央周邊差 中央周邊操作是指典型的視覺神經(jīng)元對位于其中央的小區(qū)域最敏感，而其中央?yún)^(qū)周圍的更廣、更弱區(qū)域內(nèi)的刺激將抑制該神經(jīng)元的響應。顯然，這樣的對局部空間不連續(xù)性的敏感結構特別適用于檢測相對于其局部周圍突出的區(qū)域。模型中的中央周邊差是通過計算不同尺度下圖像特征圖的差值來實現(xiàn)的。具體做法是將粗尺度下的特征圖插值變細尺度下的特征圖，然后再進行點對點減法。細尺度能發(fā)現(xiàn)高頻部分，檢測的是小的圖像區(qū)域，粗尺度能發(fā)現(xiàn)低頻部分，檢測的是大的圖像區(qū)域。所以細尺度特征圖代表中央?yún)^(qū)域，粗尺度特征圖代表周邊區(qū)域。計算公式如下： 其中， S↑ (.)為二進插值算子 , Is to c為將 s 尺度的亮度特征圖像插值為 c尺度的特征圖像， c、 s 分別為中心層及外周層，在本文中特征金字塔的 {0}層為中心層c，外周層為 s=c+δ，δ =[1,2]。計算結果稱為對比映射圖。 多特征圖合并策略 初級視覺特征提取階段提取的各種不同維的特征對比度，形成了不同維上的特征顯著性描述。這些特征顯著性描述需要按照一定的策略合并為一張全局顯著圖，因為最終供注意機制選擇的是全局顯著圖中的多個目標。該過程通過兩步合并操作完成： 1）合并不同尺度下同一類特征對比 映射圖，獲取特征顯著性描述；2）融合不同種類特征顯著性描述，得到全局顯著圖。組合特征圖的困難在于它XX 大學 XX 學院 201X 屆 XXXX 專業(yè) 畢業(yè)設計 16 們表達的特征是不可比的 ,各自具有不同的動態(tài)范圍和提取機制 ,而且由于所有特征圖都被組合在一起 ,僅僅在某些圖中出現(xiàn)的顯著目標 ,可能被圖中大量的噪聲或不太顯著的目標所淹沒。 灰度級信息量直方圖構造算法 本文采用上節(jié)提到的基于視覺注意機制的顯著性計算方法來構造新型直方圖。大量實驗表明，該算法的測算結果與視覺主觀分析結果基本吻合。 具體過程如下： 1．將原始圖像進行多尺度采樣，分解為高斯金字塔形式。 2．對金字 塔的每一層分別提取多個初級視覺特征。由于本文的圖像增強算 法專門針對灰度圖像進行設計，因此初級特征中只選用亮度和朝向特征。 3．按公式分別進行亮度與朝向特征的中央周邊差計算。 4．最后利用全局加強法將多特征對比映射圖進行合并處理，得到全局顯著圖。 5．全局顯著圖進行歸一化得到各像素的復雜度加權系數(shù) saliency (i ,j)。 6．依據(jù)各像素的復雜度系數(shù)加權統(tǒng)計待增強圖像的灰度級像素數(shù)，即找到原圖像中灰度級為 r 的像素位置 (m ,n)，然后統(tǒng)計這些位置的復雜度加權系數(shù) ，得到待處理圖像的灰度級信息量直方圖，及 所有灰度級信息量統(tǒng)計值之和。 4 基于人眼視覺特性的圖像增強方法 針對上文提到的傳統(tǒng)直方圖均衡方法描述的缺陷：在灰度級調(diào)整過程中沒有充分利用視覺敏感區(qū)段，本文研究了人眼視覺系統(tǒng)，視覺特性參數(shù)表明，人眼對不同亮度背景下灰度偏差的感知能力存在差異，在暗背景下辨別能力較弱。因此，本章根據(jù)人眼視覺感知特性將灰度級信息量分為三部分，分別對每部分進行灰度級動態(tài)范圍的調(diào)整。另外在圖像灰度級統(tǒng)計時，往往會出現(xiàn)一些比重過大的灰度級，稱為主導灰度級，這些灰度級在直方圖拉伸處理中將占用較大范圍的灰度級空間，而灰度級整個動態(tài)空間 資源只有 256 級，這無疑會影響其它灰度級的表現(xiàn)。為解決這個問題，本文采用人眼感知能力曲線對主導灰度級進行限幅處理。最后在灰度級信息量直方圖基礎上，結合人眼視覺特性，提出了一種新的圖像增強方法，該方法使增強圖像保留了更多的細節(jié)信息，獲得滿意的視覺效果。 XX 大學 XX 學院 201X 屆 XXXX 專業(yè) 畢業(yè)設計 17 另外，由于圖像內(nèi)容存在多變的特點，為了獲取更好的圖像增強效果，有必要對各視覺敏感度區(qū)段的信息量分配比例做一定的調(diào)節(jié)，而傳統(tǒng)的基于直方圖的圖像增強方法并不能自適應地獲取灰度級調(diào)整的優(yōu)化配置參數(shù)，由于評價算法除了能對增強效果進行評價，也可以對參數(shù)進行自適應調(diào)節(jié)，為此本文依據(jù)視覺感知模型設計了一個圖像增強質量客觀評價算法，并依據(jù)該評價算法的分析結果，自適應地獲取最佳調(diào)節(jié)參數(shù)。 灰度級動態(tài)范圍的優(yōu)化配置 所謂動態(tài)范圍是指待處理圖像的灰度級經(jīng)過調(diào)整后所占據(jù)的空間范圍。在 章中，灰度級動態(tài)范圍的調(diào)整優(yōu)化包括兩方 面：灰度級動態(tài)范圍的調(diào)整及主 灰度級限幅處理。下面將從這兩方面展開研究。 傳統(tǒng)的灰度級動態(tài)范圍優(yōu)化配置方法 傳統(tǒng)的灰度級動態(tài)范圍調(diào)整方法主要包括線性動態(tài)范圍調(diào)整及非線性動態(tài)范圍調(diào)整。線性動態(tài)范圍調(diào)整是最簡單的灰度級動態(tài)范圍調(diào)整方法，觀察者可以改變?nèi)魏位叶燃壏秶鷥?nèi)的對比度。然而，這種簡單的方法很難同時提高所有區(qū)域的對比度。直方圖均衡化是非線性動態(tài)范圍調(diào)整中最常用的一種方法，其實質是有選擇地增強圖像中的某些信息（占有較多像素的灰度）而抑制另一些信息（占有較少像素的灰度）。雖然直方圖均衡化在一定程度上使 得處理后的圖像灰度得以較均勻的分布，改善了圖像的視覺效果，但如第一章所述，直方圖均衡化方法并沒有考慮到人眼感知的非線性特性，即它是在假定不同的灰度級的視覺敏感度一樣的基礎上進行動態(tài)范圍調(diào)整的，并不能充分利用視覺敏感區(qū)段。 由于在圖像灰度級統(tǒng)計時，往往會出現(xiàn)部分主導灰度級統(tǒng)計值過大的情況，使得圖像處理后出現(xiàn)振鈴現(xiàn)象、噪聲過增強等問題，并且這些灰度級因為占據(jù)了較大灰度級空間，進而影響其它灰度級的表現(xiàn)。因此有必要對這些灰度級分配的動態(tài)范圍進行限幅處理。 基于視覺特性的灰度級動態(tài)范圍調(diào)整優(yōu)化 圖像增強 的目的之一是為了改善圖像的視覺效果，以增強人眼對圖中信息的辨別能力。對人眼視覺系統(tǒng)的研究，一方面為算法的改進提供新的線索，另一方面為設計圖像增強的量化評估算法提供依據(jù)。臨界可見偏差 (Just Noticeable XX 大學 XX 學院 201X 屆 XXXX 專業(yè) 畢業(yè)設計 18 Difference,JND)是現(xiàn)已提出的能反映人眼視覺辨別力的重要參數(shù)，它揭示了 人眼在不同亮度背景下對亮度偏差的感知規(guī)律。下面 簡要介紹 JND 相關背 景。 臨界可見偏差這一概念最早是由 Jayant 提出，在圖像壓縮編碼設計和評估中被普遍采用，但 JND 與圖像增強也有著密切的關系，它反映了人眼在不同亮度背景條件下能分辨的最小亮度偏差，這也是細節(jié)信息被有效增強的最低門限要求。 已有的視覺研究成果表明，人眼所能感覺到的最小亮度差與觀察對象的背景有關 [52]，即視覺對亮度偏差的敏感程度隨背景亮度變化呈非線性變化，總的來說在高亮度背景區(qū)人眼對亮度偏差的辨別力比在低亮度區(qū)要強。圖 所示直觀顯示了視覺在不同背景條件下的感知差異，圖 （ b）是將圖 （ a）中的所有灰度級值加上 50 得到的，這等效于將原圖像整體亮度提升了 50 個灰度級。從這兩圖對比可以看出，原圖像中暗區(qū)不可見信息或難以分辨的信息（如人物衣服區(qū)域和墻 上的部分文字）在亮背景下變得可見或更易辨別。但圖像整體亮度的