運動目標檢測與跟蹤研究(編輯修改稿)

　

【文章內容簡介】 大，圖像越接近。實驗數據一不同方法在不同采樣率下得到的背景的圖像與標準背景圖像比較的PSNR見表二。采樣率(f/s)12525基于均值 改進的基于均值 基于中值濾波 基于共同區域 表二 實驗數據一不同方法得到的背景與標準背景圖像比較的PSNR比較同一采樣率下不同方法的PSNR不能說明問題，因為同一采樣率下不同方法需要的實際處理時間不相同。在處理時間一定的情況下，PSNR越大的方法越好。因此，結合表二和表一，得到不同方法的PSNR隨處理時間變化關系圖。實驗數據一不同方法的PSNR隨處理時間變化關系圖如圖十九。圖十九 實驗數據一不同提取背景的算法PSNR與處理時間關系圖將圖十九中橫坐標[0，10]區間部分作局部放大，得到圖二十。圖二十 實驗數據一不同提取背景的算法PSNR與處理時間關系圖（局部）實驗數據二不同方法在不同采樣率下得到的背景的圖像與標準背景圖像比較的PSNR見表三。采樣率(f/s)12525基于均值 改進的基于均值 基于中值濾波 基于共同區域 表三 實驗數據二不同方法得到的背景與標準背景圖像比較的PSNR實驗數據二不同方法的PSNR隨處理時間變化關系圖，如圖二十一。圖二十一 實驗數據二不同提取背景的算法PSNR與處理時間關系圖將圖二十一中橫坐標[0，10]區間部分作局部放大，得到圖二十二。圖二十二 實驗數據二不同提取背景的算法PSNR與處理時間關系圖（局部）從圖二十和圖二十二這兩組實驗數據的結果中，我們可以得到以下結論：并不是采樣率越高（處理時間越長），PSNR就越高。不同的方法在4秒之后，盡管采樣率不同，但PSNR值都基本不變了。這是因為不同的圖像幀區別只在于運動前景不同，背景是相同的，因此不同圖像幀之間存在著信息冗余，增加采樣率，只會增加處理時間，不會增加PSNR，也即不會提高背景提取的質量。也就是說，在背景提取的時候，我們不需要很高的采樣率即可得到不錯的背景圖像。基于均值的算法是效果最差的算法，因為其只是簡單的平均，沒有做更多的處理。共同區域法需要更高的采樣率才能得到好效果。這是因為要找到更多的共同區域，就需要更高的采樣率。從提取出來的背景圖像的人眼視覺效果來說，基于共同區域的算法的背景圖像最不平滑。基于中值濾波的背景提取算法，只是取排序中位于中間的元素作輸出，舍棄掉了其他元素，沒有充分利用其他元素的信息，并且排序比較耗時，因此基于中值濾波的背景提取算法不是很好的算法。效果最好的算法是改進的基于均值的背景提取算法。綜上所述，對于10秒的視頻圖像序列，采用每秒2幀的采樣率，使用改進的基于均值的背景提取算法，不到4秒就可以得到優秀的背景圖像。而背景提取對實時性本來要求就不高，不需要像物體運動跟蹤那樣對所有輸入幀都進行處理，這種方法完全能達到應用的要求。 灰度圖像的背景提取運動目標檢測和跟蹤可以不直接使用原始彩色圖像序列，而使用灰度圖像序列，即將彩色視頻圖像序列轉換成灰度圖像序列，然后在灰度圖像序列上提取背景，以及之后提取運動點團、運動跟蹤等。這一節首先講述彩色圖像轉換成灰度圖像的方法，然后再討論灰度圖像的背景提取。 彩色圖像轉換成灰度圖像彩色圖像每個像素點在RGB空間中是一個三維矢量，每個分量分別代表紅、綠、藍三種顏色的灰度。最簡單的將彩色圖像轉換成灰度圖像的方法是將這三個分量取平均值。但是這種方法和人眼視覺感知不符。人眼感知紅、綠、藍三種顏色的權重是不一樣的。JPEG圖像壓縮格式采用的是YUV空間，YUV空間是RGB空間的線性變換。轉換公式是[11]R、G、B分別表示紅、綠、藍三種顏色分量的灰度值。Y分量表示圖像的亮度，這是符合人眼對顏色感知的。我們就以Y分量作為圖像像素的灰度。將彩色像素轉換為灰度像素的公式為將彩色圖像轉換為灰度圖像的算法如下：遍歷彩色圖像的每一個像素矢量，設矢量的紅、綠、藍三色分量值為R、G、B，++ 灰度圖像的背景提取前面所述的所有彩色圖像背景提取的算法都能用在灰度圖像的背景提取上，只要在計算距離的時候將矢量的歐氏距離改為標量差的絕對值即可。圖二十三至圖二十六分別是實驗數據一的灰度圖像序列的基于均值的背景提取、改進的基于均值的背景提取、基于中值濾波的背景提取和基于共同區域的背景提取結果。圖二十三 灰度圖像序列的基于均值的背景圖像圖二十四 灰度圖像序列的改進的基于均值的背景圖像圖二十五 灰度圖像序列的基于中值濾波的背景圖像圖二十六 灰度圖像序列的基于共同區域的背景圖像 邊緣圖像的背景提取背景提取的目的是為了去除背景，取得每一幀圖像的運動前景。而前景背景分離最重要的信息是物體的邊緣信息。因此，可以首先將每一幀原始圖像做邊緣提取，得到邊緣圖像序列，然后提取邊緣圖像背景，再提取運動前景、做運動跟蹤。 彩色圖像的邊緣提取對灰度圖像，邊緣提取就是求每個像素的梯度，以梯度大小作為邊緣的量度。用x、y兩個方向的離散偏微分算子——邊緣檢測算子對圖像做卷積，就得到這兩個方向上的梯度，以這兩個方向的量為分量的矢量就是這個像素的梯度矢量，這個矢量長度的大小就是這個像素的邊緣值。設f(x,y)是離散灰度圖像，g(x,y)是卷積核，f和g的卷積是如果卷積核是的矩陣，則此卷積運算的時間復雜度是O(9M)，M是圖像的像素總數。常用的邊緣檢測算子是Prewitt邊緣算子和Sobel邊緣算子。圖二十七和二十八是Prewitt邊緣算子，圖二十九和三十是Sobel邊緣算子。它們都是的矩陣[12]。111000111圖二十八 y方向的Prewitt邊緣算子之一101101101圖二十七 x方向的Prewitt邊緣算子121000121圖三十 y方向的Sobel邊緣算子101202101圖二十九 x方向的Sobel邊緣算子對彩色圖像，如果將其三個顏色分量的圖像分別計算梯度，然后將得到的三個顏色的梯度疊加作為邊緣提取的結果，則等價于先將彩色圖像轉換成灰度圖像，再在灰度圖像上作邊緣提取。因為卷積運算和彩色轉換成灰度運算都是線性運算。然而，這么做就將彩色信息給丟失了，彩色圖像的邊緣，并不是三個顏色分量邊緣的簡單疊加。下面講述如何將邊緣提取推廣到彩色圖像中[13]。用Prewitt算子舉例說明。對灰度圖像，將Prewitt邊緣檢測x方向算子帶入卷積公式中，可以得到即一個像素的梯度是它附近三對像素的灰度差的和。將這個式子擴展到矢量空間，認為一個像素的梯度是它附近三對像素的矢量歐氏距離的和，即可得到式子中f(x,y)是圖像中像素矢量，||ab||是計算矢量a和b的歐氏距離。這樣，對每一個彩色像素，都考慮了整個彩色像素矢量，也就是同時考慮了每個像素的三個顏色分量。同理，Prewitt邊緣檢測y方向算子擴展到矢量空間，可得上面的兩個方向的算子就是ColorPrewitt邊緣檢測算子。同樣的，ColorSobel邊緣檢測x方向的算子是ColorSobel邊緣檢測y方向的算子是需要指出的是，邊緣值是梯度長度的大小，因此邊緣值是個標量，邊緣圖像是灰度圖像。 邊緣圖像的背景提取因為邊緣圖像是灰度圖像，前面所述的所有圖像背景提取的算法都能用在邊緣圖像的背景提取上。圖三十一和圖三十二分別是實驗數據一的ColorPrewitt邊緣圖像序列和ColorSobel邊緣圖像序列的基于均值的背景提取結果，圖三十三和圖三十四分別是ColorPrewitt邊緣圖像序列和ColorSobel邊緣圖像序列的改進的基于均值的背景提取的結果。改進的基于均值的背景提取算法依然是這幾種算法中效果最好的。ColorPrewitt和ColorSobel邊緣檢測算法算法得到的邊緣圖像差不多。圖三十一 ColorPrewitt邊緣圖像序列的基于均值的背景圖像圖三十二 ColorSobel邊緣圖像序列的基于均值的背景圖像圖三十三 ColorPrewitt邊緣圖像序列的改進的基于均值的背景圖像圖三十四 ColorSobel邊緣圖像序列的改進的基于均值的背景圖像第四章 運動點團提取和背景更新運動點團提取也稱背景去除、背景抑制，就是把每一幀的非背景部分提取出來。非背景部分就是運動前景，但這里不稱其為前景是因為這一步處理的是第二章所說的點團層，我們在點團層上面還有一層運動物體層，這是為了提高運動跟蹤的效果，詳見第七章。根據運動物體和場景中的靜止背景在亮度、色度上的不同，將圖像序列的每一幀圖像與背景圖像作差，然后二值化，就可以得到每一幀的運動點團：圖像中的一個像素，如果它與背景圖像對應像素的距離大于一個閾值，則認為它是前景，輸出1，否則為背景，輸出0。最后得到的二值圖像就是運動點團圖像。陰影的處理是運動點團提取這一步重要的一環。陰影不應該作為前景的一部分，然而陰影與背景有差別，背景差法會把陰影歸到前景中去，這樣就會導致陰影將不同的運動物體連接成一個物體，降低運動目標檢測的精確度。因此需要對陰影做專門的處理。運動點團提取可以不采用背景差法，而采用幀間差法，指出其存在的問題。背景提取出來后，并不是不變的。它會隨時間變化而變化。光照的改變、原來作為背景的物體運動出去或者運動物體靜止下來成為背景等情況，都會導致背景的變化。因此背景需要不斷的更新。 彩色圖像的運動點團提取彩色圖像的基于背景差的運動點團提取，根據前景與背景的顏色不同，將原始彩色圖像序列的每一幀圖像與彩色背景圖像作差，然后將結果圖像二值化。兩幀彩色圖像的差是指兩幀中對應像素矢量的距離。常用的矢量距離是歐氏距離和馬氏距離，下面分別敘述。 基于馬氏距離的運動點團提取設隨機矢量x的均值是，協方差矩陣是，則x與的馬氏距離是對彩色圖像的像素矢量，假設每一個顏色分量相互獨立，則不同分量的協方差為0，即協方差矩陣非對角線元素都為0，對角線元素就是對應分量的方差，上式可以寫成[14]、綠、藍三種顏色分量的值，、分別表示背景像素矢量的紅、綠、藍三種顏色分量，、分別表示紅、綠、藍三種顏色分量的方差，也就是矩陣的對角元素。在背景提取的時候可以把每個像素的方差計算出來。像素點(x,y)的方差計算方法如下：,c=r,g,b其中Fi是采樣幀，總共有N幀，是背景。從馬氏距離的計算公式中可以看出，其本質是將矢量各個分量用方差歸一化，不至于讓變化較大的分量影響太大、讓變化較小的分量影響消失。接下來就是閾值的確定。若閾值為Tb，則如果圖像像素與對應背景像素的馬氏距離不小于Tb，其為前景；否則為背景。閾值Tb是前景與背景差別的量度。而馬氏距離是歸一化的距離，因此可以認為，前景與背景的距離（沒歸一化的距離）至少有Tb倍標準差。馬氏距離提取運動點團的具體算法如下：1)設背景圖像是B (x,y)，協方差是(x,y)2)遍歷當前幀的每一個像素(x,y)：如果 則輸出G(x,y)=1，否則G(x,y)=0 3)G(x,y)就是當前幀的運動點團圖像。設圖像的總像素數為M，對每一幀圖像都要遍歷每一個像素，因此這個算法的時間復雜度是O(M)。實驗數據一基于馬氏距離的運動點團提取實驗結果的其中一幀圖像如圖三十五至三十七。其中圖三十五閾值Tb=1，圖三十六閾值Tb=5，圖三十七閾值Tb=9。圖三十五 基于馬氏距離的運動點團提取結果，閾值Tb=1圖三十六 基于馬氏距離的運動點團提取結果，閾值Tb=5圖三十七 基于馬氏距離的運動點團提取結果，閾值Tb=9將實驗結果和基于歐氏距離的運動點團提取實驗結果（）相比，可以看到其效果并不好。要么很多背景誤判成了前景（圖三十五、圖三十六）；要么很多前景誤判成了背景（圖三十六、圖三十七）。這是因為，對于沒有運動物體經過的背景區域，像素三個顏色分量的變化都不大，即它們的方差都不大，與背景差別不大的像素的方差歸一化距離會變得很大，導致背景被誤判。一般來說，彩色圖像中的像素點矢量要么各個分量變化都不大，如沒有運動物體出現的背景區域，要么各個分量都有較大的變化，如運動物體頻繁出現的區域，所以距離歸一化并沒有太大的實際意義，基于馬氏距離得到的運動點團圖像效果并不好。 基于歐氏距離的運動點團提取兩個彩色像素矢量的歐氏距離如下：、綠、藍三種顏色分量的值，、分別表示背景像素矢量的紅、綠、藍三種顏色分量。若閾值為Ta，則如果圖像像素與對應背景像素的歐氏距離不小于Ta，其為前景；否則為背景。閾值Ta是前景與背景差別的量度，即前景與背景的距離至少相差Ta。閾值太大，則像素有更大可能被判成為背景，前景被誤判成背景的可能性大；閾值太小，則像素有更大可能被判成為前景，背景被誤判成前景的可能性大。歐氏距離提取運動點團的具體算法如下：1)設背景圖像是B (x,y)2)遍歷當前幀的每一個像素(x,y)：如果 則輸出G(x,y)=1，否則G(x,y)=0 3)G(x,y)就是當前幀的運動點團圖像。設圖像的總像素數為M，對每一幀圖像都要遍歷每一個像素，因此這個算法的時間復雜度是O(M)。實驗數據一的基于歐氏距離的運動點團提取實驗結果的其中一幀圖像如圖三十八和圖四十。實驗數據二的基于歐氏距離的運動點團提取實驗結果的其中一幀圖像如圖三十九和圖四十一。其中圖三十八、圖三十