基于視頻圖像序列的目標運動軌跡提取技術(編輯修改稿)

　

【文章內容簡介】 體呈現出有規律的變化特性，能逼真地反映形體的空間形象。透視投影符合人們心理習慣，即離視點近的物體大，離視點遠的物體小，遠到極點即為消失，成為滅點。因此，透視投影更適合本實驗的要求。透視投影使用一種基于幾何光學原理的理想小孔（ideal pinhole）成像原理來描述二維圖像的形成。多有從三位空域場景中出發的光線均通過稱為“投影中心”的透鏡中心，當投影中心位于場景與圖像平面之間時，： 透視投影原理圖上圖所示，圖像平面與全局坐標系的平面重合。根據圖中的結構，描述三維空域場景中的點與二維圖像平面上的透視投影對應點之間坐標變換關系的數學表達式為： （）其中：為投影中心與圖像平面間的距離。如果移動投影中心與全局坐標系原點重合，則公式（）變為： （）（2）目標的空間位置確定在計算機視覺處理中，我們通常所研究的視頻圖像序列是由相機對三維空間中的場景經過采樣、映射等過程形成的。相機在拍攝三維空間中的場景時，其拍攝范圍為位于正對攝像機的某一夾角范圍內的空間景物，設拍攝空域范圍為。在時刻時，對于所拍攝的空間中某目標點，經過一定波長的光照，在該點有一定的反射能量，形成某種反射信息，這里我們假設信息模型為經過攝像機的投影成像，在成像平面上會形成三維空間中的一個二維圖像。沿著時間軸多個這樣的投影成像就構成了視頻序列圖像。因此有必要研究三維空域中攝像機成像模型，即描述場景中物體的三維結構、運動（位移和旋轉）和相機機三維運動（縮放、旋轉和平移）以及他們相對運動的數學模型。一個物體的三維空域位置變化可以用以下的仿射變換來表示： （）其中，和分別表示剛體外表面上的一個點在時刻和相對于坐標中心的坐標矢量。， （）為代表旋轉變換的一個的旋轉矩陣。表示一個三維平移變換矢量，其為： （）三維旋轉的矩陣可以用相對于三個坐標軸的歐拉（Eulerian）角來表示 旋轉變換歐拉角表示矩陣沿三個坐標軸的順時針旋轉矩陣為： （） （） (）表征三維場景中旋轉變換的旋轉矩陣表示為 （）由于視頻圖像相鄰幀之間的間隔時間很短，因此場景中運動物體的旋轉角度很小，可以近似認為有公式（）（）（），表征三維旋轉矩陣R為： （） 由公式（），三維空域中物體在不同時刻和的位置變化可表示為： （）即： （）將旋轉矩陣R進行分解如下 （）將公式（）代入公式（），可以得到 () 相機參數標定方法分析目前常用的相機參數標定方法主要有：線性標定法、非線性標定法、兩步法、雙平面標定法。線性標定法的優點是不需迭代、求解簡單、速度較快。缺點是相機的系統誤差不能加進去，因而不能進行系統誤差的校正，另外加上噪聲及鏡頭誤差的影響，使得標定精度不高。非線性標定方法，由于充分考慮了成像過程中的各種因素，能夠得到比較高的標定精度，然而由此帶來的問題是：(1)相機標定的結果取決于相機的初始給定值，如果初始給定值取得不恰當，很難通過優化程序得到正確的標定結果。(2)優化程序非常費時，無法實時得到標定結果。雙平面標定方法的優點是利用線性方法求解有關參數，不需要非線性優化。缺點是：未知數個數比較多，至少24個，存在過分參數化的傾向，圖像坐標和實際坐標間的變換是基于實驗的，從而造成最終結果的不確定性。而兩步法利用線性變換方法或者透視變換矩陣求解相機參數，再以求得的參數作為初始值，考慮畸變因素，利用非線性優化方法提高標定精度。該方法既解決了利用透視變換矩陣進行相機標定沒有考慮鏡頭的非線性畸變、精度不高的問題，又排除了相機非線性標定方法中初始值不當，優化費時的缺點，鑒于兩步法的以上特點和本課題的背景條件，該系統存在著非線性畸變和透視畸變，因而本文利用Tsai的兩步標定法進行標定。 兩步法標定兩步法先利用線性變換方法或者透視變換矩陣求解相機參數，再以求得的參數作為初始值，考慮畸變因素，利用非線性優化方法進一步提高標定精度。目前普遍采用的兩步法中最典型的是Tsai提出的基于RAC約束(Radial Alignment Constraint)的兩步法。第一步利用最小二乘法解超定線性方程組，求得外部參數；第二步求解內部參數，如果相機無透鏡畸變，可由一個超定線性方程解出，如果存在徑向畸變，則通過一個變量的優化搜索求解。需要求取（或標定）的參數分為外部和內部參數8個。外部參數包括世界坐標系相對于攝像機坐標系的正交矩陣和平移矩陣，內參包括焦距、畸變系數，CCD成像平面坐標系的原點O在該坐標系中的坐標。根據透視投影成像模型。圖中，為圖像平面原點位置，即光軸中心在成像平面上的投影。為從到不考慮畸變的成像點的向量，是標定平面上已知的標定點，是受徑向畸變的實際成像點。是從點到的向量。與的方向一致，且徑向畸變不改變的方向，即的方向始終與的方向一致。為無畸變的理想圖像坐標，為實際圖像坐標，為光軸中心點圖像坐標。其中是圖像中心。假設處在圖像中心點，不考慮放大系數與的差異，可采用相同的畸變系數。由成像模型可知，基于RAC的標定方法存在以下特點：1）徑向畸變不影響的方向。2）有效焦距的變化也不會影響的方向。3）平移光軸也不會改變的方向。假定有個標定點，每個標定點的絕對坐標為，未修正圖像坐標。根據這些標定坐標值形成一個矩陣，其中的行為： 　　　　 （）設是含有與空間變換參數有關的未知參數的矢量： 　 　　 （）從標定點的次觀測來形成一個矢量．使用五個以上標定點，就可以得到關于參數矢量的線性方程組。使用奇異值分解來求解這個線性系統，并使用方程解來計算除了的所有剛體變換參數，是攝像機常數的比例函數，將在后面確定。首先，計算出平移的分量的大小。如果和不同時為0，和不同時為0，則： 　　　 （）其中。如果和同時都為0，則： 　　　　　　 （）如果和同時為0，則： 　　　　 （）其次，確定的符號。選取標定點，這個點在圖像平面上的投影點是離圖像中心最遠的圖像點(位于視場邊界的場景點和其對應的圖像點)。利用上面得到的結果矢量，計算，，和。設和。如果和同號， 和也同號，那么具有正確的符號(正號) ，否則在需要反號。注意，在不考慮的符號時，上述R變換計算參數都是正確的，不需要改變。計算余下的R變換參數： （）因為旋轉矩陣R是正交歸一化矩陣，則一定成立。使用這一性質來計算旋轉矩陣的最后一行中的各個元素： （）如果的符號是正的，則在前加負號。在下面的計算相機內參數步驟之后，和的符號可能會有所變動。第四，計算相機內參數焦距和平移變換T的。為了估計和，可使用所有的標定點來構成線性方程組： （）使用每一個標定點來計算對應的矩陣行： （）： （）矢量包括所要估計的參數： （）使用奇異值分解求解這個方程組。如果攝像機常數，則在剛體變換的旋轉矩陣元素和前加負號。使用前面各步驟得到的和的估算值作為非線性回歸的初始條件，計算一階透鏡變形系數，并進一步得到和的更精確的估計值．通過透視投影來建立真實(修正)圖像平面坐標 與攝像機坐標系中的標定點之間的關系式： （）假設通過使用徑向透鏡變形模型第一項建立的真實(修正)圖像平面坐標與測量圖像平面坐標之間關系為： （）其中半徑的計算公式如下： （）未修正(測量)圖像平面坐標不同于像素坐標，因為前者的計算過程中已經用到了圖像中心位置坐標，行間距和列間距，以及比例系數估計值．使用透射投影和透鏡變形方程中的分量以及絕對坐標與攝像機坐標之間的剛體變換公式，可以得到有關攝像機焦距，平移和透鏡變形的一個約束條件： （）這將形成求解參數、和的一個非線性因歸問題。使用軸測量值，而不使用軸測量值，是因為測量值會受到比例系數的影響。圖像的行間距是非常精確的，可以通過攝像機的說明書得到，而不受數字電路的影響。Roger Tsai標定方法在工程中應用較廣，適應性好，本文采用此標定方法實現相機的焦距、畸變系數以及外參的標定。 標定點選擇：標桿、平面模板、平面對折類模板等結構信息精確確定的物體。標桿在使用前必須測量標桿的相對位置，標桿上標定點的相對位置，在測量的過程中會造成誤差，以及測量過程中攝像機的視場范圍的限定；這些限定條件會造成在測量中測量點的個數擴大，測量精度低等無法預知的問題。平面模板適合室內測量攝像機的參數，測量計算復雜。平面對折模板與平面模板存在類似的缺點。 a、標桿類標定點 b、模板類標定點 相機標定的標定點選擇針對論文的測試背景和測試要求，上述兩種無法保證標定工作的快速、高效完成。為此論文根據實際需要構建了空間透視標定模塊，它可以適應于現有的基于標定塊的標定方法，同時構建簡單、操作方便。，其下為正四椎體和支架，該模型可以有效地降低空間標定點的遮擋問題，在實際拍攝中在圖像上最少有八個點，滿足標定算法的六點、五點、四點標定算法要求，若需要精確標定可采用擴展的方法擴大標點的個數。 （a 單標定模塊） （b 標定模塊實物） 空間透視標定模塊采用該標定模塊時，世界坐標系選擇O點為坐標系的原點，O點到ABCD平面的垂線為z軸，從O點出發平行于BC線沿B到C的方向為x軸，從O點出發平行于AB線方向沿A道B的方向為y軸。標定模塊的大小可根據實際情況選擇正方體的邊長來更改。設選定的邊長為a則各點在世界坐標系的坐標為： （） （） （）把上述坐標值代入()式可得到18個方程，通過方程可求得變換矩陣R、T和相機的焦距。下面通過實驗驗證本標定塊的使用。根據論文實驗部分所采用的數據采集系統：高速攝影的MVVS045FC/FM工業相機以及VS1614M鏡頭，采用Tsai算法，并結合所設計的標定模塊，忽略相機采集圖像時的鏡頭畸變，標定結果如下：標定點的世界坐標為(單位mm)：，選用標定模快中的五點進行傳統的標定可得到相機的外部參數： 兩步法標定相機的內外參數攝像機內外參數標定內部參數（pixel）(pixel)319241外部參數RT為了評估攝像機參數的標定精度，采用畸變圖像誤差(DIE：Distorted Image Error)作為標定精度的評估函數： （）其中為標定點的實測計算機圖像平面坐標系坐標，為標定點的三維世界坐標系坐標經過攝像機模型投影于計算機圖像平面坐標系的坐標。，mean表示均值，stddev表示標準方差，max表示最大值，sse表示誤差平方和。mean(pixel)stddev(pixel)max(pixel)sse(pixel)由標定結果可知：實驗值與相機給出值存在偏差，將此偏差作為系統誤差，代入軌跡測算模型中，實時校正。通過慣性測量系統和計算機處理系統可以實時獲取目標的運動位置和姿態。，由陀螺儀檢測出目標運動過程中相對于慣性空間所轉動的角度，然后再通過相應的數學模型以及空間坐標系之間的變換矩陣，得出目標在運動過程中的俯仰角、滾轉角以及偏航角，進而可以得出目標的位置和運動姿態。坐標系是描述運動體位置姿態和運動的參考基準，相機在空間位置姿態的確定是依據坐標系之間的相互轉換和測量加速度和角速率來實現的。確定空間運動體位置姿態的坐標系很多，正確選擇合理坐標系能夠使其運動方程組的形式和繁簡程度降低，求解方程組更加容易和運動參數描述更加直觀。 在基于視頻圖像序列的目標運動軌跡提取系統的研究中，陀螺儀將提供相機在慣性坐標系下的姿態，為目標運動軌跡跟蹤提供輔助定位信息，從而能有效地提高軌跡提取的精度。下面通過討論相鄰兩幀圖像間的角度變化和位移變化，為陀螺儀的選取提供理論依據。（1）陀螺儀的選取 假設相鄰的兩幅圖像存在一個角度的旋轉，通過特征提取與匹配獲取兩幅圖像中同一特征點的偏移量和，在根據坐標變換公式可以獲得當前特征點在前一幀坐標系下的偏移量和： （） （） 根據上述公式：假設=3176。，=35cm，=2cm時，=，=。由于測量中存在誤差當=176。時，計算得出=，=。當角度變化=176。時，，故運行軌跡的測算精度在厘米級。 針對上述分析，選取西安中星測控的CSARS02角速率陀螺儀，如圖所示，它采用進口MEMS芯片，制造采用BIMOS生產工藝和載流焊工藝技術。具有高可靠性和高封裝堅固性，并且具備自檢測（SelfTest）功能，能實現BIT檢測。CSARS02角速率陀螺儀主要性能參數如下表所示：