基于arm的實時人眼定位系統(已修改)

　

【正文】 1 緒論 課題的背景及意義隨著我國社會和經濟等各項事業的迅猛發展，許多行業對于快速和準確地識別有關人員身份的需求正日趨迫切。由于生物特征是人體的內在屬性，具有很強的自身穩定性和個體差異性，所以人體的生物特征是進行身份識別最理想的依據。在這樣的背景下，一門新的學科，即生物測定學引起了人們的研究熱潮，生物測定學(Biometrics)是指通過計算機將人體固有的生理特征(如指紋、虹膜、面部、掌紋)或行為特征(如書寫、聲音等)收集并進行處理，來進行個人身份鑒定的技術。其中利用人臉的特征進行身份識別[1]具有直接、友好、主動的特點，成為身份識別最自然和最直接的手段。眼睛作為人臉上最顯著、最穩定的特征，可以被用于幫助定位人臉，提供人的注視信息，識別人臉動作(如表情變化)等。有資料表明，高速公路上發生的交通事故中有50％以上是由于長時間駕駛造成疲勞或由所見目標單調而形成注意力不集中，甚至打瞌睡等原因造成的，而駕駛員在車輛行駛過程中是否疲勞駕駛就可以從眼睛的狀態反映出來。當駕駛員精神飽滿時，眼皮張開程度及眨眼頻率都有統計的正常值；當駕駛員精神萎靡不振時，眼皮張開程度明顯變小，眨眼頻率也明顯降低。所以，利用駕駛員眼睛的狀態信息來判斷其疲勞狀況是一種可行的方法。在車輛中安裝駕駛員疲勞監測系統，利用攝像頭對駕駛員的駕駛行為進行監控，獲取駕駛員臉部的一段連續圖像，對每幅圖像中的眼睛狀態進行分析，綜合每幅圖像的數據來獲得一個眨眼周期。由于正常的眨眼頻率與疲勞狀態下的眨眼頻率有著明顯的區別，從而可以判斷出該圖像序列獲取時駕駛員韻精神狀態，在判斷駕駛員疲勞時由系統適時的給出警告信號以避免事故發生。因此，準確、快速的獲得每幅圖像中眼睛的精確位置，就成為實現駕駛員疲勞狀態監控的關鍵。作為人眼定位的另外一個重要應用就是人臉識別。人臉識別不僅與模式識別、圖像處理、計算機視覺和人工智能等多個學科相關，還與認知學、神經學、心理學等有緊密聯系，在私法驗證、安全監控、智能卡、檔案管理、視頻會議、人機交互等方面有著廣泛的應用。特別是，有專家提出要在北京2008年奧運會使用人臉識別系統。如果在奧運會中使用人臉識別系統，就可以有效地管理奧運區內敏感區域和高風險實驗室的人員出入，辨別后勤、食品運送人員及其他工人是否經過登記授權，防止恐怖人員等影響社會穩定的人員進入奧運區，防止意外事件發生。隨著后PC時代的來臨，人們開始更多的關注這樣一個全新的概念：嵌入式處理器。嵌入式處理器經過發展，已經由8位的單片機發展到32位的微處理器，已經能夠滿足圖像處理等任務。ARM(Advanced RISC Machines，高級精簡指令集機器)作為嵌入式技術中極其重要的一份子，發展極其迅猛[2]。采用ARM技術的設備已在各項領域中被廣泛應用。在32位嵌入式微處理器市場上，基于ARM內核的微處理器在市場上處于絕對的領導地位，因此追蹤ARM技術的發展趨勢顯得尤為重要[3]。而采用基于ARM技術來實現的人眼定位系統，具有體積小、低功耗、方便、快捷、經濟等優點，很具有研究意義，工業應用廣泛，有很好的發展前景。 國內外發展現狀人臉檢測與人眼定位的研究[4]最早可追溯到十九世紀法國人Alton的工作，現代的研究，始于60年代末70年代初，在90年代以來成為了研究熱點。目前，國內外對人臉檢測和人眼定位的研究越來越熱，國外比較著名的美國麻省理工學院，卡耐基梅隆大學等高校都建立了人臉檢測實驗室，其中著名的研究機構有Media lab，HumanComputer Interface Institute、Department of Engineering in University of Cambridge等。其它國家比如JAPAN、SINGAPO、KOREA等，在人臉檢測方面也取得了相應的研究成果。文獻[5]利用了人臉的幾何、空間和灰度的度量特征，對人臉進行粗定位，然后利用人眼與嘴巴的三角關系來精確地定位人臉，%，%。文獻[67]對人臉樣本和非人臉樣本采用了Kohonen自組織映射網絡進行聚類。Samaria[8]等人提出了使用HMM模型進行人臉檢測的算法。他們將隱馬爾可夫模型的狀態遷移的條件使用人臉區域的結構信息來表示，這種方法的魯棒性較好，對不同角度和不同光照條件的人臉圖像都可以取得較好的識別效果。國內開展人臉檢測研究的主要單位有清華大學，哈爾濱工業大學，北京工業大學等，相對而言都取得了一定的成果。針對人臉檢測環境的復雜性，文獻[911]提出了一種利用膚色和支持向量機(SVM)的人臉檢測方法，該方法可以有效地從復雜背景信息中檢測出人臉。該方法是在統計學習理論的基礎上發展出的一種新的模式識別方法，它采取基于結構風險最小化原理的方法，在檢測速度上取得了很好的效果。雖然經過國內外眾多學者們的共同努力，人臉檢測的速度有了一定的提高，但是相對于人臉檢測的精度而言進步相對較慢。2001年，[12]的發表可以認為是檢測速度提高的一個轉折點。他通過綜合Adaboost和Cascade算法實現了實時的人臉檢測系統，使得人臉檢測從真正意義上走向了實用。之后，更多的學者，如Rainer、Lienhart、Stan 、[1315]，開始將注意力集中到Boosting算法上來，使得在提高檢測精度的同時也大幅度地提高了速度。著名的Intel OpenCV開源庫[16]的人臉檢測與跟蹤算法正是使用了Adaboost算法實現的，它對正面人臉的檢測及跟蹤達到了相當好的效果。目前的人眼定位方法大多都是在經過人臉檢測確定人臉基本位置的基礎上進行人眼定位的，顯然，這樣做可以減少背景干擾，縮小搜索區域，從而提高人眼檢測的精度和速度。主要有以下幾種方法：(1)灰度投影法,該方法多用于在人臉矩形區域中進行人眼的粗定位。由于在人臉圖像中人眼的灰度較低，在人臉的水平灰度投影曲線上，認為曲線的最大值點（對應人的額頭部位）和次最大值點（對應人的鼻中部）之間的一個極小值點對應位置為眼睛所在的大致水平位置 [17]。(2)二值化法,該方法首先用直方圖閾值法將圖像二值化，然后根據其中黑色區域的面積、形狀和相對位置等幾何特征確定出瞳孔的位置[18]。(3)Hough變換法[19],Hough變換是一種用于區域邊界形狀描述的方法，常常用于直線段、圓和橢圓的檢測。由于眼球的圓形結構特征，人眼定位問題可以轉化為在圖像中確定圓形結構位置的問題。該方法的缺點是占用存儲空間大，耗費時間長。(4)基于模版匹配的方法 [20],根據上眼瞼曲線特征構造了一種彈性模板。(5)眼角檢測法[21],該方法通過Gabor濾波器檢測眼角，因此要求臉像尺寸較大，對圖像質量，尤其是對眼角的對比度要求較高。(6)對稱性檢測法,對稱性是識別物體可利用的基本性質之一，它包括點對稱性(也叫中心對稱性)和軸對稱性。對于人臉圖象來說，人眼、眉毛、嘴等都具有很強的點對稱性[22]。(7)特征眼法,類似于特征臉法，該方法將候選眼部投影到特征眼空間得到構造眼部[23]。目前大多數人臉檢測與人眼定位都是在運算速度很快的PC機上實現的，隨著嵌入式系統運算速度的不斷加快，人們開始在嵌入式系統中實現一些簡單的圖像處理。所謂的嵌入式系統就是軟件硬件結合緊密的系統，一般而言，嵌入式系統的構架可以分為4個部分：處理器、存儲器、輸入輸出接口和軟件。而嵌入式處理器則是整個系統的心臟。從應用的角度來劃分，嵌入式處理器可以分為以下四個類型：嵌入式微處理器、嵌入式微控制器、嵌入式DSP、嵌入式片上系統。嵌入式微處理器的基礎是通用計算機中的CPU，在應用中，將處理器裝配在專門設計的電路板上，只保留與完成功能有關的部分，這樣可以大大減小系統的體積和功耗。為了滿足應用的特殊要求，嵌入式微處理器雖然在功能上和標準微處理器基本一樣，但在工作溫度、抗電磁干擾、可靠性等方面一般都做了各種增強。嵌入式微處理器目前主要有Am186/8Power PC、MIPS、ARM系列等。其中，采用ARM技術知識產權(IP)核的微處理器，即通常所說的ARM微處理器，已經遍及各類電子產品市場，應用最為廣泛，占有75%以上的市場份額。人們在嵌入式系統中處理一些簡單的圖像時，最先得到應用是在高速運算的DSP系統中，但由于DSP系統控制功能不足，擴展能力也不理想，所以人們開始嘗試在ARM系統中開發人臉檢測與人眼定位系統。 論文的主要研究工作本文的研究目標是在ARM(S3C2440X)和嵌入式Linux組成的平臺上進行圖像采集、處理、計算及定位結果的顯示，從而實現整個系統的功能，可以看作是對人眼定位便攜化的一種新的嘗試。本文采用了高性價比的ARM9嵌入式處理器，處理速度可高達203MHz，可以很好地實現圖像處理功能；采用開源的、可裁剪的嵌入式Linux為操作系統，使系統具有處理復雜情況的能力，尤其是它的內核可裁剪，移植性好，性能穩定，因此在此系統上進行應用軟件的設計。該系統構成簡單，體積小，功耗小，性能穩定，安裝簡易，通用性強，可以滿足多種工業應用的需要，而且開源操作系統的使用也降低了成本。論文的主要內容包括以下幾個方面:(1)根據實時人眼定位系統的基本要求，從性能、價格、體積和實驗室具體實驗條件等各個方面進行軟硬件選型，并依據嵌入式系統開發平臺設計要求進行了系統設計。(2) 將Adaboost算法應用于人臉檢測中，構建了一個實時人臉檢測系統。(3) 系統的分析了OPenCV的結構，并將帶有開源視覺處理庫的OPenCV移植到嵌入式ARM平臺上。 論文的結構安排第一章主要介紹了本課題的研究背景及意義、國內外的發展現狀以及本文的主要內容。第二章從系統要實現的功能出發，進行嵌入式操作系統和微處理器選型以及硬件模塊的選擇，搭建了系統所需的軟硬件平臺。第三章介紹了基于Adaboost算法的人臉檢測的原理，對該學習算法的原理做了詳細的分析和研究。其中包括如何利用積分圖像快速地計算Haar特征、弱分類器、強分類器以及級聯分類器的訓練方法。第四章介紹了OpenCV庫的功能及優勢，重點研究了如何移植OpenCV到ARM的嵌入式系統，以及使用OpenCV來實現實時人眼定位的軟件設計。第五章展示了實時人眼定位的結果。第六章總結全文并提出了本文還存在的一些不足之處。2 系統的軟硬件平臺 嵌入式系統根據IEEE的定義，嵌入式系統是“控制、監視或者輔助操作機器和設備的裝置”(原文為devices used to control,monitor,orassist the operation of equipment,machinery or plants)[24]。這主要是從應用上加以定義的，從中可以看出嵌入式系統是軟件和硬件的綜合體，還可以涵蓋機械等附屬裝置。根據這個定義，可以從3個方面來理解嵌入式系統：嵌入式系統是面向用戶、面向產品、面向應用的，它必須與具體應用相結合才會具有生命力，才更具有優勢。嵌入式系統具有以下幾個重要特征。(1)系統內核小 由于嵌入式系統一般是應用于小型電子裝置的，系統資源相對有限，所以內核較之傳統的操作系統要小得多。比如，嵌入式Linux系統中的內核只有700 K左右。(2)專用性強 嵌入式系統的個性化很強，其中的軟件系統和硬件結合得非常緊密，一般要針對硬件不斷進行系統移植。(3)系統精簡 嵌入式系統一般沒有系統軟件和應用軟件的明顯區分，不要求其功能設計及實現上過于復雜，這樣一方面利于控制系統成本，同時也利于實現系統安全。(4)多任務的操作系統 為了合理的調度多任務、利用系統資源、系統函數以及專家庫函數接口，嵌入式系統必須使用多任務的操作系統。從嵌入式系統的以上幾個特征不難看出，它與實時人眼定位系統的設計要求契合度相當高，所以選用嵌入式系統作為整個定位系統的平臺。 嵌入式操作系統的選擇在種類繁多的嵌入式操作系統中，本系統選用嵌入式Linux操作系統作為軟件開發平臺，本小節將詳細闡述選擇Linux系統的原因。Linux是一種計算機操作系統，中文讀法為“里納克斯”。Linux操作系統的內核的名字也是“Linux”。Linux操作系統是自由軟件和開放源代碼發展中最著名的例子。Linux具有很高的可靠性和效率，它在這方面的表現是公認的[25]。Linux的出現，最早開始于一位名叫Linux Torvalds的計算機業余愛好者，當時他是芬蘭赫爾辛基大學的學生。他的目的是想設計一個代替Minix(是由一位名叫Andrew Tannebaum的計算機教授編寫的一個操作系統程序)的操作系統，這個操作系統可用于38486或奔騰處理器的個人計算機上，并且具有Unix操作系統的全部功能，因而開始了Linux雛形的設計。Linux以它的高效性和靈活性著稱。它能夠在PC計算機上實現全部的Unix特性，具有多任務、多用戶的能力。Linux是在GNU公共許可權限下免費獲得的，是一個符合POSIX標準的操作系統。Linux操作系統軟件包不僅包括完整的Linux操作系統，而且還包括了文本編輯器、高級語言編譯器等應用軟件。它還包括帶有多個窗口管理器的XWindows圖形用戶界面，如同使用Windows NT一樣，允許使用窗口、圖標和菜單對系統進行操作。Linux之所以受到廣大計算機愛好者的喜愛，主要原因有兩個，一是它屬于自由軟件，用戶不用支付任何費用就可以獲得它和它的源代碼，并且可以根據自己的需要對它進行必要的修改，無償的對它使用，無約束地繼續傳播。另一個原因是，它具有Unix的全部功能，任何使用Unix操作系統或想要學習Unix操作系統的人都可以從Linux中獲益[26]。Linux操作系統不僅能夠運行于PC平臺，還在廣泛應用于嵌入式系統中，平臺通用性很強，已經成功地用在幾種微處理器上，包括x8SPARC、ARM、PowerPC、MIPS和SuperH。目前正在開發的嵌入式系統中，49%的項目選擇嵌入式Linux操作系統作為軟件平臺。嵌入式Linux操作系統之所以成為嵌入式產品的理想選擇，主要由于嵌入式Linux系統具有如下顯著特點。(1)開放性 開放性[27]是指Linux系統遵循世界標準規范，特別是遵循開放系統互連(OSI)國際標準。凡遵循國際標準所開發的硬件和軟件，都能彼此兼容，可方便地實現