基于深度學(xué)習(xí)車輛型號識別-文庫吧

【正文】 差和訓(xùn)練數(shù)據(jù)集誤差之差。在深度學(xué)習(xí)領(lǐng)域變流行之前，如何控制泛化誤差一直是機(jī)器學(xué)習(xí)領(lǐng)域的主流問題。從實(shí)踐方面來說，之前許多人擔(dān)心的深度神經(jīng)網(wǎng)絡(luò)泛化能力較差的問題，在現(xiàn)實(shí)使用中并沒有表現(xiàn)得很明顯。這一方面源于大數(shù)據(jù)時(shí)代樣本巨大的數(shù)量，另一方面近年出現(xiàn)了一些新的在實(shí)踐上比較有效的控制泛化誤差（Regularization）的方法，比如Dropout和DropConnect，以及非常有效的數(shù)據(jù)擴(kuò)增（Data Agumentation）技術(shù)。是否還有其它實(shí)踐中會比較有效的泛化誤差控制方法一直是研究者們的好奇點(diǎn)，比如是否可以通過博弈法避免過擬合，以及是否可以利用無標(biāo)記（Unlabeled）樣本來輔助泛化誤差的控制。從理論方面來說，深度學(xué)習(xí)的有效性使得PAC學(xué)習(xí)（Probably Approximately Correct Learning）相關(guān)的理論倍受質(zhì)疑。這些理論無一例外地屬于“上界的上界”的一個(gè)證明過程，而其本質(zhì)無外乎各種集中不等式（Concentration Inequality）和復(fù)雜性度量（Complexity Measurement）的變種，因此它對深度學(xué)習(xí)模型有相當(dāng)不切實(shí)際的估計(jì)。這不應(yīng)該是泛函理論已經(jīng)較為發(fā)達(dá)的當(dāng)下出現(xiàn)的狀況，因此下一步如何能夠從理論上分析深度學(xué)習(xí)模型的泛化能力也會是一個(gè)有趣的問題。而這個(gè)研究可能還會牽涉表達(dá)（Representation，見下）的一些理論。表達(dá)主要指的是深度學(xué)習(xí)模型和它要解決的問題之間的關(guān)系，比如給出一個(gè)設(shè)計(jì)好的深度學(xué)習(xí)模型，它適合表達(dá)什么樣的問題，以及給定一個(gè)問題是否存在一個(gè)可以進(jìn)行表達(dá)的深度學(xué)習(xí)模型。這方面的實(shí)踐主要是兩個(gè)主流，一方面那些篤信無監(jiān)督學(xué)習(xí)（Unsupervised Learning）可行性的研究者們一直在尋找更好的無監(jiān)督學(xué)習(xí)目標(biāo)及其評價(jià)方法，以使得機(jī)器能夠自主進(jìn)行表達(dá)學(xué)習(xí)變得可能。這實(shí)際上包括了受限波爾茲曼模型（Restricted Boltzmann Machine），稀疏編碼（Sparse Coding）和自編碼器（Autoencoder）等。另一方面，面對實(shí)際問題的科學(xué)家們一直在憑借直覺設(shè)計(jì)深度學(xué)習(xí)模型的結(jié)構(gòu)來解決這些問題。這方面出現(xiàn)了許多成功的例子，比如用于視覺和語音識別的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network），以及能夠進(jìn)行自我演繹的深度回歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network）和會自主玩游戲的深度強(qiáng)化學(xué)習(xí)（Reinforcement Learning）模型。絕大多數(shù)的深度學(xué)習(xí)研究者都集中在這方面，而這些也恰恰能夠帶來最大的學(xué)術(shù)影響力。然而，有關(guān)表達(dá)（Representation）的理論，除了從認(rèn)知心理學(xué)和神經(jīng)科學(xué)借用的一些啟發(fā)之外，幾乎是空白。這主要是因?yàn)槭欠衲軌虼嬖诒磉_(dá)的理論實(shí)際上依賴于具體的問題，而面對具體問題的時(shí)候目前唯一能做的事情就是去類比現(xiàn)實(shí)存在的智能體（人類）是如何解決這一問題的，并設(shè)計(jì)模型來將它歸約為學(xué)習(xí)算法。我直覺上認(rèn)為，終極的表達(dá)理論就像是拉普拉斯幽靈（Laplace39。s Demon）一樣，如果存在它便無所不知，也因此它的存在會產(chǎn)生矛盾，使得這一理論實(shí)際上只能無限逼近。最后，我們介紹深度學(xué)習(xí)的應(yīng)用。深度學(xué)習(xí)應(yīng)用廣泛，主要包括語音識別和視覺處理。2009年，Hinton把深層神經(jīng)網(wǎng)絡(luò)介紹給做語音識別的學(xué)者們。然后2010年，語音識別就產(chǎn)生了巨大突破。本質(zhì)上是把傳統(tǒng)的混合高斯模型（GMM）替換成了深度神經(jīng)網(wǎng)絡(luò)（DNN）模型，但相對識別錯(cuò)誤率一下降低20%多，這個(gè)改進(jìn)幅度超過了過去很多年的總和。這里的關(guān)鍵是把原來模型中通過GMM建模的手工特征換成了通過DNN進(jìn)行更加復(fù)雜的特征學(xué)習(xí)。在此之后，在深度學(xué)習(xí)框架下，人們還在不斷利用更好的模型和更多的訓(xùn)練數(shù)據(jù)進(jìn)一步改進(jìn)結(jié)果。現(xiàn)在語音識別已經(jīng)真正變得比較成熟，并且被廣泛商用，且目前所有的商用語音識別算法沒有一個(gè)不是基于深度學(xué)習(xí)的。. 本文主要工作及篇章結(jié)構(gòu)本文研究內(nèi)容主要包括，1）介紹車輛型號識別現(xiàn)狀和深度學(xué)習(xí)理論，提出改進(jìn)方法；2）研究將深度神經(jīng)網(wǎng)絡(luò)引入目標(biāo)識別和分類問題中的具體方法；3）研究了卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法和訓(xùn)練方法；4）提出針對車型識別的卷積神經(jīng)網(wǎng)絡(luò)模型，并通過實(shí)驗(yàn)證實(shí)該模型在車輛型號分類上的效果；5）與改進(jìn)的SIFT特征匹配分類方法進(jìn)行對比本文分為四個(gè)章節(jié)： 第一章主要介紹了車輛檢測和識別的應(yīng)用背景和目前該領(lǐng)域存在的主要問題和挑戰(zhàn)，闡述了研究車輛型號識別的目的和意義，并對當(dāng)前現(xiàn)有的智能交通系統(tǒng)做了介紹，比較各種車型分類識別的方法，介紹深度學(xué)習(xí)在特征提取和文字識別上的發(fā)展?fàn)顩r，提出車輛分類算法新思路。 第二章對當(dāng)前的車輛分類特征和算法做了詳細(xì)的描述。分析各種特征之間的優(yōu)勢和劣勢，并對主流的粉類算法的思想做了描述和總結(jié)，分析了每類算法的優(yōu)點(diǎn)和缺點(diǎn)，這些理論研究，可以幫助我們設(shè)計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別算法。 第三章介紹了車型識別算法。我們使用SIFT特征匹配算法和深度學(xué)習(xí)算法進(jìn)行車載識別。我們首先介紹了原始SIFT特征匹配算法，分析該模型適用場景和局限，并給出了改進(jìn)算法。在改改進(jìn)算法中，我們使用密集采樣保證識別精度。之后我們介紹了深度學(xué)習(xí)算法的理論，并給出基于深度算法的車型識別模型，并設(shè)計(jì)了算法流程。第四章使用計(jì)算機(jī)進(jìn)行仿真。我們采用大量的實(shí)測圖片和數(shù)據(jù)作為基準(zhǔn)，分別驗(yàn)證了SIFT特征匹配算法和深度學(xué)習(xí)算法在車型識別中的效果。最后，我們對比了這兩種方法的仿真結(jié)果。2. 目標(biāo)識別算法綜述 傳統(tǒng)的目標(biāo)識別主要是利用一種或多種特定的特征去表示圖片中目標(biāo)物體區(qū)域，然后利用分類器對所得的特征向量進(jìn)行分類，車輛型號的識別其實(shí)就是目標(biāo)識別的對象為車輛，方法流程基本一致。物體的輪廓線條是可以描述目標(biāo)特征的全局特征，但是在尺度變換、旋轉(zhuǎn)變換之后變化很大，從而表達(dá)能力發(fā)生變化。而局部特征由于在一定程度上對尺度和旋轉(zhuǎn)的變化具有魯棒性，所以作為描述圖片的特征更有優(yōu)勢。SIFT 特征的設(shè)計(jì)及描述方法，并對最常用的機(jī)器學(xué)習(xí)分類器做簡單的闡述。 機(jī)器學(xué)習(xí)的核心問題就是讓計(jì)算機(jī)模擬人類大腦工作，為此科學(xué)家們構(gòu)建出人工神經(jīng)網(wǎng)絡(luò)模型，算法在提供初始條件后自主從數(shù)據(jù)學(xué)習(xí)新知識，不斷增強(qiáng)自身的學(xué)習(xí)和理解能力。深度學(xué)習(xí)的提出給神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力帶來了飛躍。本章會介紹深度學(xué)習(xí)相關(guān)研究，為后文建立基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行車型識別提供理論依據(jù)。. 基于機(jī)器學(xué)習(xí)的分類算法在本章中，我們介紹機(jī)器學(xué)習(xí)的相關(guān)分類算法，主要包括K 近鄰算法（K nearest neighbor，KNN）[1113]和支撐向量機(jī)算法（Support Vector Machine, SVM）[1415]。K 近鄰（K nearest neighbor，KNN）作為數(shù)據(jù)挖掘的十大經(jīng)典算法之一也在圖像分類中用的很多，大多數(shù)基于特征匹配的分類算法都需要用到 KNN 或者他的變形。K 近鄰是從最近鄰算法發(fā)展而來的，在最近鄰算法中，計(jì)算測試樣本到所有訓(xùn)練樣本的距離，找到距離最近的樣本所屬類別作為分類結(jié)果。K 近鄰則是尋找 K 個(gè)最近鄰樣本，然后讓 K 個(gè)樣本進(jìn)行投票決定測試樣本點(diǎn)所屬類別。在目標(biāo)分類領(lǐng)域，關(guān)鍵點(diǎn)特征匹配加上 K 近鄰的方式非常常用，效果也不錯(cuò)，特別是標(biāo)記樣本數(shù)據(jù)不充足的時(shí)候比基于分類的方法可靠性更高，但是其缺點(diǎn)也很明顯，需要存儲大量數(shù)據(jù)，并且計(jì)算量也很大。為了優(yōu)化計(jì)算也出現(xiàn)了 Kdtree、VOCtree[40, 41]等優(yōu)化算法。 支撐向量機(jī)（Support Vector Machine, SVM）使用線性劃分的方法。對于不能線性劃分的樣本，算法尋找映射函數(shù)將數(shù)據(jù)從低維空間映射到一個(gè)高維空間，要求在該高維空間中數(shù)據(jù)線性可分，最后在高維空間中則可以用超平面進(jìn)行樣本分類。另外，SVM 還要求最后得到的判決面是最優(yōu)的，即所得判決面兩側(cè)離判決面最近的樣本到超平面距離最大。設(shè)訓(xùn)練樣本為：，表示樣本特征向量，表示樣本的標(biāo)簽取值為若存在超平面： (210) 則樣本線性可分，因此兩類的間距可以表示成，因此為了得到最優(yōu)判決平面就要對類間距進(jìn)行優(yōu)化，求解最優(yōu)判決平面的問題轉(zhuǎn)化為下面這個(gè)規(guī)劃問題： (211) 然后用拉格朗日法將上述問題轉(zhuǎn)化為對偶的二次規(guī)劃問題： (212) 優(yōu)化后求解得到： (213) 得到?jīng)Q策函數(shù)為： (214) 根據(jù)判決函數(shù)值的正負(fù)來確定樣本是正樣本還是負(fù)樣本。 當(dāng)樣本線性不可分的時(shí)候，有兩種方式解決這個(gè)問題，第一種方式是采用非線性的核函數(shù)，將低位空間線性不可分的樣本投影到新的空間，使數(shù)據(jù)在新的空間中線性可分。因此，判別函數(shù)變?yōu)椋? (215) 不同的核函數(shù)會帶來不同的分類效果，但是還沒有很好的理論方法去指導(dǎo)核函數(shù)的選取，只能通過實(shí)驗(yàn)的方式選擇合適的核函數(shù)。 另一種方法：引入松弛變量解決線性不可分問題，將線性約束變?yōu)椋? (216) 當(dāng)樣本分錯(cuò)的時(shí)候大于 0，分正確怎為 0；優(yōu)化的目標(biāo)函數(shù)變?yōu)椋? (217) 為懲罰因子，取值越大表明樣本越重要，因此，該樣本被分錯(cuò)會得到更大的懲罰。 此時(shí)優(yōu)化約束也發(fā)生改變，變?yōu)椋? (218) 上面討論可以看到 SVM 是針對二類問題設(shè)計(jì)的，但是現(xiàn)實(shí)中分類往往是多類問題，利用 SVM 解決多類問題一般有兩種方法[43, 44]。第一種是針對多類問題中的每兩個(gè)類都訓(xùn)練一個(gè)二類分類器，這樣若是一個(gè) k 類問題則需要訓(xùn)練個(gè)分類器，雖然這種方法簡單易擴(kuò)展，但類別很多的時(shí)候會需要大量分類器，會有不可分的區(qū)域；另一種方法是針對每一個(gè)類跟剩下所有其他類間訓(xùn)練二類分類器，則 k 類問題則需要訓(xùn)練 k 個(gè)分類器，這種方法需要的分類器少，但對每個(gè)類的訓(xùn)練過程復(fù)雜類別改變的時(shí)候不易擴(kuò)展，也同樣存在不能區(qū)分的區(qū)域。雖然 SVM 存在計(jì)算復(fù)雜以及一些識別能力的局限，但總的來說與其他機(jī)器學(xué)習(xí)的分類方法相比還是具有明顯的優(yōu)勢。本文的車型識別方法也將會用到 SVM 分類器，并將它與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合。 神經(jīng)網(wǎng)絡(luò)算法神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network ANN）[1820] 是受動物中樞神經(jīng)系統(tǒng)的啟發(fā)所設(shè)計(jì)的一種具有機(jī)器學(xué)習(xí)和模式識別功能的數(shù)學(xué)模型。一般是由一組互相連通的“神經(jīng)元”組成。每個(gè)“神經(jīng)元”都有自己的激勵(lì)函數(shù)，它接受其他節(jié)點(diǎn)傳來的信號，并將信號用自己的激勵(lì)函數(shù)處理后傳遞給下一級。根據(jù)激勵(lì)函數(shù)的形式不同神經(jīng)元分為：線性神經(jīng)元、二進(jìn)制閾值神經(jīng)元、修正的線性神經(jīng)元、Sigmoid 函數(shù)神經(jīng)元等，它們的工作原理大同小異，總的歸納起來，神經(jīng)元工作原理如圖 25 所示，首先將所有輸入進(jìn)行加權(quán)求和，并加上一個(gè)偏置并加上一個(gè)偏置 b，然后用激勵(lì)函數(shù)處理得到該神經(jīng)元的輸出。 將神經(jīng)元以一定的方式連接組合就得到了人工神經(jīng)網(wǎng)絡(luò)，圖 26 所示的是最為普遍的前饋神經(jīng)網(wǎng)絡(luò)模型。它由一個(gè)輸入層（input）、一個(gè)隱藏層（hidden）和一個(gè)輸出層（output）組成，