基于虛擬儀器的語(yǔ)音識(shí)別算法研究(完整版)

　　

【正文】 (Hidden Markov Model, HMM)也獲得初步的成果，該技術(shù)在語(yǔ)音信號(hào)處理的多個(gè)方面獲得了巨大成果；70 年代末，Linda、Buzo、Gray 和 Markel 等人首次解決了矢量量化 [7，11] (Vector Quantization, VQ)碼書生成的方法，并首先將矢量量化技術(shù)用于語(yǔ)音編碼并且獲得了成功。隨著 HMM模型和人工神經(jīng)網(wǎng)絡(luò)等技術(shù)在語(yǔ)音識(shí)別中的廣泛應(yīng)用，科學(xué)家們已經(jīng)在實(shí)驗(yàn)室突破了單個(gè)詞匯量的識(shí)別，并且對(duì)大詞匯量、連續(xù)語(yǔ)音和非特定人的語(yǔ)音識(shí)別技術(shù)也取得了顯著進(jìn)展。越來(lái)越多的大學(xué)和科研院所紛紛作出響應(yīng)，加大投資，加入到語(yǔ)音識(shí)別的研究行列，大大推動(dòng)了漢語(yǔ)語(yǔ)音識(shí)別技術(shù)的發(fā)展。所謂虛擬儀器，就是以通用計(jì)算機(jī)為核心，借助這個(gè)硬件平臺(tái)，由用戶自己設(shè)計(jì)定義，其具有虛擬面板并且測(cè)試功能由測(cè)試軟件實(shí)現(xiàn)的一種計(jì)算機(jī)儀器系統(tǒng)。LABVIEW（Laboratory Virtual Instrument Engineering Workbench，實(shí)驗(yàn)室虛擬儀器工程平臺(tái)）是美國(guó)NI公司(National Instrument Company)推出的一種基于G語(yǔ)言（Graphics Language，圖形化編程語(yǔ)言）的虛擬儀器軟件開發(fā)工具。（2）儀器流程和算法的設(shè)計(jì)儀器流程和算法的設(shè)計(jì)是根據(jù)儀器功能的要求，利用虛擬儀器開發(fā)平臺(tái)所提供的子模板，確定程序的流程圖、所實(shí)現(xiàn)的技術(shù)方法和主要的處理算法。用MATLAB編程時(shí)，就如同在現(xiàn)實(shí)中的便簽上列公式和求解一樣。（2）MATLAB在運(yùn)行這個(gè)腳本時(shí)，簡(jiǎn)單地從文件中讀取那一條條指令，然后送到MATLAB中去運(yùn)行。2) 編輯器使用中的注意事項(xiàng) （1）編輯器的打印效果設(shè)置。“Display”子項(xiàng)：如果勾選“Enable data tips in edit mode”,那么當(dāng)光標(biāo)移動(dòng)到該編輯器文件中的某個(gè)變量名時(shí)，就會(huì)出現(xiàn)一個(gè)現(xiàn)場(chǎng)菜單，但顯示出該變量?jī)?nèi)容的前提是，改變量已存在于MATLAB的工作空間。事實(shí)上，*.m的存放和調(diào)用與注釋行中的名稱并無(wú)關(guān)聯(lián)。　　第三章介紹了語(yǔ)音識(shí)別的幾種算法，并對(duì)這幾種算法作進(jìn)一步的研究和改進(jìn)，選擇一種自認(rèn)為比較合適的算法用于本次設(shè)計(jì)。 語(yǔ)音信號(hào)的采集 語(yǔ)音識(shí)別系統(tǒng)基本框架語(yǔ)音識(shí)別系統(tǒng)一般采用的是模式匹配的原理 [8]，所以本質(zhì)上是一種模式識(shí)別系統(tǒng)。顯然，最佳識(shí)別結(jié)果的準(zhǔn)確度跟語(yǔ)音模型的好壞、特征參數(shù)的選擇和參考模板是否準(zhǔn)確都有直接關(guān)系，這也正是目前語(yǔ)音識(shí)別過(guò)程中需要解決的一個(gè)難點(diǎn)。其中反混疊濾波的目的主要有兩個(gè):一方面抑制輸入信號(hào)在頻域中的各分量頻率超出f /2的所有分量(人為采樣頻率)，以防止混疊產(chǎn)生的干擾。根據(jù)采樣定理，當(dāng)采樣的頻率大于信號(hào)頻率的兩倍帶寬時(shí)，采樣的過(guò)程中不會(huì)丟失信息，利用理想濾波器就可從采樣信號(hào)中不失真地重構(gòu)原始語(yǔ)音信號(hào)的波形。圖中可以看出，預(yù)加重后信號(hào)的高頻分量相對(duì)低頻分量有明顯的提升。矩形窗： （24）漢明窗： （25）漢寧窗： （26）其中 N 為窗長(zhǎng)。漢語(yǔ)的音節(jié)末尾都是濁音，只用短時(shí)平均能量就能較好的判斷一個(gè)詞語(yǔ)的末點(diǎn)。： 硬件實(shí)現(xiàn)端點(diǎn)檢測(cè)程序流圖在程序中使用一個(gè)變量來(lái)表示當(dāng)前語(yǔ)音信號(hào)所處的狀態(tài)，整個(gè)語(yǔ)音信號(hào)的端點(diǎn)檢測(cè)一般可以分為四段：靜音段、過(guò)渡段、語(yǔ)音段、結(jié)束段。具體計(jì)算公式為： (27)其中 (28) (29)語(yǔ)音信號(hào)中，清音語(yǔ)音能量大多集中在較高頻率段內(nèi)，濁音語(yǔ)音能量大多集中在較低的頻率段內(nèi) (3KHz以下)，而頻率的高低又意味著過(guò)零率的高低 ，所以根據(jù)此可以大致判斷出濁音與清音。在此處理過(guò)程中盡可能將對(duì)識(shí)別有用的信息保留下來(lái)同時(shí)將那些多余的、易引起識(shí)別模糊性的信息去掉，從而實(shí)現(xiàn)數(shù)據(jù)的壓縮 [1617] 。 語(yǔ)音特征參數(shù)比較語(yǔ)音特征參數(shù) 特點(diǎn)線性預(yù)測(cè)分析（LPC）體現(xiàn)了語(yǔ)音信號(hào)的聲道諧振特性，對(duì)于聲道響應(yīng)含有零點(diǎn)的清音和濁音描述不確切。 圖 Mel 倒譜系數(shù)的提取 差分倒譜系數(shù)提取方法圖 是計(jì)算 MFCC 最常用的算法，得到的是反映語(yǔ)音靜態(tài)特征的參數(shù)，可是語(yǔ)音的動(dòng)態(tài)特性更容易被人耳接受，差分倒譜就能更好地反映語(yǔ)音動(dòng)態(tài)特性 [1920]，其計(jì)算公式如式(212)。 模板匹配的方法目前，語(yǔ)音識(shí)別的方法有很多，其中發(fā)展比較成熟的有模板匹配的方法，現(xiàn)己達(dá)到了實(shí)用的階段。但效果往往不明顯。為了進(jìn)行相似性度量，將特征模板庫(kù)中的各個(gè)模板稱之為參考模板，用 R 表示；將待識(shí)別的輸入語(yǔ)音經(jīng)過(guò)預(yù)處理以及特征提取以后得到的特征矢量序列稱之為測(cè)試模板，用T表示。 隱馬爾可夫模型法 HMM隱馬爾可夫模型法(Hidden Markov Model HMM)是70年代引入語(yǔ)音識(shí)別理論的，它的出現(xiàn)使得自然語(yǔ)音識(shí)別系統(tǒng)取得了實(shí)質(zhì)性的突破。因而稱為“隱”Markov鏈模型，即HMM。然而在實(shí)際應(yīng)用中它的識(shí)別效果不太好，主要原因是：(1)提取的特征不能很好的代表各種語(yǔ)言固有的、獨(dú)特的特性，不同語(yǔ)種的特征空間重復(fù)較大，因而導(dǎo)致后端模型的識(shí)別效果不夠理想；(2)由于模型的建立原則是基于大數(shù)定理，因此，需要大規(guī)模的訓(xùn)練樣本參與建模，這樣一來(lái)訓(xùn)練時(shí)間過(guò)長(zhǎng)，工程上難以接受，一般不采用這種方法。在每一個(gè)子空間找一個(gè)代表矢量，則J個(gè)代表矢量可以組成矢量集為: （33）這樣就組成了一個(gè)矢量量化器，在矢量量化里，Y叫作碼書或碼本(Code Book)；稱為碼矢(Code Vector)或碼字(Code Word)；Y內(nèi)矢量的個(gè)數(shù)J，則叫做碼本長(zhǎng)度或碼本尺寸(Codebook Size) [46]。為了提高識(shí)別率，將不同的識(shí)別模式結(jié)合起來(lái)構(gòu)成混合型模式識(shí)別的漢語(yǔ)語(yǔ)音識(shí)別系統(tǒng)是目前研究的一個(gè)方向，其主要應(yīng)用有:動(dòng)態(tài)時(shí)間規(guī)整法與隱馬爾可夫模型法混合的DTWHMM模式、矢量量化法與隱馬爾可夫模型法混合的VQHMM模式、隱馬爾可夫模型法級(jí)聯(lián)式和多層決策樹式的HMMHMM模式 [48]。根據(jù)第一步得到的語(yǔ)音標(biāo)號(hào)序列得到一系列語(yǔ)音基元網(wǎng)格，然后再?gòu)脑~典得到有效的詞序列，除此之外也可以結(jié)合句子的語(yǔ)義和文法同時(shí)進(jìn)行。經(jīng)過(guò)大量實(shí)驗(yàn)表明，基于模板匹配的語(yǔ)音識(shí)別技術(shù)，有很多因素會(huì)影響識(shí)別的正確率，比如語(yǔ)音模板的多少，發(fā)音的穩(wěn)定性(速度)，詞匯量的多少等等。(2) 用小波變換的方法對(duì)待測(cè)語(yǔ)音信號(hào)進(jìn)行消噪。 語(yǔ)音識(shí)別系統(tǒng)結(jié)構(gòu)框圖 語(yǔ)音信號(hào)實(shí)時(shí)采集、消噪。xx是在s1s2之間的一段語(yǔ)音，以數(shù)組形式進(jìn)行表現(xiàn)。對(duì)選用不同特征參數(shù)的提取方法和語(yǔ)音信號(hào)的參考特征模板庫(kù)的構(gòu)建進(jìn)行了方案討論和理論分析。由于時(shí)間上和本人自身能力的有限，論文工作中存在許多不足之處，敬請(qǐng)老師同學(xué)給予批評(píng)和指正。1. 對(duì)語(yǔ)音識(shí)別技術(shù)原理進(jìn)行了深入的研究和討論，奠定了本文的理論基礎(chǔ)。1. 環(huán)境的噪聲對(duì)系統(tǒng)正常運(yùn)行的影響很大，語(yǔ)音特征參數(shù)對(duì)環(huán)境的魯棒性不強(qiáng)，需要進(jìn)一步研究語(yǔ)音噪聲增強(qiáng)算法，提高系統(tǒng)在噪聲環(huán)境下的魯棒性。，為增強(qiáng)測(cè)試系統(tǒng)的自然語(yǔ)音識(shí)別功能，需要進(jìn)一步研究連續(xù)語(yǔ)音識(shí)別算法，實(shí)現(xiàn)對(duì)連續(xù)語(yǔ)音的識(shí)別。3. 應(yīng)用了基于模板匹配算法中的美爾頻率倒譜系數(shù)作為本系統(tǒng)中識(shí)別語(yǔ)音的特征參數(shù)，并在LABVIEW 平臺(tái)下進(jìn)行了仿真并分析仿真結(jié)果。本文主要研究的是語(yǔ)音識(shí)別技術(shù)在功能測(cè)試系統(tǒng)中的應(yīng)用。(2) 本設(shè)計(jì)應(yīng)用電子測(cè)量?jī)x器與自動(dòng)測(cè)試領(lǐng)域的一項(xiàng)嶄新技術(shù)－虛擬儀器的專用語(yǔ)言LABVIEW，和對(duì)語(yǔ)音信號(hào)具有強(qiáng)大表述、計(jì)算能力和分析處理的MATLAB語(yǔ)言相結(jié)合的方法，實(shí)現(xiàn)了兩種軟件聯(lián)合編程的功能。該模板將語(yǔ)音信號(hào)的特征參數(shù)轉(zhuǎn)化為相應(yīng)的二進(jìn)制文件，以方便文件的保存與調(diào)用。 語(yǔ)音信號(hào)的采集。(4) 提取出能夠準(zhǔn)確的描述待識(shí)別的語(yǔ)音信號(hào)的特征參數(shù)即MFCC。那么，如何進(jìn)行模板的訓(xùn)練，如何度量不同語(yǔ)音之間得相似性等，都是目前需要考慮的問(wèn)題。但對(duì)于復(fù)雜難解決的大詞匯量、連續(xù)語(yǔ)音和非特定人識(shí)別，當(dāng)今大多采用的算法是隱馬爾科夫模型。由于獨(dú)立的人工神經(jīng)網(wǎng)普遍存在著時(shí)間規(guī)整問(wèn)題和訓(xùn)練過(guò)程復(fù)雜、識(shí)別時(shí)間過(guò)長(zhǎng)等缺點(diǎn)，因此，如何與傳統(tǒng)的方法相結(jié)合，形成優(yōu)勢(shì)互補(bǔ)的ANN與DTW、 ANN與VQ和ANN與HMM混合的新型漢語(yǔ)語(yǔ)音識(shí)別技術(shù)，以有效解決漢語(yǔ)語(yǔ)音識(shí)別中同音字多、聲調(diào)不明、界限不清、新詞不斷出現(xiàn)等諸多與其它語(yǔ)言語(yǔ)音識(shí)別所不同的特殊難題，己成為ANN法漢語(yǔ)語(yǔ)音識(shí)別系統(tǒng)的研究方向。矢量量化器的設(shè)計(jì)就是從大量信號(hào)樣本中訓(xùn)練出好的碼書，從實(shí)際效果出發(fā)尋找到好的失真測(cè)度定義公式，設(shè)計(jì)出最佳的矢量量化系統(tǒng)，用最少的搜索和計(jì)算失真的運(yùn)算量，實(shí)現(xiàn)最大可能的平均信噪比。與HMM相比，矢量量化主要適用于小詞匯量、孤立詞的語(yǔ)音識(shí)別中。另一個(gè)是一個(gè)隨機(jī)過(guò)程產(chǎn)生的輸出為觀察值序列。根據(jù)隨機(jī)函數(shù)的不同特點(diǎn)HMM模型可以分為離散 HMM(DHMM)、連 續(xù)HMM(CHMM)和半連續(xù)HMM(SCHMM)以及基于段長(zhǎng)分布的HMM(DDBHMM)等類型。測(cè)試模板可以表示為：，其中 N 為測(cè)試模板中語(yǔ)音幀數(shù)，n 為幀標(biāo)號(hào)，T（n）為第 n 幀的特征矢量。DTW是采用一種最優(yōu)化的算法—?jiǎng)討B(tài)規(guī)整法，算法的思想就是把未知量均勻的增大或縮短，直到與參考模式的長(zhǎng)度一致。常用的技術(shù)有5種 [41]：隱馬爾科夫(HMM)理論、動(dòng)態(tài)時(shí)間規(guī)整(DTW)、矢量量化(VQ)和混合高斯模型(GMM)等技術(shù)、混合型算法。于是常將靜態(tài)參數(shù)和動(dòng)態(tài)參數(shù)合并作為說(shuō)話人識(shí)別的特征參數(shù)，這樣語(yǔ)音幀之間的相關(guān)性能較好地消除掉，為說(shuō)話人識(shí)別系統(tǒng)的創(chuàng)建提供了良好的基礎(chǔ)。對(duì)輔音的描述能力較差，抗噪性能較弱。若說(shuō)話人的語(yǔ)音特征參數(shù)不能很好地提取出來(lái)，則系統(tǒng)的識(shí)別結(jié)果就不理想。此式表明，短時(shí)能量相當(dāng)于語(yǔ)音信號(hào)平方通過(guò)一個(gè)單位函數(shù)相應(yīng)為h(n)的線性濾波器的輸出。在過(guò)渡段，由于參數(shù)的數(shù)值一般比較小，不能確信語(yǔ)音信號(hào)是否處于真正的語(yǔ)音段，因此只有當(dāng)兩個(gè)參數(shù)的數(shù)值都回落到低門限以下，那么就將當(dāng)前狀態(tài)恢復(fù)到靜音狀態(tài)。因?yàn)榇蠖鄶?shù)聲母都是清聲母，例如 h 等，還有送氣與不送氣的賽音和塞擦音，將它們與環(huán)境噪聲分辨是比較困難的，所以漢語(yǔ)語(yǔ)音識(shí)別中重點(diǎn)在起始點(diǎn)檢測(cè)。由于漢明窗的主瓣較寬而旁瓣幅值較低，能有效地克服窗泄露現(xiàn)象，具有平滑低通特性，因此應(yīng)用廣泛，同時(shí)漢明窗可以加強(qiáng)相鄰幀左右兩端的連續(xù)性。 原始信號(hào)頻譜與預(yù)加重后數(shù)字5的語(yǔ)音幅頻特性 分幀、加窗語(yǔ)音信號(hào)是一種典型的非平穩(wěn)信號(hào)，但是由于發(fā)聲器官的物理結(jié)構(gòu)變化速度遠(yuǎn)遠(yuǎn)小于語(yǔ)音信號(hào)的變化，因此通常我們將語(yǔ)音信號(hào)看作是短時(shí)平穩(wěn)的，一般認(rèn)為20ms ～30ms 內(nèi)，聲道物理特征基本保持不變，所以對(duì)連續(xù)的語(yǔ)音信號(hào)進(jìn)行分幀然后按幀處理。 語(yǔ)音信號(hào)預(yù)處理過(guò)程示意圖 預(yù)加重處理語(yǔ)音信號(hào)的平均功率受聲門激勵(lì)和口鼻腔輻射的影響，大約在 800Hz 以上的高頻段，平均功率以 6dB/倍頻程下降，所以語(yǔ)音信號(hào)高頻部分頻譜比實(shí)際語(yǔ)音頻譜要低，因此造成高頻部分的頻譜比低頻部分頻譜更難計(jì)算。在本設(shè)計(jì)中由筆記本自帶的麥克風(fēng)采集語(yǔ)音信號(hào)，接著將采集的語(yǔ)音信號(hào)從聲音波形轉(zhuǎn)換成電信號(hào)，然后借助模數(shù)轉(zhuǎn)換器選擇合適的采樣率對(duì)模擬的聲音信號(hào)進(jìn)行采樣，最后再以一定的量化精度對(duì)其進(jìn)行量化，得到計(jì)算機(jī)能夠處理的數(shù)字語(yǔ)音信號(hào)。語(yǔ)音信號(hào)是短時(shí)平穩(wěn)隨機(jī)信號(hào)，產(chǎn)生機(jī)理非常的復(fù)雜、內(nèi)容較豐富并且有很大的不確定性，這使得語(yǔ)音識(shí)別比一般模式識(shí)別要困難很多。第五章簡(jiǎn)單介紹了整個(gè)設(shè)計(jì)所得出的結(jié)論。4．在M文件編輯調(diào)試器中，可以用漢字注釋，也可獲得正確顯示。 indenting”子項(xiàng)：對(duì)應(yīng)欄用來(lái)設(shè)置快捷鍵習(xí)慣和文件段落縮進(jìn)的習(xí)慣。“Layout”版面布局子項(xiàng)：選擇“Print header”，則打印的硬拷貝將會(huì)出現(xiàn)頁(yè)眉，顯示文件所在的全部路徑、文件建立日期和頁(yè)數(shù)。（4）文件的擴(kuò)展名是“.m”。（3）簡(jiǎn)單易學(xué) 與FORTRAN和C語(yǔ)言等高級(jí)語(yǔ)言相比較，MATLAB語(yǔ)法規(guī)則簡(jiǎn)單，語(yǔ)言的思維特點(diǎn)更符合人們?cè)趯?shí)際應(yīng)用中的習(xí)慣。用LABVIEW設(shè)計(jì)的虛擬儀器系統(tǒng)可脫離LABVIEW開發(fā)環(huán)境，最終用戶看見的是和實(shí)際的硬件儀器相似的操作面板。（2）提供了豐富的數(shù)據(jù)采集、分析及存儲(chǔ)的庫(kù)函數(shù)。 虛擬儀器的特點(diǎn)可歸納為： （1）在通用硬件平臺(tái)確定后，由軟件取代傳統(tǒng)儀器中的硬件來(lái)完成儀器的功能。北京中科院自動(dòng)化系研究所的模式識(shí)別實(shí)驗(yàn)室將漢語(yǔ)的音節(jié)切分成韻母和聲母，并結(jié)合聲調(diào)信息，然后進(jìn)行識(shí)別。90 年代后，隨著 IT 技術(shù)的迅速發(fā)展，多媒體時(shí)代的來(lái)臨，迫切需要語(yǔ)音識(shí)別系統(tǒng)走出實(shí)驗(yàn)室，走向人們的日常生活乃至工廠。另外，70 年代的里程碑是在 IBM 進(jìn)行了一個(gè)長(zhǎng)期持續(xù)的、頗有成效的大詞匯量連續(xù)語(yǔ)音識(shí)別研究的集體努力的成果。50 年代初期，研究人員大部分致力于聲學(xué)—語(yǔ)音學(xué)的基本概念進(jìn)行探索。（6）語(yǔ)言語(yǔ)音玩具在對(duì)孩子進(jìn)行啟蒙教育的時(shí)候，你可以用帶有語(yǔ)音說(shuō)話功能的娃娃與孩子交談，讓孩子操作服從語(yǔ)音命令的玩具，在孩子們幼小的心靈就播下科學(xué)的種子，讓這些玩具引導(dǎo)孩子們探索科技，發(fā)現(xiàn)科學(xué)的偉大力量。例如：對(duì)于身體殘疾的人或盲人，能夠既準(zhǔn)確又靈活地使用現(xiàn)代化設(shè)備是比較困難的，但是，如果有了語(yǔ)音控制系統(tǒng)，便能為其提供一些很好的生活輔助設(shè)施，給他們帶來(lái)方便。以下介紹語(yǔ)音識(shí)別技術(shù)的幾大應(yīng)用領(lǐng)域：（1）查詢語(yǔ)言的語(yǔ)音識(shí)別應(yīng)用 語(yǔ)音識(shí)別可用