基于dsp的視頻采集及網(wǎng)絡(luò)傳輸模塊的設(shè)計(jì)畢業(yè)設(shè)計(jì)(編輯修改稿)

　

【文章內(nèi)容簡(jiǎn)介】 EG2 不是 MPEGl的簡(jiǎn)單升級(jí)，MPEG2 在系統(tǒng)和傳送方面作了更加詳細(xì)的規(guī)定和進(jìn)一步的完善。 MPEG2 特別適用于廣播級(jí)的數(shù)字電視的編碼和傳送，被認(rèn)定為 SDTV 和 HDTV 的編碼標(biāo)準(zhǔn)。 MPEG4 也是由 ISO/IEC 下的“動(dòng)態(tài)圖象專(zhuān)家組”制定的圖像壓縮編碼標(biāo)準(zhǔn)，于 1999 年初正式成為國(guó)際標(biāo)準(zhǔn)。它是一個(gè)適用于低傳輸速率應(yīng)用的方案。實(shí)際上， MPEG4 對(duì) 64Kbis/s 以下、 64Kbis/s 至 384Kbis/s 和 384Kbis/s 至4Mbis/s 三種比特率范圍作了明確的最佳化處理 。 低比特率是 MPEG4 的一個(gè)主要的目標(biāo)，有關(guān)誤碼的校正，也給予了極大的關(guān)注，這將使 MPEG4 非常適合于易產(chǎn)生誤碼的環(huán)境中使用，例如個(gè)人手持式傳輸設(shè)備。當(dāng)然， MPEG4 標(biāo)準(zhǔn)也支持碼率高達(dá) ，甚至碼率高達(dá) 量的類(lèi)和級(jí) 。與 MPEG1 和 MPEG2 相比， MPEG4 更加注重多媒體系統(tǒng)的交互性和靈活性，它利用強(qiáng)大的工具開(kāi)發(fā)出了全新的多媒體編碼概念，使之適用于互操作性和更大范圍內(nèi)的應(yīng)用，己成 為 目前 廣泛使用的壓縮系統(tǒng) [3]。 我國(guó)視頻監(jiān)控技術(shù) 的發(fā)展概況 遠(yuǎn)程視頻監(jiān)控是指遠(yuǎn)端的監(jiān)控系統(tǒng)通過(guò)通信系統(tǒng)對(duì)現(xiàn)場(chǎng) 系統(tǒng)進(jìn)行監(jiān)測(cè)與控制，其目的在于突破地域和環(huán)境上的限制，實(shí)現(xiàn)集中和高層監(jiān)控，最終實(shí)現(xiàn)生產(chǎn)資源和社會(huì)資源的優(yōu)化配置。 視頻監(jiān)控技術(shù)在中國(guó)的發(fā)展已有 10 年的歷史 6 了。經(jīng)過(guò)數(shù)年的發(fā)展，大致經(jīng)歷了 以下 三個(gè)重要的階段 [4]。 第一階段， 傳統(tǒng)模擬圖像監(jiān)視系統(tǒng)。這是圖像監(jiān)控系統(tǒng)的早期實(shí)現(xiàn)方式，系統(tǒng)主要由攝像機(jī)、監(jiān)視器、視頻線(xiàn)纜、控制線(xiàn)纜等組成，采用模擬方式傳輸，因此傳輸距離較短，主要應(yīng)用于小范圍監(jiān)控的場(chǎng)合。傳統(tǒng)模擬圖像 監(jiān)視系統(tǒng)的主要優(yōu)點(diǎn)是圖 像清晰、不丟幀、延遲小。 但其功能單一、易受干擾、 成本較高、 無(wú)法升級(jí)、系統(tǒng)的擴(kuò)展能力差，無(wú)法形成有效的報(bào)警聯(lián)動(dòng)。 第二階段， 基于 PC 機(jī)的多媒體監(jiān)控系統(tǒng) ?；?PC 機(jī)的多媒體監(jiān)控系統(tǒng)的產(chǎn)生得益于數(shù)字視頻壓縮編碼技術(shù)的日益成熟和微型計(jì)算機(jī) PC 的普及化。該種系統(tǒng)的一般結(jié)構(gòu)為：在監(jiān)控現(xiàn)場(chǎng)，有攝像頭、檢測(cè)和報(bào)警設(shè)備等，通過(guò)各自的傳輸線(xiàn)路連接到監(jiān)控終端。終端可以是一臺(tái) PC 機(jī)，也可以是專(zhuān)用工業(yè)機(jī)箱組成的多媒體監(jiān)控終端。這種監(jiān)控系統(tǒng)功能較強(qiáng)，但穩(wěn)定性和安全性不夠好、施工布線(xiàn)工作量大，同時(shí)需要專(zhuān)業(yè)的軟件，開(kāi) 發(fā)周期長(zhǎng)、難度大，不利于日后升級(jí)和維護(hù)。 第三階段， 基于嵌入式 Web 服務(wù)器的遠(yuǎn)程視頻監(jiān)控系統(tǒng) 。嵌入式 Web 服務(wù)器的主要原理是，視頻服器內(nèi)嵌入一個(gè) Web 服務(wù)器，攝像機(jī)送來(lái)的視頻信號(hào)經(jīng)數(shù)字化后進(jìn)行壓縮編碼，通過(guò)內(nèi)部總線(xiàn)傳到 Web 服務(wù)器，網(wǎng)絡(luò)上的用戶(hù)可以通過(guò)專(zhuān)用軟件觀(guān)看攝像機(jī)圖像，授權(quán)用戶(hù)還可以控制攝像機(jī)云臺(tái)鏡頭的動(dòng)作或?qū)ο到y(tǒng)進(jìn)行配置。系統(tǒng)將視頻壓縮和 Web 功能集成到一個(gè)體積很小的設(shè)備內(nèi)，成本低、速度快，大大提高了圖像質(zhì)量和監(jiān)控效率，可以直接聯(lián)入以太網(wǎng)，布控區(qū)域廣，環(huán)境適應(yīng)性強(qiáng)，性能穩(wěn)定可靠，無(wú)需專(zhuān)人管理，而且系 統(tǒng)擴(kuò)展能力強(qiáng)，可組成非常復(fù)雜的監(jiān)控網(wǎng)絡(luò)。 盡管 視頻監(jiān)控技術(shù)在中國(guó)的 發(fā)展迅速，但 隨著社會(huì)化科技的進(jìn)步和人們對(duì)產(chǎn)品功能的更高需求使得視頻監(jiān)控技術(shù)仍 有諸多瓶頸尚待“實(shí)質(zhì)性”突破。 談的最多的就是 網(wǎng)絡(luò)帶寬、圖像質(zhì)量、 傳輸 延時(shí)、軟件系統(tǒng)的兼容性和 產(chǎn)品 價(jià)格等問(wèn)題， 在 這些問(wèn)題 中 有些已經(jīng)得到改進(jìn)，但 很多 都還沒(méi)有取得實(shí)質(zhì)性的突破。很多國(guó)內(nèi)廠(chǎng)商一味追求某一特性的優(yōu)越而忽視或干脆放棄了其它方面的性能，如有些廠(chǎng)商在設(shè)計(jì)初期，為了能使傳輸延遲降到最低，在視頻編碼壓縮上加大了壓縮比率，盡管傳輸速度和延遲性能得到了很大提高，但監(jiān)控圖像的整體清晰度和圖像質(zhì)量大打折扣。如何在網(wǎng)絡(luò)延遲和圖像質(zhì)量之間尋求一個(gè)平衡點(diǎn)，成為國(guó)內(nèi)該領(lǐng)域發(fā)展需要解決的一個(gè)重大課題。 7 網(wǎng)絡(luò)攝像機(jī)產(chǎn)品概況 在網(wǎng)絡(luò)攝像機(jī)產(chǎn)品的研發(fā)中，國(guó)外的起步較早， 市場(chǎng)上 較 為 成熟的嵌入式Web 網(wǎng)絡(luò)攝像機(jī)的產(chǎn)品 也很多。如索尼 公司 最近在 08 年 推出 的 SONY SNCCS50P。它 配備 了 10/100BASET 的 LAN 端口，采用 1/3 英寸的 CCD 鏡頭，分辨率可達(dá)到 640 480，最高刷新幀率為 30fps。圖像壓縮采用 MPEG4 和 編碼 方式，可以變更任意區(qū)域的壓縮率。 SNCCS50P 無(wú)須通 過(guò)個(gè)人電腦便可以直接接入網(wǎng)絡(luò)?？梢岳猛ㄓ玫?Web 瀏覽器瀏覽影視畫(huà)面。除了索尼公司的 SNCCS50P 之外，還有松下 KXHCM280、三星 SNCL200P/SNCL200WP、安特 ANTNWC10/50/100、瑞典 AXIS 的 AXIS22xx 系列等。這些產(chǎn)品一般均采用了 MPEG 編碼壓縮方式，以及支持多種網(wǎng)絡(luò)傳輸協(xié)議，產(chǎn)品性能普遍 較好。 在國(guó)內(nèi)， ADSL 寬帶， GPON/EPOG 光纖寬帶在中國(guó)很多城市順利開(kāi)通，架構(gòu)起以 IP 為基礎(chǔ)的數(shù)據(jù)平臺(tái)，為網(wǎng)絡(luò)監(jiān)控提供了安全可靠的網(wǎng)絡(luò)環(huán)境。一些實(shí)力雄厚 并且掌握了核心技術(shù)的民族企業(yè)，在高端市場(chǎng)上牢牢地把持著自己的品牌地位，如華為、中興等。而與知名企業(yè)不同，部分本地品牌依托自己靈活的應(yīng)變能力以及良好的性?xún)r(jià)比，也在市場(chǎng)上獲得了不錯(cuò)發(fā)展，并占領(lǐng)了不少的市場(chǎng)份額。如安訊士等，非常注重產(chǎn)品的社會(huì)功用，對(duì) 產(chǎn)品的環(huán)保要求很高，要求給顧客提供的是高品質(zhì)，低耗能的產(chǎn)品。另外 大批的國(guó)內(nèi)廠(chǎng)商 根據(jù)自身實(shí)力及市場(chǎng)情況， 采取 了 OEM 的形式，其中亞安公司就是憑借 公司靈活的反映機(jī)制，極具競(jìng)爭(zhēng)力的性?xún)r(jià)比，以及良好的售后服務(wù)贏(yíng)得了市場(chǎng)，獲得了很大的發(fā)展。 目前，中國(guó)國(guó)內(nèi)網(wǎng)絡(luò)攝像機(jī)和視頻服務(wù)器 的生產(chǎn)廠(chǎng)商 非常多，除了一些已經(jīng)走出國(guó)門(mén)的大廠(chǎng)商外，一些非主打視頻監(jiān)控的 電子制造廠(chǎng)商也進(jìn)入了該領(lǐng)域的競(jìng)爭(zhēng)，如愛(ài)國(guó)者，天視通電子，趨勢(shì)電子，?？低?，天創(chuàng)恒達(dá)等均已打入市場(chǎng)，并取得了非常滿(mǎn)意的成績(jī)。 本課題主要研究?jī)?nèi)容 及工作 基于以上 的 分析，本文提出了 基于 TI 公司 DM642 的嵌入式網(wǎng)絡(luò)攝像機(jī)系統(tǒng)設(shè)計(jì)方案。該方案主要有三大優(yōu)點(diǎn)：第一，系統(tǒng)只需一顆 DM642 芯片，加上簡(jiǎn)單的外圍電路，即可完成圖像數(shù)據(jù)采集、編碼處理、網(wǎng)絡(luò)傳輸?shù)裙δ?。第?，網(wǎng)絡(luò)攝像機(jī)需要嵌入式操作系統(tǒng)，而 TI 公司為其 DSP 產(chǎn)品設(shè)計(jì)了一套較 8 好的小型嵌入式 操作系統(tǒng) DSP/BIOS，省去了不必要的操作系統(tǒng)移植 的 過(guò)程。第三， DM642 具備強(qiáng)大的運(yùn)算處理能力，能夠完成包括 JPEG、 MPEGMPEG 、 等圖像編碼處理 ，日后僅需通過(guò)編程改變軟件即可達(dá)到升級(jí)的目的，避免硬件資源的改動(dòng)和重復(fù)設(shè)計(jì)。 本文 所 提出 的 網(wǎng)絡(luò)攝像機(jī) 系統(tǒng)，是可以 脫離 PC 獨(dú)立工作 的 。 整個(gè)設(shè)計(jì)過(guò)程主要有 以下幾個(gè)方面的工作： 第一，掌握 DSP 開(kāi)發(fā)板的工作原理、硬件結(jié)構(gòu)和 CCS 開(kāi)發(fā)環(huán)境，參考開(kāi)發(fā)板的設(shè)計(jì)搭建出本系統(tǒng)的總體架構(gòu)。 第二，根據(jù)系統(tǒng)在速度等方面的要求，考慮到各個(gè)器件之間 的兼容性，對(duì)硬件進(jìn)行合適的選擇和搭配，構(gòu)建出系統(tǒng)的硬件平臺(tái)。掌握各芯片的 結(jié)構(gòu)和工作原理。 第三，對(duì) 設(shè)計(jì)好的系統(tǒng) 進(jìn)行驅(qū)動(dòng)程序的開(kāi)發(fā)。在 DSP 的集成開(kāi)發(fā)環(huán)境CCS 下，使用 DSP/BIOS 組件等工具進(jìn)行程序設(shè)計(jì) ，完成設(shè)備的初始化，使視頻模塊、網(wǎng)絡(luò)傳輸模塊能夠在程序的驅(qū)動(dòng)下正確的工作 。 第四， 詳細(xì)分析了實(shí)時(shí)視頻傳輸?shù)脑u(píng)估標(biāo)準(zhǔn)，以及如何實(shí)現(xiàn)高質(zhì)量傳輸?shù)乃惴ㄑ芯亢蛻?yīng)用 內(nèi)容 ，包括碼率分配和帶寬估計(jì)。同時(shí)，對(duì)基于 TCP/IP 實(shí)現(xiàn)視頻流傳輸?shù)乃惴ㄒ沧隽嗽敱M的研究，即 根據(jù)遠(yuǎn)端請(qǐng)求， 在不同的傳輸任務(wù)中使用不同的傳輸方式以達(dá)到流媒 體高效傳輸?shù)哪康?。 第五 ，設(shè)計(jì) 帶有網(wǎng)絡(luò)通信功能的應(yīng)用程序， 實(shí)現(xiàn) 視頻 數(shù)據(jù)在 客戶(hù)端的呈現(xiàn)。 第六，提高并完善系統(tǒng)的性能，優(yōu)化程序使軟硬件更好的結(jié)合，使有限的DSP 芯片資源最大限度的發(fā)揮其作用。 本文結(jié)構(gòu) 本文將對(duì)網(wǎng)絡(luò)攝像機(jī)視頻采集模塊和網(wǎng)絡(luò)傳輸模塊的硬件系統(tǒng)和軟件設(shè)計(jì)做詳細(xì)的闡述。論文共分為五章。 本文第 1 章是緒論部分，即引言。本章對(duì) DSP 技術(shù)的發(fā)展、嵌入式Inter 技術(shù)的發(fā)展、圖像編碼技術(shù)的發(fā)展以及視頻監(jiān)控技術(shù)的發(fā)展做了簡(jiǎn)要的概括和分析。通過(guò)對(duì)相關(guān)領(lǐng)域研究進(jìn)展及成果的討論， 發(fā)現(xiàn)了當(dāng)前網(wǎng)絡(luò)攝像機(jī)產(chǎn)品在圖像 質(zhì)量和傳輸速率之間無(wú)法平衡的一個(gè)不足。由此本章提出了將DSP 技術(shù) 與 TCP/IP 協(xié)議結(jié)合起來(lái)的一種新型 網(wǎng)絡(luò)攝像機(jī)產(chǎn)品 。 本文的第 2 章主要介紹了數(shù)字信號(hào)處理器的結(jié)構(gòu)及原理，以及重點(diǎn)講述了 9 本文將要采用的一款 DSP 芯片 — TMS320DM642。 DM642 具有完全的可編程性，能夠兼容多種多媒體視頻標(biāo)準(zhǔn)，非常適合網(wǎng)絡(luò)攝像機(jī)系統(tǒng)的研發(fā)。最后介紹了如今比較流行的一種視頻評(píng)估標(biāo)準(zhǔn)及其原理。 本文的第 3 章主要分析了 TCP/IP 協(xié)議及其各層的核心協(xié)議。重點(diǎn)講述了實(shí)時(shí)視頻傳輸?shù)乃惴ǚ治龊头桨笇?shí)現(xiàn)。最后提出 了 一種不使用第三方流媒體協(xié)議而同樣達(dá)到流媒體傳輸?shù)乃惴▽?shí)現(xiàn)。 本文的第 4 章重點(diǎn)闡述了系統(tǒng)各硬件模塊的設(shè)計(jì)。本章對(duì)電路設(shè)計(jì)中關(guān)鍵部分進(jìn)行了介紹和分析， 針對(duì)網(wǎng)絡(luò)攝像機(jī)的帶寬估計(jì)和碼率分析做了理論上的深入分析 。 本文的第 5 章是對(duì)系統(tǒng)軟件部分設(shè)計(jì)的分析。包含兩個(gè)部分，首先是系統(tǒng)各功能模塊驅(qū)動(dòng)程序的開(kāi)發(fā)以及相應(yīng)模塊間通信的控制；其次是帶有網(wǎng)絡(luò)通信功能的客戶(hù)端軟件的開(kāi)發(fā)設(shè)計(jì)。對(duì)主要的網(wǎng)絡(luò)傳輸模塊部分代碼做了碼率分析優(yōu)化，使得數(shù)據(jù)包在網(wǎng)絡(luò)中得到最大效率的傳輸。 第 3 章傳輸算法的實(shí)現(xiàn)、第 4 章和第 5 章是系統(tǒng)的主要部分 ，也是本文的工作重點(diǎn)。論文最后對(duì)本 系統(tǒng)的設(shè)計(jì)進(jìn)行了總結(jié)并提出了改進(jìn)方向。 10 第 2章 DSP 原理 及視頻評(píng)估算法 DSP 芯片特點(diǎn)及 應(yīng)用 DSP 芯片的特點(diǎn) 為了實(shí)現(xiàn)高速的數(shù)字信號(hào)處理運(yùn)算， DSP 芯片一般都采用特殊的軟硬件結(jié)構(gòu)，主要特點(diǎn)為以下幾個(gè)方面。 第一， 改進(jìn)的哈佛（ Harvard）結(jié)構(gòu)。 哈佛結(jié)構(gòu)是不用于傳統(tǒng)的馮諾依曼結(jié)構(gòu)的并行體系結(jié)構(gòu)，其主要特點(diǎn)是 程序存儲(chǔ)器和數(shù)據(jù)存儲(chǔ)器相互 獨(dú)立編址，獨(dú)立訪(fǎng)問(wèn)。與兩個(gè)存儲(chǔ)器相對(duì)應(yīng)的是系統(tǒng)中 設(shè)置了程序總線(xiàn)和數(shù)據(jù)總線(xiàn)兩條總線(xiàn)，從而使數(shù)據(jù)的吞吐率提高了一倍 。為了進(jìn)一步提高運(yùn)行速度和靈活性，人們?cè)诨镜墓鸾Y(jié)構(gòu)的基礎(chǔ)上做了改進(jìn) ，一是允許數(shù)據(jù)存放在程序存儲(chǔ)器中，并被算術(shù)運(yùn)算指令直接使用，增強(qiáng)了芯片的靈活性；二是指令存儲(chǔ)器在高速緩沖器 Cache 中，當(dāng)執(zhí)行此指令時(shí)，不需要再?gòu)拇鎯?chǔ)器中讀取指令，節(jié)約了一個(gè)指令周期的時(shí)間。這種改進(jìn)被成為改進(jìn)的哈佛結(jié)構(gòu)。 第二，多級(jí)的流水線(xiàn)操作。 DSP 芯片的指令系統(tǒng)廣泛采用流水線(xiàn)操作，一個(gè)任務(wù)被分解為若干個(gè)子任務(wù)，各個(gè)任務(wù)可以在執(zhí)行時(shí)相互重疊，每條指令處于流水線(xiàn)上的不同階段。流水線(xiàn)操作與哈佛結(jié)構(gòu)相配合，減少了指令執(zhí)行時(shí)間，增加了處理器的吞吐量。不同的產(chǎn)品流水線(xiàn)的深度也各不相同，例如，第一代 TMS320 處理器 采用 2 級(jí)流水線(xiàn)，其后幾代依次增加為 3 級(jí)、 4 級(jí)、 6級(jí)，在 TMS320C6000 中深度達(dá)到了 8 級(jí)，這就意味著可以同時(shí)并行 8 條指令。同時(shí)，指令并行運(yùn)行的條件在不斷降低，指令的范圍也在不斷擴(kuò)大。 如圖21 所示 [5]。 第三，專(zhuān)用的硬件乘法器。在數(shù)字信號(hào)處理運(yùn)算中，無(wú)論是濾波器還是DFT、 FFT 運(yùn)算，都存在大量的乘法運(yùn)算，乘法運(yùn)算的速度是數(shù)字信號(hào)處理實(shí)現(xiàn)中的一個(gè)瓶頸問(wèn)題。為此 DSP 芯片采用專(zhuān)用的硬件乘法器，使得乘法運(yùn)算能夠在一個(gè)指令周期內(nèi)完成。如在 TMS320C3x 系列 DSP 芯片中，有一個(gè)硬件乘法器，在 TMS320C6000 系列中則有兩個(gè)硬件乘法器。 11 C L K O U T 1取 取取 取取 取N N + 1 N + 2NNN 1 N + 1N 2 N 1 圖 21 多級(jí)的流水線(xiàn) Multiple Pipelines 第四， 特殊的 DSP 指令 。 DSP 芯片的一個(gè)重要特點(diǎn)是有一套專(zhuān)門(mén)為數(shù)字信號(hào)處理而設(shè)計(jì)的指令系統(tǒng)。加法、減法、比較、移位、最大 /最小值、絕對(duì)值運(yùn)算以及延 遲操作等都可以由一系列特殊指令實(shí)現(xiàn)， 極大的提高了性能 和效率 。例如， MAC 指令是連乘加指令，可以在單周期內(nèi)同時(shí)完成乘法和加法運(yùn)算； RPTS 和 RPTB 指令是硬件判斷循環(huán)邊界條件，可以避免破壞流水 線(xiàn)。 第五，快速的指令周期。 哈佛結(jié)構(gòu)、流水線(xiàn)操作、專(zhuān)用的硬件乘法器、特殊的 DSP 指令再加上集成電路的優(yōu)化設(shè)計(jì)，可使 DSP 芯片的指令周期在200ns 以下。 TMS320 系列處理器的指令周期已經(jīng)從第一代的 200ns 降低至現(xiàn)在的 5ns 以下。快速的指令周期使得 DSP 芯片能夠?qū)崿F(xiàn)許多高端應(yīng)用。隨著微電子技術(shù)的發(fā)展，工作頻率還將繼續(xù)提高，指令周期將進(jìn)一步縮短。 典型 DSP 芯片 比較 TI、 ADI 和 Motorola 公司的 DSP 芯片是目前國(guó)內(nèi)應(yīng)用的主流芯片。各公司主要芯片產(chǎn)品如表 21 所示 [6]。 本系統(tǒng)要求圖像處理速度達(dá)到每 秒 20 幀以上，即要求實(shí)時(shí)圖像處理系統(tǒng)必須在 50ms 內(nèi)完成對(duì)一幀圖像的運(yùn)算處理，圖像采集模塊的輸出為為 320240 像素。為達(dá)到該處理速度，綜合考慮以上各因素，采用價(jià)格較便宜、功耗較低的定點(diǎn) DSP 芯片即可