嵌入式linux系統下開發usb攝像頭圖像采集系統論文(編輯修改稿)

　

【文章內容簡介】 如圖所示：圖5 PC機與硬件系統連接第四章 系統軟件設計 軟件系統概述Liunx系統中對USB設備的支持是通過如圖6所示的結構實現的。Linux內核中的USB Core為設備和主控制器提供API接口。USB Core包含所有的USB設備和主控制器的一些通用操作，為向上和向下操作提供一個接口。在Linux系統中，設備驅動可分為字符設備、塊設備以及網絡設備。其中，字符設備面向字符I/O操作，沒有緩沖，順序讀取；而塊設備面向數據塊，所有操作都通過內核地址空間的I/O緩沖區完成，支持隨機存取操作。USB設備通過快速串行通信的方式工作，應作為字符設備來處理。系統加載設備驅動的方式有模塊加載和內核初始化加載兩種：前者通過用戶使用insmod命令動態加載到內核中，通過rmmod命令卸載驅動模塊；后者是把驅動編進內核，在內核初始化時自動加載。USB主口程序由HCD(主機控制器驅動)、USBD (USB驅動程序)以及客戶程序組成。其中USBD負責管理所有HCD、設備驅動和所有連接到USB總線上的設備，是USB主機軟件的核心。如圖2所示，Linux系統中USB子系統采用分層結構，其中USBD和HCD提供了支持設備驅動程序開發的API。USB設備驅動程序不是通過I/O操作訪問設備，而是通過USB Core提供的標準接口與設備交互，它采用由管道組成的通道與設備進行通信。設備驅動程序根據USBD創建所需的管道，并為其分配傳輸所需的緩沖空間。USB主控制器驅動USB主控制器驅動USB COREUSB設備驅動USB設備驅動圖6 Linux下USB系統軟件結構 USB的傳輸分為控制傳輸、中斷傳輸、批量傳輸以及等時傳輸四種模式。對于時間性極強但是準確性不高的視頻捕捉應用來說，攝像頭應采用等時傳輸模式。Linux系統中，任何USB傳輸都需要通過URB(USB請求塊)來實現。為了盡可能快地得到圖像數據，需要加大URB的緩沖，這樣可以降低每個USB事務中握手信息所占的比例，提高有效數據傳輸比例。由于每次USB傳輸都要包括URB的建立、發送、回收、數據整理，而在這些階段中不產生有效數據，因此可建立兩個URB交替工作，一個URB在等待回收時初始化另一個URB。獲得圖像的過程如圖所示。圖7 獲得圖像過程攝像頭視頻捕獲程序的編寫 攝像頭屬于視頻類設備，遵循的標準為Video for Linux (V4L)標準。這個標準定義了一套API接口，內核、驅動、應用程序都以這個接口為標準進行交流。目前的V4L涵蓋了音視頻捕捉及處理等內容，也包括USB攝像頭。 Linux系統中一般的文件操作是通過read、write等系統調用完成，但這些系統調用是通過內核態與用戶態之間相互進行數據拷貝實現的。對于圖像數據來說，進行拷貝必然會增加時間開銷，因此需要使用內存映射的辦法來加以解決。 首先應申請足夠大的內核態內存作為圖像數據緩存，將URB帶來的數據暫存；然后將其用remap_page_range函數映射到用戶態空間。這樣，用戶態空間的圖像處理程序就可以使用mmap()函數，直接讀寫內核態幀緩沖區，減少了額外開銷。要進行視頻捕捉必須用到VIDIOCMCAPTURE 和VIDIOCSYNC這兩個ioctl函數。VIDIOCGMBUF包含有所用緩沖器的設置與地址。VIDIOCMCAPTURE用于開始捕捉；VIDIOCSYNC用于等待捕捉完成。為加快數據處理速度，一般使用雙緩沖設置，即buffer0捕捉數據時，buffer1傳輸數據；buffer1捕捉數據時，buffer0傳輸數據。 整個圖像采集程序的流程圖如圖4所示。將采集到的圖像保存為JPEG格式，然后調用Mplayer中的Mencoder編碼器，即可將多幅JPEG文件合成一段視頻流，實現視頻回放。圖8 圖像采集程序的流程圖圖9 全屏視頻圖像顯示圖10 四分屏視頻圖像顯示整個系統軟件是在嵌入式Linux基礎之上構建的。Sitsang板使用的文件系統是針對Flash的無緩沖機制的jffs2文件系統，文件系統中包含應用程序、模塊、配置文件、圖形界面和庫等。Sitsang板使用的是基于Qt/Embedded的圖形界面系統。視頻信號的采集、壓縮和傳輸是建立在圖形界面和嵌入式Linux內核之上的。整個軟件系統如圖2所示。系統的設計可以被分為以下幾個大部分：嵌入式Linux內核的移植和編譯，文件系統和圖形界面系統的安裝基于嵌入式Linux視頻采集模塊的設計視頻圖像壓縮模塊的設計基于嵌入式Linux的網絡視頻流服務模塊的設計 開發環境及開發工具系統在軟件程序設計過程中使用了Linux開發環境，其是集項目管理編譯程序、工具配置、編輯器、高效的調試器的IDE，本系統在軟件編寫時使用了高效的MCS51匯編語言。 Linux仿真器是德國Linux公司出品的一款兼容單片機C語言和匯編語言的軟件開發系統，它集編輯，編譯，仿真等于一體，它是一款具有靈活、直觀、可視化的開發軟件，完全的Windows界面，界面友好，易學易用，是使用者更直觀、更清晰的了解每一句程序所對應的單片機內部操作，這對開發者在開發過程中考慮內存和線路的分配很有幫助，同時在錯的查找、執行過程中的數據查找等方面都變的簡化了。同時Linux仿真器還提供了豐富的庫函數和功能強大的集成開發調用工具。Linux它還支持眾多不同公司的MCS51架構的芯片，在開發過程中可以給開發者更多的選擇空間，多時在選擇不同型號芯片的時候，他還會提供該芯片的相關信息介紹，這也是多開發者很有幫助的一個方面，因此很多開發51應用的工程師或普通的單片機愛好者，都對它十分喜歡Linux在安裝運行后，可以首先要建立工程，在這一過程中最關鍵的是選擇單片機的型號，在初學的時候經常會疏忽這一工作了造成不必要的麻煩。，保存之后工程里就可以直接調入進來，并構造目標文件了。它會自動完成編譯的過程，這為我們省去了很多時間，如果通過了編譯沒有錯誤的話，我們就可以查看程序的仿真運行情況了。它為我們提供了更方便的查看模式，我們可以把原程序在匯編和機器語言間切換，而且我們還可以單步執行程序，能夠清晰的看出在程序運行過程中，單片機每一個接口和存儲器的工作情況，這也是對開發者最有利的方面。視頻采集模塊的設計在嵌入式Linux的內核定制和編譯階段，已經加入了對Video4Linux模塊以及OV511設備的支持，所以運行在Linux下的視頻圖像采集程序，可以通過Video4Linux模塊提供的編譯接口（API）從OV511設備中獲取圖像幀。 加載USB及OV511設備驅動模塊，同時加載Video4Linux模塊。分別使用命令：modprobeusbcor、modprobeusbuhci、modprobevodeodev和modprobeov511。加載后將生成視頻設備文件/dev/video0，為了和Video4Linux模塊相協調，使用lns/dev/video0/dev/video為Video4Linux模塊的默認視頻設備voideo與物理視頻設備video0建立連接。 使用Video4Linux模塊提供的API進行視頻采集程序的設計。Video4Linux模塊的視頻采集接口設備為/dev/video，采集程序打開此接口設備并掃描它以尋找自己所需要的數據。這里將簡要介紹一下Video4Linux模塊提供的主要API函數：VIDICGCAP函數以數據結構video_capability返回視頻采集設備的性能參數；VIDIOCSFBUF函數使用數據結構video_buffer設備采集設備的幀緩存參數，如果設備不支持幀緩存則此調用無效；VIDIOCGWIN函數使用數據結構video_window來設備采集窗口參數，使用參數1調用VIDIOCCAPTURE則開始視頻信號采集，使用參數0則結束采集；VDIOCGCHAN函數用來查詢不同的采集通道（包括音頻信道），使用數據結構video_channel返回通道屬性；VIDIOCSPICT函數使用數據結構video_picture來獲取和設置采集圖像幀的屬性，比較重要的是圖像幀的調色板參數；read函數讀取采集通道中效的下一幀圖像，所讀取的圖像格式和尺寸由前面介紹的VIDIOCSPICT函數和VIDIOCGWIN函數決定，這些API函數以及數據結構定義在頭文件linux/中。VideoLinux的圖像采集 Video4Linux是Linux中關于視頻設備的內核驅動，他為針對視頻設備的應用程序編程提供一系列接口函數，在Linux下，視頻采集設備的正常使用依賴于對Video4 Linux標準的支持。如果使用Video4Linux，在編譯內核時，一定要選中Multimedia Devices下的Video for Linux選項，本文針對的設備文件是 / dev / video，使用的器件是基于OV511的USB攝像頭。在運行程序前，一定要先加載USB及OV511設備驅動模塊，同時加載Video4Linux模塊，分別使用命令：modprobe usbcore，modprobe usbohci，modprobe videodev和modprobe ov511，以確保生成設備文件/dev/video，若使用的Linux操作系統不支持modprobe命令，也可使用insmod命令。一般來講，基于Video4Linux的圖像采集的程序流程如下圖所示。 圖11 基于Video4Linux圖像采集程序的流程程序的編寫，在這里只給出關鍵部分的實現代碼。首先，必須聲明包含2個頭文件： includesys/ includelinux/ 第一部分，設備的初始化： Int fd=open(“/dev/video”,()_RDWR)。 /*打開設備文件*/ Struct video_capability grab_capability。 Ioctl(fd,VIDIOCGCAP,amp。grab_capability)。 /*獲得struct video_capability中攝像頭的信息*/ Struct video_picture grab_picture。 Ioctl(fd,VIDIOCGPICT,amp。grab_picture)。 /*獲得圖像的信息*/在獲取圖像信息后，還可根據需要改變這些信息，例如對比度、亮度、調色板等，具體做法是先給video_picture中相應變量賦新值，再利用VIDIOCSPICT ioct1函數。 第2部分，使用mmap方式的單幀圖象采集： struct video_mmap grab_buf。 /*以下為設置圖像幀緩沖區信息*/=0。 /*一次只采集一幀*/=240。 /*圖像高度*/=320。 /*圖像寬度*/=VIDEO_PALETTE_RGB24。/*圖像的調色板格式，24位真彩色*/UNSIGNED CHAR * DATA=MMAP(*320*|) /*內存映射*/ioctl(.amp。grab_buf) /*采集圖像*/然后調用ioct1（grab_fd，VIDIOCSYNC，＆frame）函數，該函數成功返回則表示采集完畢，采集到的圖像數據放到以data為起始地址，長度為2403203的內存區域中，讀取該內存中的數據便可得到圖像數據。 在此基礎上同樣可實現連續幀的采集，即一次采集連續多幀圖像的數據，Video4Linux最多支持一次采集32幀，而每一幀的數據在內存中的位置為data＋[frame]，其中grab_vm為video_mbuf結構體變量的一個聲明，利用ioct1（fd，VIDIOCGMBUF，＆grab_vm）便可獲得grab_vm的信息。 FrameBuffer的圖象顯示 當Video4Linux使用mmap方式采集圖像時，他總是盡最大努力將圖像直接顯示在屏幕上，但并不一定能夠完成，因此一個完整的設備應該具有圖像顯示的功能，一般來講，嵌入式Linux下顯示一幅圖像總共有以下幾種方法： （1）在利用Video4Linux采集圖像時，將采集到的圖象數據直接放到FrameBuffer的內存映射區中，而Video4Linux也支持這種功能，利用VIDIOCSFBUF和VIDIOCGFBUF這兩個ioct1函數，可設置和獲得struct video_buffer。但該方法并不是每個圖像采集設備都支持。 （2）進圖像數據存成各種格式（例如bmp），在各種GUI軟件中，均會直接顯示不同格式的圖像的函數，如MiniGui中的FillBoxWithBitmap函數。 （3）直接將圖像數據寫入FrameBuffer中。 在這里主要介紹第3種。FrameBuffer設備是運行在Linux控制臺上的一個優秀的圖形接口，他幾乎支持所有的硬件，提供了統一的API接口，很好地實現了硬件無關性，他可以直接操作顯存，而且還留有提供圖形加速功能的接口，運行時不需要root權限；FrameBuffer的設備節點是/dev/fb＊，用戶若要使用他，需要在編譯內核時選中FrameBuffer，其簡單的使用程序如下： struct fb_var_screeninfo vinfo。struct fb