《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 業(yè)界動態(tài) > Linux系統(tǒng)下USB攝像頭驅(qū)動開發(fā)

Linux系統(tǒng)下USB攝像頭驅(qū)動開發(fā)

2008-07-30
作者:王 滔 于 潔

??? 摘 要: 介紹了在Linux系統(tǒng)下開發(fā)符合Video for Linux標(biāo)準(zhǔn)的USB攝像頭驅(qū)動" title="攝像頭驅(qū)動">攝像頭驅(qū)動的方法,并對該標(biāo)準(zhǔn)提出“不間斷采集”的改進(jìn)思路,配合雙URB、雙幀緩沖等方法,提高采集速度。
??? 關(guān)鍵詞: Linux設(shè)備驅(qū)動? USB攝像頭? Video for Linux? 不間斷采集

?

??? USB攝像頭以其良好的性能和低廉的價格得到廣泛應(yīng)用。同時因其靈活、方便的特性,易于集成到嵌入式系統(tǒng)中。但是如果使用現(xiàn)有的符合Video for Linux標(biāo)準(zhǔn)的驅(qū)動程序配合通用應(yīng)用程序" title="應(yīng)用程序">應(yīng)用程序,難以充分利用USB帶寬,幀速不高,不易滿足實(shí)時監(jiān)控等要求。本文首先介紹在Linux系統(tǒng)下USB攝像頭驅(qū)動編制的一般方法,然后說明在此基礎(chǔ)上如何提高幀速。
1 Linux系統(tǒng)中的USB 攝像頭驅(qū)動程序
??? USB設(shè)備驅(qū)動程序完全符合通用設(shè)備驅(qū)動的準(zhǔn)則,不同的是內(nèi)核提供了一些特別的API函數(shù),方便驅(qū)動注冊、銷毀自己,例如usb_register()和usb_deregister();2.4版的內(nèi)核還提供了對于hotplug的支持。
1.1 USB攝像頭驅(qū)動的一般編寫方法
??? 攝像頭屬于視頻類設(shè)備。在目前的Linux核心中,視頻部分的標(biāo)準(zhǔn)是Video for Linux(簡稱V4L)。這個標(biāo)準(zhǔn)其實(shí)定義了一套接口,內(nèi)核、驅(qū)動、應(yīng)用程序以這個接口為標(biāo)準(zhǔn)進(jìn)行交流。目前的V4L涵蓋了視、音頻流捕捉及處理等內(nèi)容,USB攝像頭也屬于它支持的范疇。
??? 因此,USB攝像頭的驅(qū)動應(yīng)當(dāng)與內(nèi)核提供的視頻驅(qū)動掛鉤。即首先在驅(qū)動中聲明一個video_device結(jié)構(gòu),并為其指定文件操作函數(shù)指針數(shù)組 .fops ,向系統(tǒng)注冊。在應(yīng)用程序發(fā)出文件操作的相關(guān)命令時,核心根據(jù)這些指針調(diào)用相應(yīng)函數(shù),并將該結(jié)構(gòu)作為參數(shù)傳遞給它們。這樣,就完成了驅(qū)動和核心之間的通信。例如:
??? static struct video_device vdev_template = {……};?//聲明video_device,指出掛接驅(qū)動
??? static struct file_operations ov511_fops = {……};//聲明本驅(qū)動的文件操作函數(shù)指針
??? struct video_device *vdev = video_devdata(file);//從文件指針中提取出video_device結(jié)構(gòu)
??? 在video_device結(jié)構(gòu)中,有一個私有指針priv,可以將它指向一塊保留內(nèi)存。在這塊內(nèi)存中,保存著本驅(qū)動、本設(shè)備的相關(guān)初始化信息。這塊內(nèi)存的申請、初始化、指針指向等工作都是在USB驅(qū)動的枚舉函數(shù).probe中完成。這樣,在枚舉函數(shù)將控制權(quán)返還給系統(tǒng)后,因為內(nèi)核不銷毀保留內(nèi)存,所以驅(qū)動仍然保留著自己的信息。這點(diǎn)與Windows系統(tǒng)中WDM驅(qū)動有異曲同工之處。當(dāng)然,在驅(qū)動卸載函數(shù)中,應(yīng)當(dāng)將申請的各塊內(nèi)存全部釋放。
1.2?使用雙URB輪流通信
??? 眾所周知,USB1.1總線標(biāo)準(zhǔn)定義了控制、中斷、批量、等時等四種管道。對于時間性極強(qiáng)但是準(zhǔn)確度要求不高的視頻捕捉應(yīng)用來說,攝像頭應(yīng)當(dāng)使用等時傳輸方式。為了盡可能快地得到圖像數(shù)據(jù)" title="圖像數(shù)據(jù)">圖像數(shù)據(jù),應(yīng)當(dāng)在URB中指定USB_ISO_ASAP標(biāo)志。
??? urb->transfer_flags = USB_ISO_ASAP;?//盡可能快地發(fā)出本URB
??? Linux系統(tǒng)中任何USB傳輸都通過URB實(shí)現(xiàn)。為提高速度,可以考慮擴(kuò)大URB的緩沖,這樣可以降低每個USB事務(wù)中握手信息所占比例,提高有效數(shù)據(jù)的傳輸速度。但是受限于總線帶寬和具體的USB設(shè)備芯片,單純擴(kuò)大URB的緩沖不能無限制地解決問題。具體分析一下USB傳輸在操作系統(tǒng)中的實(shí)現(xiàn):每次傳輸都要包括URB的建立、發(fā)出、回收、數(shù)據(jù)整理等階段,這些時間不產(chǎn)生有效數(shù)據(jù)。因此可以建立兩個URB,在等待一個URB被回收時,也就是圖像正在被傳感器采集時,處理、初始化另一個URB,并在回收后立刻將其發(fā)出。兩個URB交替使用,大大減少了額外時間。工作流程如圖1所示。
??? 這個過程是在URB的完成例程" title="例程">例程中實(shí)現(xiàn)的,有兩點(diǎn)需要注意:首先處理再次初始化的代碼時間不能長,否則會造成完成例程的重入,如果確實(shí)來不及,可以在完成例程中設(shè)定標(biāo)志,例如“數(shù)據(jù)采集好”旗語,由應(yīng)用程序使用阻塞ioctl()來查詢該旗語并做處理;其次由于CPU可能會在完成例程中停留較長時間,系統(tǒng)負(fù)擔(dān)較大,可以在 .open 函數(shù)中初始化兩個URB并將其發(fā)出,有限度地減輕系統(tǒng)負(fù)擔(dān)。
1.3?使用雙幀緩沖提高效率
??? Linux系統(tǒng)中,文件操作通常是由read、write等系統(tǒng)調(diào)用來完成。這些系統(tǒng)調(diào)用在驅(qū)動中的解決方法就是用copy_to_user() 、copy_from_user() 等函數(shù)在核態(tài)、戶態(tài)內(nèi)存空間中互相拷貝。但是對于大批量的圖像數(shù)據(jù),采用拷貝的方法顯然會增加時間開銷,因此用內(nèi)存映射的方法解決。首先使用vmalloc()申請足夠大的核態(tài)內(nèi)存,將其作為圖像數(shù)據(jù)緩沖空間,兩個URB帶回的圖像數(shù)據(jù)在這里暫存;然后使用remap_page_range() 函數(shù)將其逐頁映射到用戶空間中。戶態(tài)的圖像處理程序使用mmap() 函數(shù),直接讀寫核態(tài)圖像緩沖內(nèi)存,大大減少額外開銷。
??? 圖像數(shù)據(jù)的處理可能要花費(fèi)比較長的時間,不同的算法對于數(shù)據(jù)保留時間的要求也不一樣。因此可以申請兩幀圖像緩沖,在處理一幀圖像的同時,將兩個URB帶回的數(shù)據(jù)全部填充到另一幀緩沖中,這樣可以免去時間沖突上的麻煩。
??? 值得注意的是:這種方法要求時刻持有當(dāng)前幀的序號、每一幀的起始地址等信息,不能將兩幀圖像混淆。這些信息可以保存在保留內(nèi)存中,當(dāng)前幀的數(shù)據(jù)整理、序號改變在URB完成例程中實(shí)現(xiàn)。
2 V4L標(biāo)準(zhǔn)的改進(jìn)
??? V4L標(biāo)準(zhǔn)目前已經(jīng)發(fā)展到第二版V4L2,其基本思路與V4L相同。
2.1?標(biāo)準(zhǔn)分析
??? 根據(jù)V4L標(biāo)準(zhǔn),戶態(tài)程序在需要一幀圖像時,CPU的走向如圖2。CPU按照123456的順序完成一個循環(huán)。在這里,有一個細(xì)節(jié)被忽略:在完成例程中,也就是圖2中步驟6,該URB被立刻發(fā)出,但是由于這時用戶程序正在阻塞等待,沒辦法再次提出獲得圖像的申請,因此在判斷有無新請求時,判斷的結(jié)果必然是當(dāng)前無請求,導(dǎo)致下一個URB帶回的數(shù)據(jù)被驅(qū)動丟棄;由于核態(tài)、戶態(tài)的切換需要一定的時間,加上戶態(tài)多進(jìn)程同步等開銷,等到應(yīng)用程序能夠再次發(fā)出獲得一副圖像的申請時,已經(jīng)有不止一個URB帶回的數(shù)據(jù)被丟棄掉,這些URB包含的數(shù)據(jù)正好是新一幀圖像的開始部分。因此驅(qū)動必須等到再下一幀圖像才能保存數(shù)據(jù)、緩沖。這樣憑白損失了一幀圖像,幀速最少下降一半。

?


2.2?改進(jìn)思路:不間斷采集
??? 為了解決這個問題,可以改進(jìn)V4L標(biāo)準(zhǔn)作,使其增加新的功能:通過新的參數(shù),讓ioctl()函數(shù)通知驅(qū)動不間斷采集、緩沖圖像數(shù)據(jù),輪流保存在兩幀緩沖區(qū)中,并在一幀圖像采集" title="圖像采集">圖像采集好后,設(shè)定“圖像采集好”旗語。戶態(tài)程序只需要發(fā)出一次“獲得圖像”請求,就可以通過阻塞等待該旗語,不斷獲得圖像。在采集結(jié)束后,再次通過新的參數(shù),讓驅(qū)動停止緩沖即可。CPU工作流程圖如圖3。

?


??? 注意到圖2、圖3,兩種“判斷有無新請求”的不同,即可發(fā)現(xiàn)新方法假定一直有請求,因此不丟棄每個URB帶回的數(shù)據(jù),輪流保存在兩個幀緩沖內(nèi)。
??? V4L已經(jīng)作為約定俗成的標(biāo)準(zhǔn)被內(nèi)核支持,因此如果使用全新的參數(shù),工作量將相當(dāng)巨大,并且不能和現(xiàn)有的應(yīng)用程序兼容。考慮到現(xiàn)有的圖像采集應(yīng)用程序使用VIDIOCMCAPTURE作為參數(shù),并提供幀序號,要求驅(qū)動將圖像保存到指定序號的幀緩沖內(nèi)。由于驅(qū)動通常僅僅提供幾幀緩沖,因此該序號不會大于某個數(shù)字,如10。因此可以繼續(xù)使用VIDIOCMCAPTURE參數(shù),搭配較大的序號來表示新增的功能,例如用10000和10001來分別表示開始和停止緩沖圖像數(shù)據(jù)的要求。驅(qū)動在收到VIDIOCMCAPTURE要求后,檢查這個序號。如果小于10000,則按照正常的方法處理,否則按照改進(jìn)方法。這種思路可以有效解決兼容性問題。
2.3? 實(shí)驗結(jié)果
??? 在賽揚(yáng)366、USB1.1接口的計算機(jī)平臺上,采用上述不間斷采集改進(jìn)V4L標(biāo)準(zhǔn),配合雙URB、雙幀緩沖等方法后,幀速提高兩倍有余,有效數(shù)據(jù)傳輸速度達(dá)960KB/s,接近等時傳輸方式下USB總線的帶寬極限。
參考文獻(xiàn)
1 O’Reilly & Associates,Inc. Linux Device Drivers. Second? edition.2001
2 O’Reilly & Associates,Inc. Understanding the Linux Kernel.2000
3 Detlef Fliegl. Programming Guid for Linux USB Device Drivers.2000
4 OmniVision Tecnologies,Inc. OV511+Data Sheet. 2000

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。