《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計應(yīng)用 > 基于USB3.0高清內(nèi)窺鏡攝像系統(tǒng)的設(shè)計
基于USB3.0高清內(nèi)窺鏡攝像系統(tǒng)的設(shè)計
2016年電子技術(shù)應(yīng)用第3期
鄭志波,江貴平
南方醫(yī)科大學(xué) 生物醫(yī)學(xué)工程學(xué)院,廣東 廣州510515
摘要: 基于USB3.0高清內(nèi)窺鏡攝像系統(tǒng)具有結(jié)構(gòu)簡單、成本低廉、攜帶方便、圖像質(zhì)量高清、傳輸速度快(5 Gb/s)以及具有設(shè)備的即插即用和熱插拔、免驅(qū)等優(yōu)勢。該系統(tǒng)的整體架構(gòu)包括電源管理系統(tǒng)的設(shè)計、圖像采集與圖像處理系統(tǒng)的設(shè)計和USB3.0傳輸系統(tǒng)的設(shè)計。以CYUSB3065作為主芯片控制整個系統(tǒng),以O(shè)V5640作為圖像傳感器芯片用來采集并處理圖像數(shù)據(jù),將處理過的圖像數(shù)據(jù)經(jīng)USB3.0接口傳輸至上位機(jī),然后通過媒體播放器軟件顯示采集到的視頻圖像,最終輸出1080p全高清視頻圖像。
中圖分類號: R768.3
文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.2016.03.019
中文引用格式: 鄭志波,江貴平. 基于USB3.0高清內(nèi)窺鏡攝像系統(tǒng)的設(shè)計[J].電子技術(shù)應(yīng)用,2016,42(3):67-70.
英文引用格式: Zheng Zhibo,Jiang Guiping. Design of high-definition endoscopic camera system based on USB3.0[J].Application of Electronic Technique,2016,42(3):67-70.
Design of high-definition endoscopic camera system based on USB3.0
Zheng Zhibo,Jiang Guiping
School of Biomedical Enginnering,Southern Medical University,Guangzhou 510515,China
Abstract: This article is designed for high-definition endoscopic camera system based on USB3.0 interface,which has the advantages as follows:simple structure,low-cost,easy to carry,high-definition image quality,high transmission speed(5 Gb/s)and plug and play and hot swappable support equipment,free drive advantages and so on. This article designs the overall structure of the system,including the design of power management system,image acquisition and processing system and the USB3.0 transmission system.CYUSB3065,the main chip,contros the entire system,OV5640,the image sensor chip,collects and processes the image data,which is transmitted to the host via USB3.0 interface,and then the captured video images are displayed in media player software,finally,image output 1080p Full HD Video.
Key words : endoscope;camera system;USB3.0 interface;image sensor

0 引言

    隨著微型圖像傳感器和成像技術(shù)的不斷發(fā)展,人們對內(nèi)窺鏡攝像系統(tǒng)的圖像質(zhì)量、傳輸速度和攜帶方便的要求越來越高,而國內(nèi)內(nèi)窺鏡由于沒有掌握微型傳感器的核心技術(shù)和控制電路核心技術(shù),發(fā)展相對緩慢。因此,研究具有高圖像分辨率、傳輸超速的內(nèi)窺鏡攝像系統(tǒng)具有十分重要的現(xiàn)實意義。浙江大學(xué)姚陳昀等人設(shè)計了基于USB接口的高清電子內(nèi)窺鏡系統(tǒng)[1],其采用的是SXGA作為圖像傳感器以及USB2.0作為數(shù)據(jù)傳輸接口,但是由于其采集到的圖像數(shù)據(jù)是經(jīng)過壓縮的且傳輸速度較慢而無法滿足當(dāng)前內(nèi)窺鏡攝像系統(tǒng)對圖像質(zhì)量和數(shù)據(jù)傳輸速度的需要。因此,本文采用Cypress公司的CYUSB3065作為EZ-USB CX3橋接控制器的主芯片以及OmniVision公司的OV5640作為圖像傳感器的主芯片設(shè)計了一種基于USB3.0接口的高清內(nèi)窺鏡攝像系統(tǒng)。系統(tǒng)具有低價高性能便攜等特點,同時可以滿足鄉(xiāng)鎮(zhèn)醫(yī)療機(jī)構(gòu)或第三世界醫(yī)療機(jī)構(gòu)的需要。

1 攝像系統(tǒng)總體設(shè)計

    本設(shè)計主要由電源管理系統(tǒng)、圖像采集與圖像處理系統(tǒng)和USB3.0傳輸系統(tǒng)三大模塊組成。攝像系統(tǒng)的總體框圖如圖1所示。電源管理系統(tǒng)是為各個模塊提供不同的電壓;圖像采集與圖像處理系統(tǒng)是通過攝像頭采集并獲取需要的視頻圖像數(shù)據(jù),實現(xiàn)對攝像頭各種參數(shù)的設(shè)置;USB3.0傳輸系統(tǒng)是將經(jīng)過處理系統(tǒng)的圖像數(shù)據(jù)轉(zhuǎn)化為符合USB視頻類(USB Video Class,UVC)協(xié)議格式的數(shù)據(jù),并通過USB3.0接口傳輸給PC機(jī)。與其他總線接口相比,USB3.0具有很好的適應(yīng)性,且不需要考慮接口的兼容性。由于采用了UVC協(xié)議,使得本系統(tǒng)能實現(xiàn)設(shè)備的免驅(qū),這也是USB最突出的優(yōu)勢[2]。

qrs6-t1.gif

2 攝像系統(tǒng)硬件設(shè)計

2.1 圖像采集與圖像處理系統(tǒng)的設(shè)計

    本設(shè)計采用OV5640作為圖像采集與圖像處理系統(tǒng)的核心芯片。OV5640是一個高清CMOS圖像傳感器,它既能進(jìn)行圖像采集也能進(jìn)行圖像處理,且具有靈敏度高、串?dāng)_低、噪音低、圖像清晰度高、視頻捕捉功能強(qiáng)等優(yōu)點,此外,為了使醫(yī)生能更清楚地觀察內(nèi)窺鏡下圖像的細(xì)節(jié)信息,還要求采集到的圖像是無損非壓縮的,這些都是本設(shè)計選用此芯片的原因。

    OV5640的內(nèi)部結(jié)構(gòu)如圖2所示[3]。當(dāng)圖像傳感器通電后,定時發(fā)生器會輸出固定時鐘信號來訪問圖像行陣列,之后被采樣的像素數(shù)據(jù)通過放大器校正偏移量并與相應(yīng)的增益相乘,得到的數(shù)據(jù)經(jīng)模數(shù)轉(zhuǎn)換后將模擬信號轉(zhuǎn)化為數(shù)字信號。從圖像傳感器核心模塊(即經(jīng)過ADC轉(zhuǎn)換后)出來的數(shù)字信號經(jīng)過校正、去噪、自動對焦、白平衡等處理后,進(jìn)入圖像輸出接口,由移動行業(yè)處理器接口(Mobile Industry Processor Interface,MIPI)輸出串行圖像數(shù)據(jù),并與EZ-USB CX3橋接控制器的MIPI CSI-2接口相連接。

qrs6-t2.gif

2.2 USB3.0傳輸系統(tǒng)的設(shè)計

    EZ-USB CX3橋接控制器主要用于數(shù)字?jǐn)z像頭、醫(yī)療成像設(shè)備和USB顯微鏡等設(shè)備中。本設(shè)計使用EZ-USB CX3橋接控制器來進(jìn)行圖像數(shù)據(jù)傳輸,主要采用以下主要特性來實現(xiàn)攝像系統(tǒng):支持5 Gb/s USB3.0 PHY;MIPI CIS-2接口支持4個數(shù)據(jù)通道且每個通道支持1 Gb/s,完成與圖像傳感器的配置;支持UYVY視頻數(shù)據(jù)格式;連接時鐘頻率為400 kHz的I2C外設(shè)與UART外設(shè)。與USB2.0接口相比,USB3.0接口的數(shù)據(jù)傳輸速率理論值可達(dá)5.0 Gb/s,采用的是全雙工、四線差分信號數(shù)據(jù)傳輸,此外除了有2個用于USB2.0數(shù)據(jù)傳輸信號外,還有4個用于超速數(shù)據(jù)傳輸信號[4]?;谝陨蠋c原因,選用CYUSB3065作為EZ-USB CX3橋接控制器主芯片來設(shè)計高清內(nèi)窺鏡攝像系統(tǒng)。USB3.0傳輸模塊系統(tǒng)框圖如圖3所示[5]。

qrs6-t3.gif

2.2.1 MIPI CSI-2 接口的設(shè)計

    由于攝像機(jī)的應(yīng)用比較復(fù)雜,因此對圖像傳感器要求更高的分辨率。該要求會加大并行圖像傳感器的極限值,而這些接口難以擴(kuò)展,并需要多個互聯(lián)。因此,MIPI協(xié)會定義了攝像機(jī)串行接口2(CSI-2)標(biāo)準(zhǔn),以便提供功能強(qiáng)大、功耗低、抗干擾好且高速的標(biāo)準(zhǔn)串行接口解決圖像傳感器分辨率的問題。

    MIPI CSI-2 接口是一個既能傳輸數(shù)據(jù)信號也能傳輸時鐘信號的單向差分串行接口,每次可以傳輸4個數(shù)據(jù)通道和1個時鐘通道,且數(shù)據(jù)傳輸速率可達(dá)到1 Gb/s[6]。在本設(shè)計中,MIPI CSI-2控制器主要負(fù)責(zé)將圖像傳感器與CX3連接,并從該器件上讀取數(shù)據(jù)。因圖像傳感器OV5640提供2-lane MIPI數(shù)據(jù)傳輸[7],所以本文只選取了EZ-USB CX3 MIPI 的2-lane模式傳輸圖像數(shù)據(jù)。

    在配置完成后,MIPI CSI-2控制器將來自圖像傳感器的串行圖像數(shù)據(jù)分解,然后將其轉(zhuǎn)換成并行數(shù)據(jù),再通過并行接口發(fā)送該數(shù)據(jù)。此接口提供下面幾個信號[8]:HREF,行有效;VSYNC,幀有效;PCLK,像素時鐘;DATA,圖像數(shù)據(jù)的16個數(shù)據(jù)線。

2.2.2 GPIF II和DMA模塊的設(shè)計

    GPIF II模塊使用了一個狀態(tài)機(jī)讀取MIPI CSI-2控制器的并行接口輸出的視頻數(shù)據(jù),DMA模塊展示數(shù)據(jù)輸入和輸出方式。

    由于MIPI CSI-2 RX接口是一種沒有流量控制的接口,在插座填充或清除DMA緩沖區(qū)后會有一個時間延遲(多至幾μs),所以通過使用多個GPIF線程來解決延遲問題。GPIF模塊有4個線程,但每次只能是其中一個線程可以傳輸數(shù)據(jù)。在既解決延遲問題又不浪費線程情況下,本文選取了2個線程。使用計數(shù)器來跟蹤讀入插座的數(shù)據(jù)量,當(dāng)計數(shù)器的值達(dá)到極限值(8183),線程就會進(jìn)行切換。計數(shù)器值的設(shè)置如下:DMA緩沖區(qū)的大小為8 184個16位字節(jié),數(shù)據(jù)總線的寬度為16位,根據(jù)式(1)可知DMA緩沖區(qū)的計數(shù)器的數(shù)值設(shè)為8 183。

    qrs6-gs1.gif

2.3 電源管理系統(tǒng)的設(shè)計

    本文選用的USB3.0_MICRO-B接口除了能夠超速傳輸數(shù)據(jù)外,還為整個系統(tǒng)提供電源來源。其硬件電路如圖4所示,其引腳VBUS最大輸入電壓為6 V,經(jīng)過2 A降壓型DC/DC轉(zhuǎn)換芯片XC9243后,分別得到3.3 V、2.8 V、1.8 V、1.5 V、1.2 V工作電壓。

qrs6-t4.gif

    根據(jù)芯片XC9243提供的輸出電壓值與反饋電阻之間的關(guān)系式(2),可得出各種所需提供的工作電壓值如表1所示。

    qrs6-gs2.gif

qrs6-b1.gif

3 攝像系統(tǒng)軟件設(shè)計

    軟件設(shè)計主要包括圖像采集與圖像處理系統(tǒng)驅(qū)動程序的設(shè)計和USB3.0傳輸控制的設(shè)計。CX3固件是固化在芯片CYUSB3065內(nèi)部的程序代碼,主要負(fù)責(zé)控制和協(xié)調(diào)集成電路的功能以及響應(yīng)上位機(jī)請求命令。

3.1 圖像采集系統(tǒng)驅(qū)動程序的設(shè)計

    在完成硬件設(shè)計后,要能夠獲取圖像數(shù)據(jù)就必須進(jìn)行軟件驅(qū)動設(shè)計,在驅(qū)動中需要通過I2C接口對圖像傳感器OV5640實現(xiàn)控制。首先對I2C接口模塊進(jìn)行初始化并加載好所需的數(shù)據(jù),然后對I2C的WR、RD等接口進(jìn)行定義且等候圖像傳感器的驅(qū)動。在驅(qū)動完成之后,再通過I2C接口對整個OV5640進(jìn)行初始化。

3.2 CX3固件架構(gòu)設(shè)計

    CX3固件包括CX3硬件模塊的初始化,圖像傳感器OV5640和MIPI CSI-2控制器的配置,器件的枚舉,UVC特定請求的處理,通過I2C接口將視頻控制設(shè)置傳輸給圖像傳感器,在視頻數(shù)據(jù)流中添加UVC頭數(shù)據(jù)以及將帶有頭數(shù)據(jù)的視頻數(shù)據(jù)提交給USB等內(nèi)容。其設(shè)計構(gòu)架如圖5所示。

qrs6-t5.gif

    主程序main函數(shù)是程序運行的入口,主要用于啟動CX3器件及實時操作系統(tǒng)(Real-Time Operating System,RTOS)內(nèi)核,設(shè)置緩存以及配置CX3的I/O口。函數(shù)CyU3PdeviceInit用來初始化CX3器件,如果初始化成功,就用函數(shù)CyU3PdeviceCacheControl初始化CPU緩存(I-cache);如果不成功則報錯,重新初始化CX3器件。在配置成功后,函數(shù)CyU3PkernelEntry將初始化RTOS。啟動RTOS,在函數(shù)CyFXApplicationDefine中創(chuàng)建線程,實現(xiàn)圖像傳感器OV5640和MIPI CSI-2控制器之間的交互。本設(shè)計創(chuàng)建了一個UVC_app_thread應(yīng)用線程,接收圖像傳感器的串行數(shù)據(jù)。

4 結(jié)論

    本文第2節(jié)和第3節(jié)完成了整個系統(tǒng)的硬件設(shè)計和軟件設(shè)計,圖6所示為從內(nèi)窺鏡攝像系統(tǒng)(Endoscopic Camera System,ECS)媒體播放器軟件中截取的圖片,通過對亮度、對比度、色調(diào)、飽和度、清晰度、伽馬、白平衡的設(shè)置,可以獲取所需要的圖像清晰度。

qrs6-t6.gif

    內(nèi)窺鏡攝像系統(tǒng)的結(jié)構(gòu)小巧玲瓏,重量輕,非常方便攜帶。通過對內(nèi)窺鏡攝像系統(tǒng)軟硬件的設(shè)計以及相應(yīng)的調(diào)試,設(shè)計的這款攝像系統(tǒng)能夠獲取全高清的圖像、數(shù)據(jù)傳輸速度快,成本低廉,攜帶方便。就目前國內(nèi)醫(yī)療器械發(fā)展?fàn)顩r來看,該攝像系統(tǒng)的實現(xiàn)具有很強(qiáng)的實用價值以及很理想的經(jīng)濟(jì)效益。

參考文獻(xiàn)

[1] 姚陳昀.基于USB接口的高清電子內(nèi)窺鏡系統(tǒng)設(shè)計[D].杭州:浙江大學(xué)光電信息工程學(xué)院,2014.

[2] 殷開亮.基于UVC協(xié)議的USB3.0圖像采集系統(tǒng)設(shè)計[D].蘇州:蘇州大學(xué)電子與通信工程學(xué)院,2014.

[3] 陳燁.基于ARM的水雨情監(jiān)測裝置的設(shè)計[D].武漢:武漢理工大學(xué)自動化學(xué)院,2014.

[4] Zhou Shilei,Guan Yalin,Tang Xinkun.Signal integrity analysis of high-speed signal connector USB3.0[J].Advanced Materials Research,2013,760-762,320-324.

[5] Lian Pingping.A novel USB3.0 high definition 3D video camera based on ARM[J].Advanced Materials Research,2014,1037:474-477.

[6] MIPI Alliance Specification for Camera Serial Interface 2(CSI-2)/DataSheet[M].MIPI Alliance Inc.,2009.

[7] OV5640 1/4‘’ color CMOS QSXGA(5 megapixel) image sensor /DataSheet[M].OmniVision Technologies Inc.,2011.

[8] Cypress.How to interface a MIPI CSI-2 image sensor with EZ-USB CX3[DB/OL].http://www.cypress.com/documentation/application-notes,2015.10.14/2015.11.13.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。