0 引言

    基于機(jī)器視覺的智能目標(biāo)檢測系統(tǒng)應(yīng)用非常廣泛，尤其在航天軍工等領(lǐng)域中，經(jīng)常涉及高速目標(biāo)的實(shí)時檢測和控制，對目標(biāo)檢測的智能性和實(shí)時性提出了更嚴(yán)格的要求。在這種應(yīng)用中，視覺系統(tǒng)相對雷達(dá)、聲納具有信息量大、抗干擾能力強(qiáng)、軟件處理靈活、體積重量小、成本低等特點(diǎn)，但缺點(diǎn)是傳輸和處理需要的時間更多，因此很難滿足圖像信息傳輸和處理的實(shí)時性要求。

    高速相機(jī)一般通過GigE、Camera Link、USB3.0等接口將圖像采集后傳輸?shù)綀D像處理器上，這種方式把大量時間消耗到信息傳輸通道。為了解決這個問題，最好的方式是直接在近端對傳感器芯片采集的圖像進(jìn)行處理。FPGA憑借其硬件并行運(yùn)算的優(yōu)勢，越來越多地應(yīng)用于高速相機(jī)以及高速運(yùn)動檢測系統(tǒng)中，極大地提高了圖像處理速度，保證了系統(tǒng)的高速、實(shí)時性與準(zhǔn)確性^[1-6]。通過FPGA對圖像傳感器進(jìn)行近端處理，可以做到采集圖像與智能處理同步進(jìn)行。其最需要解決的問題是優(yōu)化智能算法，使得運(yùn)算更加簡單高效，并占用更少的資源。

    目前很多學(xué)者正致力于高速視覺目標(biāo)檢測系統(tǒng)的研究。GU Q Y等人設(shè)計(jì)了2 000 f/s的高速智能相機(jī)，可以對目標(biāo)進(jìn)行智能實(shí)時監(jiān)測^[7]。后又設(shè)計(jì)了高幀頻視頻拼接系統(tǒng)，該系統(tǒng)運(yùn)用了改進(jìn)的基于特征的視頻拼接算法，能夠?qū)崟r合成全景圖像，幀率可達(dá)500 f/s^[8]。麻省理工大學(xué)的CHEN J G等人通過高速攝像機(jī)(5 000 f/s）對懸臂梁上的目標(biāo)物體進(jìn)行位移測量實(shí)驗(yàn)，通過PC對數(shù)據(jù)進(jìn)行離線分析，得到了與激光測振儀和加速度計(jì)測量相一致的振動曲線。并且通過FFT算法對三組數(shù)據(jù)進(jìn)行頻域分析，得出了各個共振頻率分量^[9]。

    本文以高幀頻與實(shí)時性作為研究的切入點(diǎn)，設(shè)計(jì)了一種基于ZYNQ7000的高速相機(jī)平臺，充分利用芯片上的FPGA資源及其硬件并行的優(yōu)勢，進(jìn)行目標(biāo)提取及質(zhì)心檢測算法的實(shí)現(xiàn)^[10-14]。本文優(yōu)化了目標(biāo)檢測的FPGA算法，去掉中間緩存環(huán)節(jié)，以流水線結(jié)構(gòu)對圖像數(shù)據(jù)進(jìn)行實(shí)時流水處理，提高了目標(biāo)檢測算法的處理效率，可以在每幀圖像采集后的有限個時鐘周期內(nèi)完成位置檢測運(yùn)算，做到同步檢測。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)可以實(shí)現(xiàn)560×480分辨率、1 100 f/s、3像素精度的實(shí)時目標(biāo)檢測。

1 硬件系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)組成

    為了達(dá)到高速實(shí)時的要求，本系統(tǒng)采用FPGA直接驅(qū)動高速CMOS傳感器的方式，實(shí)現(xiàn)近端處理。該檢測系統(tǒng)主要由FPGA主控單元、CMOS圖像采集單元、多電源軌供電單元、對外接口單元和光學(xué)成像單元幾部分構(gòu)成，如圖1所示。

    FPGA主控單元選用ZYNQ7020芯片,片上集成ARM硬核和FPGA資源，ARM負(fù)責(zé)對CMOS傳感器進(jìn)行配置，F(xiàn)PGA對獲取圖像進(jìn)行數(shù)據(jù)處理、目標(biāo)檢測算法實(shí)現(xiàn)、輸出圖像及位置信息。

    CMOS圖像采集單元選用Python300型灰度CMOS傳感器，該傳感器分辨率為640×480，可以達(dá)到815 f/s的全分辨率輸出，并可通過開窗（ROI）操作進(jìn)一步提高幀頻。

    對外接口單元包括HDMI顯示接口、串口、JTAG接口等電路,實(shí)現(xiàn)圖像顯示、位置坐標(biāo)傳輸和調(diào)試下載等功能。

1.2 硬件設(shè)計(jì)

    該系統(tǒng)硬件電路設(shè)計(jì)為兩部分：FPGA主控板和高速底板，二者通過規(guī)范化的高速連接器進(jìn)行互聯(lián)和信號傳輸。主控板選用成品高速FPGA核心板，底板則采用4層PCB板設(shè)計(jì)，整合了CMOS電路、HDMI顯示電路、電源電路、串口電路等。

    底板設(shè)計(jì)主要是對上述各部分電路進(jìn)行合理布局布線。其中，由于CMOS傳感器輸出的是低壓差分信號（Low Voltage Differential Signal，LVDS），每路數(shù)據(jù)速率可以達(dá)到720 Mb/s，設(shè)計(jì)時必須考慮信號完整性。

    布線時對該信號進(jìn)行了特殊的處理，嚴(yán)格遵循高速差分線的規(guī)則：每對差分線平行布線，盡可能保持相同的最小距離，且小于線寬；減少過孔次數(shù)；布線拐角大于90°；差分阻抗控制在100 Ω，與差分信號接收端的100 Ω端接電阻相匹配，減少信號的反射；每組差分線布線長度盡可能保持一致；各組差分線之間保持較大距離。

    通過以上措施，保證高速差分信號的信號完整性，以及各組信號較小的延遲差。

2 軟件系統(tǒng)設(shè)計(jì)

    軟件設(shè)計(jì)主要實(shí)現(xiàn)使能控制和寄存器配置兩種功能。使能控制通過ARM處理器的IO操作控制CMOS的時鐘、供電；寄存器配置是ARM通過SPI總線IP核與CMOS傳感器進(jìn)行通信，對一些必要的寄存器進(jìn)行配置，主要包括窗口大小、圖像深度、運(yùn)行模式、圖像數(shù)據(jù)輸出等。

    通過配置CMOS內(nèi)部寄存器，使CMOS傳感器輸出8 bit深度、560×480分辨率、大于1 000 f/s的高速視頻流圖像，經(jīng)LVDS接口傳輸至FPGA進(jìn)行數(shù)據(jù)處理及算法實(shí)現(xiàn)。

3 信號處理及檢測算法FPGA實(shí)現(xiàn)

3.1 目標(biāo)檢測原理

3.1.1 目標(biāo)提取

    進(jìn)行目標(biāo)檢測，首先需要將圖像中的目標(biāo)與背景區(qū)分并提取出來。結(jié)合應(yīng)用場景，本系統(tǒng)選用背景差分法加閾值分割的方法對目標(biāo)進(jìn)行提取。

    首先獲取清晰穩(wěn)定的背景圖像，然后將當(dāng)前幀圖像與背景圖像對應(yīng)像素值做差，完成差分運(yùn)算。接著將差值與設(shè)定閾值進(jìn)行比較，若大于閾值，則判定為1，即運(yùn)動前景；反之為0，即背景，生成二值化圖像。

3.1.2 質(zhì)心檢測

    本系統(tǒng)所要檢測的目標(biāo)為一球體，進(jìn)行閾值分割之后的二值化圖像中，目標(biāo)表現(xiàn)為一個圓形亮斑?？紤]到目標(biāo)的特殊性，同時配合FPGA流水線結(jié)構(gòu)的特點(diǎn)，本文通過圓直徑檢測的方法，找出X方向和Y方向上直徑所在直線的交叉點(diǎn)，從而確定圓心所在位置。

    具體方法如圖2所示：將二值化圖像每行的像素灰度值相加，相加之和兩兩比較，在直徑所在的行上將會產(chǎn)生一個最大值，該最大值所對應(yīng)的行數(shù)即視為圓心的Y坐標(biāo)。列方向上進(jìn)行相同操作也可得到X坐標(biāo)。

    圓直徑檢測計(jì)算圓心的方法配合FPGA流水線結(jié)構(gòu),在讀取圖像的同時進(jìn)行處理和解算，可以最大程度減少檢測延遲，提高實(shí)時性。

3.2 FPGA邏輯設(shè)計(jì)

    CMOS傳感器圖像數(shù)據(jù)的傳輸按照自左向右、自下而上逐行進(jìn)行，每8個像素為一組，稱為一個kernel。由于目標(biāo)幀頻>1 000 f/s，每幀圖像更新的周期<1 ms，而其中大部分時間用來獲取圖像，無法在當(dāng)前幀周期內(nèi)完成圖像緩存和處理過程。

    本系統(tǒng)充分利用FPGA并行運(yùn)算的特點(diǎn)，邏輯設(shè)計(jì)上采用三級流水線結(jié)構(gòu)，如圖3所示，并去除中間緩存環(huán)節(jié)，在讀取圖像的同時將每組數(shù)據(jù)直接送入流水線逐級進(jìn)行處理。該流水線能夠同時處理三組數(shù)據(jù)，且每組中8個像素的操作也是同時的。如此，圖像讀取和處理的過程同步進(jìn)行，保證了數(shù)據(jù)處理的高效性與實(shí)時性。

    三級流水線結(jié)構(gòu)對應(yīng)了目標(biāo)檢測的3個步驟，邏輯設(shè)計(jì)如下：

    (1)背景差分

    在獲取當(dāng)前kernel值的同時，讀取背景幀中對應(yīng)地址的背景kernel值，將8個像素值同時對應(yīng)做差，求得各像素位置的差值，存入差值寄存器，輸入到下一級流水中。隨后立即處理下一個kernel的像素，直到讀完整幅圖像。

    (2)閾值分割

    差值寄存器更新后，將8個像素差值與設(shè)定的閾值進(jìn)行對比，大于閾值則二值化寄存器對應(yīng)位置像素賦值為最大值，反之則賦值為0，結(jié)果輸入到下一級流水。隨后進(jìn)行下一個kernel的分割。

    (3)質(zhì)心檢測

    質(zhì)心檢測邏輯分為兩個分支，分別計(jì)算目標(biāo)質(zhì)心的X坐標(biāo)和Y坐標(biāo)。

    計(jì)算X坐標(biāo)的邏輯中，設(shè)置560個列相加寄存器，每當(dāng)二值化寄存器更新，則將8個二值化像素值加入對應(yīng)列的列相加寄存器中。在讀取完整幀圖像時，比較各個列相加寄存器的值，得到最大值及對應(yīng)列數(shù)，即為X坐標(biāo)。

    計(jì)算Y坐標(biāo)的邏輯中，設(shè)置兩個寄存器，一個存儲當(dāng)前行像素值的和值，另一個存儲行像素和值的最大值。完成一行的讀取后，將和值寄存器值與最大和值寄存器的值作比較，若大于最大和值，則將最大和值更新為該行和值，并記錄此時的行數(shù)；反之則保持最大和值及對應(yīng)行數(shù)不變。當(dāng)讀取完一幀圖像后，最大和值對應(yīng)的行數(shù)即為質(zhì)心的Y坐標(biāo)。

4 系統(tǒng)測試與結(jié)果分析

4.1 測試環(huán)境

    通過光學(xué)平板固定相機(jī)，保持相機(jī)穩(wěn)定；以白色A4紙作為背景，檢測目標(biāo)為一黑色碳球；鏡頭為焦距6 mm的工業(yè)鏡頭，鏡頭與目標(biāo)距離20 cm，測試時通過平板LED燈進(jìn)行補(bǔ)光。測試主要分為精度測試、速度測試。

4.2 精度測試

    相機(jī)開啟后，首先采集500幀圖像作為背景幀。后將目標(biāo)固定于背景紙上，連續(xù)采樣10 000次，測試單點(diǎn)采集精度，并通過串口輸出目標(biāo)位置，繪制圖像。實(shí)驗(yàn)重復(fù)10次，測試結(jié)果如圖4所示，測試的單點(diǎn)精度典型值為3×3（像素）。

4.3 速度測試

4.3.1 幀率測試

    當(dāng)相機(jī)運(yùn)行在8 bit深度、560×480分辨率下，其幀率理論值為1 164 f/s。幀率大小通過以下方式進(jìn)行測試：將系統(tǒng)置于運(yùn)行模式，打開串口工具接收坐標(biāo)數(shù)據(jù)，同時進(jìn)行計(jì)時，通過一定時間內(nèi)接收的坐標(biāo)個數(shù)計(jì)算幀率。

    實(shí)驗(yàn)結(jié)果如下：系統(tǒng)運(yùn)行10 s，共接收11 871個坐標(biāo)數(shù)據(jù)，得到幀率測量值為1 187 f/s?？紤]到計(jì)時誤差的因素，可以得出，測量幀率與理論幀率基本一致，滿足系統(tǒng)設(shè)計(jì)要求。

4.3.2 運(yùn)動測試

    通過對目標(biāo)物體自由落體過程進(jìn)行檢測，來進(jìn)行系統(tǒng)運(yùn)動測試。目標(biāo)由靜止?fàn)顟B(tài)自由落下，系統(tǒng)捕捉整個過程并將實(shí)時位置發(fā)送到串口。通過對接收的位置坐標(biāo)進(jìn)行分析，得到圖5所示的運(yùn)動軌跡圖以及圖6所示的Y軸方向位移-時間關(guān)系圖。

    由圖6可以看出，位移曲線與理論曲線趨勢基本一致，且略小于理論值。測試過程中，目標(biāo)實(shí)際下落距離為60 mm，理論下落時間應(yīng)為0.11 s。而實(shí)際測量中，系統(tǒng)采集了140幀圖像，實(shí)際下落時間為0.12 s，比理論時間長0.01 s。

    分析測試結(jié)果：首先應(yīng)當(dāng)考慮空氣阻力的因素對自由落體運(yùn)動產(chǎn)生影響，導(dǎo)致加速度的值小于重力加速度，進(jìn)而使位移量小于理論值。另外，由圖5可以看出，下落方向與Y坐標(biāo)方向并非完全重合，存在X方向的位移，所以Y方向的位移小于預(yù)計(jì)值?？紤]到以上兩個因素的影響，可以認(rèn)為相機(jī)準(zhǔn)確檢測到了物體的高速運(yùn)動過程。

5 結(jié)論

    本文研制了一套高幀頻視覺實(shí)時目標(biāo)檢測系統(tǒng)，從硬件設(shè)計(jì)、軟件配置、FPGA算法實(shí)現(xiàn)分別進(jìn)行了介紹。采用了FPGA近端直接進(jìn)行智能處理的策略，設(shè)計(jì)了流水線處理的結(jié)構(gòu)，極大地解決了高速智能視覺檢測系統(tǒng)的實(shí)時性問題。最后對系統(tǒng)進(jìn)行了測試，結(jié)果表明，系統(tǒng)實(shí)現(xiàn)了560×480分辨率、1 100 f/s高速視頻流的實(shí)時目標(biāo)檢測，精度達(dá)到3個像素。該系統(tǒng)可以應(yīng)用到各種高速檢測的場景中，例如位移速度測量、振動分析、高速目標(biāo)監(jiān)測與控制等，后續(xù)工作將完善優(yōu)化算法，提高檢測的精度，并從圓形目標(biāo)推廣到不規(guī)則目標(biāo)，提高背景變化時檢測的魯棒性。

參考文獻(xiàn)

[1] 杜建寶，張祖鋒.基于FPGA的運(yùn)動目標(biāo)檢測系統(tǒng)的設(shè)計(jì)[J].儀器儀表用戶，2018(3)：40-42.

[2] 王曉娟，翟成瑞.基于FPGA聯(lián)合Sobel算法的實(shí)時圖像邊沿檢測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)測量與控制，2017，25(1)：34-37.

[3] 錢鋒，楊名宇，李剛，等.基于DSP+FPGA架構(gòu)的貓眼目標(biāo)快速檢測系統(tǒng)[J].光電子·激光，2016(8)：863-869.

[4] 溫杰，李錦明.基于FPGA的實(shí)時圖像邊沿檢測系統(tǒng)的實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用，2015，41(10)：65-67.

[5] 邵鵬，楊晨，張晉敏.基于FPGA的自適應(yīng)閾值運(yùn)動目標(biāo)檢測[J].應(yīng)用光學(xué)，2017，38(6)：903-909.

[6] 張浩.低空目標(biāo)探測雷達(dá)高速目標(biāo)檢測與跟蹤技術(shù)研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2016.

[7] ISHII I，TATEBE T，GU Q Y，et al.2000 fps real-time vision system with high-frame-rate video recording[C].Proceedings of IEEE International Conference on Robotics & Automation，2010：1536-1541.

[8] OKUMURA K I，RAUT S，GU Q Y，et al.Real-time feature-based video mosaicing at 500 fps[C].IEEE/RSJ International Conference on Intelligent Robots and Systems.IEEE，2014：2665-2670.

[9] CHEN J G，WADHWA N，CHA Y J，et al.Modal identification of simple structures with high-speed video using motion magnification[J].Journal of Sound & Vibration，2015，345：58-71.

[10] 劉珂.基于ZYNQ的高速圖像采集處理平臺設(shè)計(jì)與驗(yàn)證[D].濟(jì)南：山東大學(xué)，2016.

[11] 王瑩，高美鳳.基于FPGA的視頻圖像目標(biāo)檢測系統(tǒng)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2017，26(6)：98-102.

[12] 劉明.基于FPGA的紅外圖像識別與跟蹤系統(tǒng)[D].成都：電子科技大學(xué)，2016.

[13] 蘇峰，凌清，高梅國.紅外小目標(biāo)實(shí)時檢測系統(tǒng)實(shí)現(xiàn)[J].激光與紅外，2008，38(8)：826-829.

[14] 于帥.基于CMOS圖像傳感器的高速相機(jī)成像電路設(shè)計(jì)與研究[D].北京：中國科學(xué)院大學(xué)，2014.

作者信息:

楊魯新1，2，董文博1

（1.中國科學(xué)院空間應(yīng)用工程與技術(shù)中心 中國科學(xué)院太空應(yīng)用重點(diǎn)實(shí)驗(yàn)室，北京100094；

2.中國科學(xué)院大學(xué) 計(jì)算機(jī)與控制學(xué)院，北京101408）