0 引言

    基于機器視覺的智能目標檢測系統(tǒng)應(yīng)用非常廣泛，尤其在航天軍工等領(lǐng)域中，經(jīng)常涉及高速目標的實時檢測和控制，對目標檢測的智能性和實時性提出了更嚴格的要求。在這種應(yīng)用中，視覺系統(tǒng)相對雷達、聲納具有信息量大、抗干擾能力強、軟件處理靈活、體積重量小、成本低等特點，但缺點是傳輸和處理需要的時間更多，因此很難滿足圖像信息傳輸和處理的實時性要求。

    高速相機一般通過GigE、Camera Link、USB3.0等接口將圖像采集后傳輸?shù)綀D像處理器上，這種方式把大量時間消耗到信息傳輸通道。為了解決這個問題，最好的方式是直接在近端對傳感器芯片采集的圖像進行處理。FPGA憑借其硬件并行運算的優(yōu)勢，越來越多地應(yīng)用于高速相機以及高速運動檢測系統(tǒng)中，極大地提高了圖像處理速度，保證了系統(tǒng)的高速、實時性與準確性^[1-6]。通過FPGA對圖像傳感器進行近端處理，可以做到采集圖像與智能處理同步進行。其最需要解決的問題是優(yōu)化智能算法，使得運算更加簡單高效，并占用更少的資源。

    目前很多學(xué)者正致力于高速視覺目標檢測系統(tǒng)的研究。GU Q Y等人設(shè)計了2 000 f/s的高速智能相機，可以對目標進行智能實時監(jiān)測^[7]。后又設(shè)計了高幀頻視頻拼接系統(tǒng)，該系統(tǒng)運用了改進的基于特征的視頻拼接算法，能夠?qū)崟r合成全景圖像，幀率可達500 f/s^[8]。麻省理工大學(xué)的CHEN J G等人通過高速攝像機(5 000 f/s）對懸臂梁上的目標物體進行位移測量實驗，通過PC對數(shù)據(jù)進行離線分析，得到了與激光測振儀和加速度計測量相一致的振動曲線。并且通過FFT算法對三組數(shù)據(jù)進行頻域分析，得出了各個共振頻率分量^[9]。

    本文以高幀頻與實時性作為研究的切入點，設(shè)計了一種基于ZYNQ7000的高速相機平臺，充分利用芯片上的FPGA資源及其硬件并行的優(yōu)勢，進行目標提取及質(zhì)心檢測算法的實現(xiàn)^[10-14]。本文優(yōu)化了目標檢測的FPGA算法，去掉中間緩存環(huán)節(jié)，以流水線結(jié)構(gòu)對圖像數(shù)據(jù)進行實時流水處理，提高了目標檢測算法的處理效率，可以在每幀圖像采集后的有限個時鐘周期內(nèi)完成位置檢測運算，做到同步檢測。實驗結(jié)果表明，該系統(tǒng)可以實現(xiàn)560×480分辨率、1 100 f/s、3像素精度的實時目標檢測。

1 硬件系統(tǒng)設(shè)計

1.1 系統(tǒng)組成

    為了達到高速實時的要求，本系統(tǒng)采用FPGA直接驅(qū)動高速CMOS傳感器的方式，實現(xiàn)近端處理。該檢測系統(tǒng)主要由FPGA主控單元、CMOS圖像采集單元、多電源軌供電單元、對外接口單元和光學(xué)成像單元幾部分構(gòu)成，如圖1所示。

    FPGA主控單元選用ZYNQ7020芯片,片上集成ARM硬核和FPGA資源，ARM負責對CMOS傳感器進行配置，F(xiàn)PGA對獲取圖像進行數(shù)據(jù)處理、目標檢測算法實現(xiàn)、輸出圖像及位置信息。

    CMOS圖像采集單元選用Python300型灰度CMOS傳感器，該傳感器分辨率為640×480，可以達到815 f/s的全分辨率輸出，并可通過開窗（ROI）操作進一步提高幀頻。

    對外接口單元包括HDMI顯示接口、串口、JTAG接口等電路,實現(xiàn)圖像顯示、位置坐標傳輸和調(diào)試下載等功能。

1.2 硬件設(shè)計

    該系統(tǒng)硬件電路設(shè)計為兩部分：FPGA主控板和高速底板，二者通過規(guī)范化的高速連接器進行互聯(lián)和信號傳輸。主控板選用成品高速FPGA核心板，底板則采用4層PCB板設(shè)計，整合了CMOS電路、HDMI顯示電路、電源電路、串口電路等。

    底板設(shè)計主要是對上述各部分電路進行合理布局布線。其中，由于CMOS傳感器輸出的是低壓差分信號（Low Voltage Differential Signal，LVDS），每路數(shù)據(jù)速率可以達到720 Mb/s，設(shè)計時必須考慮信號完整性。

    布線時對該信號進行了特殊的處理，嚴格遵循高速差分線的規(guī)則：每對差分線平行布線，盡可能保持相同的最小距離，且小于線寬；減少過孔次數(shù)；布線拐角大于90°；差分阻抗控制在100 Ω，與差分信號接收端的100 Ω端接電阻相匹配，減少信號的反射；每組差分線布線長度盡可能保持一致；各組差分線之間保持較大距離。

    通過以上措施，保證高速差分信號的信號完整性，以及各組信號較小的延遲差。

2 軟件系統(tǒng)設(shè)計

    軟件設(shè)計主要實現(xiàn)使能控制和寄存器配置兩種功能。使能控制通過ARM處理器的IO操作控制CMOS的時鐘、供電；寄存器配置是ARM通過SPI總線IP核與CMOS傳感器進行通信，對一些必要的寄存器進行配置，主要包括窗口大小、圖像深度、運行模式、圖像數(shù)據(jù)輸出等。

    通過配置CMOS內(nèi)部寄存器，使CMOS傳感器輸出8 bit深度、560×480分辨率、大于1 000 f/s的高速視頻流圖像，經(jīng)LVDS接口傳輸至FPGA進行數(shù)據(jù)處理及算法實現(xiàn)。

3 信號處理及檢測算法FPGA實現(xiàn)

3.1 目標檢測原理

3.1.1 目標提取

    進行目標檢測，首先需要將圖像中的目標與背景區(qū)分并提取出來。結(jié)合應(yīng)用場景，本系統(tǒng)選用背景差分法加閾值分割的方法對目標進行提取。

    首先獲取清晰穩(wěn)定的背景圖像，然后將當前幀圖像與背景圖像對應(yīng)像素值做差，完成差分運算。接著將差值與設(shè)定閾值進行比較，若大于閾值，則判定為1，即運動前景；反之為0，即背景，生成二值化圖像。

3.1.2 質(zhì)心檢測

    本系統(tǒng)所要檢測的目標為一球體，進行閾值分割之后的二值化圖像中，目標表現(xiàn)為一個圓形亮斑。考慮到目標的特殊性，同時配合FPGA流水線結(jié)構(gòu)的特點，本文通過圓直徑檢測的方法，找出X方向和Y方向上直徑所在直線的交叉點，從而確定圓心所在位置。

    具體方法如圖2所示：將二值化圖像每行的像素灰度值相加，相加之和兩兩比較，在直徑所在的行上將會產(chǎn)生一個最大值，該最大值所對應(yīng)的行數(shù)即視為圓心的Y坐標。列方向上進行相同操作也可得到X坐標。

    圓直徑檢測計算圓心的方法配合FPGA流水線結(jié)構(gòu),在讀取圖像的同時進行處理和解算，可以最大程度減少檢測延遲，提高實時性。

3.2 FPGA邏輯設(shè)計

    CMOS傳感器圖像數(shù)據(jù)的傳輸按照自左向右、自下而上逐行進行，每8個像素為一組，稱為一個kernel。由于目標幀頻>1 000 f/s，每幀圖像更新的周期<1 ms，而其中大部分時間用來獲取圖像，無法在當前幀周期內(nèi)完成圖像緩存和處理過程。

    本系統(tǒng)充分利用FPGA并行運算的特點，邏輯設(shè)計上采用三級流水線結(jié)構(gòu)，如圖3所示，并去除中間緩存環(huán)節(jié)，在讀取圖像的同時將每組數(shù)據(jù)直接送入流水線逐級進行處理。該流水線能夠同時處理三組數(shù)據(jù)，且每組中8個像素的操作也是同時的。如此，圖像讀取和處理的過程同步進行，保證了數(shù)據(jù)處理的高效性與實時性。

    三級流水線結(jié)構(gòu)對應(yīng)了目標檢測的3個步驟，邏輯設(shè)計如下：

    (1)背景差分

    在獲取當前kernel值的同時，讀取背景幀中對應(yīng)地址的背景kernel值，將8個像素值同時對應(yīng)做差，求得各像素位置的差值，存入差值寄存器，輸入到下一級流水中。隨后立即處理下一個kernel的像素，直到讀完整幅圖像。

    (2)閾值分割

    差值寄存器更新后，將8個像素差值與設(shè)定的閾值進行對比，大于閾值則二值化寄存器對應(yīng)位置像素賦值為最大值，反之則賦值為0，結(jié)果輸入到下一級流水。隨后進行下一個kernel的分割。

    (3)質(zhì)心檢測

    質(zhì)心檢測邏輯分為兩個分支，分別計算目標質(zhì)心的X坐標和Y坐標。

    計算X坐標的邏輯中，設(shè)置560個列相加寄存器，每當二值化寄存器更新，則將8個二值化像素值加入對應(yīng)列的列相加寄存器中。在讀取完整幀圖像時，比較各個列相加寄存器的值，得到最大值及對應(yīng)列數(shù)，即為X坐標。

    計算Y坐標的邏輯中，設(shè)置兩個寄存器，一個存儲當前行像素值的和值，另一個存儲行像素和值的最大值。完成一行的讀取后，將和值寄存器值與最大和值寄存器的值作比較，若大于最大和值，則將最大和值更新為該行和值，并記錄此時的行數(shù)；反之則保持最大和值及對應(yīng)行數(shù)不變。當讀取完一幀圖像后，最大和值對應(yīng)的行數(shù)即為質(zhì)心的Y坐標。

4 系統(tǒng)測試與結(jié)果分析

4.1 測試環(huán)境

    通過光學(xué)平板固定相機，保持相機穩(wěn)定；以白色A4紙作為背景，檢測目標為一黑色碳球；鏡頭為焦距6 mm的工業(yè)鏡頭，鏡頭與目標距離20 cm，測試時通過平板LED燈進行補光。測試主要分為精度測試、速度測試。

4.2 精度測試

    相機開啟后，首先采集500幀圖像作為背景幀。后將目標固定于背景紙上，連續(xù)采樣10 000次，測試單點采集精度，并通過串口輸出目標位置，繪制圖像。實驗重復(fù)10次，測試結(jié)果如圖4所示，測試的單點精度典型值為3×3（像素）。

4.3 速度測試

4.3.1 幀率測試

    當相機運行在8 bit深度、560×480分辨率下，其幀率理論值為1 164 f/s。幀率大小通過以下方式進行測試：將系統(tǒng)置于運行模式，打開串口工具接收坐標數(shù)據(jù)，同時進行計時，通過一定時間內(nèi)接收的坐標個數(shù)計算幀率。

    實驗結(jié)果如下：系統(tǒng)運行10 s，共接收11 871個坐標數(shù)據(jù)，得到幀率測量值為1 187 f/s?？紤]到計時誤差的因素，可以得出，測量幀率與理論幀率基本一致，滿足系統(tǒng)設(shè)計要求。

4.3.2 運動測試

    通過對目標物體自由落體過程進行檢測，來進行系統(tǒng)運動測試。目標由靜止狀態(tài)自由落下，系統(tǒng)捕捉整個過程并將實時位置發(fā)送到串口。通過對接收的位置坐標進行分析，得到圖5所示的運動軌跡圖以及圖6所示的Y軸方向位移-時間關(guān)系圖。

    由圖6可以看出，位移曲線與理論曲線趨勢基本一致，且略小于理論值。測試過程中，目標實際下落距離為60 mm，理論下落時間應(yīng)為0.11 s。而實際測量中，系統(tǒng)采集了140幀圖像，實際下落時間為0.12 s，比理論時間長0.01 s。

    分析測試結(jié)果：首先應(yīng)當考慮空氣阻力的因素對自由落體運動產(chǎn)生影響，導(dǎo)致加速度的值小于重力加速度，進而使位移量小于理論值。另外，由圖5可以看出，下落方向與Y坐標方向并非完全重合，存在X方向的位移，所以Y方向的位移小于預(yù)計值?？紤]到以上兩個因素的影響，可以認為相機準確檢測到了物體的高速運動過程。

5 結(jié)論

    本文研制了一套高幀頻視覺實時目標檢測系統(tǒng)，從硬件設(shè)計、軟件配置、FPGA算法實現(xiàn)分別進行了介紹。采用了FPGA近端直接進行智能處理的策略，設(shè)計了流水線處理的結(jié)構(gòu)，極大地解決了高速智能視覺檢測系統(tǒng)的實時性問題。最后對系統(tǒng)進行了測試，結(jié)果表明，系統(tǒng)實現(xiàn)了560×480分辨率、1 100 f/s高速視頻流的實時目標檢測，精度達到3個像素。該系統(tǒng)可以應(yīng)用到各種高速檢測的場景中，例如位移速度測量、振動分析、高速目標監(jiān)測與控制等，后續(xù)工作將完善優(yōu)化算法，提高檢測的精度，并從圓形目標推廣到不規(guī)則目標，提高背景變化時檢測的魯棒性。

參考文獻

[1] 杜建寶，張祖鋒.基于FPGA的運動目標檢測系統(tǒng)的設(shè)計[J].儀器儀表用戶，2018(3)：40-42.

[2] 王曉娟，翟成瑞.基于FPGA聯(lián)合Sobel算法的實時圖像邊沿檢測系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機測量與控制，2017，25(1)：34-37.

[3] 錢鋒，楊名宇，李剛，等.基于DSP+FPGA架構(gòu)的貓眼目標快速檢測系統(tǒng)[J].光電子·激光，2016(8)：863-869.

[4] 溫杰，李錦明.基于FPGA的實時圖像邊沿檢測系統(tǒng)的實現(xiàn)[J].電子技術(shù)應(yīng)用，2015，41(10)：65-67.

[5] 邵鵬，楊晨，張晉敏.基于FPGA的自適應(yīng)閾值運動目標檢測[J].應(yīng)用光學(xué)，2017，38(6)：903-909.

[6] 張浩.低空目標探測雷達高速目標檢測與跟蹤技術(shù)研究與實現(xiàn)[D].成都：電子科技大學(xué)，2016.

[7] ISHII I，TATEBE T，GU Q Y，et al.2000 fps real-time vision system with high-frame-rate video recording[C].Proceedings of IEEE International Conference on Robotics & Automation，2010：1536-1541.

[8] OKUMURA K I，RAUT S，GU Q Y，et al.Real-time feature-based video mosaicing at 500 fps[C].IEEE/RSJ International Conference on Intelligent Robots and Systems.IEEE，2014：2665-2670.

[9] CHEN J G，WADHWA N，CHA Y J，et al.Modal identification of simple structures with high-speed video using motion magnification[J].Journal of Sound & Vibration，2015，345：58-71.

[10] 劉珂.基于ZYNQ的高速圖像采集處理平臺設(shè)計與驗證[D].濟南：山東大學(xué)，2016.

[11] 王瑩，高美鳳.基于FPGA的視頻圖像目標檢測系統(tǒng)[J].計算機系統(tǒng)應(yīng)用，2017，26(6)：98-102.

[12] 劉明.基于FPGA的紅外圖像識別與跟蹤系統(tǒng)[D].成都：電子科技大學(xué)，2016.

[13] 蘇峰，凌清，高梅國.紅外小目標實時檢測系統(tǒng)實現(xiàn)[J].激光與紅外，2008，38(8)：826-829.

[14] 于帥.基于CMOS圖像傳感器的高速相機成像電路設(shè)計與研究[D].北京：中國科學(xué)院大學(xué)，2014.

作者信息:

楊魯新1，2，董文博1

（1.中國科學(xué)院空間應(yīng)用工程與技術(shù)中心 中國科學(xué)院太空應(yīng)用重點實驗室，北京100094；

2.中國科學(xué)院大學(xué) 計算機與控制學(xué)院，北京101408）