《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 可編程邏輯 > 設(shè)計(jì)應(yīng)用 > 基于FPGA的多源數(shù)據(jù)融合目標(biāo)檢測(cè)的研究與實(shí)現(xiàn)
基于FPGA的多源數(shù)據(jù)融合目標(biāo)檢測(cè)的研究與實(shí)現(xiàn)
電子技術(shù)應(yīng)用
韓德強(qiáng)，閆釗，楊淇善
北京工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院
摘要： 隨著智能駕駛、機(jī)器人等技術(shù)的高速發(fā)展，在這些場(chǎng)景下常規(guī)的二維檢測(cè)算法并不能滿足環(huán)境感知的要求，需要三維目標(biāo)檢測(cè)去獲得精準(zhǔn)的環(huán)境信息。但是，目前大多主流的多源數(shù)據(jù)融合的三維目標(biāo)檢測(cè)模型都依賴于高算力、高功耗的平臺(tái)，難以在性能較低的嵌入式平臺(tái)實(shí)現(xiàn)。針對(duì)這些問題提出了一種在低功耗的FPGA平臺(tái)上實(shí)現(xiàn)多源融合的三維目標(biāo)檢測(cè)的方法，通過融合激光雷達(dá)點(diǎn)云與攝像頭圖像數(shù)據(jù)，來彌補(bǔ)點(diǎn)云特征信息的不足，以實(shí)現(xiàn)更高的準(zhǔn)確率和檢測(cè)的穩(wěn)定性。同時(shí)結(jié)合FPGA平臺(tái)的特點(diǎn)，對(duì)融合的特征進(jìn)行篩選及處理，并結(jié)合量化策略對(duì)模型進(jìn)行壓縮。經(jīng)過實(shí)驗(yàn)，融合方式明顯提升小物體的準(zhǔn)確度，量化后的模型在三維檢測(cè)平均精度損失小于3%的情況下在端側(cè)FPGA平臺(tái)成功運(yùn)行。
中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)志碼：A DOI: 10.16157/j.issn.0258-7998.256663
中文引用格式： 韓德強(qiáng)，閆釗，楊淇善. 基于FPGA的多源數(shù)據(jù)融合目標(biāo)檢測(cè)的研究與實(shí)現(xiàn)[J]. 電子技術(shù)應(yīng)用，2025，51(11)：17-24.
英文引用格式： Han Deqiang，Yan Zhao，Yang Qishan. Research and implementation of multi-source data fusion target detection based on FPGA[J]. Application of Electronic Technique，2025，51(11)：17-24.
Research and implementation of multi-source data fusion target detection based on FPGA
Han Deqiang，Yan Zhao，Yang Qishan
School of Computer Science，Beijing University of Technology
Abstract： With the rapid development of technologies such as intelligent driving and robots, conventional 2D detection algorithms cannot meet the requirements of environmental perception in these scenarios, and 3D target detection is required to obtain accurate environmental information. However, the current mainstream 3D target detection models based on multi-source data fusion rely on high-computing and high-power platforms, and are difficult to implement on low-performance embedded platforms. In response to these problems, a method for implementing multi-source fusion 3D target detection on a low-power FPGA platform is proposed. By fusing the LiDAR point cloud and camera image data, the lack of point cloud feature information is compensated to achieve higher accuracy and detection stability. At the same time, combined with the characteristics of the FPGA platform, the fused features are screened and processed, and the model is compressed in combination with a quantization strategy. After experiments, the fusion method significantly improves the accuracy of small objects, and the quantized model runs successfully on the end-side FPGA platform with an average 3D accuracy loss of less than 3%.
Key words : LiDAR；3D object detection；FPGA；embedded；multi-sensor fusion

引言

隨著人工智能技術(shù)的突飛猛進(jìn)，人工智能相關(guān)的應(yīng)用已經(jīng)和人們的生活息息相關(guān)。機(jī)器人以及自動(dòng)駕駛的相關(guān)應(yīng)用和研究也越來越頻繁地出現(xiàn)在公眾視角之內(nèi)。然而，隨著應(yīng)用場(chǎng)景日益復(fù)雜，人們需要更加優(yōu)秀的環(huán)境感知算法。環(huán)境感知算法不僅直接影響著機(jī)器人和自動(dòng)駕駛運(yùn)行的性能，更是在復(fù)雜環(huán)境下作出正確決策的基礎(chǔ)[1]。

感知算法的目的是從環(huán)境中獲得物體的位置、類別和運(yùn)動(dòng)趨勢(shì)等信息。與傳統(tǒng)的二維感知算法相比，三維的環(huán)境感知算法能夠更加準(zhǔn)確地獲得真實(shí)環(huán)境的信息，滿足高精度檢測(cè)的需求[2]。同時(shí)，隨著各類算法的不斷成熟與硬件性能的快速發(fā)展，多種傳感器的協(xié)同工作已經(jīng)成為研究者提升感知系統(tǒng)整體性能的一種重要手段[3]?；跀z像頭的目標(biāo)檢測(cè)技術(shù)隨著深度學(xué)習(xí)技術(shù)的發(fā)展和應(yīng)用，在多數(shù)場(chǎng)景下取得了很理想的檢測(cè)效果[4]。然而，基于攝像頭的成像的原理，普通單目攝像頭缺少對(duì)三維空間中深度信息的精確感知，使用深度相機(jī)或者采用多目相機(jī)的方式可以獲得近距離精度較高的深度信息，但結(jié)果也會(huì)受到運(yùn)動(dòng)和距離等因素的影響；毫米波雷達(dá)雖然能直接獲取目標(biāo)的相對(duì)速度與距離，但是檢測(cè)范圍較小，無法覆蓋遠(yuǎn)距離的目標(biāo)[5]。相比之下，激光雷達(dá)可以通過主動(dòng)掃描獲得高精度的點(diǎn)云數(shù)據(jù)，不僅能精確捕捉物體表面信息，相較于其他傳感器還具備較強(qiáng)的抗干擾能力和不同環(huán)境的適應(yīng)能力[6]。但是，點(diǎn)云數(shù)據(jù)存在無序性，不能在空間中均勻地分布[7]，處理難度較高。同時(shí)由于激光雷達(dá)技術(shù)起步較晚，相關(guān)算法尚未完全成熟，其在目標(biāo)分類等關(guān)鍵環(huán)節(jié)仍存在不足之處。

鑒于此，采用多源信息融合的策略，將激光雷達(dá)與攝像頭的數(shù)據(jù)有機(jī)結(jié)合，通過圖像檢測(cè)來補(bǔ)充點(diǎn)云數(shù)據(jù)中難以捕捉的細(xì)節(jié)信息，實(shí)現(xiàn)信息的互補(bǔ)，是當(dāng)前三維目標(biāo)檢測(cè)最重要的研究方向[8]。


本文詳細(xì)內(nèi)容請(qǐng)下載：

http://ihrv.cn/resource/share/2000006835


作者信息：

韓德強(qiáng)，閆釗，楊淇善

（北京工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，北京 100124）


subscribe.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。