《電子技術應用》
您所在的位置:首頁 > 可编程逻辑 > 设计应用 > 基于FPGA的多源数据融合目标检测的研究与实现
基于FPGA的多源数据融合目标检测的研究与实现
电子技术应用
韩德强,闫钊,杨淇善
北京工业大学 计算机学院
摘要: 随着智能驾驶、机器人等技术的高速发展,在这些场景下常规的二维检测算法并不能满足环境感知的要求,需要三维目标检测去获得精准的环境信息。但是,目前大多主流的多源数据融合的三维目标检测模型都依赖于高算力、高功耗的平台,难以在性能较低的嵌入式平台实现。针对这些问题提出了一种在低功耗的FPGA平台上实现多源融合的三维目标检测的方法,通过融合激光雷达点云与摄像头图像数据,来弥补点云特征信息的不足,以实现更高的准确率和检测的稳定性。同时结合FPGA平台的特点,对融合的特征进行筛选及处理,并结合量化策略对模型进行压缩。经过实验,融合方式明显提升小物体的准确度,量化后的模型在三维检测平均精度损失小于3%的情况下在端侧FPGA平台成功运行。
中圖分類號:TP183 文獻標志碼:A DOI: 10.16157/j.issn.0258-7998.256663
中文引用格式: 韓德強,閆釗,楊淇善. 基于FPGA的多源數據融合目標檢測的研究與實現[J]. 電子技術應用,2025,51(11):17-24.
英文引用格式: Han Deqiang,Yan Zhao,Yang Qishan. Research and implementation of multi-source data fusion target detection based on FPGA[J]. Application of Electronic Technique,2025,51(11):17-24.
Research and implementation of multi-source data fusion target detection based on FPGA
Han Deqiang,Yan Zhao,Yang Qishan
School of Computer Science,Beijing University of Technology
Abstract: With the rapid development of technologies such as intelligent driving and robots, conventional 2D detection algorithms cannot meet the requirements of environmental perception in these scenarios, and 3D target detection is required to obtain accurate environmental information. However, the current mainstream 3D target detection models based on multi-source data fusion rely on high-computing and high-power platforms, and are difficult to implement on low-performance embedded platforms. In response to these problems, a method for implementing multi-source fusion 3D target detection on a low-power FPGA platform is proposed. By fusing the LiDAR point cloud and camera image data, the lack of point cloud feature information is compensated to achieve higher accuracy and detection stability. At the same time, combined with the characteristics of the FPGA platform, the fused features are screened and processed, and the model is compressed in combination with a quantization strategy. After experiments, the fusion method significantly improves the accuracy of small objects, and the quantized model runs successfully on the end-side FPGA platform with an average 3D accuracy loss of less than 3%.
Key words : LiDAR;3D object detection;FPGA;embedded;multi-sensor fusion

引言

隨著人工智能技術的突飛猛進,人工智能相關的應用已經和人們的生活息息相關。機器人以及自動駕駛的相關應用和研究也越來越頻繁地出現在公眾視角之內。然而,隨著應用場景日益復雜,人們需要更加優(yōu)秀的環(huán)境感知算法。環(huán)境感知算法不僅直接影響著機器人和自動駕駛運行的性能,更是在復雜環(huán)境下作出正確決策的基礎[1]。

感知算法的目的是從環(huán)境中獲得物體的位置、類別和運動趨勢等信息。與傳統的二維感知算法相比,三維的環(huán)境感知算法能夠更加準確地獲得真實環(huán)境的信息,滿足高精度檢測的需求[2]。同時,隨著各類算法的不斷成熟與硬件性能的快速發(fā)展,多種傳感器的協同工作已經成為研究者提升感知系統整體性能的一種重要手段[3]。基于攝像頭的目標檢測技術隨著深度學習技術的發(fā)展和應用,在多數場景下取得了很理想的檢測效果[4]。然而,基于攝像頭的成像的原理,普通單目攝像頭缺少對三維空間中深度信息的精確感知,使用深度相機或者采用多目相機的方式可以獲得近距離精度較高的深度信息,但結果也會受到運動和距離等因素的影響;毫米波雷達雖然能直接獲取目標的相對速度與距離,但是檢測范圍較小,無法覆蓋遠距離的目標[5]。相比之下,激光雷達可以通過主動掃描獲得高精度的點云數據,不僅能精確捕捉物體表面信息,相較于其他傳感器還具備較強的抗干擾能力和不同環(huán)境的適應能力[6]。但是,點云數據存在無序性,不能在空間中均勻地分布[7],處理難度較高。同時由于激光雷達技術起步較晚,相關算法尚未完全成熟,其在目標分類等關鍵環(huán)節(jié)仍存在不足之處。

鑒于此,采用多源信息融合的策略,將激光雷達與攝像頭的數據有機結合,通過圖像檢測來補充點云數據中難以捕捉的細節(jié)信息,實現信息的互補,是當前三維目標檢測最重要的研究方向[8]。


本文詳細內容請下載:

http://ihrv.cn/resource/share/2000006835


作者信息:

韓德強,閆釗,楊淇善

(北京工業(yè)大學 計算機學院,北京 100124)


subscribe.jpg

此內容為AET網站原創(chuàng),未經授權禁止轉載。