面向自动驾驶道路场景的相机与毫米波融合的多目标检测算法

doi:10.19562/j.chinasae.qcgc.2025.05.004

摘要/Abstract

摘要：

为满足自动驾驶系统的高效、准确感知的需求，如果仅依靠相机很难实现高精度和鲁棒的3D目标检测。解决这一问题的有效方法是将相机与经济型毫米波雷达传感器相结合，实现更可靠的多模态三维目标检测。融合两者的检测方式不仅提升了环境感知的准确性，还增强了系统的鲁棒性和安全性。本文提出了一种基于毫米波雷达和相机融合的自动驾驶感知算法HPR-Det（historical pillar of ray camera-radar fusion bird ’s eye view for 3D object detection）。具体而言，首先设计了雷达BEV特征提取Radar-PRANet （radar point RCS attention net），由双流雷达主干提取具有两种表征维度的雷达特征和RCS感知的BEV编码器组成，根据雷达特定的RCS特征将雷达特征分散到BEV中。其次，采用历史多帧预测范式HrOP（historical radar of object prediction），设计了长期解码器和短期解码器，同时只在训练期间执行，在推理过程中不引入额外的开销，同时由于本网络输入数据的稀疏性，引入了多模态的历史多帧输入，引导更准确的BEV特征学习。最后，提出了毫米波优化的射线去噪方法，通过将毫米波雷达点云的信息作为先验信息，使用当前帧的毫米波点云特征辅助生成提议，增强对于相机的查询特征表征。本文所提出的算法在大规模公开数据集nuScenes上进行模型训练和实验验证，在骨干为Resnet50的基础上NDS 达到56.7 %。

关键词: 自动驾驶, 深度学习, 目标检测, 多传感器融合

Abstract:

To meet the demand of efficient and accurate perception in autonomous driving systems， relying solely on cameras makes it challenging to achieve high-precision and robust 3D object detection. An effective solution to address this issue is to combine cameras with cost-effective millimeter-wave radar sensors， enabling more reliable multimodal 3D object detection. An effective approach to address this problem is to combine cameras with cost-effective millimeter-wave radar sensors， enabling more reliable multimodal 3D object detection， which not only improves the accuracy of environmental perception but also enhances the system's robustness and safety. In this paper， an autonomous driving perception algorithm based on the fusion of millimeter-wave radar and cameras， named HPR-Det （historical pillar of ray camera-radar fusion bird’s eye view for 3D object detection） is proposed. Specifically， a radar BEV （bird's eye view） feature extraction module called Radar-PRANet （radar point RCS attention net） is designed firstly. It comprises a dual-stream radar backbone that extracts radar features with two representations， and an RCS-aware BEV encoder that distributes radar features into the BEV space based on radar-specific RCS characteristics. Secondly， Historical radar of Object Prediction paradigm is adopted， designing both long-term and short-term decoders that operate only during training， thus avoiding additional inference overhead. Due to the sparsity of the input data in this network， multimodal historical multi-frame input is introduced to facilitate more accurate BEV feature learning. Lastly， the millimeter-wave-optimized ray denoising method is proposed， which utilizes the information from the current frame’s millimeter-wave radar point cloud as prior knowledge to assist in proposal generation， thereby enhancing the query feature representation for the camera. The proposed algorithm is trained and validated on the large-scale public dataset nuScenes， with the NDS reaching 56.7% on the backbone of Resnet50.

Key words: autonomous driving, deep learning, object detection, multi-sensor fusion

刘宸宇,王海,蔡英凤,陈龙. 面向自动驾驶道路场景的相机与毫米波融合的多目标检测算法[J]. 汽车工程, 2025, 47(5): 829-838.

Chenyu Liu,Hai Wang,Yingfeng Cai,Long Chen. Multi-object Detection Algorithm Based on Camera and Radar Fusion for Autonomous Driving Scenarios[J]. Automotive Engineering, 2025, 47(5): 829-838.

图/表 11

图1

图2

图3

图4

图5

表1

表2

图6

图7

图8

图9

参考文献 24

1	王海，张桂荣，罗彤，等. 面向自动驾驶道路场景中异常案例的多模态数据挖掘算法［J］. 汽车工程， 2024， 46（7）： 1239-1248.
	WANG H， ZHANG G， LUO T， et al. A multi-modal data mining algorithm for corner case of automatic driving road scene［J］. Automotive Engineering， 2024， 46（7）： 1239-1248.
2	王海，李建国，蔡英凤，等. 基于激光雷达点云的动态驾驶场景多任务分割网络［J］. 汽车工程， 2024， 46（9）： 1608-1616.
	WANG H， LI J， CAI Y， et al. A LiDAR-based dynamic driving scene multi-task segmentation network［J］. Automotive Engineering， 2024， 46（9）： 1608-1616.
3	陶乐，王海，蔡英凤，等. 面向自动驾驶场景的多目标点云检测算法［J］. 汽车工程， 2024， 46（7）： 1208-1218.
	TAO L， WANG H， CAI Y， et al. Multi-object detection algorithm based on point cloud for autonomous driving scenarios［J］. Automotive Engineering， 2024， 46（7）： 1208-1218.
4	PHILION J， FIDLER S. Lift， splat， shoot： encoding images from arbitrary camera rigs by implicitly unprojecting to 3D［M］∥VEDALDI A， BISCHOF H， BROX T， et al. Computer vision-ECCV 2020： Vol. 12359. Cham： Springer International Publishing， 2020： 194-210.
5	LI Z， WANG W， LI H， et al. BEVFormer： learning bird’s-eye-view representation from lidar-camera via spatiotemporal transformers［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2024.
6	HUANG J， HUANG G， ZHU Z， et al. BEVDet： high-performance multi-camera 3D object detection in bird-eye-view［J］. arXiv， 2022.
7	ZHENG L， LI S， TAN B， et al. Rcfusion： fusing 4D radar and camera with bird’s-eye view features for 3-d object detection［J］. IEEE Transactions on Instrumentation and Measurement， 2023， 72： 1-14.
8	ZHOU T， CHEN J， SHI Y， et al. Bridging the view disparity between radar and camera features for multi-modal fusion 3D object detection［J］. IEEE Transactions on Intelligent Vehicles， 2023， 8（2）： 1523-1535.
9	WU D， LIAO M W， ZHANG W T， et al. YOLOP： you only look once for panoptic driving perception［J］. Machine Intelligence Research， 2022， 19（6）： 550-562.
10	LANG A H， VORA S， CAESAR H， et al. Pointpillars： fast encoders for object detection from point clouds［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019： 12697-12705.
11	YANG C， CHEN Y， TIAN H， et al. BEVFormer v2： adapting modern image backbones to bird’s-eye-view recognition via perspective supervision［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2023： 17830-17839.
12	QI C R， SU H， MO K， et al. PointNet： deep learning on point sets for 3D classification and segmentation［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 652-660.
13	LIN Z， LIU Z， XIA Z， et al. RCBEVDet： radar-camera fusion in bird’s eye view for 3D object detection［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2024： 14928-14937.
14	DAO T， FU D， ERMON S， et al. FlashAttention： fast and memory-efficient exact attention with IO-awareness［J］. Advances in Neural Information Processing Systems， 2022， 35： 16344-16359.
15	ZHU X， SU W， LU L， et al. Deformable DETR： deformable transformers for end-to-end object detection［J］. arXiv， 2021.
16	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［J］. Advances in Neural Information Processing Systems， 2017， 30.
17	LIU F， HUANG T， ZHANG Q， et al. Ray denoising： depth-aware hard negative sampling for multi-view 3D object detection［M］∥LEONARDIS A， RICCI E， ROTH S， et al. Computer Vision - ECCV 2024： Vol. 15107. Cham： Springer Nature Switzerland， 2025： 200-217.
18	DAO T. FlashAttention-2： faster attention with better parallelism and work partitioning［J］. arXiv， 2023.
19	ZHU B， JIANG Z， ZHOU X， et al. Class-balanced grouping and sampling for point cloud 3D object detection［J］. arXiv， 2019.
20	KIM Y， SHIN J， KIM S， et al. CRN： camera radar net for accurate， robust， efficient 3D perception［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2023： 17615-17626.
21	UHRIG J， SCHNEIDER N， SCHNEIDER L， et al. Sparsity invariant CNNS［C］. 2017 International Conference on 3D Vision （3DV）. IEEE， 2017： 11-20.
22	PARK D， AMBRUS R， GUIZILINI V， et al. Is pseudo-lidar needed for monocular 3D object detection？［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2021： 3142-3152.
23	LI Y， GE Z， YU G， et al. BEVDepth： acquisition of reliable depth for multi-view 3D object detection［C］. Proceedings of the AAAI Conference on Artificial Intelligence： p37. 2023： 1477-1485.
24	WANG J， GAO Z， ZHANG Y， et al. Real-time detection and location of potted flowers based on a ZED camera and a YOLO V4-tiny deep learning algorithm［J］. Horticulturae， 2021， 8（1）： 21.

Method	Input	Backbone	Image Size	NDS	mAP	mATE	mASE	mAOE	mAVE	mAAE
CenterPoint-P	L	Pillars		59.8	49.4	0.320	0.262	0.377	0.334	0.198
CenterPoint-V	L	Voxel		65.3	56.9	0.285	0.253	0.323	0.272	0.186
BEVDet	C	R50	256 × 704	39.2	31.2	0.691	0.272	0.523	0.909	0.247
CenterFusion	C+R	DLA34	256 × 704	47.5	35.1	0.649	0.263	0.455	0.540	0.142
BEVDepth	C	R50	256 × 704	47.3	35.0	0.639	0.267	0.479	0.438	0.160
RCBEV4d	C+R	Swin-T	448 × 800	49.7	38.1	0.645	0.265	0.455	0.406	0.176
CRAFT	C+R	DLA34	448 × 800	51.7	41.1	0.611	0.240	0.410	0.282	0.168
SOLOFusion	C+R	R50	256 × 704	53.4	42.2	0.580	0.246	0.411	0.252	0.188
CRN	C+R	R18	256 × 704	54.3	44.8	0.518	0.283	0.552	0.279	0.180
CRN	C+R	R50	256 × 704	56.0	49.0	0.487	0.277	0.542	0.344	0.197
ours	C+R	R50	256 × 704	57.1	45.5	0.488	0.274	0.211	0.190	0.188

Baseline	Radar-Input	Radar-PRANet	Radar-Ray Denoise	HrOP	NDS
√					47.3%
√	√				56.0%
√	√	√			55.8%
√	√	√		√	56.7%
√	√	√	√	√	57.1%

[1]	高凯,刘欣宇,胡林,黄向明,邹铁方,刘鹏. 基于稀疏注意力的时空交互车辆轨迹预测[J]. 汽车工程, 2025, 47(5): 809-819.
[2]	秦启瑞,王海,蔡英凤,陈龙,李祎承. 基于实例激活图的自动驾驶实时实例分割算法[J]. 汽车工程, 2025, 47(4): 614-624.
[3]	张亿鸿,钟铭恩,谭佳威,范康,李正峰. 基于直方图特征蒸馏的密集交通目标检测[J]. 汽车工程, 2025, 47(4): 636-644.
[4]	时培成,戈润帅,Chakir Chadia,董心龙,梁涛年,杨爱喜. PolarDet：基于位置与语义信息加权的极坐标BEV端到端3D目标检测算法[J]. 汽车工程, 2025, 47(3): 430-439.
[5]	索锦辉, 王晓伟, 蒋沛文, 丁驰, 高铭, 边有钢. 基于多粒度关系推理的自动驾驶域自适应视觉目标检测算法[J]. 汽车工程, 2025, 47(2): 201-210.
[6]	朱冰,贾士政,赵健,韩嘉懿,张培兴,宋东鉴,陈志成. 考虑主观认知的自动驾驶汽车序贯博弈类人决策[J]. 汽车工程, 2025, 47(1): 13-22.
[7]	李江坤,纵瑞雪,邓伟文,王莹,丁娟. 基于有向图的城市交叉口场景相似性评价方法[J]. 汽车工程, 2025, 47(1): 23-34.
[8]	陈鹏,蔡英凤,原海波,陈龙,孙晓强. 基于二型模糊逻辑控制的半挂车轨迹跟踪研究[J]. 汽车工程, 2025, 47(1): 55-66.
[9]	李道飞,潘豪. 场景复杂度评估在轨迹预测和驾驶决策中的应用[J]. 汽车工程, 2024, 46(9): 1556-1563.
[10]	朱冰,范天昕,赵健,张培兴,宋东鉴,薛越,赵文博. 自动驾驶拟人连续交互测试场景生成方法[J]. 汽车工程, 2024, 46(9): 1600-1607.
[11]	张国娟,胡宏宇,李浩淼,王明剑,高菲,高镇海. 自动驾驶车辆乘坐舒适性评价研究综述[J]. 汽车工程, 2024, 46(9): 1617-1627.
[12]	张佳楠,胡钊政,孟杰,胡华桦,左洁. 面向车-路-图协同的分布式自动驾驶仿真平台架构及应用[J]. 汽车工程, 2024, 46(8): 1335-1345.
[13]	颜伏伍,向博文,胡杰,陈锐鹏,张志豪,刘昊岩,高宠智. 基于改进LPV模型的自动驾驶轻型货车横向控制[J]. 汽车工程, 2024, 46(8): 1403-1413.
[14]	陶乐,王海,蔡英凤,陈龙. 面向自动驾驶场景的多目标点云检测算法[J]. 汽车工程, 2024, 46(7): 1208-1218.
[15]	李琳辉,付一帆,王霆,王雪成,连静. 引入自监督预训练的轨迹预测方法[J]. 汽车工程, 2024, 46(7): 1219-1227.