MSF-Diffuser：BEV下基于扩散模型的多传感器自适应融合自动驾驶方法

doi:10.19562/j.chinasae.qcgc.2025.06.011

摘要/Abstract

摘要：

自动驾驶算法是当前智能汽车的主要研究内容。目前，为了实现全景自动驾驶，国内大多采用多传感器融合的方式。然而现有的方案都存在对传感器利用率低、融合策略不合理等问题。针对这些问题，本文提出了一种BEV下基于多传感器（视觉+激光雷达+毫米波雷达）融合的自动驾驶框架。在该框架中，采用基于点和速度双重编码并进行特征交互来提取毫米波雷达点云特征，提高了毫米波雷达信息的利用率，并更加便于进行后续的融合。在融合模块，本文使用LSTM存储多模态传感器的特征以及融合后的BEV特征，从而计算不同模态传感器特征之间的一致性损失和融合BEV特征与历史帧的连续性损失，使特征融合更为平滑、精准。最后，引入扩散模型，并提出Multi-modal U-Net进行降噪，提高了模型规划轨迹的鲁棒性。本文使用CARLA模拟器，在最具权威的Longest-06基准和Town-05 Long基准上进行了广泛的实验，分别取得了73.80 $±$ 1.01和73.7 $±$ 1.3的DS（驾驶得分），与现有的自动驾驶方法相比，本文实现了更好的全景自动驾驶，且拥有更好的性能和灵活性。

关键词: 自动驾驶, 多传感器融合, 特征交互, 扩散模型

Abstract:

Autonomous driving algorithms are a major research focus in the field of intelligent vehicles. Currently， to achieve panoramic autonomous driving， most domestic approaches use multi-sensor fusion. However， existing solutions face problems such as low sensor utilization and unreasonable fusion strategies. For these problems， in this paper， an autonomous driving framework based on multi-sensor fusion （camera+LiDAR+Radar） under a bird's-eye view （BEV） is proposed. In this framework， dual encoding based on point and velocity is used， coupled with feature interaction to extract millimeter-wave radar point cloud features， thereby enhancing the utilization of millimeter-wave radar information and facilitating subsequent fusion. In the fusion module， LSTM is used to store the features from multiple modalities as well as the fused BEV features， which allows for the calculation of feature consistency loss between different modalities and continuity loss for the fused BEV features and historical frames， leading to smoother and more precise feature fusion. Finally， the diffusion model is introduced and the Multi-modal U-Net is proposed for denoising， which improves the robustness of trajectory planning. Extensive experiments are conducted using the CARLA simulator on the authoritative Longest-06 benchmark and Town-05 Long benchmark， getting a DS （Driving Score） of 73.80 $±$ 1.01 and 73.7 $±$ 1.3 respectively. The results show that the proposed approach achieves better panoramic autonomous driving with superior performance and flexibility compared to existing methods.

Key words: autonomous driving, multi-sensor fusion, feature interaction, diffusion model

王明辰,王海,蔡英凤,陈龙,李祎承. MSF-Diffuser：BEV下基于扩散模型的多传感器自适应融合自动驾驶方法[J]. 汽车工程, 2025, 47(6): 1122-1132.

Mingchen Wang,Hai Wang,Yingfeng Cai,Long Chen,Yicheng Li. MSF-Diffuser: A Multi-sensor Adaptive Fusion Autonomous Driving Method Based on Diffusion Model Under BEV[J]. Automotive Engineering, 2025, 47(6): 1122-1132.

图/表 13

图1

图2

图3

图4

表1

本文所提出方法在Longest-06基准上测试与其他方法的对比"

方法	传感器	DS	IS	RC
Transfuser	C+L	47.30 $±$ 5.72	0.50 $±$ 0.06	93.38 $±$ 1.2
LAV	C+L	32.74 $±$ 1.45	0.51 $±$ 0.02	70.36 $±$ 3.14
Interfuser	C+L	53.2 $±$ 2.6	0.72 $±$ 0.03	73.6 $±$ 1.4
Transfuser++	C+L	70 $±$ 2.0	0.74 $±$ 0.02	95.0 $±$ 2.0
Thinktwice	C+L	61.3	0.81	73.0
BEVFuser	C+L+R	73.67 $±$ 1.29	0.76 $±$ 0.02	96.02 $±$ 0.8
本文方法	C+L+R	73.80 $±$ 1.01	0.78 $±$ 0.02	94.61 $±$ 0.5

表1

表2

本文所提出方法在Town-05 Long基准上测试与其他方法的对比"

方法	传感器	DS	IS	RC
VAD	C	30.31	0.40	75.20
Transfuser	C+L	51.2 $±$ 1.5	0.66 $±$ 0.01	81.1 $±$ 1.20
LAV	C+L	46.3 $±$ 2.5	0.67 $±$ 0.03	68.7 $±$ 3.4
Interfuser	C+L	68.3 $±$ 1.9	0.71 $±$ 0.01	95.0 $±$ 2.9
Transfuser++	C+L	71.0 $±$ 2.0	0.71 $±$ 0.02	100.0
Thinktwice	C+L	65.0 $±$ 1.7	0.69 $±$ 0.05	95.5 $±$ 2.0
ReasonNet	C+L	73.2 $±$ 1.9	0.76 $±$ 0.03	95.9 $±$ 2.3
BEVFuser	C+L+R	73.4 $±$ 2.0	0.75 $±$ 0.01	98.19 $±$ 0.73
本文方法	C+L+R	73.7 $±$ 1.3	0.76 $±$ 0.01	97.0 $±$ 0.69

表2

图5

图6

图7

图8

表3

表4

表5

扩散模型消融研究"

扩散模型	DS
	71.98 $±$ 2.03
√	73.80 $±$ 1.01

表5

参考文献 22

1	JIANG B， CHEN S， XU Q， et al. VAD： vectorized scene representation for efficient autonomous driving［J］. arXiv， 2023.
2	LE D T， SHI H， CAI J， et al. DifFUSER： diffusion model for robust multi-sensor fusion in 3D object detection and BEV segmentation［J］. arXiv， 2024.
3	YANG J， GAO S， QIU Y， et al. GenAD： generalized predictive model for autonomous driving［J］. arXiv， 2024.
4	BAI X， HU Z， ZHU X， et al. TransFusion： robust LiDAR-camera fusion for 3D object detection with transformers［J/OL］. http：//arxiv.org/pdf/2203.11496.
5	CHEN S， SUN P， SONG Y， et al. DiffusionDet： diffusion model for object detection［C］.2023 IEEE/CVF International Conference on Computer Vision （ICCV）. Paris， France： IEEE， 2023： 19773-19786.
6	LIU Z， CAI Y， WANG H， et al. Robust target recognition and tracking of self-driving cars with radar and camera information fusion under severe weather conditions［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（7）： 6640-6653.
7	LIN Z， LIU Z， XIA Z， et al. RCBEVDet： radar-camera fusion in bird’s eye view for 3D object detection［J］. arXiv， 2024.
8	SHAO H， WANG L， CHEN R， et al. ReasonNet： end-to-end driving with temporal and global reasoning［C］.2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Vancouver， BC， Canada： IEEE， 2023： 13723-13733.
9	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780.
10	CHITTA K， PRAKASH A， JAEGER B， et al. TransFuser： imitation with transformer-based sensor fusion for autonomous driving［J］. arXiv， 2022.
11	HU Y， YANG J， CHEN L， et al. Planning-oriented autonomous driving［J/OL］. https：//arxiv.org/pdf/2212.10156
12	YANG C， CHEN Y， TIAN H， et al. BEVFormer v2： adapting modern image backbones to bird’s-eye-view recognition via perspective supervision［C］.2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Vancouver， BC， Canada： IEEE， 2023： 17830-17839.
13	WANG H， CHEN Z， CAI Y， et al. Voxel-RCNN-Complex： an effective 3-D point cloud object detector for complex traffic conditions［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 1-12.
14	WANG H， TAO L， PENG Y， et al. Voxel RCNN-HA： a point cloud multiobject detection algorithm with hybrid anchors for autonomous driving［J］. IEEE Transactions on Transportation Electrification， 2024， 10（3）： 7286-7296.
15	YAN J， LIU Y， SUN J， et al. Cross modal transformer： towards fast and robust 3D object detection［J］. arXiv， 2023.
16	WANG H， QIU M， CAI Y， et al. Sparse U-PDP： a unified multi-task framework for panoptic driving perception［J］. IEEE Transactions on Intelligent Transportation Systems， 2023， 24（10）： 11308-11320.
17	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation［J］. arXiv， 2015.
18	JAEGER B， CHITTA K， GEIGER A. Hidden biases of end-to-end driving models［J］. arXiv， 2023.
19	SHAO H， WANG L， CHEN R， et al. Safety-enhanced autonomous driving using interpretable sensor fusion transformer［J］. arXiv， 2022.
20	HU C， ZHENG H， LI K， et al. FusionFormer： a multi-sensory fusion in bird’s-eye-view and temporal consistent transformer for 3D object detection［J］. arXiv， 2023.
21	CHEN D， KRÄHENBÜHL P. Learning from all vehicles［J］. arXiv， 2022.
22	JIA X， WU P， CHEN L， et al. Think twice before driving： towards scalable decoders for end-to-end autonomous driving［J］. arXiv， 2023.

[1]	刘宸宇,王海,蔡英凤,陈龙. 面向自动驾驶道路场景的相机与毫米波融合的多目标检测算法[J]. 汽车工程, 2025, 47(5): 829-838.
[2]	秦启瑞,王海,蔡英凤,陈龙,李祎承. 基于实例激活图的自动驾驶实时实例分割算法[J]. 汽车工程, 2025, 47(4): 614-624.
[3]	索锦辉, 王晓伟, 蒋沛文, 丁驰, 高铭, 边有钢. 基于多粒度关系推理的自动驾驶域自适应视觉目标检测算法[J]. 汽车工程, 2025, 47(2): 201-210.
[4]	朱冰,贾士政,赵健,韩嘉懿,张培兴,宋东鉴,陈志成. 考虑主观认知的自动驾驶汽车序贯博弈类人决策[J]. 汽车工程, 2025, 47(1): 13-22.
[5]	李江坤,纵瑞雪,邓伟文,王莹,丁娟. 基于有向图的城市交叉口场景相似性评价方法[J]. 汽车工程, 2025, 47(1): 23-34.
[6]	陈鹏,蔡英凤,原海波,陈龙,孙晓强. 基于二型模糊逻辑控制的半挂车轨迹跟踪研究[J]. 汽车工程, 2025, 47(1): 55-66.
[7]	李道飞,潘豪. 场景复杂度评估在轨迹预测和驾驶决策中的应用[J]. 汽车工程, 2024, 46(9): 1556-1563.
[8]	朱冰,范天昕,赵健,张培兴,宋东鉴,薛越,赵文博. 自动驾驶拟人连续交互测试场景生成方法[J]. 汽车工程, 2024, 46(9): 1600-1607.
[9]	张国娟,胡宏宇,李浩淼,王明剑,高菲,高镇海. 自动驾驶车辆乘坐舒适性评价研究综述[J]. 汽车工程, 2024, 46(9): 1617-1627.
[10]	张佳楠,胡钊政,孟杰,胡华桦,左洁. 面向车-路-图协同的分布式自动驾驶仿真平台架构及应用[J]. 汽车工程, 2024, 46(8): 1335-1345.
[11]	颜伏伍,向博文,胡杰,陈锐鹏,张志豪,刘昊岩,高宠智. 基于改进LPV模型的自动驾驶轻型货车横向控制[J]. 汽车工程, 2024, 46(8): 1403-1413.
[12]	陶乐,王海,蔡英凤,陈龙. 面向自动驾驶场景的多目标点云检测算法[J]. 汽车工程, 2024, 46(7): 1208-1218.
[13]	李琳辉,付一帆,王霆,王雪成,连静. 引入自监督预训练的轨迹预测方法[J]. 汽车工程, 2024, 46(7): 1219-1227.
[14]	李路兴,魏超. 基于三分图匹配的智能车辆多传感器数据融合[J]. 汽车工程, 2024, 46(7): 1228-1238.
[15]	王海,张桂荣,罗彤,邱梦,蔡英凤,陈龙. 面向自动驾驶道路场景中异常案例的多模态数据挖掘算法[J]. 汽车工程, 2024, 46(7): 1239-1248.