基于LiDAR点云特征补全的雪天无人车目标检测

doi:10.19562/j.chinasae.qcgc.2025.06.012

摘要/Abstract

摘要：

在降雪气候条件下，雪花颗粒对激光雷达的干扰会导致点云特征缺失，严重影响LiDAR三维目标检测模型的准确性。本文提出一种基于Transformer架构的雪天点云特征补全检测算法：首先设计点云损失补全模块，通过多头注意力机制与混合密度网络联合提取原始点云缺失特征；其次构建编码器-解码器结构实现缺失特征生成，并开发融合重定义模块通过通道注意力机制实现特征对齐；最后优化预测框输出策略提升检测可靠性。在CADC数据集上，汽车与行人检测精度分别提升2.06%和2.73%；在KITTI数据集上3类目标平均精度提升1.51%。通过量化分析降雪强度与点云生成数量的影响规律，验证了本文所提方法的鲁棒性和工程适用性。

关键词: 激光雷达, 降雪气候, 点云补全, 三维目标检测, 自动驾驶

Abstract:

Under snowy conditions， interference from snowflakes on LiDAR leads to point cloud feature loss， significantly degrading the accuracy of 3D object detection models. In this paper， a Transformer-based feature completion algorithm for snow-affected point clouds is proposed. Firstly， a point cloud loss completion module is designed to jointly extract missing features from raw point clouds using multi-head attention mechanisms and mixed density networks. Subsequently， an encoder-decoder architecture is constructed for feature generation， coupled with a fusion redefinition module that aligns features via channel attention mechanisms. Finally， the bounding box prediction strategy is optimized to enhance detection reliability. Experimental results demonstrate that the proposed method achieves improvement of 2.06% and 2.73% in car and pedestrian detection accuracy on the CADC dataset， and a 1.51% average precision gain across three object categories on the KITTI dataset. Quantitative analysis of snowfall intensity and point cloud generation patterns further validates the robustness and engineering applicability of the proposed method.

Key words: LiDAR, snowfall conditions, point cloud completion, 3D object detection, autonomous driving

朱凌云,王海洋. 基于LiDAR点云特征补全的雪天无人车目标检测[J]. 汽车工程, 2025, 47(6): 1133-1143.

Lingyun Zhu,Haiyang Wang. Autonomous Vehicle Object Detection by LiDAR Point Cloud Feature Completion in Snowfall Scenarios[J]. Automotive Engineering, 2025, 47(6): 1133-1143.

图/表 23

图 1

图 2

图 3

图 4

图 5

图 6

图 7

图 8

图 9

表 1

表2

表3

表 4

图 10

图 11

表 5

表6

表7

表8

表9

表10

图 12

图 13

参考文献 34

1	胡杰，安永鹏，徐文才，等. 基于激光点云的深度语义和位置信息融合的三维目标检测［J］. 中国激光， 2023， 50（10）： 200-210.
	HU J， AN Y， XU W， et al. 3D object detection based on deep semantics and position information fusion of laser point cloud［J］. Chinese Journal of Lasers， 2023， 50（10）： 200-210.
2	HENNING M， MÜLLER J， GIES F， et al. Situation-aware environment perception using a multi-layer attention map［J］. IEEE Transactions on Intelligent Vehicles， 2022， 8（1）： 481-491.
3	DONG Y， KANG C， ZHANG J， et al. Benchmarking robustness of 3D object detection to common corruptions［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver， Canada， 2023： 1022-1032.
4	HAHNER M， SAKARIDIS C， BIJELIC M， et al. Lidar snowfall simulation for robust 3D object detection［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans， LA， USA 2022： 16364-16374.
5	PIROLI A， DALLABETTA V， KOPP J， et al. Energy-based detection of adverse weather effects in lidar data［J］. IEEE Robotics and Automation Letters， 2023.
6	DREISSIG M， SCHEUBLE D， PIEWAK F， et al. Survey on LiDAR perception in adverse weather conditions［J］. arXiv 2023. arXiv preprint arXiv：.
7	HE C， LI R， ZHANG Y， et al. MSF： motion-guided sequential fusion for efficient 3D object detection from point cloud sequences［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver， Canada， 2023： 5196-5205.
8	LI Y， QI C R， ZHOU Y， et al. MoDAR： using motion forecasting for 3D object detection in point cloud sequences［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver， Canada， 2023： 9329-9339.
9	SHI S， JIANG L， DENG J， et al. PV-RCNN++： point-voxel feature set abstraction with local vector representation for 3D object detection［J］. International Journal of Computer Vision， Vancouver， Canada，2023， 131（2）： 531-551.
10	SHI G， LI R， MA C. PillarNet： real-time and high-performance pillar-based 3D object detection［C］. European Conference on Computer Vision. Cham： Springer Nature Switzerland， Tel Aviv， Israel， 2022： 35-52.
11	PIROLI A， DALLABETTA V， KOPP J， et al. Towards robust 3D object detection in rainy conditions［C］. 2023 IEEE 26th International Conference on Intelligent Transportation Systems （ITSC）. Bilbao， Spain，2023： 3471-3477.
12	RUSU R B， COUSINS S. 3D is here： point cloud library （pcl）［C］. 2011 IEEE International Conference on Robotics and Automation. IEEE， 2011： 1-4.
13	BALTA H， VELAGIC J， BOSSCHAERTS W， et al. Fast statistical outlier removal based method for large 3D point clouds of outdoor environments［J］. IFAC-PapersOnLine， 2018， 51（22）： 348-353.
14	HAN X F， JIN J S， WANG M J， et al. A review of algorithms for filtering the 3D point cloud［J］. Signal Processing： Image Communication， 2017， 57： 103-112.
15	PARK J I， PARK J， KIM K S. Fast and accurate desnowing algorithm for LiDAR point clouds［J］. IEEE Access， 2020， 8： 160202-160212.
16	HEINZLER R， PIEWAK F， SCHINDLER P， et al. CNN-based lidar point cloud de-noising in adverse weather［J］. IEEE Robotics and Automation Letters， 2020， 5（2）： 2514-2521.
17	陈熙源，戈明明，姚志婷，等.雨雪天气下的激光雷达滤波算法研究［J］.仪器仪表学报，2023，44（7）：172-181.
	CHEN Xiyuan， GE Mingming， YAO Zhiting， et al. Research on LiDAR filtering algorithm in rainy and snowy weather［J］. Chinese Journal of Scientific Instrument， 2023， 44（7）： 172-181.
18	LIN J， YIN H， YAN J， et al. Improved 3D object detector under snowfall weather condition based on lidar point cloud［J］. IEEE Sensors Journal， 2022， 22（16）： 16276-16292.
19	HEINZLER R， PIEWAK F， SCHINDLER P， et al.CNN-based lidar point cloud de-noising in adverse weather［J］.IEEE Robotics and Automation Letters，2020，5（2）：2514-2521.
20	XU Q， ZHOU Y， WANG W， et al. SPG： unsupervised domain adaptation for 3D object detection via semantic point generation［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2021： 15446-15456.
21	LI G， LI J， WANG C， et al. Key supplement： improving 3D car detection with pseudo point cloud［J］. IEEE Sensors Journal， 2023.
22	XU Q， ZHONG Y， NEUMANN U. Behind the curtain： learning occluded shapes for 3D object detection［C］. Proceedings of the AAAI Conference on Artificial Intelligence， 2022， 36（3）： 2893-2901.
23	程腾，倪昊，张强，等.基于虚拟点云的二阶段多模态融合网络［J］.汽车工程，2024，46（2）：222-229.
	CHENG Teng， NI Hao， ZHANG Qiang， et al. Two-stage multimodal fusion network based on virtual point cloud［J］. Automotive Engineering， 2024， 46（2）： 222-229.
24	金立生，张洪瑜，郭柏苍.基于特征增稳的混合固态激光雷达目标检测［J］.汽车工程，2024，46（6）：1015-1024.
	JIN Lisheng， ZHANG Hongyu， GUO Baicang. Hybrid solid-state lidar target detection based on feature augmentation［J］. Automotive Engineering， 2024， 46（6）： 1015-1024.
25	金宇锋，陶重犇.基于Transformer的融合信息增强3D目标检测算法［J］.仪器仪表学报，2023，44（12）：297-306.
	JIN Yufeng， TAO Chongben. Transformer-based fusion information enhanced 3D target detection algorithm ［J］. Journal of Instrumentation， 2023， 44（12）： 297-306.
26	PITROPOV M， GARCIA D E， REBELLO J， et al. Canadian adverse driving conditions dataset［J］. The International Journal of Robotics Research， 2021， 40（4-5）： 681-690.
27	OGUCHI T. Electromagnetic wave propagation and scattering in rain and other hydrometeors［J］. Proceedings of the IEEE， 1983， 71（9）： 1029-1078.
28	HAHNER M， SAKARIDIS C， BIJELIC M， et al. Lidar snowfall simulation for robust 3D object detection［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022： 16364-16374.
29	ZHANG C， HUANG Z， ANG M H， et al. Lidar degradation quantification for autonomous driving in rain［C］. 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. IEEE， 2021： 3458-3464.
30	ZHANG C， HUANG Z， TUNG B X L， et al. SmartRainNet： uncertainty estimation for laser measurement in rain［C］. 2023 IEEE International Conference on Robotics and Automation （ICRA）. IEEE， 2023： 10567-10573.
31	GUIZILINI V， AMBRUS R， BURGARD W， et al. Sparse auxiliary networks for unified monocular depth prediction and completion［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2021： 11078-11088.
32	YUAN W， KHOT T， HELD D， et al. PCN： point completion network［C］. 2018 International Conference on 3D Vision （3DV）. IEEE， 2018： 728-737.
33	YAN Y， MAO Y， LI B. SECOND： sparsely embedded convolutional detection［J］. Sensors， 2018， 18（10）： 3337.
34	SHI S， GUO C， JIANG L， et al. PV-RCNN： point-voxel feature set abstraction for 3D object detection［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 10529-10538.

标签	总数	已停车	已停止	正在移动
汽车	281 941	193 246	18 002	70 693
标签	总数	成年人	儿童
行人	62 851	61 664	1 187

距离/m	［ 0， 5 ］	［5， 10］	［10， 15］	［15，20］
正常天气	15	139	15	3
小雪天气	30	138	49	2
中雪天气	45	2 001	713	77
大雪天气	607	2 658	43	6

方法	范式	Car AP_3D
方法	范式	Easy	Mod	Hard
Point pillars	体素	78.23%	67.93%	67.91%
Second	体素	74.91%	65.08%	64.97%
SE-SSD	体素	75.74%	68.90%	64.27%
Voxel R-CNN	体素	80.22%	77.20%	76.26%
BtcDet	体素	79.98%	73.37%	68.88%
IA-SSD	点	72.94%	64.81%	60.59%
Ours	体素	80.75%	75.43%	72.59%

方法	范式	Pedestrian AP_3D
方法	范式	Easy	Mod	Hard
Pointpillars	体素	51.12%	48.04%	43.09%
Second	体素	53.32%	49.49%	42.77%
SE-SSD	体素	52.08%	47.61%	42.99%
Voxel R-CNN	体素	50.13%	45.74%	42.60%
BtcDet	体素	51.97%	46.60%	43.23%
IA-SSD	点	49.48%	44.64%	40.06%
Ours	体素	54.48%	49.33%	47.52%

方法	范式	Car 3D AP_R40
方法	范式	Easy	Mod	Hard
Pointpillars	体素	87.75%	78.39%	75.18%
Second	体素	90.97%	79.94%	77.09%
SA-SSD	体素	92.23%	84.30%	81.36%
PV-RCNN	体素	92.57%	84.30%	81.36%
Voxel R-CNN	体素	92.38%	85.29%	82.86%
SE-SSD	体素	93.19%	86.12%	83.31%
BtcDet	体素	93.15%	86.28%	83.86%
IA-SSD	点	88.87%	80.32%	75.10%
Ours	体素	93.84%	87.94%	86.70%