面向自动驾驶场景的多目标点云检测算法

doi:10.19562/j.chinasae.qcgc.2024.07.008

摘要/Abstract

摘要：

基于点云的三维目标检测算法是自动驾驶系统中关键技术之一。目前基于体素的无锚框检测算法是学术界的研究热点，但是大多数研究都侧重于设计复杂的二阶段修正模块，在牺牲巨大的算法延迟的情况下带来有限的算法性能提升。而单阶段无锚框点云检测算法虽然具有更加精简的检测流程，但其检测性能难以满足自动驾驶场景的需求。对此，本文基于无锚框检测算法CenterPoint，提出了一种面向自动驾驶场景的单阶段无锚框点云目标检测算法。具体来说，本文通过引入编码解码稀疏模块，极大地促进了三维特征提取器对于空间非连通区域的信息交互，保证了三维特征提取器能够提取到满足各类目标检测的特征。此外，考虑到现有的二维特征融合主干与基于中心点的无锚框检测头的适配存在挑战性，本文通过引入自校正卷积和大核注意力模块，能够有效提取到目标区域的点云特征，并将目标区域的点云特征聚集到中心点区域，从而提升算法对于目标的召回率和检测精度。本文所提出的算法在大规模公开数据集nuScenes上进行模型训练和实验验证，与基准算法相比，mAP和NDS分别提升了5.97%和3.62%。同时，本文将所提出的算法在基于自主搭建的实车平台上进行实际道路实验，进一步证明了所提出算法的有效性。

关键词: 自动驾驶, 深度学习, 点云检测, 无锚框

Abstract:

The three-dimensional object detection algorithm based on point cloud is one of the key technologies in the autonomous driving system. Currently， the voxel-based anchor-free detection algorithm is a research hotspot in academia， but most researches focus on designing complex refinement stage， at the expense of huge algorithm latency， to bring limited performance improvement. Although the single-stage anchor-free point cloud detection algorithm has a more streamlined detection process， its detection performance cannot satisfy the needs of autonomous driving scenarios. In this regard， based on the anchor-free detection algorithm CenterPoint， a single-stage anchor-free point cloud object detection algorithm for autonomous driving scenarios is proposed in this paper. Specifically， the encoding and decoding sparse module is introduced in this paper， which greatly promotes the information interaction of the spatial non-connected areas of the three-dimensional feature extractor， ensuring that the three-dimensional feature extractor can extract features that satisfy various target detection. In addition， considering that it is challenging to adapt the existing two-dimensional feature fusion backbone to the center-based head， in this paper self-calibrated convolution and large kernel attention modules are introduced in to effectively extract point cloud features of the target area， which are then gathered into the center point area， thereby improving the algorithm's recall and accuracy of the target. The proposed algorithm in this article is trained and experimentally verified on the large-scale public dataset of nuScenes. Compared with the benchmark algorithm， mAP and NDS are increased by 5.97% and 3.62% respectively. At the same time， the actual road experiments with the proposed algorithm are conducted on a self-built vehicle platform， further proving the effectiveness of the proposed algorithm.

Key words: autonomous driving, deep learning, point cloud detection, anchor-free

陶乐,王海,蔡英凤,陈龙. 面向自动驾驶场景的多目标点云检测算法[J]. 汽车工程, 2024, 46(7): 1208-1218.

Le Tao,Hai Wang,Yingfeng Cai,Long Chen. Multi-object Detection Algorithm Based on Point Cloud for Autonomous Driving Scenarios[J]. Automotive Engineering, 2024, 46(7): 1208-1218.

图/表 12

图1

图2

图3

图4

图5

图6

表1

图7

表2

表3

图8

图9

参考文献 35

1	王海，李洋，蔡英凤，等. 基于激光雷达的3D实时车辆跟踪［J］. 汽车工程， 2021， 43（7）： 1013-1021.
	WANG Hai， LI Yang， CAI Yingfeng， et al. 3D real⁃time vehicle tracking based on lidar［J］. Automotive Engineering， 2021， 43（7）： 1013-1021.
2	娄新雨，王海，蔡英凤，等. 采用64线激光雷达的实时道路障碍物检测与分类算法的研究［J］. 汽车工程， 2019， 41（7）： 779-784.
	LOU Xinyu， WANG Hai， CAI Yingfeng， et al. A research on an algorithm for real-time detection and classification of road obstacle by using 64-line lidar［J］. Automotive Engineering， 2019， 41（7）： 779-784.
3	QI C R， SU H， MO K， et al. PointNet： deep learning on point sets for 3D classification and segmentation［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 652-660.
4	QI C R， YI L， SU H， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［J］. Advances in Neural Information Processing Systems， 2017， 30.
5	SHI S， WANG X， LI H. PointrCNN： 3D object proposal generation and detection from point cloud［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019： 770-779.
6	ZHANG Y， HU Q， XU G， et al. Not all points are equal： learning highly efficient point-based detectors for 3D lidar point clouds［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022： 18953-18962.
7	龚章鹏，王国业，于是. 基于体素网络的道路场景多类目标识别算法［J］. 汽车工程， 2021， 43（4）： 469-477.
	GONG Zhangpeng， WANG Guoye， YU Shi. The algorithm of multi⁃category object recognition in road scene based on voxel network［J］. Automotive Engineering， 2021， 43（4）： 469-477.
8	SHI S， GUO C， JIANG L， et al. PV-RCNN： point-voxel feature set abstraction for 3D object detection［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 10529-10538.
9	SHI S， JIANG L， DENG J， et al. PV-RCNN++： point-voxel feature set abstraction with local vector representation for 3D object detection［J］. International Journal of Computer Vision， 2023， 131（2）： 531-551.
10	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 39（6）： 1137-1149.
11	YIN T， ZHOU X， KRAHENBUHL P. Center-based 3D object detection and tracking［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2021： 11784-11793.
12	GE R， DING Z， HU Y， et al. AFDet： anchor free one stage 3D object detection［M］. arXiv， 2020.
13	DUAN K， BAI S， XIE L， et al. CenterNet： keypoint triplets for object detection［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 6569-6578.
14	YAN Y， MAO Y， LI B. Second： sparsely embedded convolutional detection［J］. Sensors， 2018， 18（10）： 3337.
15	夏祥腾，王大方，曹江，等. 基于稀疏卷积神经网络的车载激光雷达点云语义分割方法［J］. 汽车工程， 2022， 44（1）： 26-35.
	XIA Xiangteng， WANG Dafang， CAO Jiang， et al. Semantic segmentation method of on-board lidar point cloud based on sparse convolutional neural network［J］. Automotive Engineering， 2022， 44（1）： 26-35.
16	GRAHAM B， VAN DER MAATEN L. Submanifold sparse convolutional networks［M］. arXiv， 2017.
17	CHEN Y， LIU J， ZHANG X， et al. LargekerNel 3D： scaling up kernels in 3D sparse CNNS［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2023： 13488-13498.
18	MAO J， XUE Y， NIU M， et al. Voxel transformer for 3D object detection［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2021： 3164-3173.
19	ZHANG G， JUNNAN C， GAO G， et al. HedNet： a hierarchical encoder-decoder network for 3D object detection in point clouds［J］. Advances in Neural Information Processing Systems， 2024， 36.
20	LIU J J， HOU Q， CHENG M M， et al. Improving convolutional networks with self-calibrated convolutions［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 10096-10105.
21	CAESAR H， BANKITI V， LANG A H， et al. nuScenes： a multimodal dataset for autonomous driving［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 11621-11631.
22	WANG H， SHI C， SHI S， et al. DSVT： dynamic sparse voxel transformer with rotated sets［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2023： 13520-13529.
23	赵东宇，赵树恩. 基于级联 YOLOv7 的自动驾驶三维目标检测［J］. 汽车工程， 2023， 45（7）： 1112-1122.
	ZHAO Dongyu， ZHAO Shuen. Autonomous driving 3D object detection based on cascade YOLOv7［J］. Automotive Engineering， 2023， 45（7）： 1112-1122.
24	LI Y， HOU Q， ZHENG Z， et al. Large selective kernel network for remote sensing object detection［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2023： 16794-16805.
25	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］. Proceedings of the IEEE International Conference on Computer Vision， 2017： 2980-2988.
26	TEAM O D. OpenPCDet： an open-source toolbox for 3D object detection from point clouds （2020）［Z］. 2020.
27	LOSHCHILOV I， HUTTER F. Decoupled weight decay regularization［M］. arXiv， 2019.
28	ZHU B， JIANG Z， ZHOU X， et al. Class-balanced grouping and sampling for point cloud 3D object detection［M］. arXiv， 2019.
29	LANG A H， VORA S， CAESAR H， et al. Pointpillars： fast encoders for object detection from point clouds［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019： 12697-12705.
30	CHEN Y， LIU J， ZHANG X， et al. VoxelNeXt： fully sparse VoxelNet for 3D object detection and tracking［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2023： 21674-21683.
31	ZHOU Z， ZHAO X， WANG Y， et al. CenterFormer： center-based transformer for 3D object detection［M］//AVIDAN S， BROSTOW G， CISSÉ M， et al. Computer Vision-ECCV 2022： Vol. 13698. Cham： Springer Nature Switzerland， 2022： 496-513.
32	SHI G， LI R， MA C. PillarNet： real-time and high-performance pillar-based 3D object detection［M］//AVIDAN S， BROSTOW G， CISSÉ M， et al. Computer Vision-ECCV 2022： Vol. 13670. Cham： Springer Nature Switzerland， 2022： 35-52.
33	ERABATI G K， ARAUJO H. Li3detr： a lidar based 3D detection transformer［C］. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision， 2023： 4250-4259.
34	LI Y， CHEN Y， QI X， et al. Unifying voxel-based representation with transformer for 3D object detection［J］. Advances in Neural Information Processing Systems， 2022， 35： 18442-18455.
35	BAI X， HU Z， ZHU X， et al. Transfusion： robust lidar-camera fusion for 3D object detection with transformers［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022： 1090-1099.

算法	Car	Truck	Bus	Trailer	CV	Ped	Motor	Bicycle	TC	Barrier	mAP	NDS
Baseline	0.849	0.574	0.708	0.381	0.169	0.851	0.59	0.420	0.698	0.683	0.592 2	0.664 8
改进算法	0.863 1	0.598 8	0.738 5	0.450 7	0.241 4	0.866 9	0.736 4	0.607	0.750 2	0.666	0.651 9	0.701 0
提升	+1.41%	+2.48%	+3.05%	+6.97%	+7.24%	+1.59%	+8.8%	+18.7%	+5.22%	-1.7%	+5.97%	+3.62%

算法	mATE↓	mASE↓	mAOE↓	mAVE↓	mAAE↓	mAP↑	NDS↑
PointPillar-MultiHead	0.338 7	0.260 0	0.320 7	0.287 4	0.201 5	0.446 3	0.582 3
CBGS	0.311 5	0.255 1	0.266 4	0.262 6	0.204 6	0.505 9	0.622 9
CenterPoint	0.288 0	0.254 3	0.372 7	0.215 5	0.182 4	0.592 2	0.664 8
VoxelNext	0.301 1	0.252 3	0.405 7	0.216 9	0.185 6	0.605 3	0.666 5
CenterFormer	0.275 0	0.252 0	0.275 0	0.243 0	0.208 0	0.554 0	0.652 0
PillarNet（res18）	0.277 2	0.252 0	0.289 3	0.246 7	0.191 1	0.599 0	0.673 9
Li3DeTr						0.614 0	0.676 0
UVTR-L	0.334 0	0.257 0	0.300 0	0.204 0	0.182 0	0.609	0.677 0
Transfusion-L	0.279 7	0.253 7	0.293 2	0.273 2	0.185 4	0.645 7	0.694 3
改进算法	0.276 9	0.252 7	0.338 4	0.196 0	0.186 0	0.651 9	0.701 0

Baseline	DynamicVoxel	SED-3D-Backbone	LK-2D-Backbone	IoU-Branch	Direction-Cls	mAP	NDS	FPS/Hz
√						0.592 2	0.664 8	13.5
√	√					0.601 1	0.668 4	13.1
√	√	√				0.639 9	0.684 3	12.3
√	√	√	√			0.647 4	0.695 6	11.6
√	√	√	√	√		0.649 5	0.699 6	11.4
√	√	√	√	√	√	0.651 9	0.701 0	11.4

[1]	王海,丁玉轩,罗彤,邱梦,蔡英凤,陈龙. 驾驶场景下结合运动速度以及外观特征的多类多目标跟踪方法[J]. 汽车工程, 2024, 46(6): 956-964.
[2]	黄晶,刘祥臻,邓潇阳,陈然. 基于多模态轨迹预测的智能车轨迹规划研究[J]. 汽车工程, 2024, 46(6): 965-974.
[3]	王国栋,刘立,孟宇,杜海平,白国星,顾青. 自动驾驶汽车避撞极限研究[J]. 汽车工程, 2024, 46(6): 985-994.
[4]	姚福星,孙超,兰云港,卢兵,王博,于海洋. 基于混合专家模型的智能网联汽车换道决策方法[J]. 汽车工程, 2024, 46(5): 882-892.
[5]	李梦凡,冯忠祥,张卫华,李靖宇. 面向人机共驾模式下驾驶人接管过程的视觉转移特性研究[J]. 汽车工程, 2024, 46(5): 795-804.
[6]	杜国栋,邹渊,张旭东,孙文景,孙巍. 基于双估计强化学习结合前向预测控制的自动驾驶运动控制研究[J]. 汽车工程, 2024, 46(4): 564-576.
[7]	丁志杰,王亚飞,章翼辰,邬明宇,王亦乐. 基于复合动态采样的自动驾驶矿车节能路径规划方法[J]. 汽车工程, 2024, 46(4): 588-595.
[8]	刘辉,张发旺,聂士达,段京良,郭丛帅,郭凌雄. 基于逆模型预测控制的拟人驾驶控制[J]. 汽车工程, 2024, 46(4): 596-604.
[9]	梁弘毅,陈继开,刘万里,兰凤崇,莫丙达,陈吉清. 融合K-means聚类和序列分解的实车锂电池剩余使用寿命预测[J]. 汽车工程, 2024, 46(4): 634-642.
[10]	张培兴,秦孔建,朱冰,赵健,范天昕,赵文博. 自动驾驶仿真多逻辑场景综合评价方法[J]. 汽车工程, 2024, 46(3): 375-382.
[11]	周亦威,夏莫,朱冰. 城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究[J]. 汽车工程, 2024, 46(3): 396-406.
[12]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[13]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[14]	高泽, 楚遵康, 石稼晟, 林滏, 饶卫雄, 余海燕. 基于图网络的汽车零部件应力场快速预测方法研究[J]. 汽车工程, 2024, 46(1): 170-178.
[15]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.