基于虚拟点云的二阶段多模态融合网络

doi:10.19562/j.chinasae.qcgc.2024.02.004

汽车工程 ›› 2024, Vol. 46 ›› Issue (2): 222-229.doi: 10.19562/j.chinasae.qcgc.2024.02.004

基于虚拟点云的二阶段多模态融合网络

程腾^1,^2,³(),倪昊^1,^2,³,张强^1,^2,^3,⁴,王文冲⁴,石琴^1,^2,³

^1.合肥工业大学，自动驾驶汽车安全技术安徽省重点实验室，合肥 230009
^2.安徽省智慧交通车路协同工程研究中心，合肥 230000
^3.合肥工业大学汽车与交通工程学院，合肥 230000
^4.奇瑞汽车股份有限公司，芜湖 241000

收稿日期:2023-05-10 修回日期:2023-07-30 出版日期:2024-02-25 发布日期:2024-02-23
通讯作者: 程腾 E-mail:cht616@hfut.edu.cn
基金资助:
国家自然科学基金(82171012);安徽省自然科学基金(2208085MF171);安徽省新能源汽车暨智能网联汽车创新工程项目(JZ2021AFKJ0002);汽车标准化公益性开放课题(CATARC-Z-2022-01350)

Two-Stage Multimodal Fusion Networks Based on Virtual Point Clouds

Teng Cheng^1,^2,³(),Hao Ni^1,^2,³,Qiang Zhang^1,^2,^3,⁴,Wenchong Wang⁴,Qin Shi^1,^2,³

^1.Hefei University of Technology，Key Laboratory for Automated Vehicle Safety Technology of Anhui Province，Hefei 　230009
^2.Engineering Research Center for Intelligent Transportation and Cooperative Vehicle-Infrastructure of Anhui Province，Hefei 　230000
^3.School of Automotive and Transportation Engineering，Hefei University of Technology，Hefei 　230000
^4.Chery Automobile Co. ，Ltd. ，Wuhu 　241000

Received:2023-05-10 Revised:2023-07-30 Online:2024-02-25 Published:2024-02-23
Contact: Teng Cheng E-mail:cht616@hfut.edu.cn

摘要/Abstract

摘要：

针对点云的稀疏性和无序性对目标检测准确率的影响，本文提出了一种基于虚拟点云的二阶段多模态融合网络VPC-VoxelNet。首先，利用图像检测目标信息构造虚拟点云，增加点云的密集程度，从而提高目标特征的表现；其次，增加点云特征维度以区分真实和虚拟点云，并使用含置信度编码的体素，增强点云的相关性；最后，采用虚拟点云的比例系数设计损失函数，增加图像检测有监督训练，提高二阶段网络训练效率，避免二阶段端到端网络模型存在的模型误差累计问题。该目标检测网络VPC-VoxelNet在KITTI数据集上进行了测试，检测精度优于经典三维点云检测网络和某些多传感器信息融合网络，车辆检测精度达到了86.9%。

关键词: 目标检测, 多模态感知, 虚拟点云, 损失函数

Abstract:

To address the impact of sparsity and disorder of point clouds on target detection accuracy， a two-stage multimodal fusion network VPC-VoxelNet based on virtual point clouds is proposed in this paper. Firstly， virtual point clouds are constructed using image detection target information to increase the density of point clouds， thus improving the performance of target features. Secondly， the dimensionality of point cloud features is increased to distinguish real and virtual point clouds， and a voxel with confidence encoding is used to enhance the correlation of point clouds. Finally， the scale factor of the virtual point clouds is adopted to design the loss function to increase the supervised training of image detection and improve the training efficiency of the two-stage network， and avoid the cumulative model error problem of the two-stage end-to-end network model. The target detection network， VPC-VoxelNet， is tested on the KITTI dataset， and the detection accuracy is better than that of the classical 3-dimensional point cloud detection network and certain multi-sensor information fusion networks， with a vehicle detection accuracy of 86.9%.

Key words: target detection, multimodal perception, virtual point cloud, loss function

程腾,倪昊,张强,王文冲,石琴. 基于虚拟点云的二阶段多模态融合网络[J]. 汽车工程, 2024, 46(2): 222-229.

Teng Cheng,Hao Ni,Qiang Zhang,Wenchong Wang,Qin Shi. Two-Stage Multimodal Fusion Networks Based on Virtual Point Clouds[J]. Automotive Engineering, 2024, 46(2): 222-229.

图/表 11

图1

图2

图3

图4

表1

图5

图6

表2

表3

表4

表5

参考文献 21

1	ALABA S Y，BALL J E. A survey on deep-learning-based LiDAR 3D object detection for autonomous driving［J］. Sensors，2022，22（24）.
2	JISEN W. A study on target recognition algorithm based on 3D point cloud and feature fusion［C］. 2021 IEEE 4th International Conference on Automation， Electronics and Electrical Engineering （AUTEEE）. IEEE， 2021： 630-633.
3	MENDEZ J， MOLINA M， RODRIGUEZ N， et al. Camera-LiDAR multi-level sensor fusion for target detection at the network edge［J］. Sensors， 2021， 21（12）： 3992.
4	PESSACH D， SHMUELI E. A review on fairness in machine learning［J］. ACM Computing Surveys （CSUR）， 2022， 55（3）： 1-44.
5	HUANG Siyuan， LIU Limin， FU Xiongjun，et al. Overview of LiDAR point cloud target detection methods based on deep learning［J］. Sensor Review，2022，42（5）.
6	QI C R， SU H， MO K，et al. PointNet： deep learning on point sets for 3D classification and segmentation［J］. CoRR，2016，abs/1612.00593.
7	LI Y， BU R， SUN M， et al. PointCNN： convolution on X-transformed points［J］. Advances in Neural Information Processing Systems， 2018， 31.
8	ZHANG M， CUI Z， NEUMANN M， et al. An end-to-end deep learning architecture for graph classification［C］. Proceedings of the AAAI Conference on Artificial Intelligence， 2018， 32（1）.
9	ZHOU Y， TUZEL O. VoxelNet： end-to-end learning for point cloud based 3D object detection［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 4490-4499.
10	YAN Y， MAO Y， LI B. Second： sparsely embedded convolutional detection［J］. Sensors， 2018， 18（10）： 3337.
11	王麒. 基于深度学习的自动驾驶感知算法［D］.杭州：浙江大学，2022.DOI：10.27461/d.cnki.gzjdx.2022.001691.
	WANG Qi. Deep learning based autonomous driving perception algorithm［D］.Hangzhou： Zhejiang University，2022. DOI：10.27461/d.cnki.gzjdx.2022.001691.
12	ZHANG X， WANG L， ZHANG G， et al. RI-Fusion： 3D object detection using enhanced point features with range-image fusion for autonomous driving［J］. IEEE Transactions on Instrumentation and Measurement， 2022.
13	YU F， WANG D， SHELHAMER E， et al. Deep layer aggregation［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 2403-2412.
14	王宏任，陈世峰.基于关键点检测二阶段目标检测方法研究［J］.集成技术，2021，10（5）：34-42.
	WANG Hongren， CHEN Shifeng. Research on two-stage object detection method based on key point detection［J］. Journal of Integration Technology，2021，10（5）：34-42.
15	DUAN K， BAI S， XIE L， et al. CenterNet： keypoint triplets for object detection［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 6569-6578.
16	WENG X， KITANI K. Monocular 3D object detection with pseudo-lidar point cloud［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops， 2019.
17	LANG A H， VORA S， CAESAR H， et al. PointPillars： fast encoders for object detection from point clouds［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019： 12697-12705.
18	QI C R， LIU W， WU C， et al. Frustum pointnets for 3D object detection from RGB-D data［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 918-927.
19	谢德胜，徐友春，陆峰，等. 基于多传感器信息融合的3维目标实时检测［J］. 汽车工程， 2022， 44（3）： 340-349.
	XIE Desheng， XU Youchun， LU Feng，et al. Real-time detection of 3D objects based on multi-sensor information fusion［J］. Automotive Engineering， 2022， 44（3）： 340-349.
20	LIU Z， WU Z， TÓTH R. Smoke： single-stage monocular 3D object detection via keypoint estimation［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops， 2020： 996-997.
21	GUO X， ZHANG Y， GONG L， et al. 3D object detection on voxels in spherical coordinate system［C］. 2021 7th International Conference on Big Data Computing and Communications （BigCom）. IEEE， 2021： 286-293.

虚拟点云数量	汽车AP/%	推理时间/s
1	84.64	0.08
2	85.32	0.13
5	86.92	0.20

距离/m	方法	检测精度（汽车）/%
距离/m	方法	简单	中等	困难
0-10	1	85.47	88.78	89.13
0-10	2	87.20	90.01	89.90
10-20	1	89.40	89.50	88.83
10-20	2	89.54	90.42	87.63
20-30	1	85.52	86.11	77.19
20-30	2	86.01	86.98	80.21
>30	1	27.32	53.69	51.33
>30	2	24.68	49.22	50.54

模态		检测精度（汽车）/%
相机	雷达	简单	中等	困难
	√	83.34	72.55	65.82
√		82.33
√	√	86.92	74.47	69.97

方法	检测精度（汽车）/%
方法	简单	中等	困难
1	86.96	75.64	70.70
2	88.33	74.72	71.23

方法	传感器类型	汽车（3D）/%			汽车（BEV）/%
方法	传感器类型	简单	中等	困难	简单	中等	困难
SECOND	激光雷达	83.34	72.55	65.82	89.39	83.77	78.59
PointPillars	激光雷达	82.58	74.31	68.99	90.07	86.56	82.81
PC-CNN-V2	激光雷达	85.57	73.79	65.65	90.87	87.84	80.52
BirdNet+	激光雷达	76.15	64.04	59.79	87.43	81.85	75.36
PV-RCNN	激光雷达	90.25	81.43	76.82
PointRGBNet^［19］	相机+激光雷达	83.99	73.49	68.56
MV3D	相机+激光雷达	74.97	63.63	63.63	86.62	78.93	69.80
DMF	相机+激光雷达	77.55	67.33	62.44	84.64	80.29	76.05
AVOD-FPN	相机+激光雷达	83.07	71.76	65.73	90.99	84.82	79.62
F-PointNet	相机+激光雷达	82.19	69.79	60.59	91.17	84.67	74.77
PVF-DectNet	相机+激光雷达	84.60	75.00	69.70
VPC-VoxelNet（ours）	相机+激光雷达	86.92	74.47	69.97	92.24	84.13	81.50

基于虚拟点云的二阶段多模态融合网络

Two-Stage Multimodal Fusion Networks Based on Virtual Point Clouds

RichHTML

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 21

相关文章 15

Metrics

本文评价

推荐阅读 10

[1]	马雷, 杨顺清, 王欢欢, 翟家琛, 徐健傲. 融合图像显著性特征的轻量级目标检测算法[J]. 汽车工程, 2024, 46(1): 84-91.
[2]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[3]	韩勇,林旭洁,黄红武,蔡鸿瑜,罗金镕,李燕婷. 典型汽车碰撞事故场景中行人运动轨迹预测方法[J]. 汽车工程, 2023, 45(6): 1022-1030.
[4]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.
[5]	姚宇捷,彭育辉,陈泽辉,何维堃,吴庆,黄炜,陈文强. 支持抗光照目标检测的改进YOLO算法[J]. 汽车工程, 2023, 45(5): 777-785.
[6]	陈妍妍,王海,蔡英凤,陈龙,李祎承. 基于检测的高效自动驾驶实例分割方法[J]. 汽车工程, 2023, 45(4): 541-550.
[7]	石琴,陈雅芳,程腾,张强,王文冲,石本义. 基于局部平面引导层的无监督单目红外图像深度估计[J]. 汽车工程, 2023, 45(12): 2291-2298.
[8]	刘正发,吴亚,刘佩根,顾荣琦,陈广. 基于特征和标签联合分布匹配的智能驾驶跨域自适应目标检测[J]. 汽车工程, 2023, 45(11): 2082-2091.
[9]	胡杰,徐博远,熊宗权,昌敏杰,郭迪,谢礼浩. 基于多尺度掩码分类域自适应网络的跨域目标检测算法[J]. 汽车工程, 2022, 44(9): 1327-1338.
[10]	金立生,贺阳,王欢欢,霍震,谢宪毅,郭柏苍. 基于自适应阈值DBSCAN的路侧点云分割算法[J]. 汽车工程, 2022, 44(7): 987-996.
[11]	谢德胜,徐友春,陆峰,潘世举. 基于多传感器信息融合的3维目标实时检测[J]. 汽车工程, 2022, 44(3): 340-349.
[12]	刘子龙,沈祥飞. 融合Lite-HRNet的Yolo v5双模态自动驾驶小目标检测方法[J]. 汽车工程, 2022, 44(10): 1511-1520.
[13]	张炳力,秦浩然,江尚,郑杰禹,吴正海. 基于RetinaNet及优化损失函数的夜间车辆检测方法[J]. 汽车工程, 2021, 43(8): 1195-1202.
[14]	程腾,孙磊,侯登超,石琴,张峻宁,陈炯,黄鹤. 基于特征融合的多层次多模态目标检测[J]. 汽车工程, 2021, 43(11): 1602-1610.
[15]	娄新雨, 王海, 蔡英凤, 郑正扬, 陈龙. 采用64线激光雷达的实时道路障碍物检测与分类算法的研究[J]. 汽车工程, 2019, 41(7): 779-754.