基于多传感器信息融合的3维目标实时检测

doi:10.19562/j.chinasae.qcgc.2022.03.005

摘要/Abstract

摘要：

针对基于多传感器信息融合的3维目标检测，提出了一种实时高精度的双阶段深度神经网络PointRGBNet。第1阶段，在区域提案网络中，首先将3维点云投影到2维图像上生成6维RGB点云，然后对输入的6维RGB点云进行特征提取，得到低维特征图与高维特征图，利用融合后的特征图生成大量置信度较高的提案；第2阶段，在目标检测网络中，利用第1阶段生成的提案进行RoI池化，得到特征图上与每个提案对应的特征集合，通过针对性地学习提案的特征集合，实现了更精准的3维目标检测。在KITTI数据集上的公开测试结果表明，PointRGBNet在检测精度上不仅优于仅使用2维图像或3维点云的目标检测网络，甚至优于某些先进的多传感器信息融合网络，而且整个网络的目标检测速度为12帧/s，满足实时性要求。

关键词: 目标检测, 2维图像, 3维点云, 深度神经网络

Abstract:

Aiming at the 3D objects detection based on multi-sensor information fusion， a high-accuracy real-time two-stage deep neural network PointRGBNet is proposed. In the first stage with regional proposal network， 3D point clouds are firstly projected onto 2D image to generate 6D RGB point clouds， then feature extraction is performed on the 6D RGB point clouds input to obtain low-dimensional feature map and high-dimensional feature map which are then fused for generating a large number of proposals with high confidence. In the second stage with object detection network， the proposals generated in the first stage are used for RoI pooling to obtain the feature collection corresponding to each proposal from feature map， and more accurate 3D object detection is achieved by targetedly learning the feature collection of proposals. The results of open test on KITTI dataset show that PointRGBNet is not only better than the object detection networks using only 2D images or 3D point clouds in detection accuracy， even better than some advanced multi-sensor information fusion networks， but also has a high object detection speed of the entire network up to 12 frame/s， meeting the real-time requirements.

Key words: object detection, 2D images, 3D point clouds, deep neural networks

谢德胜,徐友春,陆峰,潘世举. 基于多传感器信息融合的3维目标实时检测[J]. 汽车工程, 2022, 44(3): 340-349.

Desheng Xie,Youchun Xu,Feng Lu,Shiju Pan. Real-time Detection of 3D Objects Based on Multi-Sensor Information Fusion[J]. Automotive Engineering, 2022, 44(3): 340-349.

图/表 13

图1

图2

图3

图4

图5

图6

图7

图8

表1

图9

表2

表3

表4

参考文献 19

1	LEVINSON J， ASKELAND J， BECKER J， et al. Towards fully autonomous driving： systems and algorithms［C］. IEEE Intelligent Vehicles Symposium （IV）. Piscataway， USA： IEEE， 2011： 163-168.
2	HOU-NING H， QI-ZHI C， DEQUAN W， et al. Joint monocular 3D vehicle detection and tracking［C］. IEEE International Conference on Computer Vision （ICCV）. Piscataway， USA： IEEE， 2019： 5390-5399.
3	HENDRIK K， NIELS O， CHRISTOPH S. Realtime 3D object detection for automated driving using stereo vision and semantic information［C］. IEEE Intelligent Transportation Systems Conference （ITSC）. Auckland， New Zealand： IEEE， 2019： 1405-1410.
4	ENGELCKE M， RAO D， WANG D Z， et al. Vote3Deep： fast object detection in 3D point clouds using efficient convolutional neural networks［C］. IEEE International Conference on Robotics and Automation. Piscataway， USA： IEEE， 2017： 1355-1361.
5	CHEN X， MA H， WAN J， et al. Multi-view 3D object detection network for autonomous driving［C］. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， USA： IEEE， 2017： 1907-1915.
6	QI C R， LI Y， HAO S， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［C］. Advances in Neural Information Processing Systems （NeurIPS）. Los Angeles， USA： NIPS， 2017： 5099-5108.
7	KU J， MOZIFIAN M， LEE J， et al. Joint 3D proposal generation and object detection from view aggregation［C］. IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway， USA： IEEE， 2018： 5750-5757.
8	MING L， BIN Y， SHENLONG W， et al. Deep continuous fusion for multi-sensor 3D object detection［C］. European Conference on Computer Vision （ECCV）. Berlin， Germany： Springer， 2018： 663-678.
9	SOURABH V， ALEX H， BASSAM H， et al. PointPainting： sequential fusion for 3D object detection［C］. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， USA： IEEE， 2020： 4603-4611.
10	GEIGER A， LENZ P， STILLER C， et al. Vision meets robotics： the KITTI dataset［J］. International Journal of Robotics Research， 2013， 32（11）： 1231-1237.
11	GEIGER A， LENZ P， URTASUN R. Are we ready for autonomous driving？ the KITTI vision benchmark suite［C］. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， USA： IEEE， 2012： 3354-3361.
12	XIAOZHI C， KAUSTAV K， YUKUN Z， et al. 3D object proposals for accurate object class detection［C］. Advances in Neural Information Processing Systems （NeurIPS）. Montreal， Canada： NIPS， 2015： 1-9.
13	ZHOU Y， TUZEL O. VoxelNet： End-to-end learning for point cloud based 3D object detection［C］. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， USA： IEEE， 2018： 4490-4499.
14	ROSS G， JEFF D， TREVOR D， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， USA： IEEE， 2014： 580-587.
15	ROSS G. Fast R-CNN［C］. IEEE International Conference on Computer Vision （ICCV）. Piscataway， USA： IEEE， 2015： 1440-1448.
16	REN S Q， HE K M， GIRSHICK R. Faster R-CNN： towards realtime object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
17	ALEXEY B， CHIEN-YAO W， HONG-YUAN M L. YOLOv4： optimal speed and accuracy of object detection［C］. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， USA： IEEE， 2020： 1-17.
18	CHEN X Z， KUNDU K， ZHANG Z Y. Monocular 3D object detection for autonomous driving［C］. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， USA： IEEE， 2016： 2147-2156.
19	MOUSAVIAN A， ANGUELOV D， FLYNN J. 3D bounding box estimation using deep learning and geometry［C］.IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， USA： IEEE， 2017： 5632-5640.

方法	传感器类型	耗时/s	汽车（IoU=0.7）			行人（IoU=0.5）			骑行者（IoU=0.5）
方法	传感器类型	耗时/s	简单	中等	困难	简单	中等	困难	简单	中等	困难
3DOP^［12］	相机	1.20	6.55	5.07	4.1
Kinematic3D^［29］	相机	0.12	19.07	12.72	9.17
VoxelNet^［13］	激光雷达	0.23	77.47	65.11	57.73	39.48	33.69	31.51	61.22	48.36	44.37
3DBN^［30］	激光雷达	0.13	83.77	73.53	66.23
F-PointNet^［25］	相机+激光雷达	0.17	82.19	69.79	60.59	50.53	42.15	38.08	72.27	56.12	49.01
MV3D^［5］	相机+激光雷达	0.36	71.09	62.35	55.12
AVOD^［7］	相机+激光雷达	0.08	81.94	71.88	66.38	50.80	42.81	40.88	64.00	52.18	46.61
AVOD-FPN^［7］	相机+激光雷达	0.10	83.07	71.76	65.73	50.46	42.27	39.04	63.76	50.55	44.93
ContFuse^［8］	相机+激光雷达	0.06	83.68	68.78	61.67
PointPainting^［9］	相机+激光雷达	0.40	82.11	71.70	67.08	50.32	40.97	37.87	77.63	63.78	55.89
PointRGBNet	相机+激光雷达	0.08	83.99	73.49	68.56	34.77	26.40	24.03	67.05	52.15	46.78

方法		汽车（IoU=0.7）
方法		简单	中等	困难
VoxelNet^［12］		81.98	65.46	56.56
F-PointNet^［7］		83.76	70.92	63.65
MV3D^［5］		71.29	62.68	56.56
AVOD-FPN^［13］		84.41	74.44	68.65
ContFuse^［29］		82.54	66.22	64.04
PointRGBNet	不使用数据增强	82.97	72.54	64.13
PointRGBNet	使用数据增强	85.65	73.28	68.89

输入数据类型	目标类型	检测难度等级
输入数据类型	目标类型	简单	中等	困难
6维RGB点云	汽车（IoU=0.7）	83.99	73.49	68.56
	行人（IoU=0.5）	34.77	26.40	24.03
	骑行者（IoU=0.5）	67.05	52.15	46.78
3维点云	汽车（IoU=0.7）	82.79	72.49	67.54
	行人（IoU=0.5）	34.36	26.03	22.92
	骑行者（IoU=0.5）	65.27	50.62	45.07

预测方法	目标类型	检测难度等级
预测方法	目标类型	简单	中等	困难
先分类再回归	汽车（IoU=0.7）	83.99	73.49	68.56
	行人（IoU=0.5）	34.77	26.40	24.03
	骑行者（IoU=0.5）	67.05	52.15	46.78
直接回归	汽车（IoU=0.7）	73.33	64.36	60.12
	行人（IoU=0.5）	29.83	22.99	20.10
	骑行者（IoU=0.5）	53.66	41.79	37.81

[1]	程腾,倪昊,张强,王文冲,石琴. 基于虚拟点云的二阶段多模态融合网络[J]. 汽车工程, 2024, 46(2): 222-229.
[2]	马雷, 杨顺清, 王欢欢, 翟家琛, 徐健傲. 融合图像显著性特征的轻量级目标检测算法[J]. 汽车工程, 2024, 46(1): 84-91.
[3]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[4]	韩勇,林旭洁,黄红武,蔡鸿瑜,罗金镕,李燕婷. 典型汽车碰撞事故场景中行人运动轨迹预测方法[J]. 汽车工程, 2023, 45(6): 1022-1030.
[5]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.
[6]	陈妍妍,王海,蔡英凤,陈龙,李祎承. 基于检测的高效自动驾驶实例分割方法[J]. 汽车工程, 2023, 45(4): 541-550.
[7]	刘正发,吴亚,刘佩根,顾荣琦,陈广. 基于特征和标签联合分布匹配的智能驾驶跨域自适应目标检测[J]. 汽车工程, 2023, 45(11): 2082-2091.
[8]	胡杰,徐博远,熊宗权,昌敏杰,郭迪,谢礼浩. 基于多尺度掩码分类域自适应网络的跨域目标检测算法[J]. 汽车工程, 2022, 44(9): 1327-1338.
[9]	金立生,贺阳,王欢欢,霍震,谢宪毅,郭柏苍. 基于自适应阈值DBSCAN的路侧点云分割算法[J]. 汽车工程, 2022, 44(7): 987-996.
[10]	刘子龙,沈祥飞. 融合Lite-HRNet的Yolo v5双模态自动驾驶小目标检测方法[J]. 汽车工程, 2022, 44(10): 1511-1520.
[11]	张炳力,秦浩然,江尚,郑杰禹,吴正海. 基于RetinaNet及优化损失函数的夜间车辆检测方法[J]. 汽车工程, 2021, 43(8): 1195-1202.
[12]	程腾,孙磊,侯登超,石琴,张峻宁,陈炯,黄鹤. 基于特征融合的多层次多模态目标检测[J]. 汽车工程, 2021, 43(11): 1602-1610.
[13]	熊辉, 郭宇昂, 陈超义, 许庆, 李克强. 基于遗传优化与深度学习的交通信号灯检测^*[J]. 汽车工程, 2019, 41(8): 960-966.
[14]	娄新雨, 王海, 蔡英凤, 郑正扬, 陈龙. 采用64线激光雷达的实时道路障碍物检测与分类算法的研究[J]. 汽车工程, 2019, 41(7): 779-754.
[15]	陈文强,熊辉,李克强,李晓飞,张德兆. 基于深度神经网络的行人及骑车人联合检测[J]. 汽车工程, 2018, 40(6): 726-.