基于稀疏彩色点云的自动驾驶汽车3D目标检测方法

doi:10.19562/j.chinasae.qcgc.2021.04.006

摘要/Abstract

摘要：

针对目前在自动驾驶汽车中，目标检测的点云分割与识别算法的准确率低等问题，提出一种稀疏彩色点云结构，该结构由摄像头采集的图像信息与激光雷达采集的点云信息进行空间匹配与特征叠加后生成。通过改进的PointPillars神经网络算法对融合后的彩色稀疏点云进行运算。实验结果表明，本方法在平均精度上比原算法有较大的提升，尤其是对行人和骑单车人的识别平均精度的提升更为明显，在中等难度下的行人和骑单车人3D检测的平均精度值分别提升13.8%和6.6%，显示了本方法的有效性。

关键词: 激光雷达, 传感器融合, 神经网络, 物体检测

Abstract:

Aiming at the current problem of the low accuracy of point cloud segmentation and recognition algorithm in object detection of autonomous vehicle， a sparse color point cloud （SCPC） structure is proposed， which is formed by spatial matching and feature superposition of the image information collected by camera and the point cloud information acquired from lidar. Then， the improved PointPillars neural network algorithm is adopted to conduct operation on the fused SCPC. The results of experiment show that this method can achieve a major rise in average accuracy， compared with original PointPillars algorithm， especially the recognition accuracy of pedestrians and cyclists. The average accuracy of pedestrian and cyclist detections on 3D view under medium difficulty increases by 13.8% and 6.6% respectively， demonstrating the effectiveness of the method adopted.

Key words: lidar, sensor fusion, neural network, object detection

罗玉涛,秦瀚. 基于稀疏彩色点云的自动驾驶汽车3D目标检测方法[J]. 汽车工程, 2021, 43(4): 492-500.

Yutao Luo,Han Qin. 3D Object Detection Method for Autonomous Vehicle Based on Sparse Color Point Cloud[J]. Automotive Engineering, 2021, 43(4): 492-500.

图/表 15

图 1

图 2

图 3

图 4

图 5

图 6

图 7

图 8

图 9

图 10

图 11

图 12

图 13

图 14

图 15

参考文献 28

1	HIMMELSBACH M， MUELLER A， LÜTTEL T， et al. LIDAR⁃based 3D object perception［C］. Proceedings of 1st International Workshop on Cognition for Technical Systems，2008.
2	CHARLES R Q， SU H， KAICHUN M， et al. PointNet： deep learning on point sets for 3D classification and segmentation［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），IEEE Computer Society， 2017.
3	YANG B， LIANG M， URTASUN R. Hdnet： Exploiting HD maps for 3D object detection［C］. Conference on Robot Learning，PMLR， 2018.
4	ZHOU Y， TUZEL O. VoxelNet： end⁃to⁃end learning for point cloud based 3D object detection［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition， IEEE， 2018.
5	YAN Y， MAO Y， LI B. Second： sparsely embedded convolutional detection［J］. Sensors， 2018，18（10）： 3337.
6	LANG A H， VORA S， CAESAR H， et al. PointPillars： fast encoders for object detection from point clouds［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2019.
7	CHEN X， MA H， WAN J， et al. Multi⁃view 3D object detection network for autonomous driving［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， IEEE， 2017.
8	LIANG M， YANG B， WANG S， et al. Deep continuous fusion for multi⁃sensor 3D object detection［C］. European Conference on Computer Vision， Springer， 2018.
9	KU J， MOZIFIAN M， LEE J， et al. Joint 3D proposal generation and object detection from view aggregation［C］. 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， IEEE， 2018.
10	CHO H， SEO Y， KUMAR B V， et al. A multi⁃sensor fusion system for moving object detection and tracking in urban driving environments［C］. 2014 IEEE International Conference on Robotics and Automation （ICRA），IEEE， 2014.
11	CHAVEZ-GARCIA R O， AYCARD O. Multiple sensor fusion and classification for moving object detection and tracking［J］. IEEE Transactions on Intelligent Transportation Systems， 2015，17（2）： 525-534.
12	KU J， PON A D， WALSH S， et al. Improving 3D object detection for pedestrians with virtual multi⁃view synthesis orientation estimation［C］. 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， IEEE， 2019.
13	KU J， PON A D， WASLANDER S L. Monocular 3D object detection leveraging accurate proposals and shape reconstruction［C］. IEEE Computer Society， 2019.
14	VORA S， LANG A H， HELOU B， et al. PointPainting： sequential fusion for 3D object detection［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2020.
15	FISHER B. "3x4Projection Matrix" from geometric framework for vision I ［EB/OL］. （1997-04-16）［2021-03-02］. .
16	FISHER B. "Camera Calibration"from geometric framework for vision I［EB/OL］. （1997-04-16）［2021-03-02］. .
17	GEIGER A， LENZ P， STILLER C， et al. Vision meets robotics： the KITTI dataset［J］. The International Journal of Robotics Research， 2013，32（11）： 1231-1237.
18	LIU W， ANGUELOV D， ERHAN D， et al. Ssd： single shot multibox detector［C］. European Conference on Computer Vision， Springer， 2016.
19	IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift［C］. International Conference on Machine Learning， 2015. PMLR.
20	NAIR V， HINTON G E. Rectified linear units improve restricted Boltzmann machines［C］. Proceedings of the 27th International Conference on International Conference on Machine Learning， 2010.
21	EVERINGHAM M， Van GOOL L， WILLIAMS C K， et al. The pascal visual object classes （VOC） challenge［J］. International Journal of Computer Vision， 2010，88（2）： 303-338.
22	LIN T， GOYAL P， GIRSHICK R B， et al. Focal loss for dense object detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018，2（42）： 318-327.
23	CHEN X， KUNDU P K， ZHU Y， et al. 3D object proposals for accurate object class detection［C］. Advances in Neural Information Processing Systems， 2015： 424-432.
24	GEIGER A， LENZ P， URTASUN R. Are we ready for autonomous driving？ the KITTI vision benchmark suite［C］. 2012 IEEE Conference on Computer Vision and Pattern Recognition， IEEE， 2012.
25	YANG Z， SUN Y， LIU S， et al. STD： sparse⁃to⁃dense 3D object detector for point cloud［C］. 2019 IEEE/CVF International Conference on Computer Vision （ICCV）， IEEE， 2019.
26	YANG Z， SUN Y， LIU S， et al. IPOD： intensive point⁃based object detector for point cloud［J］. arXiv preprint， 2018： 1812.
27	QI C R， LIU W， WU C， et al. Frustum PointNets for 3D object detection from RGB-D data［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018.
28	SHIN K， KWON Y P， TOMIZUKA M. RoarNet： a robust 3D object detection based on region approximation refinement［C］. 2019 IEEE Intelligent Vehicles Symposium （IV）， IEEE， 2019.

[1]	王彦鑫,李海岩,崔世海,贺丽娟,吕文乐. 基于BP神经网络的儿童乘员头部损伤预测模型及评估参数研究[J]. 汽车工程, 2024, 46(2): 329-336.
[2]	胡明辉,朱广曜,刘长贺,唐国峰. 考虑迟滞特性的卡尔曼滤波和门控循环单元神经网络的锂离子电池SOC联合估计[J]. 汽车工程, 2023, 45(9): 1688-1701.
[3]	管欣,仲昭辉,詹军,奚腾龙,叶昊,高深圳,成健,廖世辉,蔡均. 基于卷积神经网络的汽车操纵稳定性试验类型识别方法[J]. 汽车工程, 2023, 45(9): 1765-1771.
[4]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[5]	陈国强,申正义,孙利,支梦帆,李彤. 基于BP神经网络优化遗传算法的智能座舱感性意象预测[J]. 汽车工程, 2023, 45(8): 1479-1488.
[6]	张雷, 关可人, 丁晓林, 郭鹏宇, 王震坡, 孙逢春. 基于图像识别与动力学融合的路面附着系数估计方法[J]. 汽车工程, 2023, 45(7): 1222-1234.
[7]	浦震峰, 唐亮, 上官文斌, 王伟玮, 蒋开洪. 基于多传感器信息的汽车低速车速估计方法[J]. 汽车工程, 2023, 45(7): 1235-1243.
[8]	韩勇,林旭洁,黄红武,蔡鸿瑜,罗金镕,李燕婷. 典型汽车碰撞事故场景中行人运动轨迹预测方法[J]. 汽车工程, 2023, 45(6): 1022-1030.
[9]	赵霞,李朝,付锐,葛振振,王畅. 基于深度卷积-Tokens降维优化视觉Transformer的分心驾驶行为实时检测[J]. 汽车工程, 2023, 45(6): 974-988.
[10]	伍文广,田双岳,张志勇,金斌,邱增华. 凸凹不平道路几何参数识别和模型重构方法研究[J]. 汽车工程, 2023, 45(2): 273-284.
[11]	李琳辉,张鑫亮,付一帆,连静,马家旭. 基于TC-YOLOv7算法的可见光与红外后融合检测研究[J]. 汽车工程, 2023, 45(12): 2280-2290.
[12]	何智成,杜磊浩,周恩临,覃高峰,黄晋. 基于改进连续型Hopfield神经网络的CAN总线负载率优化[J]. 汽车工程, 2023, 45(12): 2338-2347.
[13]	梁旺,秦兆博,陈亮,边有钢,胡满江. 基于改进BP神经网络的智能车纵向控制方法[J]. 汽车工程, 2022, 44(8): 1162-1172.
[14]	毕贵红,谢旭,蔡子龙,骆钊,陈臣鹏,赵鑫. 动态条件下基于深度学习的锂电池容量估计[J]. 汽车工程, 2022, 44(6): 868-878.
[15]	张哲雨,吕超,李景行,熊光明,吴绍斌,龚建伟. 基于车辆视角数据的行人轨迹预测与风险等级评定[J]. 汽车工程, 2022, 44(5): 675-683.