基于体素网络的道路场景多类目标识别算法

doi:10.19562/j.chinasae.qcgc.2021.04.003

摘要/Abstract

摘要：

基于激光雷达数据的三维物体识别是自动驾驶系统的关键组成部分，体素网络是较好的点云特征提取容器，但目前基于体素网络的目标识别研究大多指向单类目标。为满足无人驾驶领域的应用需求，多类目标识别亟待开展研究。本文中基于体素网络框架构建了多类目标识别网络，并测试其性能。采用计算所有类别先验候选边框重叠度的方法，为标签周围体素创建类别标签、置信度标签和目标包围边框回归值，解决了3项预测值之间可能不匹配的问题。测试结果表明，本文中提出的多目标识别算法类别预测综合召回率为88.6%；设定判定正确的重叠度阈值为0.5时，边框回归召回率为84.8%。相较于单类目标识别网络，本文中算法的单类目标预测正确率明显提高，验证了多类目标识别算法对目标特征学习有加强作用，对增强目标识别网络的鲁棒性有利。

关键词: 目标识别, 多类目标, 体素网络, 激光雷达, 鲁棒性

Abstract:

The 3D object recognition based on lidar data is a key part of autopilot system. Voxel network is a good container for extracting point cloud features， but most of the research at present on object recognition based on voxel network focuses on single?category object. In order to meet the application demand of unmanned vehicle， it is urgent to carry out research on multi?category object recognition. In this paper， a multi?category object recognition algorithm based on voxel network is established and its performance is validated. The category label， confidence label and bounding borders regression values of the voxels around the tag are created by calculating the maximal intersection over union（IoU） among prior candidate borders of all categories simultaneously， which resolves the possible mismatch among the three predicted values. The test results indicate that the average recall of category prediction of the proposed multi?category object recognition algorithm is 88.6% and taking the IoU threshold of 0.5 as the correct one， the border regression is 84.8%. Compared with the single?category object recognition network， each category performs an obviously improved accuracy using the proposed algorithm， which proves that the multi?category object recognition algorithm effectively enhances the ability of characteristics learning， and contributes to the improvement of the robustness of the object recognition network.

Key words: object recognition, multi?category, voxel network, lidar, robustness

龚章鹏,王国业,于是. 基于体素网络的道路场景多类目标识别算法[J]. 汽车工程, 2021, 43(4): 469-477.

Zhangpeng Gong,Guoye Wang,Shi Yu. The Algorithm of Multi⁃Category Object Recognition in Road Scene Based on Voxel Network[J]. Automotive Engineering, 2021, 43(4): 469-477.

图/表 2

参考文献 18

1	季一木，陈治宇，田鹏浩，等. 无人驾驶中3D目标检测方法研究综述［J］. 南京邮电大学学报（自然科学版）， 2019， 39（4）： 72-79.
	JI Y M， CHEN Z Y， TIAN P H， et al. A survey of 3D target detection methods in unmanned driving［J］. Journal of Nanjing University of Posts and Telecommunications （Natural Science Edition）， 2019， 39（4）： 72-79.
2	李秋洁，郑加强，周宏平，等. 基于变尺度格网索引与机器学习的行道树靶标点云识别［J］. 农业机械学报， 2018， 49（6）： 32-37.
	LI Q J， ZHENG J Q， ZHOU H P， et al. Point cloud recognition of street tree target based on variable⁃scale grid index and machine learning［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（6）： 32-37.
3	徐国艳，牛欢，郭宸阳，等. 基于三维激光点云的目标识别与跟踪研究［J］. 汽车工程， 2020， 42（1）： 38-46.
	XU G Y， NIU H， GUO C Y， et al. Research on target recognition and tracking based on 3D laser point cloud［J］. Automotive Engineering， 2020， 42（1）： 38-46.
4	REDMON J， FARHAD A. YOLO9000： better， faster， stronger［C］. IEEE Conference on Computer Vision and Pattern Recognition， Honolulu， 2017.
5	REN S， HE K， GIRSHICK R， et al. Faster r⁃cnn： towards real⁃time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：1137-1149.
6	Qi C R， SU H， MO K， et al. Pointnet： deep learning on point sets for 3d classification and segmentation［C］. IEEE Conference on Computer Vision and Pattern Recognition， Honolulu， 2017.
7	XU K， YANG Z L， XU Y J， et al. Residual blocks pointnet： a novel faster pointnet framework for segmentation and estimated pose［C］. IEEE International Conference on Cloud Computing and Intelligence Systems， Nanjing， 2018.
8	PAMPLONA J， MADRIGAL C， ESCALERA A. Pointnet evaluation for on⁃road object detection using a multi⁃resolution conditioning［C］. Iberoamerican Congress， Madrid， 2018.
9	SHI W J， RAJKUMAR R. Point⁃GNN： graph neural network for 3D object detection in a point cloud［C］. IEEE/CVF Conference on Computer Vision and Pattern Recognition， Seattle， 2020.
10	CHEN X Z， MA H M， WAN J， et al. Multi⁃view 3D object detection network for autonomous driving［C］. IEEE Conference on Computer Vision and Pattern Recognition， Honolulu， 2017.
11	SHI S S， GUO C X， JIANG L， et al. PV-RCNN： point-voxel feature set abstraction for 3D object detection［C］. IEEE/CVF Confe⁃rence on Computer Vision and Pattern Recognition， Seattle， 2020.
12	ZHOU Y， TUZEL O. VoxelNet： end⁃to⁃end learning for point cloud based 3D object detection［C］. IEEE Conference on Computer Vision and Pattern Recognition， Salt Lake City， 2018.
13	QI C R， YI L， SU H， et al. Pointnet++： deep hierarchical feature learning on point sets in a metric space［C］. Conference and Workshop on Neural Information Processing Systems， Long Beach， 2017.
14	HU Q Y， YANG B， XIE L H， et al. RandLA⁃Net： efficient semantic segmentation of large⁃scale point clouds［C］. IEEE/CVF Conference on Computer Vision and Pattern Recognition， Seattle， 2020.
15	LOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift［C］. International Conference on International Conference on Machine Lear⁃ning， Lille， 2015.
16	ZHAO H S， QI X J， SHEN X Y， et al. ICNet for real⁃time semantic segmentation on high⁃resolution images［C］. European Confe⁃rence on Computer Vision， Munich， 2017.
17	REDMON J， FARHADI A. YOLOv3： an incremental improvement［J］. arXiv preprint， arXiv：1804.02767， 2018
18	ALHAIJA A H， MUSTIKOVELA S K， MESCHEDER L， et al. Augmented reality meets computer vision： efficient data generation for urban driving scenes［J］. International Journal of Compu⁃ter Vision， 2018， 126：961-972.

[1]	伍文广,田双岳,张志勇,金斌,邱增华. 凸凹不平道路几何参数识别和模型重构方法研究[J]. 汽车工程, 2023, 45(2): 273-284.
[2]	程腾,侯登超,张强,石琴,郭利港. 基于D-S证据理论的多模态结果级融合框架研究[J]. 汽车工程, 2023, 45(10): 1815-1823.
[3]	冯润泽,江昆,于伟光,杨殿阁. 基于两阶段分类算法的中国交通标志牌识别[J]. 汽车工程, 2022, 44(3): 434-441.
[4]	张晓龙,江昆,孙恺,刘茂林,邵振雷,肖鹏川,杨殿阁. 激光雷达的内参建模与点云修正方法[J]. 汽车工程, 2021, 43(8): 1228-1237.
[5]	王海,李洋,蔡英凤,孙恺,陈龙. 基于激光雷达的3D实时车辆跟踪[J]. 汽车工程, 2021, 43(7): 1013-1021.
[6]	罗玉涛,秦瀚. 基于稀疏彩色点云的自动驾驶汽车3D目标检测方法[J]. 汽车工程, 2021, 43(4): 492-500.
[7]	宋海生,杨娜,杨昌海,陈志勇,史文库. 兼顾鲁棒性的多目标焊点自适应优化方法[J]. 汽车工程, 2021, 43(3): 442-449.
[8]	姜武华,周松林,王其东,陈无畏,陈佳佳. 基于自适应多特征融合的路沿检测与跟踪方法研究[J]. 汽车工程, 2021, 43(12): 1762-1770.
[9]	赵治国,王鹏,陈晓蓉,梁凯冲. 转向避撞工况下装载激光雷达车辆的障碍物跟踪[J]. 汽车工程, 2021, 43(11): 1611-1619.
[10]	靳博文, 乔慧敏, 潘天红, 陈山. 基于内阻功率消耗的锂电池SOC估计^*[J]. 汽车工程, 2020, 42(8): 1008-1015.
[11]	宋海生, 陈志勇, 杨娜, 杨昌海, 史文库. 基于灵敏度排序的焊点布置鲁棒性分析方法研究^*[J]. 汽车工程, 2020, 42(12): 1751-1757.
[12]	徐国艳, 牛欢, 郭宸阳, 苏鸿杰. 基于三维激光点云的目标识别与跟踪研究^*[J]. 汽车工程, 2020, 42(1): 38-46.
[13]	娄新雨, 王海, 蔡英凤, 郑正扬, 陈龙. 采用64线激光雷达的实时道路障碍物检测与分类算法的研究[J]. 汽车工程, 2019, 41(7): 779-754.
[14]	范晶晶, 王力, 褚文博, 罗禹贡. 基于KDTree树和欧式聚类的越野环境下行人识别的研究^*[J]. 汽车工程, 2019, 41(12): 1410-1415.
[15]	谢德胜,徐友春,王任栋，苏致远. 基于三维激光雷达的无人车障碍物检测与跟踪[J]. 汽车工程, 2018, 40(8): 952-959.