非铺装道路凹凸不平特征语义分割方法研究

doi:10.19562/j.chinasae.qcgc.2023.08.017

摘要/Abstract

摘要：

非铺装道路凹凸不平特征参数复杂，增加了自动驾驶汽车提取有效信息以进行路径规划和决策控制的难度，精确的语义分割方法将有助于简化道路不平参数信息，提高特征识别精度，从而提高车辆自主行驶的安全性和舒适性。为此，本文提出了一种非铺装道路凹凸不平特征语义分割方法，实现对不同尺寸和高程差的凹凸不平特征分类。首先，引入高斯函数建立了非铺装道路表达模型，提出了凹凸不平特征自动标注方法并构建了仿真数据集，弥补了非铺装道路点云数据集的空白；然后，搭建了非铺装道路凹凸不平特征语义分割模型，基于Pointnet++的多层次特征提取结构，首次实现了对非铺装道路凹凸不平特征语义分割；最后，通过建立非铺装路面特征沙盘模型，运用本文提出的方法对实测数据进行验证。结果表明，本方法能准确对道路凹凸不平特征进行分类，且在不同点云数据密度、路面范围的数据中具有较好鲁棒性。

关键词: 非铺装道路, 凹凸不平特征, Pointnet++, 语义分割, 自动驾驶

Abstract:

The complexity of uneven feature parameters of unpaved roadincreases the difficulty of extracting effective information for path planning and decision control of autonomous vehicles. Accurate semantic segmentation method can help simplify road uneven parameter information， improve the accuracy and efficiency of feature recognition， thus improve the safety and comfort of autonomous driving of vehicles. Therefore， this paper proposes a semantic segmentation method for uneven features of unpaved road to classify uneven features of different dimensions and elevation differences. Firstly， the Gaussian function is introduced to establish the expression model of unpaved road， and the automatic labeling method of uneven features is proposed and the simulation data set is constructed， making up the gap of unpaved road point cloud data set. Then， a semantic segmentation model of unpaved road uneven features is built. Based on multi-level feature extraction structure of Pointnet++， the semantic segmentation of non-paved road uneven features is realized for the first time. Finally， the sand table model of unpaved road features is established and the proposed method is used for verification of the measured data. The results show that the proposed method can accurately classify the road uneven characteristics， and has good robustness in data of different point cloud data densities and road surface ranges.

Key words: unpaved road, uneven features, Pointnet++, semantic segmentation, automatic driving

伍文广,田双岳,张志勇,张斌. 非铺装道路凹凸不平特征语义分割方法研究[J]. 汽车工程, 2023, 45(8): 1468-1478.

Wenguang Wu,Shuangyue Tian,Zhiyong Zhang,Bin Zhang. Research on Semantic Segmentation of Uneven Features of Unpaved Road[J]. Automotive Engineering, 2023, 45(8): 1468-1478.

图/表 20

图1

图2

图3

图4

表1

标签分类标准"

类型	标签（label）	最大幅值范围（深度为负，高度为正，单位： $m$ ）
平缓路面	0	-0.05~0.05
小凸起	1	0.05~0.15
较小凸起	2	0.15~0.25
较大凸起	3	0.25~0.35
大凸起	4	>0.35
小凹坑	5	-0.15~-0.05
较小凹坑	6	-0.25~-0.15
较大凹坑	7	-0.35~-0.25
大凹坑	8	<-0.35

表1

图5

图6

表2

图7

图8

图9

表3

模型训练超参数设置"

项目	参数	数值
训练相关	样本数量	3 500
	批尺寸	36
	训练轮次	251
	初始学习率	0.001
	学习衰减步长	50
	学习衰减率	0.5
	采样点数量	4 200
Adam算法相关	梯度衰减因子	0.9
	平方梯度衰减因子	0.99
	偏置小量	$1 × 10 - 8$

表3

图10

表4

不同数据集准确率"

数据集	准确率 $A c c$ /%	平均联合交集 $m I o U$
训练集	95.295	0.774 870
验证集	95.185	0.766 122
测试集	95.130	0.634 600

表4

图11

图12

图13

图14

表5

不同尺寸路面点云测试集"

测试集编号	路面点云范围（长×宽，单位：m）	测试集编号	路面点云范围（长×宽，单位：m）
1	$6 × 4$	6	$6 × 8$
2	$8 × 4$	7	$8 × 8$
3	$10 × 4$	8	$10 × 8$
4	$12 × 4$	9	$12 × 8$
5	$14 × 4$	10	$14 × 8$

表5

图15

参考文献 33

1	LIU W， WANG R， DING R， et al. On-line estimation of road profile in semi-active suspension based on unsprung mass acceleration［J］. Mechanical Systems and Signal Processing， 2020， 135： 106370.
2	HASSEN D B， MILADI M， ABBES M S， et al. Road profile estimation using the dynamic responses of the full vehicle model［J］. Applied Acoustics， 2019， 147： 87-99.
3	刘浪，张志飞，鲁红伟，等. 基于增广卡尔曼滤波并考虑车辆加速度的路面不平度识别［J］. 汽车工程， 2022， 44（2）： 247-255，297.
	LIU Lang， ZHANG Zhifei， LU Hongwei， et al. Road roughness identification based on augmented kalman filtering with consideration of vehicle acceleration［J］. Automotive Engineering， 2022， 44（2）： 247-255，297.
4	梁冠群，赵通，王岩，等. 基于LSTM网络的路面不平度辨识方法［J］. 汽车工程， 2021， 43（4）： 509-517，628.
	LIANG Guanqun， ZHAO Tong， WANG Yan， et al. Road unevenness identification based on LSTM network［J］. Automotive Engineering， 2021， 43（4）： 509-517，628.
5	LIANG G， ZHAO T， SHANGGUAN Z， et al. Experimental study of road identification by LSTM with application to adaptive suspension damping control［J］. Mechanical Systems and Signal Processing， 2022， 177： 109197.
6	QIN Y， XIANG C， WANG Z， et al. Road excitation classification for semi-active suspension system based on system response［J］. Journal of Vibration and Control， 2018， 24（13）： 2732-2748.
7	YIĞIT H， KÖYLÜ H， EKEN S. Estimation of road surface type from brake pressure pulses of ABS［J］. Expert Systems with Applications， 2023， 212： 118726.
8	YOUSEFZADEH M， AZADI S， SOLTANI A. Road profile estimation using neural network algorithm［J］. Journal of Mechanical Science and Technology， 2010， 24（3）： 743-754.
9	NGWANGWA H M， HEYNS P S， LABUSCHAGNE F J J， et al. Reconstruction of road defects and road roughness classification using vehicle responses with artificial neural networks simulation［J］. Journal of Terramechanics， 2010， 47（2）： 97-111.
10	LUSHNIKOV N， LUSHNIKOV P. Methods of assessment of accuracy of road surface roughness measurement with profilometer［J］. Transportation Research Procedia， 2017， 20： 425-429.
11	KOCH C， GEORGIEVA K， KASIREDDY V， et al. A review on computer vision based defect detection and condition assessment of concrete and asphalt civil infrastructure［J］. Advanced Engineering Informatics， 2015， 29（2）： 196-210.
12	YOUSAF M H， AZHAR K， MURTAZA F， et al. Visual analysis of asphalt pavement for detection and localization of potholes［J］. Advanced Engineering Informatics， 2018， 38： 527-537.
13	TEDESCHI A， BENEDETTO F. A real-time automatic pavement crack and pothole recognition system for mobile android-based devices［J］. Advanced Engineering Informatics， 2017， 32： 11-25.
14	HADJI I， WILDES R P. What do we understand about convolutional networks？［J］. arXiv preprint arXiv：， 2018.
15	BARAT C， DUCOTTET C. String representations and distances in deep convolutional neural networks for image classification［J］. Pattern Recognition， 2016， 54： 104-115.
16	司念文，张文林，屈丹，等. 卷积神经网络表征可视化研究综述［J］. 自动化学报， 2022， 48（8）： 1890-1920.
	SI Nianwen， ZHANG WenLin， QU Dan， et al. Representation visualization of convolutional neural networks： a survev［J］. ACTA AUTOMATICA SINICA， 2022， 48（8）： 1890-1920.
17	沙爱民，童峥，高杰.基于卷积神经网络的路表病害识别与测量［J］. 中国公路学报， 2018， 31（1）： 1-10.
	SHA Aimin， TONG Zheng， GAO Jie. Recognition and measurement of pavement disasters based on convolutional neural networks［J］. China J. Highw. Transp.， 2018， 31（1）： 1-10.
18	REN S， HE K， GIRSHICK R， et al. Faster r-cnn： towards real-time object detection with region proposal networks［J］. Advances in Neural Information Processing Systems， 2015， 28.
19	LI J， LIU T， WANG X. Advanced pavement distress recognition and 3D reconstruction by using GA-DenseNet and binocular stereo vision［J］. Measurement， 2022， 201： 111760.
20	李小路，周依尔，毕腾飞，等. 轻量型感知激光雷达关键技术发展综述［J］. 中国激光， 2022： 1-28.
	LI Xiaolu， ZHOU Yier， BI Tengfei， et al. Review on key technologies of lightweight type-aware LiDAR［J］. Chinese Journal of Lasers， 2022： 1-28.
21	BENEDEK C， MAJDIK A， NAGY B， et al. Positioning and perception in LIDAR point clouds［J］. Digital Signal Processing， 2021， 119： 103193.
22	THEUNISSEN J， TOTA A， GRUBER P， et al. Preview-based techniques for vehicle suspension control： A state-of-the-art review［J］. Annual Reviews in Control， 2021， 51： 206-235.
23	ZHAO D， WANG L， LI Y， et al. Extraction of preview elevation of road based on 3D sensor［J］. Measurement， 2018， 127： 104-114.
24	刘家银，唐振民，王安东，等. 基于多激光雷达与组合特征的非结构化环境负障碍物检测［J］. 机器人， 2017， 39（5）： 638-651.
	LIU Jiayin， TANG Zhenmin， WANG Andong， et al. Negative obstacle detection in unstructured environment based on multiple LiDARs and compositional features［J］. Robot， 2017， 39（5）： 638-651.
25	GUO Y， WANG H， HU Q， et al. Deep learning for 3d point clouds： a survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 43（12）： 4338-4364.
26	QI C R， SU H， MO K， et al. Pointnet： deep learning on point sets for 3d classification and segmentation［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017： 652-660.
27	QI C R， YI L， SU H， et al. Pointnet++： deep hierarchical feature learning on point sets in a metric space［J］. Advances in Neural Information Processing Systems， 2017， 30.
28	BEHLEY J， GARBADE M， MILIOTO A， et al. Semantickitti： a dataset for semantic scene understanding of lidar sequences［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 9297-9307.
29	SUN P， KRETZSCHMAR H， DOTIWALLA X， et al. Scalability in perception for autonomous driving： Waymo open dataset［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 2446-2454.
30	CAESAR H， BANKITI V， LANG A H， et al. Nuscenes： a multimodal dataset for autonomous driving［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 11621-11631.
31	胡宇辉，王旭，胡家铭，等. 越野环境下无人驾驶车辆技术研究综述［J］. 北京理工大学学报， 2021， 41（11）： 1137-1144.
	HU Yuhui， WANG Xu， HU Jiaming， et al. An overview on unmanned vehicle technology in off-road environment［J］. Transactions of Beijing Institute of Technology， 2021， 41（11）： 1137-1144.
32	SHIN Y H， SON K W， LEE D C. Semantic segmentation and building extraction from airborne LiDAR data with multiple return using PointNet++［J］. Applied Sciences， 2022， 12（4）： 1975.
33	王乾廷，伊启中，林永南.越野路面不平度与车轮跳离路面量间的关系［J］. 系统仿真学报， 2008（11）： 3040-3042.
	WANG Qianting， YI Qizhong， LIN Yongnan. Relation between off-road terrain unevenness and wheel jumping estimation［J］. Journal of System Simulation， 2008（11）： 3040-3042.

设备	参数	数值
激光雷达	测量精度	±3 cm
	垂直视角	-15°~15°
	垂直分辨率	2°
	水平视角	360°
	水平分辨率	0.1°~0.4°
电子倾角仪	测量范围	单轴：360° 双轴：±40°
	分辨率	0.02°
	精度	±0.2°

[1]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[2]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[3]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.
[4]	金祖亮,隗寒冰,Liu Zheng,娄路,郑国峰. 基于局部窗口交叉注意力的轻量型语义分割[J]. 汽车工程, 2023, 45(9): 1617-1625.
[5]	刘卫国,项志宇,刘伟平,齐道新,王子旭. 基于分布式强化学习的车辆控制算法研究[J]. 汽车工程, 2023, 45(9): 1637-1645.
[6]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[7]	朱向雷,吴志新,张宇飞,赵帅,李克秋,孙博华. 基于场景降维及采样方法的场景库优化方法研究[J]. 汽车工程, 2023, 45(8): 1408-1416.
[8]	吴新政,邢星宇,刘力豪,沈勇,陈君毅. 基于错误注入的决策规划系统抗扰性测试与分析[J]. 汽车工程, 2023, 45(8): 1428-1437.
[9]	高锋,冯德福,胡秋霞. 面向NMPC运动规划系统的数值优化加速技术[J]. 汽车工程, 2023, 45(8): 1438-1447.
[10]	芦涛,金馨,廖毅霏,黄圣杰,杨依琳,谢国涛,秦晓辉. 基于雅克比域零空间边缘化的视觉SLAM[J]. 汽车工程, 2023, 45(8): 1457-1467.
[11]	林程, 汪博文, 吕沛原, 宫新乐, 于潇. 面向变曲率道路的自动驾驶汽车换道博弈运动规划与协同控制研究[J]. 汽车工程, 2023, 45(7): 1099-1111.
[12]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[13]	李军, 周伟, 唐爽. 基于自适应拟合的智能车换道避障轨迹规划[J]. 汽车工程, 2023, 45(7): 1174-1183.
[14]	张雷, 关可人, 丁晓林, 郭鹏宇, 王震坡, 孙逢春. 基于图像识别与动力学融合的路面附着系数估计方法[J]. 汽车工程, 2023, 45(7): 1222-1234.
[15]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.