基于空洞空间池化金字塔的自动驾驶图像语义分割方法

doi:10.19562/j.chinasae.qcgc.2022.12.003

摘要/Abstract

摘要：

如果车辆在道路上能精确而快速地理解人和车的语义，就能在很大程度上对障碍躲避、路径规划等做出指导。现有的基于深度学习的语义分割方法存在分割速度和分割精度不能兼得等问题。本文在现有语义分割网络的基础上，通过在特征提取基准网络后添加空洞空间池化金字塔结构，可以获取图像的多尺度语义信息。实验结果表明，文中提出的A_ASPP_1和A_ASPP_2两个模块能对自动驾驶场景中常见的人和各类车辆图像进行有效的分割。对应的两种改进的网络结构虽然分割速度稍有降低，但其训练结果的平均交并比相比现有双分支网络BiSeNet分别提升了2.1和1.2个百分点。

关键词: 语义分割, 自动驾驶, 空洞空间池化金字塔

Abstract:

If a vehicle can accurately and quickly understand the semantics of people and vehicles on the road， it can guide the obstacle avoidance and path planning to a large extent. The existing semantic segmentation methods based on deep learning need a tradeoff between segmentation speed and segmentation accuracy. In this paper， based on the existing semantic segmentation network， the multi-scale semantic information of image can be obtained by adding an atrous spatial pyramid pooling structure after the reference network of feature extraction. Experimental results show that modules A_ASPP_1 and A_ASPP_2 proposed can effectively segment images of common people and various vehicles in automatic driving scenes. Compared with BiSeNet， two corresponding improved network structures have 2.1 and 1.2 percentage points higher mean intersection over union of training results respectively， though with a little lower segmentation speed.

Key words: semantic segmentation, autonomous driving, atrous spatial pyramid pooling

王大方,刘磊,曹江,赵刚,赵文硕,唐伟. 基于空洞空间池化金字塔的自动驾驶图像语义分割方法[J]. 汽车工程, 2022, 44(12): 1818-1824.

Dafang Wang,Lei Liu,Jiang Cao,Gang Zhao,Wenshuo Zhao,Wei Tang. Semantic Segmentation Method of Autonomous Driving Images Based on Atrous Spatial Pyramid Pooling[J]. Automotive Engineering, 2022, 44(12): 1818-1824.

图/表 12

图1

图2

图3

图4

表1

编码器网络结构"

类型	输出尺寸
输入图片	$3 × 448 × 448$
3 × 3 × 3 Conv	$64 × 224 × 224$
4 × down	$3 × 112 × 112$
8 × down	$3 × 56 × 56$
16 × down	$256 × 28 × 28$
32 × down	$512 × 14 × 14$
ASPP	$512 × 14 × 14$
torch.mean	$512 × 1 × 1$
conv_bn_relu	$128 × 1 × 1$

表1

表2

解码器网络结构"

类型	输出尺寸
ARM+conv_bn_relu+上采样	$128 × 14 × 14$
上采样+ conv_bn_relu+ARM	$128 × 28 × 28$
上采样+ conv_bn_relu+FFM	$128 × 56 × 56$
conv_bn_relu+上采样	$1 × 448 × 448$

表2

图5

表3

实验参数"

参数	数值
图片输入尺寸	448 $×$ 448
损失函数	Cross entropy
优化器	SGD
Batch size	16
迭代轮数	1 300

表3

表4

图6

表5

图7

参考文献 16

1	孙璐，陈洪海. 最大类间方差法在图像分割中的应用［J］. 煤炭技术， 2008， 27（7）： 144-145.
	SUN Lu， CHEN Honghai. Application of maximum interclass variance method in image segmentation［J］. Coal Technology， 2008， 27（7）： 144-145.
2	黄长专，王彪，杨忠. 图像分割方法研究［J］. 计算机技术与发展， 2009， 19（6）： 76-79.
	HUANG Changzhuan， WANG Biao， YANG Zhong. Research on image segmentation method［J］. Computer Technology and Development，2009， 19（6）： 76-79.
3	杨晖，曲秀杰. 图像分割方法综述［J］. 电脑开发与应用， 2005， 18（3）： 21-23.
	YANG Hui， QU Xiujie. A review of image segmentation methods［J］. Computer Development and Application，2005， 18（3）： 21-23.
4	PAPADEAS I， TSOCHATZIDIS L， AMANATIADIS A， et al. Real-time semantic image segmentation with deep learning for autonomous driving： a survey［J］. Applied Sciences， 2021， 11（19）： 8802.
5	PASZKE A， CHAURASIA A， KIM S， et al. Enet： a deep neural network architecture for real-time semantic segmentation［J］. arXiv Preprint arXiv：， 2016.
6	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［J］. arXiv Preprint arXiv：， 2014.
7	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］ .Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.
8	SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions［C］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2015： 1-9.
9	YU C， GAO C， WANG J， et al. Bisenet v2： bilateral network with guided aggregation for real-time semantic segmentation［J］. International Journal of Computer Vision， 2021， 129（11）： 3051-3068.
10	YAN S， WU C， WANG L， et al. Ddrnet： depth map denoising and refinement for consumer depth cameras using cascaded cnns［C］ .Proceedings of the European Conference on Computer Vision （ECCV）， 2018： 151-167.
11	JIN W D， XU J， CHENG M M， et al. Icnet： intra-saliency correlation network for co-saliency detection［J］. Advances in Neural Information Processing Systems， 2020， 33： 18749-18759.
12	ZHAO H， SHI J， QI X， et al. Pyramid scene parsing network［C］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 2881-2890.
13	WANG K， LIEW J H， ZOU Y， et al. Panet： few-shot image semantic segmentation with prototype alignment［C］.Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 9197-9206.
14	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. Deeplab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected crfs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 40（4）： 834-848.
15	YANG M， YU K， ZHANG C， et al. Denseaspp for semantic segmentation in street scenes［C］ .Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 3684-3692.
16	BOONMA P， SUZUKI J. BiSNET： a biologically-inspired middleware architecture for self-managing wireless sensor networks［J］. Computer Networks， 2007， 51（16）： 4599-4616.

语义类别	网络模块	mIoU/%
行人	A_ASPP_1	80.6
行人	A_ASPP_2	80.4
自行车	A_ASPP_1	39.4
自行车	A_ASPP_2	37.6
公交	A_ASPP_1	92.6
公交	A_ASPP_2	92.3
摩托车	A_ASPP_1	79.4
摩托车	A_ASPP_2	80.4
汽车	A_ASPP_1	86.7
汽车	A_ASPP_2	86.6

模型	Backbone	mIoU/%	mPA/%	fps
FCN	VGG16	62.2
SegNet	VGG16	66.9
BiSeNet	Resnet18	69.7	91.1	88
A_ASPP_1	Resnet18	71.8	91.9	80
A_ASPP_2	Resnet18	70.9	91.7	79

[1]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[2]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[3]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.
[4]	金祖亮,隗寒冰,Liu Zheng,娄路,郑国峰. 基于局部窗口交叉注意力的轻量型语义分割[J]. 汽车工程, 2023, 45(9): 1617-1625.
[5]	刘卫国,项志宇,刘伟平,齐道新,王子旭. 基于分布式强化学习的车辆控制算法研究[J]. 汽车工程, 2023, 45(9): 1637-1645.
[6]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[7]	朱向雷,吴志新,张宇飞,赵帅,李克秋,孙博华. 基于场景降维及采样方法的场景库优化方法研究[J]. 汽车工程, 2023, 45(8): 1408-1416.
[8]	吴新政,邢星宇,刘力豪,沈勇,陈君毅. 基于错误注入的决策规划系统抗扰性测试与分析[J]. 汽车工程, 2023, 45(8): 1428-1437.
[9]	高锋,冯德福,胡秋霞. 面向NMPC运动规划系统的数值优化加速技术[J]. 汽车工程, 2023, 45(8): 1438-1447.
[10]	芦涛,金馨,廖毅霏,黄圣杰,杨依琳,谢国涛,秦晓辉. 基于雅克比域零空间边缘化的视觉SLAM[J]. 汽车工程, 2023, 45(8): 1457-1467.
[11]	伍文广,田双岳,张志勇,张斌. 非铺装道路凹凸不平特征语义分割方法研究[J]. 汽车工程, 2023, 45(8): 1468-1478.
[12]	林程, 汪博文, 吕沛原, 宫新乐, 于潇. 面向变曲率道路的自动驾驶汽车换道博弈运动规划与协同控制研究[J]. 汽车工程, 2023, 45(7): 1099-1111.
[13]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[14]	李军, 周伟, 唐爽. 基于自适应拟合的智能车换道避障轨迹规划[J]. 汽车工程, 2023, 45(7): 1174-1183.
[15]	张雷, 关可人, 丁晓林, 郭鹏宇, 王震坡, 孙逢春. 基于图像识别与动力学融合的路面附着系数估计方法[J]. 汽车工程, 2023, 45(7): 1222-1234.