基于语义分割网络的路面积水与湿滑区域检测

doi:10.19562/j.chinasae.qcgc.2021.04.005

摘要/Abstract

摘要：

积水或湿滑路面的道路附着系数远小于干燥路面的附着系数，对交通的安全性和机动性都有很大的影响。通过及时获取路面状态信息而发出预警，可大大减小潜在伤害。本文中研究了基于图像的语义分割网络在积水和潮湿的路面状态识别中的应用，它不仅可预测未来路面状态信息，且可得到路面积水和湿滑区域的分布。该方法利用语义分割网络Res-UNet++，分割出路面的积水和湿滑区域。Res-UNet++结构包括嵌套了不同深度的编码器-解码器结构，并在网络的特征提取部分加入残差结构，从而使图像的特征更容易学习。该方法取得了平均交并比为90.07%的分割精度并克服了其它方法的缺点。

关键词: 积水与湿滑区域检测, 编码器-解码器, 深度学习, 语义分割网络

Abstract:

The adhesion coefficient of water?covered or wet road surfaces is much smaller than that of dry road surfaces， which has a great effect on the traffic safety and maneuverability of vehicle， so by timely obtaining the information of road conditions and issuing warning can greatly reduce potential impairments. In this paper， the application of image?based semantic segmentation network to the recognition of water?covered and wet road conditions is studied， which can not only predict the road conditions in the future， but also obtain the distribution of water?covered and wet areas on road. The method proposed utilizes the semantic segmentation network Res-UNet++ to segment the water?covered and wet areas on road pavement. The Res-UNet++ structure includes an embedded encoder?decoder structure of different depths， with a residual structure added on the feature extraction part of the network to make image features easier to learn. The method adopted achieves an average segmentation accuracy of 90.07% in MIoU， and overcomes the defects of other methods.

Key words: detection of water?covered and wet areas, encoder?decoder, deep learning, semantic segmentation network

王海,蔡柏湘,蔡英凤,刘泽,孙恺,陈龙. 基于语义分割网络的路面积水与湿滑区域检测[J]. 汽车工程, 2021, 43(4): 485-491.

Hai Wang,Baixiang Cai,Yingfeng Cai,Ze Liu,Kai Sun,Long Chen. Detection of Water⁃covered and Wet Areas on Road Pavement Based on Semantic Segmentation Network[J]. Automotive Engineering, 2021, 43(4): 485-491.

图/表 11

图 1

图 2

图 3

图 4

表1

图 5

图 6

图 7

表2

表3

图 8

参考文献 21

1	刘凯，陈慧岩，龚建伟，等. 高速无人驾驶车辆的操控稳定性研究［J］. 汽车工程， 2019， 41（5）： 514-521.
	LIU Kai， CHEN Huiyan， GONG Jianwei， et al. A research on handling stability of high⁃speed unmanned vehicles［J］. Automotive Engineering， 2019， 41（5）： 514-521.
2	邢智超，王国业，何畅然，等. 汽车双转鼓惯性试验台等效路面附着机理研究［J］. 汽车工程， 2019， 41（4）： 455-461.
	XING Zhichao， WANG Guoye， HE Changran， et al. A study on equivalent pavement adhesion mechanism of vehicle's inertial test bench with dual⁃drum［J］. Automotive Engineering， 2019， 41（4）： 455-461.
3	KUNO T， SUGIURA H. Detection of road conditions with CCD cameras mounted on a vehicle［J］. Systems and Computers in Japan， 1999， 30（14）： 88-99.
4	YANG H J， JANG H， JEONG D S. Detection algorithm for road surface condition using wavelet packet transform and SVM［C］.The 19th Korea⁃Japan Joint Workshop on Frontiers of Computer Vision. IEEE， 2013： 323-326.
5	JONSSON P， CASSELGREN J， THÖRNBERG B. Road surface status classification using spectral analysis of NIR camera images［J］. IEEE Sensors Journal， 2014， 15（3）： 1641-1656.
6	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks［C］.Advances in Neural Information Processing Systems， 2012： 1097-1105.
7	GEIGER A， LENZ P， URTASUN R. Are we ready for autonomous driving？ the kitti vision benchmark suite［C］.2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2012： 3354-3361.
8	NOLTE M， KISTER N， MAURER M. Assessment of deep convolutional neural networks for road surface classification［C］.2018 21st International Conference on Intelligent Transportation Systems （ITSC）. IEEE， 2018： 381-386.
9	PAN G， FU L， YU R， et al. Winter road surface condition recognition using a pre⁃trained deep convolutional neural network［R］. 2018.
10	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［C］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2015： 3431-3440.
11	RONNEBERGER O， FISCHER P， BROX T. U⁃net： convolutional networks for biomedical image segmentation［C］.International Conference on Medical Image Computing and Computer⁃assisted Intervention. Springer， Cham， 2015： 234-241.
12	ZHOU Z， SIDDIQUEE M M R， TAJBAKHSH N， et al. Unet++： a nested u⁃net architecture for medical image segmentation［M］.Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Springer， Cham， 2018： 3-11.
13	ZHAO H， SHI J， QI X， et al. Pyramid scene parsing network［C］.Proceedings of the IEEE Conference on Computer Vision and Pattern recognition， 2017： 2881-2890.
14	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. Deeplab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected crfs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 40（4）： 834-848.
15	CHEN L C， PAPANDREOU G， SCHROFF F， et al. Rethinking atrous convolution for semantic image segmentation［J］. arXiv Preprint arXiv：， 2017.
16	CHEN L C， ZHU Y， PAPANDREOU G， et al. Encoder⁃decoder with atrous separable convolution for semantic image segmentation［C］.Proceedings of the European Conference on Ccomputer Vision （ECCV）， 2018： 801-818.
17	YU F， KOLTUN V. Multi⁃scale context aggregation by dilated convolutions［J］. arXiv Preprint arXiv：， 2015.
18	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.
19	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large⁃scale image recognition［J］. arXiv Preprint arXiv：1409.1556， 2014.17
20	CORDTS M， OMRAN M， RAMOS S， et al.The cityscapes dataset for semantic urban scene understanding［J］. Proc. of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016.
21	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］.Proceedings of the IEEE International Conference on Computer Vision， 2017： 2980-2988.

方法	IoU/%
背景	97.22
路面	91.04
积水区域	88.35
湿滑区域	83.67
平均	90.07

方法	IoU/%
分类神经网络	90.7
支持向量机(SVM)	87
K?means算法	85
本文方法	90.07

[1]	高泽, 楚遵康, 石稼晟, 林滏, 饶卫雄, 余海燕. 基于图网络的汽车零部件应力场快速预测方法研究[J]. 汽车工程, 2024, 46(1): 170-178.
[2]	刘卫国,项志宇,刘锐,李国栋,王子旭. 基于深度学习的端到端车辆运动规划方法研究[J]. 汽车工程, 2023, 45(8): 1343-1352.
[3]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.
[4]	陈妍妍,王海,蔡英凤,陈龙,李祎承. 基于检测的高效自动驾驶实例分割方法[J]. 汽车工程, 2023, 45(4): 541-550.
[5]	兰凤崇,陈继开,陈吉清,蒋心平,李子涵,潘威. 实车数据驱动的锂电池剩余使用寿命预测方法研究[J]. 汽车工程, 2023, 45(2): 175-182.
[6]	李琳辉,张鑫亮,付一帆,连静,马家旭. 基于TC-YOLOv7算法的可见光与红外后融合检测研究[J]. 汽车工程, 2023, 45(12): 2280-2290.
[7]	张小俊,奚敬哲,史延雷,袁安录. 面向路侧视角目标检测的轻量级YOLOv7-R算法[J]. 汽车工程, 2023, 45(10): 1833-1844.
[8]	胡杰,李源洁,耿號,耿黄政,郭雄,易红卫. 基于深度学习的汽车故障知识图谱构建[J]. 汽车工程, 2023, 45(1): 52-60.
[9]	胡杰,徐博远,熊宗权,昌敏杰,郭迪,谢礼浩. 基于多尺度掩码分类域自适应网络的跨域目标检测算法[J]. 汽车工程, 2022, 44(9): 1327-1338.
[10]	毕贵红,谢旭,蔡子龙,骆钊,陈臣鹏,赵鑫. 动态条件下基于深度学习的锂电池容量估计[J]. 汽车工程, 2022, 44(6): 868-878.
[11]	王大方,杜京东,曹江,张梅,赵刚. 面向自动驾驶数据生成的风格迁移网络研究[J]. 汽车工程, 2022, 44(5): 684-690.
[12]	郭景华,何智飞,罗禹贡,李克强. 人机混驾环境下基于深度学习的车辆切入轨迹预测[J]. 汽车工程, 2022, 44(2): 153-160.
[13]	蒋渊德,朱冰,赵祥模,赵健,郑兵兵. 面向自动驾驶汽车测试的交通车辆交互过程建模[J]. 汽车工程, 2022, 44(12): 1825-1833.
[14]	高振海,温文昊,唐明弘,张建,陈国迎. 基于混合神经网络的汽车运动状态估计[J]. 汽车工程, 2022, 44(10): 1527-1536.
[15]	张绍伟,朱大炜,翟光照. 基于深度学习的座椅抗挥鞭伤性能预测[J]. 汽车工程, 2022, 44(10): 1600-1608.