基于实例分割的车道线检测算法

doi:10.19562/j.chinasae.qcgc.2023.02.011

摘要/Abstract

摘要：

为实现在自动驾驶复杂场景下检测数量变化的车道线，提出一种基于实例分割的车道线检测算法。首先以ResNet18网络作为主干网络提取图像特征，采用特征金字塔网络进行特征融合。同时设计一种扩张卷积残差模块来提高检测的精度；然后基于车道线的位置进行实例分割，利用语义分割出的车道线点位置预测对应的聚类点位置，通过对聚类点采用DBSCAN聚类算法实现车道线实例区分。结果表明，该算法能够在复杂的自动驾驶场景下有效地进行多车道线检测，在CULane数据集和TuSimple数据集上的调和平均值分别达到75.2%和97.0%。

关键词: 汽车主动安全, 车道线检测, 实例分割, 聚类

Abstract:

To realize the detection of lane lines with changing numbers in complex scenarios of autonomous driving， a lane detection algorithm based on instance segmentation is proposed. Firstly， the ResNet18 network is used as the backbone network to extract image features， and the feature pyramid network is used for feature fusion， at the same time a dilated convolutional residual module is designed to improve the detection accuracy. Then instance segmentation is carried out based on the location of lane， and the corresponding clustering point locations is predicted using the lane point locations from the semantic segmentation. Finally， the DBSCAN clustering algorithm is used for the cluster points to realize the lane instance distinction. The results show that the algorithm can effectively detect multi-lane lines in complex and changeable autonomous driving scenarios， and the F1 indicators on the CULane dataset and TuSimple dataset reach 75.2% and 97.0%， respectively.

Key words: vehicle active safety, lane detection, instance segmentation, clustering

武志斐,李守彪. 基于实例分割的车道线检测算法[J]. 汽车工程, 2023, 45(2): 263-272.

Zhifei Wu,Shoubiao Li. Lane Detection Algorithm Based on Instance Segmentation[J]. Automotive Engineering, 2023, 45(2): 263-272.

图/表 21

图1

表1

图2

图3

图4

图5

图6

图7

图8

图9

表2

表3

图10

表4

表5

表6

表7

图11

图12

图13

图14

参考文献 22

1	吴一全，刘莉. 基于视觉的车道线检测方法研究进展［J］. 仪器仪表学报， 2019， 40（12）： 92-109.
	WU Y Q， LIU L. Research and development of the vision-based lane detection methods［J］. Chinese Journal of Scientific Instrument， 2019， 40（12）： 92-109.
2	LIANG D， GUO Y C， ZHANG S K， et al. Lane detection： a survey with new results［J］. Journal of Computer Science and Technology， 2020， 35（3）： 493-505.
3	SUN T Y， TSAI S J， CHAN V. HSI color model based lane-marking detection［C］. 2006 IEEE Intelligent Transportation Systems Conference. IEEE， 2006： 1168-1172.
4	陈涛，张洪丹，陈东，等. 基于优先像素与卡尔曼滤波追踪的车道线检测［J］. 汽车工程， 2016， 38（2）： 200-205，220.
	CHEN T， ZHANG H D， CHEN D， et al. Lane detection based on high priority pixels and tracking by Kalman filter［J］. Automotive Engineering， 2016， 38（2）： 200-205，220.
5	金智林，何麟煊，赵万忠. 用于智能汽车的复杂光照环境车道线检测及跟踪方法［J］. 汽车安全与节能学报， 2019， 10（4）： 459-466.
	JIN Z L， HE L X， ZHAO W Z. Detection and tracking method of lane line for intelligent vehicles under complex illumination condition［J］. Journal of Automotive Safety and Energy， 2019， 10（4）： 459-466.
6	吴骅跃，赵祥模. 基于IPM和边缘图像过滤的多干扰车道线检测［J］. 中国公路学报， 2020， 33（5）： 153-164.
	WU H Y， ZHAO X M. Multi-interference lane recognition based on IPM and edge image filtering［J］. China Journal of Highway and Transport， 2020， 33（5）： 153-164.
7	张嘉明，钱立军，邱利宏，等. 一种多线形车道线检测算法［J］. 合肥工业大学学报（自然科学版）， 2020， 43（4）： 536-542，570.
	ZHANG J M， QIAN L J， QIU L H， et al. A multiple lane detection algorithm［J］. Journal of Hefei University of Technology（Natural Science）， 2020， 43（4）： 536-542，570.
8	陈无畏，蒋玉亭，谈东奎. 一种基于边缘点投影的车道线快速识别算法［J］. 汽车工程， 2017， 39（3）： 357-363.
	CHEN W W， JIANG Y T， TAN D K. A fast lane marking recognition algorithm based on edge projection［J］. Automotive Engineering， 2017， 39（3）： 357-363.
9	PAN X， SHI J， LUO P， et al. Spatial as deep： spatial CNN for traffic scene understanding［C］. Proceedings of the AAAI Conference on Artificial Intelligence， 2018： 7276-7283.
10	HOU Y， MA Z， LIU C， et al. Learning lightweight lane detection CNNs by self attention distillation［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 1013-1021.
11	NEVEN D， DE B B， GEORGOULIS S， et al. Towards end-to-end lane detection： an instance segmentation approach［C］. 2018 IEEE Intelligent Vehicles Symposium（IV）. IEEE， 2018： 286-291.
12	QIN Z， WANG H， LI X. Ultra fast structure-aware deep lane detection［C］. Proceedings of European Conference on Computer Vision， 2020： 276-291.
13	YOO S， LEE H S， MYEONG H， et al. End-to-end lane marker detection via row-wise classification［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2020： 1006-1007.
14	TABELINI L， BERRIEL R， PAIXAO T M， et al. Polylanenet： lane estimation via deep polynomial regression［C］. Proceedings of the International Conference on Pattern Recognition. IEEE， 2021： 6150-6156.
15	LIU R， YUAN Z， LIU T， et al. End-to-end lane shape prediction with transformers［C］. Proceedings of the IEEE Winter Conference on Applications of Computer Vision， 2021： 3694-3702.
16	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.
17	DENG J， DONG W， SOCHER R， et al. Imagenet： a large-scale hierarchical image database［C］. 2009 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2009： 248-255.
18	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 2117-2125.
19	YU F， KOLTUN V. Multi-scale context aggregation by dilated convolutions［C］. Proceedings of the 4th International Conference on Learning Representations. IEEE， 2016： 1-13.
20	WANG P， CHEN P， YUAN Y， et al. Understanding convolution for semantic segmentation［C］. 2018 IEEE Winter Conference on Applications of Computer Vision. IEEE， 2018：1451-1460.
21	BÄCKLUND H， HEDBLOM A， NEIJMAN N. A density-based spatial clustering of application with noise［J］. Data Mining TNM033， 2011： 11-30.
22	MISHRA P， SARAWADEKAR K. Polynomial learning rate policy with warm restart for deep neural network［C］. IEEE Region Ten Conference. IEEE， 2019： 2087-2092.

层名	输出特征尺寸	ResNet18
L₁	400×160×32	7×7卷积，步长2
L₂	200×80×64	3×3最大池化，步长2
L₂	200×80×64	残差模块×2
L₃	100×40×128	残差模块×2
L₄	50×20×256	残差模块×2
L₅	25×10×512	残差模块×2

数据集	总帧数	训练集	验证集	测试集	分辨率
CULane	133 325	88 880	9 675	34 680	1640×590
TuSimple	6 408	3 268	358	2 782	1280×720

场景	SCNN	SAD	UFLD	E2Enet	本文算法
正常/%	90.6	90.1	90.7	91.0	91.1
拥挤/%	69.7	68.8	70.2	73.1	72.6
夜晚/%	66.1	66.0	66.7	67.9	70.5
无线/%	43.4	41.6	44.4	46.6	50.2
阴影/%	66.9	65.9	69.3	74.1	75.8
箭头/%	84.1	84.0	85.7	85.8	88.2
眩光/%	58.5	60.2	59.5	64.5	67.1
弯道/%	64.4	65.7	69.5	71.9	69.8
路口/个	1 990	1 998	2 037	2 022	1 923
综合/%	71.6	70.8	72.3	74.0	75.2

方法	F1	准确率	假阳率	假阴率
SCNN	96.0	96.5	6.2	1.8
SAD	95.9	96.6	6.0	2.1
LaneNet	94.8	96.4	7.8	2.4
UFLD	88.0	95.9	18.9	3.8
E2ENet	96.3	96.0	3.2	4.3
PolyLaneNet	90.6	93.4	9.4	9.3
LSTR	96.9	96.2	2.9	3.4
本文算法	97.0	96.1	2.5	3.2

方法	时间/ms	速度/FPS
模型推理	7.91	126.42
DBSCAN聚类	7.23	138.31
综合	15.14	66.05