地下矿道无人车可行驶区域检测算法

doi:10.19562/j.chinasae.qcgc.2024.11.008

汽车工程 ›› 2024, Vol. 46 ›› Issue (11): 2017-2027.doi: 10.19562/j.chinasae.qcgc.2024.11.008

地下矿道无人车可行驶区域检测算法

陈志军^1,²,王朝伟^1,²,吴超仲^1,^3,⁴(),钱闯¹,吴怀主⁵,申广俊⁵

^1.武汉理工大学智能交通系统研究中心，武汉 430063
^2.武汉理工大学计算机与人工智能学院，武汉 430070
^3.交通信息与安全教育部工程研究中心，武汉 430063
^4.湖北文理学院，襄阳 441053
^5.东风汽车有限公司东风商用车技术中心，武汉 430056

收稿日期:2024-06-07 修回日期:2024-07-09 出版日期:2024-11-25 发布日期:2024-11-22
通讯作者: 吴超仲 E-mail:wucz@whut.edu.cn
基金资助:
国家自然科学基金(52332010);湖北省重点研发计划项目(2022BAA078);武汉市科技计划项目(2023010402040022)

Algorithm for Detecting Free Space in Underground Mine Tunnels for Autonomous Vehicles

Zhijun Chen^1,²,Chaowei Wang^1,²,Chaozhong Wu^1,^3,⁴(),Chuang Qian¹,Huaizhu Wu⁵,Guangjun Shen⁵

^1.Intelligent Transportation Systems Research Center，Wuhan University of Technology，Wuhan 430063
^2.School of Computer Science and Artificial Intelligence，Wuhan University of Technology，Wuhan 430070
^3.Engineering Research Center of Transportation Information and Safety，Ministry of Education，Wuhan 430063
^4.Hubei University of Arts and Science，Xiangyang 441053
^5.Dongfeng Commercial Vehicle Technical Center，Dongfeng Commercial Vehicle Co. ，Ltd. ，Wuhan 430056

Received:2024-06-07 Revised:2024-07-09 Online:2024-11-25 Published:2024-11-22
Contact: Chaozhong Wu E-mail:wucz@whut.edu.cn

摘要/Abstract

摘要：

地下矿道可行驶区域检测是地下矿山自动驾驶系统的关键感知技术，然而地下矿道光照强度低、工况复杂的特点给该任务带来极大挑战。鉴于此，本文提出一种地下矿道可行驶区域检测算法。首先，为解决地下矿道细节退化导致图像特征难以提取的问题，提出一种双分支特征提取骨干网络；然后，针对地下矿道可行驶区域检测不完整问题，提出一种自适应多尺度空间空洞池化金字塔特征增强模块；最后，为解决地下矿道边界提取不准确的问题，设计一种双分支通道注意力机制融合模块。在自制矿道可行驶区域数据集上进行实验，相较于Deeplabv3+、UNet、DDRNet-23、PIDNet，本文算法取得最佳效果，在MIoU分数上分别提升2.07、2.39、1.87、1.92个百分点，在mAcc分数上分别提升1.78、2.45、1.84、1.86。本文算法已成功应用于地下无人驾驶矿车，验证了其在真实矿道场景下的有效性。

关键词: 自动驾驶, 井工无人矿车, 可行驶区域检测, 语义分割

Abstract:

The detection of free space in underground mine tunnels is the key sensing technology for underground mining autonomous driving systems. However， the characteristics of low illumination and complex working environment inside the tunnels bring great challenges to this task. In view of this， in this paper an algorithm for detecting free space in underground mine tunnels is proposed. Firstly， a dual-branch feature extraction backbone network is proposed to solve the problem of difficulty in extracting image features caused by the degradation of tunnel details. Secondly， for the problem of incomplete detection of drivable areas in underground mining tunnels， an adaptive multi-scale atrous spatial pyramid pooling feature enhancement module is proposed. Finally， a dual-branch channel attention mechanism fusion module is developed to solve the problem of inaccurate boundary extraction in the underground mine tunnels. The experiments are conducted on a self-made dataset specifically designed for underground mine tunnels. The results show that the proposed algorithm surpasses other existing methods such as Deeplabv3+， UNet， DDRNet-23， and PIDNet， with an increase of 2.07， 2.39， 1.87， and 1.92 percentage points in terms of MIoU scores， and 1.78， 2.45， 1.84， and 1.86 in terms of mAcc scores， respectively. The effectiveness of the proposed algorithm has been validated through its successful application in real mine tunnel scenarios， particularly for underground mining autonomous driving vehicles.

Key words: autonomous driving, unmanned mine truck, free space detection, semantic segmentation

陈志军,王朝伟,吴超仲,钱闯,吴怀主,申广俊. 地下矿道无人车可行驶区域检测算法[J]. 汽车工程, 2024, 46(11): 2017-2027.

Zhijun Chen,Chaowei Wang,Chaozhong Wu,Chuang Qian,Huaizhu Wu,Guangjun Shen. Algorithm for Detecting Free Space in Underground Mine Tunnels for Autonomous Vehicles[J]. Automotive Engineering, 2024, 46(11): 2017-2027.

图/表 22

图1

表1

图2

图3

图4

表2

图5

图6

图7

图8

图9

图10

表3

图11

表4

图12

表5

图13

表6

表7

图14

图15

参考文献 27

1	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2015： 3431-3440.
2	RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］. Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015： 18th International Conference， Munich， Germany， October 5-9， 2015， proceedings， part III 18. Springer International Publishing， 2015： 234-241.
3	ZHOU Z， RAHMAN SIDDIQUEE M M， TAJBAKHSH N， et al. Unet++： a nested u-net architecture for medical image segmentation［C］. Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support： 4th International Workshop， DLMIA 2018， and 8th International Workshop， ML-CDS 2018， Held in Conjunction with MICCAI 2018， Granada， Spain， September 20， 2018， Proceedings 4. Springer International Publishing， 2018： 3-11.
4	HUANG H， LIN L， TONG R， et al. UNet 3+： a full-scale connected uNet for medical image segmentation［C］. ICASSP 2020-2020 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. IEEE， 2020： 1055-1059.
5	POUDEL R P K， LIWICKI S， CIPOLLA R. Fast-SCNN： fast semantic segmentation network［J］. arXiv preprint arXiv：， 2019.
6	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. Semantic image segmentation with deep convolutional nets and fully connected crfs［J］. arXiv preprint arXiv：， 2014.
7	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 40（4）： 834-848.
8	CHEN L C， PAPANDREOU G， SCHROFF F， et al. Rethinking atrous convolution for semantic image segmentation［J］. arXiv preprint arXiv：， 2017.
9	CHEN L C， ZHU Y， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation［C］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018： 801-818.
10	ZHAO H， SHI J， QI X， et al. Pyramid scene parsing network［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 2881-2890.
11	STRUDEL R， GARCIA R， LAPTEV I， et al. Segmenter： transformer for semantic segmentation［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2021： 7262-7272.
12	CHENG B， MISRA I， SCHWING A G， et al. Masked-attention mask transformer for universal image segmentation［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022： 1290-1299.
13	ZHAO W， RAO Y， LIU Z， et al. Unleashing text-to-image diffusion models for visual perception［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2023： 5729-5739.
14	PASZKE A， CHAURASIA A， KIM S， et al. ENet： a deep neural network architecture for real-time semantic segmentation［J］. arXiv preprint arXiv：， 2016.
15	HOWARD A G， ZHU M， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications［J］. arXiv preprint arXiv：， 2017.
16	SANDLER M， HOWARD A， ZHU M， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 4510-4520.
17	HOWARD A， SANDLER M， CHU G， et al. Searching for mobileNetV3［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 1314-1324.
18	GAMAL M， SIAM M， ABDEL-RAZEK M. ShuffleSeg： real-time semantic segmentation network［J］. arXiv preprint arXiv：， 2018.
19	ZHANG X， ZHOU X， LIN M， et al. ShuffleNet： an extremely efficient convolutional neural network for mobile devices［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 6848-6856.
20	MA N， ZHANG X， ZHENG H T， et al. ShuffleNet V2： practical guidelines for efficient CNN architecture design［C］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018： 116-131.
21	YU C， WANG J， PENG C， et al. BiseNet： bilateral segmentation network for real-time semantic segmentation［C］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018： 325-341.
22	PAN H， HONG Y， SUN W， et al. Deep dual-resolution networks for real-time and accurate semantic segmentation of traffic scenes［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 24（3）： 3448-3460.
23	XU J， XIONG Z， BHATTACHARYYA S P. PIDNet： a real-time semantic segmentation network inspired by PID controllers［C］.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2023： 19529-19539.
24	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.
25	HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916.
26	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 7132-7141.
27	SHRIVASTAVA A， GUPTA A， GIRSHICK R. Training region-based object detectors with online hard example mining［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 761-769.

层名	输出特征图尺寸（H×W×C）		网络层主要结构
L1	128×128×128		Inverted Residual Block×1，stride=2
L2	64×64×256		Inverted Residual Block×1，stride=2
L3	32×32×64		Inverted Residual Block×4
L4	16×16×128	32×32×64	bottleneck block×2	大核bottleneck block×2
L4	DBFAM		DBFAM模块×1
L5	8×8×256	32×32×96	bottleneck block×2	大核bottleneck block×2
L5	DBFAM		DBFAM模块×1
L6	4×4×384	32×32×128	bottleneck block×2	bottleneck block×2
	SAPPM-L	SAPPM-H	SAPPM-L×1	SAPPM-H×1
	DBFAM		DBFAM

方法	池化核大小	填充	步长
SAPPM-L	［1，1，3，5，global］	［0，1，2，4，0］	［1，1，2，4，global］
SAPPM-H	［1，5，9，13，global］	［0，2，4，6，0］	［1，1，2，4，global］

方法	MIoU（normal）	mAcc（normal）
SegNet	87.31	89.65
Fast-scnn	93.21	95.65
Deeplabv3+-r18+ FCN	93.97	96.26
Deeplabv3+-50+ FCN	94.03	96.31
MobileNetv3+ASPP	93.57	95.89
UNet + FCN	93.71	95.66
DDRNet-23	94.23	96.25
PIDNet-S	94.18	96.23
DDMNet（ours）	96.10	98.09

方法	MIoU（hard）	mAcc（hard）
SegNet	82.11	84.81
Fast-scnn	86.41	89.23
Deeplabv3+-r18+ FCN	89.88	91.86
Deeplabv3+-50+ FCN	90.83	92.15
MobileNetv3+ASPP	89.14	91.29
UNet + FCN	89.67	91.85
DDRNet-23	91.32	93.10
PIDNet-S	91.04	93.14
DDMNet（ours）	93.30	95.22

工况	MIoU（hard）	mAcc（hard）
长直道	96.94	98.64
弯道	95.68	97.74
斜坡	96.17	96.21
会车区域	95.30	95.42
上料卸料区	93.78	94.83

地下矿道无人车可行驶区域检测算法

Algorithm for Detecting Free Space in Underground Mine Tunnels for Autonomous Vehicles

RichHTML

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

图/表 22

参考文献 27

相关文章 15

Metrics

本文评价

推荐阅读 10

方法	Float	Param	FPS
SegNet	2.860G	29.5M	4.22
Fast-scnn	0.232G	1.4M	11.84
Deeplabv3+-r18+ FCN	13.565G	12.3M	10.71
Deeplabv3+-50+ FCN	44.121G	41.2M	5.39
MobileNetv3+ASPP	3.487G	4.4M	14.67
UNet + FCN	50.738G	30.0M	9.33
DDRNet-23	1.14G	20.1M	11.72
PIDNet-S	1.821G	7.6M	8.08
DDMNet（ours）	1.731G	14.6M	12.24

实验方法	MDFNet	SAPPM	DBFAM	MIoU/%	FPS
DDRNet				94.23	11.72
MDFNet	√			95.35	12.40
MDFNet+SAPPM	√	√		95.70	12.32
MDFNet+DBFAM	√		√	95.59	12.20
MDFNet+SAPPM+DBFAM	√	√	√	96.10	12.24

[1]	李道飞,潘豪. 场景复杂度评估在轨迹预测和驾驶决策中的应用[J]. 汽车工程, 2024, 46(9): 1556-1563.
[2]	朱冰,范天昕,赵健,张培兴,宋东鉴,薛越,赵文博. 自动驾驶拟人连续交互测试场景生成方法[J]. 汽车工程, 2024, 46(9): 1600-1607.
[3]	张国娟,胡宏宇,李浩淼,王明剑,高菲,高镇海. 自动驾驶车辆乘坐舒适性评价研究综述[J]. 汽车工程, 2024, 46(9): 1617-1627.
[4]	张佳楠,胡钊政,孟杰,胡华桦,左洁. 面向车-路-图协同的分布式自动驾驶仿真平台架构及应用[J]. 汽车工程, 2024, 46(8): 1335-1345.
[5]	颜伏伍,向博文,胡杰,陈锐鹏,张志豪,刘昊岩,高宠智. 基于改进LPV模型的自动驾驶轻型货车横向控制[J]. 汽车工程, 2024, 46(8): 1403-1413.
[6]	陶乐,王海,蔡英凤,陈龙. 面向自动驾驶场景的多目标点云检测算法[J]. 汽车工程, 2024, 46(7): 1208-1218.
[7]	李琳辉,付一帆,王霆,王雪成,连静. 引入自监督预训练的轨迹预测方法[J]. 汽车工程, 2024, 46(7): 1219-1227.
[8]	王海,张桂荣,罗彤,邱梦,蔡英凤,陈龙. 面向自动驾驶道路场景中异常案例的多模态数据挖掘算法[J]. 汽车工程, 2024, 46(7): 1239-1248.
[9]	王海,丁玉轩,罗彤,邱梦,蔡英凤,陈龙. 驾驶场景下结合运动速度以及外观特征的多类多目标跟踪方法[J]. 汽车工程, 2024, 46(6): 956-964.
[10]	黄晶,刘祥臻,邓潇阳,陈然. 基于多模态轨迹预测的智能车轨迹规划研究[J]. 汽车工程, 2024, 46(6): 965-974.
[11]	王国栋,刘立,孟宇,杜海平,白国星,顾青. 自动驾驶汽车避撞极限研究[J]. 汽车工程, 2024, 46(6): 985-994.
[12]	李梦凡,冯忠祥,张卫华,李靖宇. 面向人机共驾模式下驾驶人接管过程的视觉转移特性研究[J]. 汽车工程, 2024, 46(5): 795-804.
[13]	姚福星,孙超,兰云港,卢兵,王博,于海洋. 基于混合专家模型的智能网联汽车换道决策方法[J]. 汽车工程, 2024, 46(5): 882-892.
[14]	杜国栋,邹渊,张旭东,孙文景,孙巍. 基于双估计强化学习结合前向预测控制的自动驾驶运动控制研究[J]. 汽车工程, 2024, 46(4): 564-576.
[15]	丁志杰,王亚飞,章翼辰,邬明宇,王亦乐. 基于复合动态采样的自动驾驶矿车节能路径规划方法[J]. 汽车工程, 2024, 46(4): 588-595.