基于局部平面引导层的无监督单目红外图像深度估计

doi:10.19562/j.chinasae.qcgc.2023.12.011

汽车工程 ›› 2023, Vol. 45 ›› Issue (12): 2291-2298.doi: 10.19562/j.chinasae.qcgc.2023.12.011

所属专题：智能网联汽车技术专题-感知&HMI&测评2023年

基于局部平面引导层的无监督单目红外图像深度估计

石琴^1,²,陈雅芳^1,²,程腾^1,²(),张强³,王文冲³,石本义⁴

^1.合肥工业大学汽车与交通工程学院，合肥　230000
^2.安徽省智慧交通车路协同工程研究中心，合肥　250000
^3.奇瑞汽车股份有限公司，芜湖　241000
^4.合肥英睿系统技术有限公司，合肥　230000

收稿日期:2023-06-02 修回日期:2023-06-22 出版日期:2023-12-25 发布日期:2023-12-21
通讯作者: 程腾 E-mail:cht616@hfut.edu.cn
基金资助:
安徽省自然科学基金(2208085MF171);中央高校基本科研业务费专项资金(JZ2023YQTD0073);国家自然科学基金(82171012);安徽省新能源汽车暨智能网联汽车创新工程项目(JZ2021AFKJ0002)

Unsupervised Monocular Infrared Image Depth Estimation Based on Local Plane Guidance Layer

Qin Shi^1,²,Yafang Chen^1,²,Teng Cheng^1,²(),Qiang Zhang³,Wenchong Wang³,Benyi Shi⁴

^1.School of Automobile and Transportation Engineering，Hefei University of Technology，Hefei 　230000
^2.Anhui Intelligent Transportation Vehicle-Road Collaborative Engineering Research Center，Hefei 　250000
^3.Chery Automobile Co. ，Ltd. ，Wuhu 　241000
^4.Hefei Yingrui System Technology Co. ，Ltd. ，Hefei 　230000

Received:2023-06-02 Revised:2023-06-22 Online:2023-12-25 Published:2023-12-21
Contact: Teng Cheng E-mail:cht616@hfut.edu.cn

摘要/Abstract

摘要：

当前无监督单目红外图像深度估计方法难以处理低纹理和低对比度区域，导致估计效果差，因此本文提出了一种基于局部平面引导层的无监督单目红外图像深度估计算法。该算法由连续视频帧输入、多尺度特征提取、ASPP和局部平面引导层、计算损失、联合训练、输出图像模块组成。首先，通过采用多个小分辨率灰度块和多尺度特征融合，解决了红外图像边缘模糊和遮挡物体等问题。其次，通过利用局部平面引导层在深度图像上引入一个平面约束，减小了深度图像中的噪声和不连续性，以及传统算法对低纹理区域处理不明显等问题。实验结果表明，所提出的深度估计算法有效提高了单目深度估计的精度并减小误差，在Iray数据集上的Abs Rel、Sq Rel、RMS、RMS（log）分别为0.262、3.621、9.473、0.332，在阈值指标小于1.25、1.25²、1.25³时，准确率达到了60.5%、85.2%、94.5%。

关键词: 无监督, 红外图像, 单目深度估计, 局部平面引导层, 损失函数

Abstract:

At present， the unsupervised monocular infrared image depth estimation method is difficult to deal with low texture and low contrast areas， resulting in poor estimation effect， so an unsupervised monocular infrared image depth estimation algorithm based on local plane guide layer is proposed in this paper. The algorithm consists of continuous video frame input， multi-scale feature extraction， ASPP and local planar guidance layer， computational loss， joint training， and output image module. Firstly， by using multiple small-resolution grayscale blocks and multi-scale feature fusion， the problems of blurring edges and occluding objects in infrared images are solved. Secondly， by using the local plane guidance layer to introduce a plane constraint on the depth image， the noise and discontinuity in the depth image are reduced， and the problem of lack of clear processing of low texture areas of the traditional algorithm is solved. The experimental results show that the proposed depth estimation algorithm effectively improves the accuracy of monocular depth estimation and reduces the error， and the Abs Rel， Sq Rel， RMS， RMS（log） on the Iray dataset is 0.262， 3.621， 9.473 and 0.332， respectively， and the accuracy reaches 60.5%， 85.2% and 94.5% when the threshold indicators are less than 1.25， 1.25² and 1.25³.

Key words: unsupervised, infrared image, monocular depth estimation, local planar guidance layer, loss function

石琴,陈雅芳,程腾,张强,王文冲,石本义. 基于局部平面引导层的无监督单目红外图像深度估计[J]. 汽车工程, 2023, 45(12): 2291-2298.

Qin Shi,Yafang Chen,Teng Cheng,Qiang Zhang,Wenchong Wang,Benyi Shi. Unsupervised Monocular Infrared Image Depth Estimation Based on Local Plane Guidance Layer[J]. Automotive Engineering, 2023, 45(12): 2291-2298.

图/表 9

图1

图2

图3

图4

图5

图6

表1

表2

表3

参考文献 22

1	GARG R， BG V K， CARNEIRO G， et al. Unsupervised CNN for single view depth estimation： geometry to the rescue ［C］. European Conference on Computer Vision. Springer， 2016： 740-756.
2	LI X， DING M， WEI D， et al. Estimate depth information from monocular infrared images based on deep learning［C］. 2020 IEEE International Conference on Progress in Informatics and Computing （PIC）， Shanghai， China， 2020： 149-153.
3	SUN S， LI L， et al. Depth estimation from monocular infrared images based on BP neural network model［C］. 2012 International Conference on Computer Vision in Remote Sensing. IEEE， 2012： 237-241.
4	MERTAN A， DUFF D J， UNAL G. Single image depth estimation： an overview［J］. Digital Signal Processing， 2022， 123： 103441.
5	SUN C， ZHANG C， XIONG N. Infrared and visible image fusion techniques based on deep learning： a review［J］. Electronics， 2020， 9（12）：2162.
6	KUANG X， SUI X， LIU Y， et al. Single infrared image enhancement using a deep convolutional neural network［J］. Neurocomputing， 2019， 332： 119-128.
7	WANG Q， ZHAO H， HU Z， et al. Discrete convolutional CRF networks for depth estimation from monocular infrared images［J］. International Journal of Machine Learning and Cybernetics， 2021， 12： 187-200.
8	孙韶媛，李琳娜，赵海涛.采用KPCA和BP神经网络的单目车载红外图像深度估计［J］.红外与激光工程，2013，42（9）：2348-2352.
	SUN Shaoyuan， LI Linna， ZHAO Haitao. Depth estimation ofmonocular vehicle infrared image using KPCA and BP neural network［J］.Infrared and Laser Engineering， 2013，42（9）：2348-2352.
9	朱思敏，赵海涛. 基于注意力机制与图卷积神经网络的单目红外图像深度估计［J］. 应用光学， 2021， 42（1）： 49-56.
	ZHU Simin， ZHAO Haitao. Depth estimation of monocular infrared image based on attention mechanism and graph convolutional neural network ［J］. Applied Optics， 2021， 42（1）： 49-56.
10	WU S， ZHAO H， SUN S. Depth estimation from monocular infrared video based on bi-recursive convolutional neural network［J］. Acta Optica Sinica. J.， 2017.
11	姚广顺，孙韶媛，方建安，等.基于红外与雷达的夜间无人车场景深度估计［J］.激光与光电子学进展，2017，54（12）：164-170.
	YAO Guangshun， SUN Shaoyuan， FANG Jianan， et al. Depth estimation of unmanned vehicle scene at night based on infrared and radar［J］. Laser and Optoelectronics Progress， 2017，54（12）：164-170.
12	LI H， WU X J. DenseFuse： a fusion approach to infrared and visible images［J］. IEEE Transactions on Image Processing， 2018， 28（5）： 2614-2623.
13	ZHOU T， BROWN M， SNAVELY N， et al. Unsupervised learning of depth and ego-motion from video［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 1851-1858.
14	BIAN J W， ZHAN H， WANG N， et al. Unsupervised scale-consistent depth learning from video［J］. International Journal of Computer Vision， 2021， 129（9）： 2548-2564.
15	HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916.
16	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. Deeplab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected crfs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 40（4）： 834-848.
17	LEE J H， HAN M K， KO D W， et al. From big to small： multi-scale local planar guidance for monocular depth estimation［J］. arxiv preprint arxiv：， 2019.
18	WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.
19	李松涛，李维刚，师静蕊，等. 基于改进PatchMatch算法的金相图像修复［J］. 金属热处理， 2021， 46（3）： 196-205.
	LI Songtao， LI Weigang， SHI Jingrui， et al. Inpainting of metallographic image based on improved PatchMatch algorithm［J］. Heat Treatment of Metals， 2021， 46（3）： 196-205.
20	SHORTEN C， KHOSHGOFTAAR T M. A survey on image data augmentation for deep learning［J］. Journal of Big Data， 2019， 6（1）： 1-48.
21	EIGEN D， PUHRSCH C， FERGUS R. Depth map prediction from a single image using a multi-scale deep network［J］. Advances in Neural Information Processing Systems， 2014， 27.
22	MAYER N， ILG E， HAUSSER P， et al. A large dataset to train convolutional networks for disparity， optical flow， and scene flow estimation［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 4040-4048.

方法	误差（越低越好）				准确率（越高越好）
方法	Abs Rel	Sq Rel	RMS	RMS（log）	δ<1.25	δ<1.25²	δ<1.25³
SFMLearner^［13］	0.432	8.601	14.189	0.465	0.403	0.693	0.851
SFMLearner_bts（ours）	0.422	5.652	12.534	0.525	0.346	0.636	0.821
SC-SFMLearner^［14］	0.332	6.561	10.685	0.377	0.562	0.834	0.932
SC-SFMLearner_bts（ours）	0.262	3.621	9.473	0.332	0.605	0.852	0.945

子特征层数	误差（越低越好）				准确率（越高越好）
子特征层数	Abs Rel	Sq Rel	RMS	RMS（log）	δ<1.25	δ<1.25²	δ<1.25³
H/8+H/4+H/2	0.491	6.871	13.295	0.538	0.403	0.693	0.851
H/16+H/8+H/4+H/2	0.294	5.784	11.777	0.342	0.602	0.852	0.936
H/32+H/16+H/8+H/4+H/2	0.262	3.621	9.473	0.332	0.605	0.852	0.945

LPG层数	误差（越低越好）				准确率（越高越好）
LPG层数	Abs Rel	Sq Rel	RMS	RMS（log）	δ<1.25	δ<1.25²	δ<1.25³
0	0.326	7.083	13.592	0.386	0.527	0.802	0.911
1	0.305	5.741	12.458	0.376	0.527	0.799	0.918
2	0.275	4.391	9.900	0.354	0.549	0.850	0.951
3	0.268	3.896	9.989	0.345	0.578	0.857	0.949
4	0.262	3.621	9.473	0.332	0.605	0.852	0.945

[1]	程腾,倪昊,张强,王文冲,石琴. 基于虚拟点云的二阶段多模态融合网络[J]. 汽车工程, 2024, 46(2): 222-229.
[2]	郭文超,杨林,邓忠伟,李济霖,范志先. 云端数据驱动的锂电池故障分级预警研究[J]. 汽车工程, 2023, 45(9): 1677-1687.
[3]	姚宇捷,彭育辉,陈泽辉,何维堃,吴庆,黄炜,陈文强. 支持抗光照目标检测的改进YOLO算法[J]. 汽车工程, 2023, 45(5): 777-785.
[4]	刘子龙,沈祥飞. 融合Lite-HRNet的Yolo v5双模态自动驾驶小目标检测方法[J]. 汽车工程, 2022, 44(10): 1511-1520.
[5]	张炳力,秦浩然,江尚,郑杰禹,吴正海. 基于RetinaNet及优化损失函数的夜间车辆检测方法[J]. 汽车工程, 2021, 43(8): 1195-1202.
[6]	白中浩, 李智强, 蒋彬辉, 王鹏辉. 基于改进YOLOv2模型的驾驶辅助系统实时行人检测^*[J]. 汽车工程, 2019, 41(12): 1416-1423.

基于局部平面引导层的无监督单目红外图像深度估计

Unsupervised Monocular Infrared Image Depth Estimation Based on Local Plane Guidance Layer

RichHTML

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 22

相关文章 6

Metrics

本文评价

推荐阅读 10