基于TC-YOLOv7算法的可见光与红外后融合检测研究

doi:10.19562/j.chinasae.qcgc.2023.12.010

摘要/Abstract

摘要：

针对自动驾驶复杂场景下的视觉目标难以实现快速准确检测的问题，提出一种基于注意力机制的TC-YOLOv7检测算法，应用于可见光与红外以及后融合场景。首先，基于CBAM和Transformer注意力机制模块改进YOLOv7基准检测模型，并利用多场景数据集进行可见光和红外检测效果验证。其次，构建并验证SS-PostFusion、DS-PostFusion、DD-PostFusion 3种不同非极大值抑制后融合方法的检测效果。最后，结合TC-YOLOv7与DD-PostFusion方法，与单传感器检测结果进行对比。结果表明，在晴天、夜间、雾、雨、雪可见光和红外场景下，TC-YOLOv7相比基准YOLOv7 mAP@.5均有3%以上精度提升；在综合场景测试集中，使用TC-YOLOv7后融合方法相比可见光检测精度提升4.5%，相比红外检测精度提升11.1%，相比YOLOv7后融合方法提升0.6%，且TC-YOLOv7后融合方法的推理速度为39 fps，满足自动驾驶场景实时性要求。

关键词: 深度学习, 传感器融合, YOLO, 注意力机制, 非极大值抑制

Abstract:

For the problem that it is difficult to achieve fast and accurate detection of visual targets in complex scenes of autonomous driving， a TC-YOLOv7 detection algorithm based on attention mechanism is proposed， which is applied to visible light， infrared and post-fusion scenarios. Firstly， the YOLOv7 benchmark detection model is improved based on the CBAM and Transformer attention mechanism modules， and the performance of visible light and infrared detection is verified by multi-scene datasets. Secondly， the detection methods of three different non-maximum suppression post-fusion methods including SS-PostFusion， DS-PostFusion， and DD-PostFusion are constructed， with the performance verified. Finally， the method combining TC-YOLOv7 and DD-PostFusion is compared with the single-sensor detection results. The results show that the TC-YOLOv7 method has more than 3% accuracy improvement compared with the benchmark method YOLOv7 mAP@.5 in daytime， night， haze， rain， snow visible light and infrared scenes. In the comprehensive scene test set， the TC-YOLOv7 post-fusion method improves the detection accuracy by 4.5% compared with visual light detection， by 11.1% compared with infrared detection and by 0.6% compared with the YOLOv7 post-fusion method. Furthermore， the TC-YOLOv7 post-fusion method inference speed is 39 fps， meeting the real-time requirements of autonomous driving scenarios.

Key words: deep learning, sensor fusion, YOLO, attention mechanism, non-maximum suppression

李琳辉,张鑫亮,付一帆,连静,马家旭. 基于TC-YOLOv7算法的可见光与红外后融合检测研究[J]. 汽车工程, 2023, 45(12): 2280-2290.

Linhui Li,Xinliang Zhang,Yifan Fu,Jing Lian,Jiaxu Ma. Research on Visible Light and Infrared Post-Fusion Detection Based on TC-YOLOv7 Algorithm[J]. Automotive Engineering, 2023, 45(12): 2280-2290.

图/表 16

图1

图2

图3

图4

表1

表2

表3

表4

表5

图5

表6

表7

图6

表8

图7

表9

参考文献 19

1	LI L， ZHANG X， LIAN J， et al. Study on practical utility of image dehazing algorithms based on deep learning in computer vision scene understanding［C］. CAAI International Conference on Artificial Intelligence， 2023： 601-612.
2	MA W， WANG K， LI J， et al. Infrared and visible image fusion technology and application： a review［J］. Sensors， 2023， 23（2）： 599.
3	ZOU Z， SHI Z， GUO Y， et al. Object detection in 20 years： a survey［C］. Proceedings of the IEEE， 2023.
4	GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2014： 580-587.
5	GIRSHICK R. Fast R-CNN［C］. Proceedings of the IEEE International Conference on Computer Vision， 2015： 1440-1448.
6	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. Advances in Neural Information Processing Systems， 2015， 28.
7	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 779-788.
8	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector［C］. European Conference on Computer Vision. Springer， 2016： 21-37.
9	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］. Proceedings of the IEEE International Conference on Computer Vision， 2017： 2980-2988.
10	JOCHER G， STOKEN A， BOROVEC J， et al. YOLOv5［EB/OL］. http：//doi.org/10.5281/zenodo.4154370.
11	WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7： trainable bag-of-freebies sets new state-of-the-art for real-time object detectors［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023： 7464-7475.
12	GE Z， LIU S， WANG F， et al. Yolox： exceeding YOLO series in 2021［J］. arXiv preprint arXiv：， 2021.
13	WOO S， PARK J， LEE J Y， et al. Cbam： convolutional block attention module［C］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018： 3-19.
14	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 7132-7141.
15	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［J］. Advances in Neural Information Processing Systems， 2017，30.
16	TELEDYNE F. FLIR thermal dataset for algorithm training［EB/OL］. https：//adas-dataset-v2.flirconservator.com.
17	LI B， REN W， FU D， et al. Benchmarking single image dehazing and beyond［J］. IEEE Transactions on Image Processing， 2018， 28（1）： 492-505.
18	YU F， CHEN H， WANG X， et al. Bdd100k： a diverse driving dataset for heterogeneous multitask learning［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 2636-2645.
19	LIU J， FAN X， HUANG Z， et al. Target-aware dual adversarial learning and a multi-scenario multi-modality benchmark to fuse infrared and visible for object detection［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022： 5802-5811.

平台主要组成	相关配置
GPU	GeForce RTX 3090
CPU	Intel（R） Core（TM） i7-12700K
GPU显存	24 GB
操作系统	Linux
计算架构	CUDA10.1

模型	训练集	测试集
SS-PostFusion DS-PostFusion DD-PostFusion	M³FD（3358）（可见光+红外）	M³FD（842）（可见光+红外）
YOLOv7（可见光） C-YOLOv7（可见光） TC-YOLOv7（可见光）	FLIR（10319）（可见光）	FLIR（3749）（可见光） RTTS（4322） BDD100k（5083/5571） M³FD（4200）（可见光）
YOLOv7（红外） C-YOLOv7（红外） TC-YOLOv7（红外）	FLIR（10742）（红外）	FLIR（3749）（红外） M³FD（4200）（红外）
YOLOv7（后融合） TC-YOLOv7（后融合）	FLIR（10319）（可见光） FLIR（10742）（红外）	M³FD（4200）（可见光+红外）

模型	CBAM	Transformer	mAP@.5/%	Precision提升/%	检测速度/fps
YOLOv7			32.3		85
C-YOLOv7	√		38.0	5.7	81
TC-YOLOv7	√	√	38.6	6.3	79

模型	CBAM	Transformer	mAP@.5/%	Precision提升/%	检测速度/fps
YOLOv7			53.3		100
C-YOLOv7	√		55.9	2.6	86
TC-YOLOv7	√	√	56.5	3.2	89

天气	模型	CBAM	Transformer	mAP@.5/%	Precision提升/%	检测速度/fps
雨天	YOLOv7			36.9		116
	C-YOLOv7	√		39.3	2.4	111
	TC-YOLOv7	√	√	40.2	3.3	109
雪天	YOLOv7			36.1		116
	C-YOLOv7	√		37.4	1.3	111
	TC-YOLOv7	√	√	39.4	3.3	109