基于改进门控上下文聚合网络的雾天实时行人检测方法

doi:10.19562/j.chinasae.qcgc.2023.05.009

汽车工程 ›› 2023, Vol. 45 ›› Issue (5): 796-806.doi: 10.19562/j.chinasae.qcgc.2023.05.009

所属专题：智能网联汽车技术专题-感知&HMI&测评2023年

基于改进门控上下文聚合网络的雾天实时行人检测方法

吴桐^1,^2,³,王宇宁^1,^2,^3,⁴(),关艺搏^1,^2,³,田韶鹏^1,^2,^3,⁴

^1.武汉理工大学，现代汽车零部件技术湖北省重点实验室，武汉　430070
^2.武汉理工大学，汽车零部件技术湖北省协同创新中心，武汉　430070
^3.武汉理工大学，湖北省新能源与智能网联车工程技术研究中心，武汉　430070
^4.先进能源科学与技术广东省实验室，佛山仙湖实验室，佛山　528200

收稿日期:2022-11-06 修回日期:2022-12-01 出版日期:2023-05-25 发布日期:2023-05-26
通讯作者: 王宇宁 E-mail:ynwang@whut.edu.cn
基金资助:
广西科技重大专项(桂科AA22068063);广西重点研发计划项目(桂科AB22362);佛山仙湖实验室开放基金项目(41200303)

A Real-Time Pedestrian Detection Method Based on Improved Gated Context Aggregation Network in Foggy Weather

Tong Wu^1,^2,³,Yuning Wang^1,^2,^3,⁴(),Yibo Guan^1,^2,³,Shaopeng Tian^1,^2,^3,⁴

^1.Wuhan University of Technology，Hubei Key Laboratory of Advanced Technology for Automotive Components，Wuhan 　430070
^2.Wuhan University of Technology，Hubei Collaborative Innovation Center for Automotive Components Technology，Wuhan 　430070
^3.Wuhan University of Technology，Hubei Research Center for New Energy & Intelligent Connected Vehicle，Wuhan 　430070
^4.Foshan Xianhu Laboratory of the Advanced Energy Science and Technology Guangdong Laboratory，Foshan 　528200

Received:2022-11-06 Revised:2022-12-01 Online:2023-05-25 Published:2023-05-26
Contact: Yuning Wang E-mail:ynwang@whut.edu.cn

摘要/Abstract

摘要：

针对自动驾驶车辆在雾天情况下易将行人误检和漏检的问题，提出一种基于改进GCANet除雾网络和CenterNet检测网络相结合、有效进行雾天行人识别的联合检测方法。该方法在GCANet中引入结合底层细节和全局结构的复合损失函数，优化除雾图的结构细节及图像质量；并将改进的GCANet除雾算法应用于检测算法的训练图像预处理中，最后送入CenterNet网络训练。试验结果显示，本文提出的方法在合成雾天数据集Foggy Citypersons上的平均对数漏检率 $M R - 2$ 值达到9.65，在真实雾天数据集RTTS上的平均精度 $A P 50$ 值达到86.11，降低了雾天场景下行人的漏检和误检情况，有效提升了检测网络在雾天条件下的泛化能力。

关键词: 行人检测, GCANet, 图像处理, CenterNet

Abstract:

For the problem that pedestrians are easy to be misdetected or missed by autonomous vehicles in foggy weather， a joint detection method based on improved GCANet defogging network and CenterNet detection network is proposed to effectively detect pedestrians in foggy weather. Firstly， a composite loss function combining the underlying details and global structure is introduced into GCANet to optimize the structural details and image quality of the defogging map. Then， the improved GCANet defogging algorithm is applied to the training image enhancement preprocessing step of the detection algorithm， which is finally sent to the CenterNet for training. The test results show that the average logarithmic missed detection rate of the proposed method on the synthetic Foggy Citypersons dataset reaches 9.65， and the average accuracy value on the real foggy RTTS dataset reaches 86.11. The proposed method reduces the missed detection and false detection of pedestrians in foggy weather， which effectively improves the generalization ability of the detection network in foggy weather.

Key words: pedestrian detection, GCANet, image processing, CenterNet

吴桐,王宇宁,关艺搏,田韶鹏. 基于改进门控上下文聚合网络的雾天实时行人检测方法[J]. 汽车工程, 2023, 45(5): 796-806.

Tong Wu,Yuning Wang,Yibo Guan,Shaopeng Tian. A Real-Time Pedestrian Detection Method Based on Improved Gated Context Aggregation Network in Foggy Weather[J]. Automotive Engineering, 2023, 45(5): 796-806.

图/表 16

图1

图2

图3

图4

图5

表1

表2

表3

基于合成雾天图像的模型性能对比"

模型序号	$M R - 2$ （只针对行人）
模型A	12.82
模型B	9.96
模型C	9.65

表3

图6

图7

图8

表4

基于真实雾天图像的模型性能对比"

模型序号	$A P 50$ （只针对行人）
模型A	80.08
模型B	85.56
模型C	86.11

表4

图9

图10

图11

表5

参考文献 35

1	DALAL N， TRIGGS B. Histograms of oriented gradients for human detection［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2005： 886-893.
2	LOW D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.
3	PLATT J C. Sequential minimal optimization： a fast algorithm for training support vector machines［EB/OL］.［2022-08-23］. http：//www.dmi.dk/fileadmin/user_upload/Rapporter/TR/1998/tr98-14.pdf.
4	FREUND Y， SCHAPIRE R E. A decision-theoretic generalization of on-line learning and an application to boosting［C］. Proceedings of the 2nd European Conference on Computational Learning Theory，1995： 23-27.
5	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN：towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）：1137-1149.
6	CAI Z， VASCONCELOS N. Cascade R-CNN： delving into high quality object detection［C］. Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018： 1483-1498.
7	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition， 2016： 779-788.
8	LIU Wei， ANGUELOV D， ERHAN D， et al. SSD：single shot multibox detector［C］. Computer Visio-ECCV 2016，2016：21-37.
9	ZHOU X， WANG D， KRÄHENBÜHL P. Objects as points［EB/OL］.［2022-08-23］. http：//arxiv.org/abs/1904.07850.
10	HU Y， HE H， XU C， et al. Exposure： a white-box photo post-processing framework［J］. ACM Transactions on Graphics， 2018， 37（2）：26.1-26.17.
11	刘建伟，谢浩杰，罗雄麟. 生成对抗网络在各领域应用研究进展［J］. 自动化学报， 2020， 46（12）： 2500-2536.
	LIU J W， XIE H J， LUO X L. Research progress on application of generative adversarial networks in variousfields［J］. Acta Automatica Sinica， 2020， 46（12）： 2500-2536.
12	GUO C， LI C， GUO J， et al. Zero-reference deep curve estimation for low-light image enhancement［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2020：1780-1789.
13	LIU W， REN G， YU R， et al. Image-adaptive YOLO for object detection in adverse weather conditions［C］. Proceedings of the Thirty-Sixth AAAI Conference on Artificial Intelligence， 2021：1-12.
14	MCCARTNEY E J. Optics of the atmosphere： scattering by molecules and particles［J］. Optica Acta International Journal of Optics， 1977， 24（7）：779.
15	HE K M， SUN J， TANG X O. Single image haze removal using dark channel prior［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2011， 33（12）：2341.
16	TAN R T. Visibility in bad weather from a single image［C］. Proceedings of IEEE Conference on Computer Vision & Pattern Recognition （CVPR）， 2008： 23-28.
17	ZHU Q， MAI J， SHAO L. A fast single image haze removal algorithm using color attenuation prior［J］. IEEE Transactions on Image Processing， 2015， 24（11）：3522-3533.
18	CAI B， XU X， JIA K， et al. DehazeNet： an end-to-end system for single image haze removal［J］. IEEE Transactions on Image Processing， 2016， 25（11）：5187-5198.
19	LI B， PENG X， WANG Z， et al. AOD-Net： all-in-one dehazing network［C］. Proceedings of 2017 IEEE International Conference on Computer Vision （ICCV）， 2017： 4780-4788.
20	李永福，崔恒奇，朱浩，等. 一种基于改进AOD-Net的航拍图像去雾算法［J］. 自动化学报， 2022， 48（6）： 1543-1559.
	LI Y F， CUI H Q， ZHU H， et al. A defogging algorithm for aerial image with improved AOD-Net［J］. Acta Automatica Sinica， 2022， 48（6）： 1543-1559.
21	LIU X， MA Y， SHI Z， et al. GridDehazeNet： attention-based multi-scale network for image dehazing［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV）， 2019： 7314-7323.
22	CHEN D， HE M， FAN Q， et al. Gated context aggregation network for image dehazing and deraining［C］. Proceedings of 2019 IEEE Winter Conference on Applications of Computer Vision （WACV）， 2019： 1375-1383.
23	CHEN Y， LI W， SAKARIDIS C， et al. Domain adaptive faster R-CNN for object detection in the wild［C］. Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018： 3339-3348.
24	ZHANG S， TUO H， HU J， et al. Domain adaptive YOLO for one-stage cross-domain detection［EB/OL］.［2022-08-23］. https：//arxiv.org/abs/2106.13939v1.
25	钟魁松，冯治国，张振博，等. 雾天道路下智能车视觉图像实时快速去雾研究［J］. 汽车技术， 2022（5）： 27-33.
	ZHONG K S， FENG Z G， ZHANG Z B， et al. Study on real-time and rapid de-fogging for intelligent vehicles on foggy roads［J］. Automobile Technology， 2022（5）： 27-33.
26	LI B， REN W， FU D， et al. Benchmarking single-image dehazing and beyond［J］. IEEE Transactions on Image Processing， 2019， 28（1）： 492-505.
27	YU F， KOLTUN V. Multi-scale context aggregation by dilated convolutions［EB/OL］.［2022-08-23］. https：//arxiv.org/abs/1511.07122.
28	JOHNSON J， ALAHI A， FEI-FEI L. Perceptual losses for real-time style transfer and super-resolution［C］. European Conference on Computer Vision， 2016： 694-711.
29	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］.［2022-08-23］.https：//arxiv.org/abs/1409.1556.
30	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］. Proceedings of IEEE Conference on Computer Vision & Pattern Recognition （CVPR）， 2016： 770-778.
31	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss fordense object detection［J］. Proceedings of the IEEE International Conference on Computer Vision，2017： 2980-2988.
32	SAKARIDIS C， DAI D， GOOL L V. Semantic foggy scene understanding with synthetic data［J］. International Journal of Computer Vision， 2018， 126（9）： 973-992.
33	ZHANG S， BENENSON R， SCHIELE B. CityPersons： a diverse dataset for pedestrian detection［C］. IEEE 2017： 4457-4465.
34	CORDTS M， OMRAN M， RAMOS S， et al. The cityscapes dataset for semantic urban scene understanding［C］. 2016 IEEE Conference on Computer Vision & Pattern Recognition （CVPR）， 2016： 3213-3223.
35	GE Z， LIU S T， WANG F， et al. Yolox： exceeding yolo series in 2021［EB/OL］. ［2022-08-23］. https：//doi.org/10.48550/arXiv.2107.08430.

图像处理	评价指标	薄雾除雾效果	中雾除雾效果	浓雾除雾效果	整体除雾效果
带雾图像	SSIM	0.76	0.68	0.53	0.58
带雾图像	PSNR	18.20	14.68	11.50	13.73
原始GCANet	SSIM	0.92	0.89	0.77	0.86
原始GCANet	PSNR	29.34	27.93	25.84	28.22
改进GCANet	SSIM	0.98	0.96	0.83	0.97
改进GCANet	PSNR	31.97	28.56	26.21	30.09

数据集	模型	MR^-2	AP₅₀	推理时间/ms
Foggy Citypersons	G + F	15.70		220.22
	G + Y	9.40		26.43
	G + R	11.40		71.42
	本文方法	9.65		23.54
RTTS	G + F		75.69	237.30
	G + Y		88.59	28.48
	G + R		81.90	76.92
	本文方法		86.11	27.18

[1]	姚宇捷,彭育辉,陈泽辉,何维堃,吴庆,黄炜,陈文强. 支持抗光照目标检测的改进YOLO算法[J]. 汽车工程, 2023, 45(5): 777-785.
[2]	黄鹤,李战一,杨澜,王会峰,高涛,陈婷. 交通图像大气加雾模型设计与评价[J]. 汽车工程, 2023, 45(5): 786-795.
[3]	肖艳秋,周坤,崔光珍,房占鹏,孙启迪,刘燕旗. 基于差异性区域预测的行人与骑车人联合检测[J]. 汽车工程, 2021, 43(1): 77-85.
[4]	朱波, 黄茂飞, 谈东奎, 胡旭东, 顾家鑫. 基于神经网络与数据融合的行人检测方法^*[J]. 汽车工程, 2020, 42(11): 1482-1489.
[5]	白中浩, 李智强, 蒋彬辉, 王鹏辉. 基于改进YOLOv2模型的驾驶辅助系统实时行人检测^*[J]. 汽车工程, 2019, 41(12): 1416-1423.

基于改进门控上下文聚合网络的雾天实时行人检测方法

A Real-Time Pedestrian Detection Method Based on Improved Gated Context Aggregation Network in Foggy Weather

RichHTML

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 35

相关文章 5

Metrics

本文评价

推荐阅读 10

模型序号	训练集
模型A	原始雾天图像
模型B	GCANet预处理的图像
模型C	改进GCANet算法预处理的图像