基于RetinaNet及优化损失函数的夜间车辆检测方法

doi:10.19562/j.chinasae.qcgc.2021.08.010

汽车工程 ›› 2021, Vol. 43 ›› Issue (8): 1195-1202.doi: 10.19562/j.chinasae.qcgc.2021.08.010

基于RetinaNet及优化损失函数的夜间车辆检测方法

张炳力^1,²,秦浩然^1,²,江尚^1,²(),郑杰禹^1,²,吴正海³

^1.合肥工业大学汽车与交通工程学院，合肥 230041
^2.安徽省智能汽车工程实验室，合肥 230009
^3.浙江百康光学股份有限公司，嘉兴 314113

收稿日期:2021-04-07 修回日期:2021-05-19 出版日期:2021-08-25 发布日期:2021-08-20
通讯作者: 江尚 E-mail:shang.jiang@hfut.edu.cn
基金资助:
安徽省第五批“特支计划”、合肥工业大学智能制造技术研究院科技成果转化及产业化平台建设专项资金(2019);科技成果转化及产业化重点项目(2019);安徽省新能源汽车产业创新发展和推广应用政策支持研发创新项目(皖发改产业函（2020）477号);学术新人提升计划A项目(JZ2021HGTA0162);青年教师科研创新启动专项A项目(JZ2021HGQA0237)

A Method of Vehicle Detection at Night Based on RetinaNet and Optimized Loss Functions

Bingli Zhang^1,²,Haoran Qin^1,²,Shang Jiang^1,²(),Jieyu Zheng^1,²,Zhenghai Wu³

^1.School of Automobile and Traffic Engineering，Hefei University of Technology，Hefei 230041
^2.Anhui Engineering Laboratory of Intelligent Automobile，Hefei 230009
^3.Zhejiang Bicom Optics Co. ，Ltd. ，Jiaxing 314113

Received:2021-04-07 Revised:2021-05-19 Online:2021-08-25 Published:2021-08-20
Contact: Shang Jiang E-mail:shang.jiang@hfut.edu.cn

摘要/Abstract

摘要：

为解决智能驾驶系统中夜间车辆检测误检多、远处小目标检测效果差的问题，在RetinaNet的基础上对损失函数进行全面优化。在分类损失函数方面，分析了负样本与正样本交并比的产生机理和对训练的影响，构造了关联交并比的分类损失函数，利用负样本交并比使网络注重于训练难分类负样本，同时利用正样本交并比提高了检测框的定位精度；在定位损失函数方面，改进了传统L1损失的归一化方式，提高了小目标检测能力。此外，针对夜间场景中的车辆特征对网络结构进行了优化设计，并在夜间车辆数据集上进行了测试验证，结果表明模型优化后的平均检测精度提升了14.6%。

关键词: 夜间车辆检测, 损失函数, 交并比, RetinaNet, 小目标检测

Abstract:

In view of the high false detection rate and poor detection results for distant small target in vehicle detection at night for intelligent driving system， the loss functions are comprehensively optimized based on RetinaNet. For classification loss function， both the generation mechanism and the influence on training results of the IoUs of negative and positive samples are analyzed， the classification loss function of correlated IoU is constructed， the IoU of negative sample is used to make network lay emphasis on the training of negative samples， which are hard to classify， meanwhile the IoU of positive sample is used to enhance the locating accuracy of detection frame. For locating loss function， the normalization way of traditional L1 loss is improved and the ability of small target detection is enhanced. In addition， a design optimization is conducted on network structure for the vehicle features in night scene， and a test verification is performed on vehicle data at night. The results show that the average detection accuracy of the model optimized increases by 14.6 percentage point.

Key words: vehicle detection at night, loss functions, IoU, RetinaNet, small target detection

张炳力,秦浩然,江尚,郑杰禹,吴正海. 基于RetinaNet及优化损失函数的夜间车辆检测方法[J]. 汽车工程, 2021, 43(8): 1195-1202.

Bingli Zhang,Haoran Qin,Shang Jiang,Jieyu Zheng,Zhenghai Wu. A Method of Vehicle Detection at Night Based on RetinaNet and Optimized Loss Functions[J]. Automotive Engineering, 2021, 43(8): 1195-1202.

图/表 13

图 1

图 2

图 3

图 4

图 5

图 6

图 7

表 1

表 2

图 8

图 9

表 3

表 4

参考文献 22

1	王美钰. 夜间高速公路车辆车灯的反光检测的研究［J］. 现代计算机， 2020（12）：97-101.
	WANG M Y. Research on the reflection detection of vehicle lights on highway at night［J］. Modern Computer， 2020（12）：97-101.
2	郭君斌，王建强，易世春，等. 基于单目视觉的夜间前方车辆检测方法［J］. 汽车工程， 2014，36（5）：573-579，585.
	GUO J B， WANG J Q， YI S C， et al. Preceding vehicle detection at night based on monocular vision［J］. Automotive Engineering， 2014，36（5）：573-579，585.
3	董天阳，朱浩楠，王浩. 基于视频的夜间车辆检测与跟踪算法研究［J］. 计算机科学， 2017，44（S2）：233-237.
	DONG T Y， ZHU H N， WANG H. Video-based nighttime vehicle detection and tracking algorithm［J］. Computer Science， 2017，44（S2）：233-237.
4	许益成，谭文安，陈丽婷. 基于Hough变换检测前大灯的夜间车辆检测［J］. 控制工程， 2018，25（8）：1360-1363.
	XU Y C， TAN W A， CHEN L T. A nighttime vehicle detection method using hough transform to detect headlights［J］. Control Engineering of China， 2018，25（8）：1360-1363.
5	于莉媛，郭云雷，牛萍娟，等.基于尾灯的夜间前方车辆检测与跟踪方法［J］. 天津工业大学学报， 2019，38（1）：61-68.
	YU L Y， GUO Y L， NIU P J， et al. Method of preceding vehicle detection and tracking at night based on taillights［J］. Journal of Tianjin Polytechnic University， 2019，38（1）：61-68.
6	乔瑞萍，董员臣，王方，等. 基于颜色通道混合特征的夜间车辆检测仿真［J］. 计算机仿真， 2020，37（12）：107-110.
	QIAO R P， DONG Y C， WANG F， et al. Simulation of night vehicle detection based on mixed features of color channels［J］. Computer Integrated Manufacturing Systems， 2020，37（12）：107-110.
7	ALCANTARILLA P， BERGASA L， JIMÉNEZ P， et al. Night time vehicle detection for driving assistance light beam controller［C］. Intelligent Vehicles Symposium. IEEE， 2008.
8	KIM H， KUK S， KIM M， et al. An effective method of head lamp and tail lamp recognition for night time vehicle detection［J］. World Academy of Science Engineering & Technology， 2013， 126（21）：384-392.
9	文学志，赵宏，王楠，等. 基于知识和外观方法相结合的后方车辆检测［J］. 东北大学学报（自然科学版）， 2007（3）：333-336.
	WEN X Z， ZHAO H， WANG N， et al. Rear-vehicle detection combining both knowledge-based and appearance-based methods［J］. Journal of Northeastern University （Natural Science）， 2007（3）：333-336.
10	陈艳，严腾，宋俊芳，等. 基于高斯混合模型和AdaBoost的夜间车辆检测［J］. 计算机应用， 2018，38（1）：260-263，283.
	CHEN Y， YAN T， SONG J F， et al. Night-time vehicle detection based on Gaussian mixture model and AdaBoost［J］. Journal of Computer Applications， 2018，38（1）：260-263，283.
11	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. Advances in Neural Information Processing Systems， 2015， 28： 91-99.
12	LI Y， HE K， SUN J. R-FCN： object detection via region-based fully convolutional networks［C］. Advances in Neural Information Processing Systems， 2016： 379-387.
13	CAI Z， VASCONCELOS N. Cascade R-CNN： delving into high quality object detection［C］.Proceedings of the IEEE conference on computer vision and pattern recognition， 2018： 6154-6162.
14	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection［C］. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016： 779-788.
15	REDMON J， FARHADI A. YOLO9000： better， faster， stronger［C］. IEEE Conference on Computer Vision & Pattern Recognition. IEEE， 2017：6517-6525.
16	REDMON J， FARHADI A. Yolov3： an incremental improvement［J］. arXiv Preprint arXiv：， 2018.
17	LIU W， ANGUELOV D， ERHAN D， et al. Ssd： single shot multibox detector［C］. European Conference on Computer Vision. Springer， Cham， 2016： 21-37.
18	LIN T Y， GOYAL P， Girshick R， et al. Focal loss for dense object detection［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， PP（99）：2999-3007.
19	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.
20	JIANG B， LUO R， MAO J， et al. Acquisition of localization confidence for accurate object detection［C］. Proceedings of the European Conference on Computer Vision （ECCV），2018： 784-799.
21	LI X， WANG W， WU L， et al. Generalized focal loss： learning qualified and distributed bounding boxes for dense object detection［J］. arXiv Preprint arXiv：， 2020.
22	ERHAN D， SZEGEDY C， TOSHEV A， et al. Scalable object detection using deep neural networks［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2014： 2147-2154.

模型	特征层选择	预设框设置	子网络简化	AP	检测速度/fps
RetinaNet				32.2	15
改进后的RetinaNet	√			38.5	11
	√	√		43.9	17
	√	√	√	43.1	23

序号	优化方法	AP	AP⁵⁰	AP^S
1	改进后的RetinaNet	43.1	81.8	28.4
2	定位损失	44.6	84.2	31.5
3	分类损失（仅正样本）	44.2	83.1	30.0
4	分类损失（仅负样本）	45.1	85.6	32.1
5	分类损失	45.5	86.4	32.8
6	分类损失+定位损失	46.8	87.9	34.7

γ	AP	AP⁵⁰
0.5	44.1	83.4
1.0	45.6	84.8
1.5	46.5	87.5
2.0	46.8	87.9
2.5	44.1	83.4
5.0	38.6	75.4

γ	α=1	α=1.25	α=1.5	α=1.75	α=2
0.8	43.4	45.2	45.9	46.4	45.9
0.9	43.8	46.2	46.5	46.8	46.2
1.0	44.1	46.0	46.5	47.0	46.8
1.1	44.0	46.1	46.4	47.2	46.9
1.2	44.0	45.8	46.0	46.9	46.6

[1]	程腾,倪昊,张强,王文冲,石琴. 基于虚拟点云的二阶段多模态融合网络[J]. 汽车工程, 2024, 46(2): 222-229.
[2]	姚宇捷,彭育辉,陈泽辉,何维堃,吴庆,黄炜,陈文强. 支持抗光照目标检测的改进YOLO算法[J]. 汽车工程, 2023, 45(5): 777-785.
[3]	石琴,陈雅芳,程腾,张强,王文冲,石本义. 基于局部平面引导层的无监督单目红外图像深度估计[J]. 汽车工程, 2023, 45(12): 2291-2298.
[4]	程腾,孙磊,侯登超,石琴,张峻宁,陈炯,黄鹤. 基于特征融合的多层次多模态目标检测[J]. 汽车工程, 2021, 43(11): 1602-1610.
[5]	白中浩, 李智强, 蒋彬辉, 王鹏辉. 基于改进YOLOv2模型的驾驶辅助系统实时行人检测^*[J]. 汽车工程, 2019, 41(12): 1416-1423.

基于RetinaNet及优化损失函数的夜间车辆检测方法

A Method of Vehicle Detection at Night Based on RetinaNet and Optimized Loss Functions

RichHTML

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 22

相关文章 5

Metrics

本文评价

推荐阅读 10