融合图像显著性特征的轻量级目标检测算法

doi:10.19562/j.chinasae.qcgc.2024.01.009

摘要/Abstract

摘要：

针对智能车辆在实际交通环境中面临的目标密集、边缘严重遮挡和前景背景模糊的问题，本文提出了一种融合图像显著性特征的轻量级目标检测算法。首先基于灰度图像提取出显著性特征图，和彩色图像分别输入卷积神经网络。其次采用轻量化模块（ghost model）搭建轻量级融合网络，并使用EIoU优化模型的边框定位损失。在网络后端将非极大值抑制算法进行改进，以此提高网络对同类别遮挡目标的检测准确率。最后在KITTI数据集上进行训练和测试。实验表明，改进后的网络mAP达到92.7%，相比原始网络YOLOv5平均精度提高3.8%，精确率和召回率分别提高3%和6.2%。

关键词: 目标检测, 多特征融合, 轻量级网络, YOLOv5

Abstract:

For the problems of dense targets， severe edge occlusion， and blurred foreground and background that intelligent vehicles face in actual traffic environments， a lightweight object detection algorithm based on image saliency feature fusion is proposed in this paper. Firstly， salient feature maps are extracted based on grayscale images， and input into convolutional neural networks with color images. Secondly， a lightweight fusion network is constructed using the Ghost Model， and the EIoU is used to optimize the model's border localization loss. In order to enhance the detection accuracy of similar occluded targets， non-maximum suppression algorithm is improved on the backend of the network. Finally， the KITTI dataset is used for training and testing. The experiment shows that the improved detection mAP value of the network reaches 92.7%， with an average accuracy improvement of 3.8% compared to the original network YOLOv5. The accuracy and recall rates are increased by 3% and 6.2%.

Key words: target detection, muti-feature fusion, lightweight network, YOLOv5

马雷, 杨顺清, 王欢欢, 翟家琛, 徐健傲. 融合图像显著性特征的轻量级目标检测算法[J]. 汽车工程, 2024, 46(1): 84-91.

Lei Ma, Shunqing Yang, Huanhuan Wang, Jiachen Zhai, Jianao Xu. Lightweight Object Detection Algorithm Based on Image Saliency Feature Fusion[J]. Automotive Engineering, 2024, 46(1): 84-91.

图/表 12

图1

图2

图3

图4

图5

图6

图7

表1

表2

图8

表3

表4

参考文献 20

1	BISWAS S K， MILANFAR P. Linear support tensor machine with LSK channels： pedestrian detection in thermal infrared images［J］. IEEE Transactions on Image Processing， 2017， 26（9）： 4229-4242.
2	LIU J， ZHANG S， WANG S， et al. Multispectral deep neural networks for pedestrian detection［J］. arXiv preprint arXiv：， 2016.
3	李晓艳，符惠桐，牛文涛，等. 基于深度学习的多模态行人检测算法［J］. 西安交通大学学报， 2022， 56（10）： 61-70.
	LI X Y， FU H T， NIU W T， et al. Muti-modal pedestrian detection algorithm based on deep learning［J］. Journal of Xi’an Jiaotong University， 2022， 56（10）： 61-70.
4	KONIG D， ADAM M， JARVERS C， et al. Fully convolutional region proposal networks for multispectral person detection［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， USA： IEEE， 2017： 49-56.
5	邹伟，殷国栋，刘昊吉，等. 基于多模态特征融合的自主驾驶车辆低辨识目标检测方法［J］. 中国机械工程， 2021， 32（9）： 1114-1125.
	ZOU W， YIN G， LIU H J， et al. Low-observable target detection method for autonomous vehicles based on multi-modal feature fusion［J］. China Mechanical Engineering， 2021， 32（9）： 1114-1125.
6	ZHANG L， LIU Z， ZHANG S， et al. Cross-modality interactive attention network for multispectral pedestrian detection［J］. Information Fusion， 2019， 50： 20-29.
7	刘子龙，沈祥飞. 融合Lite-HRNet的Yolo v5 双模态自动驾驶小目标检测方法［J］. 汽车工程， 2022， 44（10）： 1511-1520.
	LIU Z L， SHEN X F. Small target detection method for dual-modal autonomous driving with Yolo v5 and Lite-HRNet fusion［J］. Automotive Engineering， 2022， 44（10）： 1511-1520.
8	FU L， GU W， AI Y， et al. Adaptive spatial pixel-level feature fusion network for multispectral pedestrian detection［J］. Infrared Physics & Technology， 2021， 116： 103770.
9	吴建国，邵婷，刘政怡. 融合显著深度特征的RGB-D图像显著目标检测［J］. 电子与信息学报， 2017， 39（9）： 2148-2154.
	WU J G， SHAO T， LIU Z Y. RGB-D saliency detection based on integration feature of color and depth saliency map［J］. Journal of Electronics & Information Technology， 2017， 39（9）： 2148-2154.
10	CHEN S， TAN X， WANG B， et al. Reverse attention for salient object detection［C］. Proceedings of the European Conference on Computer Vision. Heidelberg： Springer， 2018： 234-250.
11	WANG W， ZHAO S， SHEN J， et al. Salient object detection with pyramid attention and salient edges［C］. Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1448-1457.
12	刘迪，郭继昌，汪昱东，等. 融合注意力机制的多尺度显著性目标检测网络［J］.西安电子科技大学学报， 2022， 49（4）： 118-126.
	LIU D， GUO J C， WANG Y D， et al. Multi-scale salient object detection network combining an attention mechanism［J］. Journal of Xidian University， 2022， 49（4）： 118-126.
13	许小伟，陈乾坤，钱枫，等. 基于小型化YOLOv3的实时车辆检测及跟踪算法［J］. 公路交通科技， 2020， 37（8）： 149-158.
	XU X W， CHEN Q K， QIAN F， et al. REAL-time vehicle detection and tracking based on miniaturized YOLOv3［J］. Journal of Highway and Transportation Research and Development， 2020， 37（8）： 149-158.
14	杜虓龙，余华平. 基于改进Mobile Net-SSD网络的驾驶员分心行为检测［J］. 公路交通科技， 2022， 39（3）： 160-166.
	DU X L， YU H P. Detecting driver’s distracted behavior based on improved mobile Net-SSD network［J］. Journal of Highway and Transportation Research and Development， 2022， 39（3）： 160-166.
15	SOBEL I， FELDMAN G. A 3x3 isotropic gradient operator for image processing［J］. A Talk at the Stanford Artificial Project in， 1968： 271-272.
16	CANNY J. A computational approach to edge detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986 （6）： 679-698.
17	WANG J S， REN X D. GLCM based extraction of flame image texture features and KPCA-GLVQ recognition method for rotary kiln combustion working conditions［J］. International Journal of Automation and Computing， 2014， 11（1）： 72-77.
18	HAN K， WANG Y， TIAN Q， et al. Ghostnet： more features from cheap pperations［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， Virtual：IEEE， 2020： 1580-1589.
19	REZATOFIGHI H， TSOI N， GWAK J Y， et al. Generalized intersection over union： a metric and a loss for bounding box regression［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， Long Beach： IEEE， 2019： 658-666.
20	ZHENG Z， WANG P， LIU W， et al. Distance-IoU loss： faster and better learning for bounding box regression［C］. Proceedings of the AAAI Conference on Artificial Intelligence， New York： AAAI， 2020， 34（7）： 12993-13000.

模型	参数量/M	计算量/M	FPS/（帧·s^-1）
YOLOv5	7.03	16.0	62.51
本文算法	7.40	17.0	60.32

模型	P/%	R/%	mAP@0.5/%	mAP@0.5∶0.95/%
YOLOv5	91.5	80.7	88.9	61.4
本文算法	94.5	86.9	92.7	66.6

算法	改进算法				mAP@ 0.5/%	FPS/ （帧·s^-1）
算法	A	B	C	D	mAP@ 0.5/%	FPS/ （帧·s^-1）
YOLOv5					88.9	62.51
算法1	√				93.0	45.70
算法2		√			86.7	90.10
算法3			√		90.1	63.50
算法4				√	90.8	60.60
本文算法	√	√	√	√	92.7	60.32

模型	mAP@0.5/%	FPS/（帧·s^-1）
Faster R-CNN	78.7	12.49
SSD	67.3	37.02
YOLOv3	75.6	56.78
YOLOv4	83.6	60.29
YOLOX	85.3	61.50
TPH-YOLOv5	89.6	58.30
本文算法	92.7	60.32

[1]	程腾,倪昊,张强,王文冲,石琴. 基于虚拟点云的二阶段多模态融合网络[J]. 汽车工程, 2024, 46(2): 222-229.
[2]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[3]	韩勇,林旭洁,黄红武,蔡鸿瑜,罗金镕,李燕婷. 典型汽车碰撞事故场景中行人运动轨迹预测方法[J]. 汽车工程, 2023, 45(6): 1022-1030.
[4]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.
[5]	陈妍妍,王海,蔡英凤,陈龙,李祎承. 基于检测的高效自动驾驶实例分割方法[J]. 汽车工程, 2023, 45(4): 541-550.
[6]	刘正发,吴亚,刘佩根,顾荣琦,陈广. 基于特征和标签联合分布匹配的智能驾驶跨域自适应目标检测[J]. 汽车工程, 2023, 45(11): 2082-2091.
[7]	胡杰,徐博远,熊宗权,昌敏杰,郭迪,谢礼浩. 基于多尺度掩码分类域自适应网络的跨域目标检测算法[J]. 汽车工程, 2022, 44(9): 1327-1338.
[8]	金立生,贺阳,王欢欢,霍震,谢宪毅,郭柏苍. 基于自适应阈值DBSCAN的路侧点云分割算法[J]. 汽车工程, 2022, 44(7): 987-996.
[9]	谢德胜,徐友春,陆峰,潘世举. 基于多传感器信息融合的3维目标实时检测[J]. 汽车工程, 2022, 44(3): 340-349.
[10]	刘子龙,沈祥飞. 融合Lite-HRNet的Yolo v5双模态自动驾驶小目标检测方法[J]. 汽车工程, 2022, 44(10): 1511-1520.
[11]	张炳力,秦浩然,江尚,郑杰禹,吴正海. 基于RetinaNet及优化损失函数的夜间车辆检测方法[J]. 汽车工程, 2021, 43(8): 1195-1202.
[12]	程腾,孙磊,侯登超,石琴,张峻宁,陈炯,黄鹤. 基于特征融合的多层次多模态目标检测[J]. 汽车工程, 2021, 43(11): 1602-1610.
[13]	娄新雨, 王海, 蔡英凤, 郑正扬, 陈龙. 采用64线激光雷达的实时道路障碍物检测与分类算法的研究[J]. 汽车工程, 2019, 41(7): 779-754.