基于类人视觉的多任务交通目标实时检测模型

doi:10.19562/j.chinasae.qcgc.2021.01.007

摘要/Abstract

摘要：

针对复杂交通场景下单个模型无法同时对可行驶区域和交通目标进行统一检测和检测实时性较差的问题，本文中提出了一种基于类人视觉的多任务交通目标单阶段检测模型，实现了可行驶区域和车辆、行人的实时统一检测。首先建立类人视觉注意力机制进行监督，采用轻量化模型MobileNetV3作为骨架，接着利用特征金字塔的思想对可行驶区域进行检测，最后采用动态注意力算法和anchor?free思想对交通目标进行检测。实验结果表明，引入驾驶员人眼注意力机制明显提升了模型的精度和鲁棒性，模型在实车上平均运算速度达到了12帧/s。

关键词: 类人视觉, 注意力机制, anchor?free, 交通场景检测

Abstract:

In view of that in complex traffic scenes the single model can't carry out unified detection of drivable region and traffic objects concurrently and the poor real?time performance of detection， a single?stage detection model for multi?task traffic object based on humanoid vision is proposed in this paper， achieving the unified detection of drivable region， vehicle and pedestrian concurrently in real time.Firstly， a humanoid vision attention mechanism is established for supervision and lightweight model MobileNetV3 is adopted as a framework. Then the idea of feature pyramid network （FPN） is utilized to detect drivable region. Finally， dynamic attention algorithm and the idea of anchor?free are used to detect traffic object. The experimental results show that the attention mechanism of driver's eyes introduced obviously enhance the accuracy and robustness of the model and the average calculation speed of the model in real vehicle reaches 12 f/s.

Key words: humanoid vision, attention mechanism, anchor?free, traffic scene detection

刘军,陈岚磊,李汉冰. 基于类人视觉的多任务交通目标实时检测模型[J]. 汽车工程, 2021, 43(1): 50-58.

Jun Liu,Lanlei Li Hanbing Chen. A Real⁃time Detection Model for Multi⁃task Traffic Objects Based on Humanoid Vision[J]. Automotive Engineering, 2021, 43(1): 50-58.

图/表 15

图 1

图 2

图 3

图 4

图 5

图 6

图 7

图 8

图 9

图 10

图 11

表1

表2

不同算法在KITTI数据集上对车辆类别的检测效果对比"

模型	骨架网络	参数量	模型大小/MB	AP₅₀/%	F-值/%	所需时间/ms
YOLOv3^[11]	DarkNet-53	61 587 112	235	91.91	86.89	42.32
SSD^[10]	ResNet-101	27 188 676	103	89.88	84.33	48.87
Mask R-CNN^[9]	ResNeXt-101-FPN	132 257 325	542	92.32	87.12	50.38
FCO $S [12]$	ResNet-101-FPN	112 036 407	427	88.77	85.76	42.89
本文	MobileNetV3-DAN	9 758 992	37.4	91.12	86.94	33.91

表2

表3

图 12

参考文献 24

1	LIU J， ZHANG R. Vehicle detection and ranging using two diffe-rent focal length cameras ［EB/OL］. ［2020-03-20］. .
2	WANG Z， REN W， QIU Q. LaneNet： real-time lane detection networks for autonomous driving［EB/OL］. ［2018-07-04］. .
3	LI W， ZHU X， GONG S. Person re-identification by deep joint learning of multi-loss classification［EB/OL］. ［2017-05-12］. .
4	ZHANG J， HUANG M， JIN X， et al. A real-time chinese traffic sign detection algorithm based on modified yolov2［J］. Algorithms，2017， 10（4）：127.
5	王政军. 基于深度学习的智能驾驶目标及可行驶区域检测研究［D］. 长春：吉林大学，2019.
	WANG Z. Research on object and free space detection of intelligent driving based on deep learning［D］. Changchun：Jilin University， 2019.
6	SADEGHIAN A， ALAHI A， SAVARESE S. Tracking the untrackable： learning to track multiple cues with long-term dependencies ［EB/OL］. ［2017-01-08］. .
7	刘军，后士浩，张凯，等. 基于单目视觉车辆姿态角估计和逆透视变换的车距测量［J］. 农业工程学报，2018，34（13）：70-76.
	LIU J， HOU S， ZHANG K， et al. Vehicle distance measurement with implementation of vehicle attitude angle estimation and inverse perspective mapping based on monocular vision［J］. Transactions of the Chinese Society of Agricultural Engineering （Transactions of the CSAE），2018，34（13）：70-76.
8	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137.
9	HE K， GKIOXARI G， DOLLAR P， et al. Mask R-CNN ［EB/OL］. ［2017-03-20］. .
10	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector ［C］. Proc of European Conference on Computer Vision， 2016：21-37.
11	REDMON J， FARHADI A. YOLOv3： an incre-mental improvement ［EB/OL］. ［2018-04-08］. .
12	TIAN Z， SHEN C， CHEN H， et al. FCOS： fully convolutional one-stage object detection［EB/OL］. ［2019-04-02］. .
13	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，39（4）：640-651.
14	BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.
15	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutio-nal networks for biomedical image segmentation［EB/OL］. ［2015-05-18］. .
16	HOWARD A， SANDLER M， CHU G， et al. Searching for MobileNetV3［EB/OL］. ［2019-11-20］. .
17	王文冠，沈建冰，贾云得. 视觉注意力检测综述［J］. 软件学报，2019，30（2）：416-439.
	WANG W， SHEN J， JIA Y. Review of visual attention detection［J］. Journal of Software，2019，30（2）：416-439.
18	IANDOLA F N， HAN S， MOSKEWICZ M W， et al. SqueezeNet： alexnet-level accuracy with 50x fewer parameters and <0.5MB model size［EB/OL］. ［2016-02-24］. .
19	HOWARD A G， ZHU M， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications［EB/OL］. ［2017-04-17］. .
20	SANDLER M， HOWARD A， ZHU M， et al. MobileNetV2： inverted residuals and linear bottlenecks［EB/OL］. ［2018-01-13］. .
21	TAN M， CHEN B， PANG R， et al. MnasNet： platform-aware neural architecture search for mobile［EB/OL］. ［2018-06-31］. .
22	SHI X， CHEN Z， WANG H， et al. Convolutional LSTM network： a machine learning approach for precipitation nowcasting［EB/OL］. ［2015-06-13］. .
23	LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］. Proc of IEEE Conference on Computer Vision and Pattern Recognition，2017：936-944.
24	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］. Proc of IEEE Conference on Computer Vision and Pattern Recognition，2016：779-788.

数据增强	组归一化	人眼注意力监督	动态注意力算法		距离交并比	中心性	mAP/%
数据增强	组归一化	人眼注意力监督	conv LSTM	FPN	距离交并比	中心性	mAP/%
√				√			48.64
√				√	√		50.17(+1.53)
√				√	√	√	51.44(+1.27)
	√			√	√	√	52.49(+1.05)
	√	√	√	√	√	√	56.09(+3.60)
√	√	√	√	√	√	√	56.88(+0.79)

[1]	李勇滔,孙晨旭,郑伟光,许恩永,李育方,王善超. 基于毫米波雷达与视觉融合的碰撞预警[J]. 汽车工程, 2023, 45(9): 1666-1676.
[2]	赵霞,李朝,付锐,葛振振,王畅. 基于深度卷积-Tokens降维优化视觉Transformer的分心驾驶行为实时检测[J]. 汽车工程, 2023, 45(6): 974-988.
[3]	李琳辉,张鑫亮,付一帆,连静,马家旭. 基于TC-YOLOv7算法的可见光与红外后融合检测研究[J]. 汽车工程, 2023, 45(12): 2280-2290.
[4]	陈龙,杨晨,蔡英凤,王海,李祎承. 基于多模态特征融合的行人穿越意图预测方法[J]. 汽车工程, 2023, 45(10): 1779-1790.
[5]	张小俊,奚敬哲,史延雷,袁安录. 面向路侧视角目标检测的轻量级YOLOv7-R算法[J]. 汽车工程, 2023, 45(10): 1833-1844.
[6]	王大方,尚海,曹江,王涛,夏祥腾,韩雨霖. 基于自注意力机制的自动驾驶场景点云语义分割方法[J]. 汽车工程, 2022, 44(11): 1656-1664.
[7]	蔡英凤, 邰康盛, 王海, 李祎承, 陈龙. 无人驾驶汽车周边车辆行为识别算法研究^*[J]. 汽车工程, 2020, 42(11): 1464-1472.