基于自查询的车载多目标跟踪算法研究

doi:10.19562/j.chinasae.qcgc.2021.11.003

汽车工程 ›› 2021, Vol. 43 ›› Issue (11): 1587-1593.doi: 10.19562/j.chinasae.qcgc.2021.11.003

基于自查询的车载多目标跟踪算法研究

陈龙¹,朱程铮¹,蔡英凤¹(),王海²,李祎承¹

^1.江苏大学汽车工程研究院，镇江　212013
^2.江苏大学汽车与交通工程学院，镇江　212013

收稿日期:2021-07-19 修回日期:2021-08-16 出版日期:2021-11-25 发布日期:2021-11-22
通讯作者: 蔡英凤 E-mail:caicaixiao0304@126. com

Research on Vehicle Multi-Target Environment Aware Tracking Algorithm Based on Self-Query

Long Chen¹,Chengzheng Zhu¹,Yingfeng Cai¹(),Hai Wang²,Yicheng Li¹

^1.Institude of Automotive Engineering，Jiangsu University，Zhenjiang 　212013
^2.Institude of Automotive and Transportation Engineering，Jiangsu University，Zhenjiang 　212013

Received:2021-07-19 Revised:2021-08-16 Online:2021-11-25 Published:2021-11-22
Contact: Yingfeng Cai E-mail:caicaixiao0304@126. com

摘要/Abstract

摘要：

为兼顾跟踪性能（即MOTA、MOTP、IDSW等指标）与跟踪速率，尤其是解决视频多目标跟踪的后处理较复杂的问题，提出了一种基于自回归查询机制的多目标跟踪方法，并基于MOT20数据集进行训练和验证，验证表明，每帧图片推理用时约44 ms，多目标跟踪准确度达58.9%。将该模型集成到智能车ROS平台进行测试，结果表明，所提算法能实现复杂交通场景下的多目标实时跟踪，算法具有很好的实际应用价值。

关键词: 车载多目标跟踪, 深度学习, 自查询跟踪

Abstract:

In order to balance the tracking performance （i.e. the indicators of MOTA， MOTP and IDSW etc.） and tracking speed， especially， to solve the complexity of the post processing for video multi-target tracking， a multi-target tracking method based on autoregressive query mechanism is proposed， with training and verification conducted. The results of verification show that the inference of each frame of picture takes about 44 ms， and the accuracy of multi-target tracking reaches 58.9%. The model is integrated into the ROS platform of intelligent vehicle for testing and the results of test indicate that the algorithm proposed can achieve multi-target real-time tracking in complex traffic scenes， and the algorithm has good practical application value.

Key words: onboard multi-object tracking, deep learning, self-query tracking

陈龙,朱程铮,蔡英凤,王海,李祎承. 基于自查询的车载多目标跟踪算法研究[J]. 汽车工程, 2021, 43(11): 1587-1593.

Long Chen,Chengzheng Zhu,Yingfeng Cai,Hai Wang,Yicheng Li. Research on Vehicle Multi-Target Environment Aware Tracking Algorithm Based on Self-Query[J]. Automotive Engineering, 2021, 43(11): 1587-1593.

图/表 6

图1

图2

图3

表1

图4

图5

参考文献 18

1	XU Y， OSEP A， BAN Y， et al. How to train your deep multi-object tracker［C］.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 6787-6796.
2	BEWLEY A， GE Z， OTT L， et al. Simple online and realtime tracking［C］.2016 IEEE International Conference on Image Processing （ICIP）. IEEE， 2016： 3464-3468.
3	WOJKE N， BEWLEY A， PAULUS D. Simple online and realtime tracking with a deep association metric［C］.2017 IEEE International Conference on Image Processing （ICIP）. IEEE， 2017： 3645-3649.
4	WANG Z， ZHENG L， LIU Y， et al. Towards real-time multi-object tracking［J］. arXiv preprint arXiv：1909.12605， 2019， 2（3）： 4.
5	ZHOU X， KOLTUN V， KRÄHENBÜHL P. Tracking objects as points［C］.European Conference on Computer Vision. Springer， Cham， 2020： 474-490.
6	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［J］. arXiv preprint arXiv：， 2017.
7	QUIGLEY M， CONLEY K， GERKEY B， et al. ROS： an open-source robot operating system［C］.ICRA Workshop on Open Source Software， 2009， 3（3.2）： 5.
8	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］.Proceedings of the IEEE Conference on Computer Vision And Pattern Recognition， 2016： 770-778.
9	ZHOU X， WANG D， KRÄHENBÜHL P. Objects as points［J］. arXiv preprint arXiv：， 2019.
10	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］.Proceedings of the IEEE International Conference on Computer Vision， 2017： 2980-2988.
11	BOCHINSKI E， EISELEIN V， SIKORA T. High-speed tracking-by-detection without using image information［C］.2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS）. IEEE， 2017： 1-6.
12	REZATOFIGHI H， TSOI N， GWAK J Y， et al. Generalized intersection over union： a metric and a loss for bounding box regression［C］.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019： 658-666.
13	ZHENG Z， WANG P， LIU W， et al. Distance-IoU loss： faster and better learning for bounding box regression［C］.Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 12993-13000.
14	LEAL-TAIXÉ L， MILAN A， REID I， et al. Motchallenge 2015： towards a benchmark for multi-target tracking［J］. arXiv preprint arXiv：， 2015.
15	DENDORFER P， REZATOFIGHI H， MILAN A， et al. Mot20： a benchmark for multi object tracking in crowded scenes［J］. arXiv preprint arXiv：， 2020.
16	MALLA S， DARIUSH B， CHOI C. Titan： future forecast using action priors［C］.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2020： 11186-11196.
17	YU F， CHEN H， WANG X， et al. Bdd100k： a diverse driving dataset for heterogeneous multitask learning［C］.Proceedings of the IEEE/CVF Conference on Computer Vision And Pattern Recognition， 2020： 2636-2645.
18	ZHANG Y， WANG C， WANG X， et al. FairMOT： on the fairness of detection and re-identification in multiple object tracking［J］. arXiv preprint arXiv：， 2020.

数据集	多目标跟踪准度		识别F值		身份切换次数		跟踪完整率/%		秒运行帧数/fps
	文献［18］	本文	文献［18］	本文	文献［18］	本文	文献［18］	本文	文献［18］	本文
MOT15	60.6	59.4	64.7	75.3	591	154	47.6	49.5	30.5	44.6
MOT17	73.7	73.2	72.3	82.4	3303	1907	44.7	47.3	25.9	31.4
MOT20	61.8	58.9	67.3	69.5	5243	2239	68.8	85.1	13.2	22.7

[1]	高泽, 楚遵康, 石稼晟, 林滏, 饶卫雄, 余海燕. 基于图网络的汽车零部件应力场快速预测方法研究[J]. 汽车工程, 2024, 46(1): 170-178.
[2]	刘卫国,项志宇,刘锐,李国栋,王子旭. 基于深度学习的端到端车辆运动规划方法研究[J]. 汽车工程, 2023, 45(8): 1343-1352.
[3]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.
[4]	陈妍妍,王海,蔡英凤,陈龙,李祎承. 基于检测的高效自动驾驶实例分割方法[J]. 汽车工程, 2023, 45(4): 541-550.
[5]	兰凤崇,陈继开,陈吉清,蒋心平,李子涵,潘威. 实车数据驱动的锂电池剩余使用寿命预测方法研究[J]. 汽车工程, 2023, 45(2): 175-182.
[6]	李琳辉,张鑫亮,付一帆,连静,马家旭. 基于TC-YOLOv7算法的可见光与红外后融合检测研究[J]. 汽车工程, 2023, 45(12): 2280-2290.
[7]	张小俊,奚敬哲,史延雷,袁安录. 面向路侧视角目标检测的轻量级YOLOv7-R算法[J]. 汽车工程, 2023, 45(10): 1833-1844.
[8]	胡杰,李源洁,耿號,耿黄政,郭雄,易红卫. 基于深度学习的汽车故障知识图谱构建[J]. 汽车工程, 2023, 45(1): 52-60.
[9]	胡杰,徐博远,熊宗权,昌敏杰,郭迪,谢礼浩. 基于多尺度掩码分类域自适应网络的跨域目标检测算法[J]. 汽车工程, 2022, 44(9): 1327-1338.
[10]	毕贵红,谢旭,蔡子龙,骆钊,陈臣鹏,赵鑫. 动态条件下基于深度学习的锂电池容量估计[J]. 汽车工程, 2022, 44(6): 868-878.
[11]	王大方,杜京东,曹江,张梅,赵刚. 面向自动驾驶数据生成的风格迁移网络研究[J]. 汽车工程, 2022, 44(5): 684-690.
[12]	郭景华,何智飞,罗禹贡,李克强. 人机混驾环境下基于深度学习的车辆切入轨迹预测[J]. 汽车工程, 2022, 44(2): 153-160.
[13]	蒋渊德,朱冰,赵祥模,赵健,郑兵兵. 面向自动驾驶汽车测试的交通车辆交互过程建模[J]. 汽车工程, 2022, 44(12): 1825-1833.
[14]	高振海,温文昊,唐明弘,张建,陈国迎. 基于混合神经网络的汽车运动状态估计[J]. 汽车工程, 2022, 44(10): 1527-1536.
[15]	张绍伟,朱大炜,翟光照. 基于深度学习的座椅抗挥鞭伤性能预测[J]. 汽车工程, 2022, 44(10): 1600-1608.

基于自查询的车载多目标跟踪算法研究

Research on Vehicle Multi-Target Environment Aware Tracking Algorithm Based on Self-Query

RichHTML

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 18

相关文章 15

Metrics

本文评价

推荐阅读 10