引入自监督预训练的轨迹预测方法

doi:10.19562/j.chinasae.qcgc.2024.07.009

摘要/Abstract

摘要：

针对目前基于监督学习的轨迹预测模型数据利用效率低、精度有限的问题，提出一种轨迹预测模型及通用的自监督预训练策略。首先，基于Transformer搭建轻量化的轨迹预测模型，实现场景时序空间特征提取与交互关系建模；其次，设计运动信息时序掩码、道路信息空间掩码、交互关系掩码3类掩码重建任务对模型进行自监督预训练，以提升模型对场景通用特征的提取能力；最后，以预训练权重为初始化参数在下游任务中进行监督学习微调。在Argoverse2 Motion Forecasting数据集的实验表明，模型在预训练任务中能够很好地重建出交通场景，引入自监督预训练能够有效提升预测精度和数据利用效率，且对不同预测任务具有通用性，在单目标轨迹预测与多目标轨迹预测任务上minFDE₆指标分别提升3.3%与3.7%。

关键词: 自动驾驶, 轨迹预测, 自监督预训练

Abstract:

To address limitation in prediction accuracy and data utilization efficiency of supervised learning-based trajectory prediction models， a trajectory prediction model and a general self-supervised pretraining strategy are proposed. Firstly， a lightweight trajectory prediction model based on Transformer is established to extract temporal-spatial features while modeling interaction relationship. Secondly， three types of masks， namely motion information temporal mask， road information spatial mask， and interaction relationship mask， are designed for self-supervised pre-training tasks on the model to enhance the model's ability to extract general scene features. Finally， pretraining weights are used as initialization parameters for supervised learning fine-tuning in downstream tasks. Experimental results on the Argoverse2 Motion Forecasting dataset show that the model can effectively reconstruct traffic scenes in pretraining tasks. The introduction of self-supervised pretraining improves prediction accuracy and data utilization efficiency. Moreover， it exhibits universality for different prediction tasks， achieving a 3.3% and 3.7% improvement in the minFDE₆ for single-agent and multi-agent trajectory prediction tasks， respectively.

Key words: autonomous driving, trajectory prediction, self-supervised pretraining

李琳辉,付一帆,王霆,王雪成,连静. 引入自监督预训练的轨迹预测方法[J]. 汽车工程, 2024, 46(7): 1219-1227.

Linhui Li,Yifan Fu,Ting Wang,Xuecheng Wang,Jing Lian. Trajectory Prediction Method Enhanced by Self-supervised Pretraining[J]. Automotive Engineering, 2024, 46(7): 1219-1227.

图/表 16

图1

图2

图3

图4

图5

图6

表1

图7

表2

表3

表4

表5

图8

图 9

图10

图11

参考文献 23

1	KOSCHI M， ALTHOFF M. SPOT： a tool for set-based prediction of traffic participants［C］. IEEE Intelligent Vehicles Symposium， 2017.
2	SCHREIER M， WILLERT V， ADAMY J. An integrated approach to maneuver-based trajectory prediction and criticality assessment in arbitrary road environments［J］. IEEE Transactions on Intelligent Transportation Systems， 2016.
3	WEI Y， ZHEN L， WANG C， et al. Lane-change prediction method for adaptive cruise control system with hidden Markov model［J］. Advances in Mechanical Engineering， 2018.
4	GAO J， SUN C， ZHAO H， et al. VectorNet： encoding HD maps and agent dynamics from vectorized representation［C］. IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2020.
5	VARADARAJAN B， HEFNY A， SRIVASTAVA A， et al. MultiPath++： efficient information fusion and trajectory aggregation for behavior prediction［C］. International Conference on Robotics and Automation （ICRA）， 2022.
6	GILLES T， SABATINI S， TSISHKOU D， et al. THOMAS： trajectory heatmap output with learned multi-agent sampling［C］. International Conference on Learning Representations （ICLR）， 2022.
7	WANG M， YU C， WANG M， et al. GANet： goal area network for motion forecasting［C］. International Conference on Robotics and Automation （ICRA）， 2023.
8	连静，李硕贤，刘一荻，等. 基于车道目标引导的车辆轨迹预测［J］. 汽车工程， 2023， 45（8）： 1353-1361.
	LIAN J， LI S， LIU Y， et al. Goal supervised attention network for vehicle trajectory prediction［J］. Automotive Engineering， 2023， 45（8）： 1353-1361.
9	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［J］. Neural Information Processing Systems， 2017.
10	BALESTRIERO R， IBRAHIM M， SOBAL V， et al. A cookbook of self-supervised learning ［J］. arXiv preprint：2304.12210， 2023.
11	HE K， FAN H， WU Y， et al. Momentum contrast for unsupervised visual representation learning［C］. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Seattle， WA， USA， 2020.
12	DEVLIN J， CHANG M， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］. Proceedings of the 2019 Conference of the North， Minneapolis， Minnesota， 2019.
13	FLORIDI L， CHIRIATTI M. GPT-3： its nature， scope， limits， and consequences［J］. Minds and Machines， 2020： 681-694.
14	XU C， LI T， TANG C， et al. PreTraM： self-supervised pre-training via connecting trajectory and map［C］. European Conference on Computer Vision （ECCV）， 2022.
15	CHEN H， WANG J， SHAO K， et al. Traj-MAE： masked autoencoders for trajectory prediction［C］. International Conference on Computer Vision （ICCV）， 2023.
16	YANG Y， ZHANG Q， GILLES T， et al. RMP： a random mask pretrain framework for motion prediction［J］. arXiv preprint： 2309.08989， 2023.
17	LAN Z， JIANG Y， MU Y， et al. SEPT： towards efficient scene representation learning for motion prediction［J］. arXiv preprint： 2309.15289， 2023.
18	WILSON B， QI W， AGARWAL T， et al. Argoverse 2： next generation datasets for self-driving perception and forecasting［J］. Neural Information Processing Systems， 2021.
19	JIE C， XIAODONG M， MING L. Forecast-MAE： self-supervised pre-training for motion forecasting with masked autoencoders［C］. International Conference on Computer Vision （ICCV）， 2023.
20	HE K， CHEN X， XIE S， et al. Masked autoencoders are scalable vision learners［C］. IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2022.
21	GLOROT X， BENGIO Y. Understanding the difficulty of training deep feedforward neural networks［C］. Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics， 2010.
22	ROWE L， ETHIER M， DYKHNE H， et al. FJMP： factorized joint multi-agent motion prediction over learned directed acyclic interaction graphs［C］. IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2023.
23	KANG M， WANG S， ZHOU S， et al. FFINet： future feedback interaction network for motion forecasting［J］. IEEE Transactions on Intelligent Transportation Systems， 2023.

模型	minADE₁	minADE₆	minFDE₁	minFDE₆	MR₁	MR₆	排行榜名次
MultiPath++^［5］	2.14	0.86	5.34	1.71	0.66	0.25	59
THOMAS^［6］	1.96	0.88	4.62	1.51	0.64	0.20	45
Forecast-MAE^［19］	1.76	0.80	4.38	1.41	0.61	0.18	31
GANet^［7］	1.78	0.73	4.48	1.35	0.61	0.17	36
本方法 Scratch	1.791	0.732	4.484	1.453	0.613	0.186	37
本方法 Pretrained	1.733	0.711	4.332	1.403	0.590	0.173	26

模型	minADE₁	minADE₆	minFDE₁	minFDE₆	MR₁	MR₆
FJMP^［22］	1.52	0.81	4.00	1.89		0.23
FFINet^［23］	1.24	0.77	3.18	1.77		0.24
本方法 Scratch	1.401	0.734	3.668	1.676	0.334	0.200
本方法 Pretrained	1.368	0.708	3.576	1.615	0.333	0.196

时序掩码	空间掩码	交互掩码	minADE₆	minFDE₆	MR₆
√			0.726	1.396	0.190
	√		0.735	1.402	0.218
		√	0.709	1.367	0.177
√	√		0.723	1.389	0.191
√		√	0.707	1.355	0.179
√	√	√	0.703	1.344	0.174
Scratch			0.759	1.418	0.221

抽取比例	minADE₆	minFDE₆	MR₆
0.8	0.711	1.352	0.175
0.7	0.739	1.388	0.186
0.6	0.753	1.411	0.214
0.5	0.783	1.496	0.227
Scratch	0.759	1.418	0.221

[1]	陶乐,王海,蔡英凤,陈龙. 面向自动驾驶场景的多目标点云检测算法[J]. 汽车工程, 2024, 46(7): 1208-1218.
[2]	王海,丁玉轩,罗彤,邱梦,蔡英凤,陈龙. 驾驶场景下结合运动速度以及外观特征的多类多目标跟踪方法[J]. 汽车工程, 2024, 46(6): 956-964.
[3]	黄晶,刘祥臻,邓潇阳,陈然. 基于多模态轨迹预测的智能车轨迹规划研究[J]. 汽车工程, 2024, 46(6): 965-974.
[4]	王国栋,刘立,孟宇,杜海平,白国星,顾青. 自动驾驶汽车避撞极限研究[J]. 汽车工程, 2024, 46(6): 985-994.
[5]	姚福星,孙超,兰云港,卢兵,王博,于海洋. 基于混合专家模型的智能网联汽车换道决策方法[J]. 汽车工程, 2024, 46(5): 882-892.
[6]	李梦凡,冯忠祥,张卫华,李靖宇. 面向人机共驾模式下驾驶人接管过程的视觉转移特性研究[J]. 汽车工程, 2024, 46(5): 795-804.
[7]	杜国栋,邹渊,张旭东,孙文景,孙巍. 基于双估计强化学习结合前向预测控制的自动驾驶运动控制研究[J]. 汽车工程, 2024, 46(4): 564-576.
[8]	丁志杰,王亚飞,章翼辰,邬明宇,王亦乐. 基于复合动态采样的自动驾驶矿车节能路径规划方法[J]. 汽车工程, 2024, 46(4): 588-595.
[9]	刘辉,张发旺,聂士达,段京良,郭丛帅,郭凌雄. 基于逆模型预测控制的拟人驾驶控制[J]. 汽车工程, 2024, 46(4): 596-604.
[10]	张培兴,秦孔建,朱冰,赵健,范天昕,赵文博. 自动驾驶仿真多逻辑场景综合评价方法[J]. 汽车工程, 2024, 46(3): 375-382.
[11]	周亦威,夏莫,朱冰. 城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究[J]. 汽车工程, 2024, 46(3): 396-406.
[12]	桑海峰,赵梓杉,王金玉,陈旺兴. 基于车辆轨迹预测对抗性攻击与鲁棒性研究[J]. 汽车工程, 2024, 46(3): 407-417.
[13]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[14]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[15]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.