城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究

doi:10.19562/j.chinasae.qcgc.2024.03.003

摘要/Abstract

摘要：

车辆轨迹预测是自动驾驶的关键技术之一，针对以往模型较少考虑城市道路场景中车辆以外多类交通参与者的问题，本研究提出了一种多类交通参与者的多模态车辆轨迹预测模型。该模型使用门控循环单元对历史轨迹信息进行编码，并利用注意力机制将多类交通参与者的特征映射到用图结构表达的驾驶场景中，通过图注意力网络进行环境特征提取，从而使模型能感知环境中的多类交通参与者。此外，模型通过节点轨迹预测与坐标轨迹预测模块输出最终的多模态轨迹预测结果。基于城市道路场景数据集nuScenes的实验结果表明：相较于同类现有模型，所提出的模型算力需求更低、预测更准确，且能适用于人车混合的城市道路驾驶场景。

关键词: 车辆轨迹预测, 自动驾驶, 图注意力网络, 注意力机制, 门控循环单元

Abstract:

Vehicle trajectory prediction is one of the key technologies for autonomous driving. In view of the problem that previous prediction models rarely consider multiple types of participants other than vehicles in urban road scenarios， a multimodal vehicle trajectory prediction model considering multiple types of traffic participants is proposed in this paper，. The historical trajectory information is encoded by gated recurrent units， and the features of multiple types of traffic participants are mapped into the driving scene expressed by a graph structure through the attention mechanism， with the context feature extracted by the graph attention network， so that the model can perceive different traffic participants in the environment. In addition， the final multimodal trajectory prediction results are output through the node trajectory prediction module and the coordinate trajectory prediction module. Experiments on nuScenes， a dataset under urban road scenarios， show that， compared to similar existing models， the model proposed has lower computational requirements and more accurate prediction， which is applicable to urban road driving scenarios with mixed human and vehicle traffic.

Key words: vehicle trajectory prediction, autonomous driving, graph attention network（GAT）, attention mechanism, gated recurrent unit（GRU）

周亦威,夏莫,朱冰. 城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究[J]. 汽车工程, 2024, 46(3): 396-406.

Yiwei Zhou,Mo Xia,Bing Zhu. Multimodal Vehicle Trajectory Prediction Methods Considering Multiple Traffic Participants in Urban Road Scenarios[J]. Automotive Engineering, 2024, 46(3): 396-406.

图/表 13

图1

图2

图3

图4

图5

表1

不同λ、k下的模型性能对比"

$k$	$λ$	$m i n_A D E$	$m i n_F D E$	$M R$
5	0.5	1.29	2.53	0.52
	0.3	1.26	2.45	0.52
	0.1	1.27	2.48	0.52
	0.05	1.28	2.49	0.54
10	0.5	0.97	1.62	0.35
	0.3	0.94	1.54	0.33
	0.1	0.94	1.55	0.33
	0.05	0.96	1.58	0.35
15	0.5	0.89	1.35	0.30
	0.3	0.87	1.31	0.27
	0.1	0.88	1.34	0.27
	0.05	0.88	1.35	0.28

表1

表2

特征映射模块消融实验"

模型	$k = 5$			$k = 10$
模型	$m i n_A D E$	$m i n_F D E$	$M R$	$m i n_A D E$	$m i n_F D E$	$M R$
不考虑交通参与者	1.36	2.69	0.59	0.99	1.68	0.39
车辆	1.28	2.50	0.54	0.95	1.58	0.35
车辆+行人	1.26	2.45	0.52	0.94	1.54	0.33
车辆+行人+障碍物	1.26	2.46	0.52	0.94	1.55	0.34

表2

图6

图7

图8

表3

nuScenes数据集上的模型对比"

模型	$k = 5$		$k = 10$
模型	$m i n_A D E$	$M R$	$m i n_A D E$	$M R$
Trajctron++	1.88	0.70	1.51	0.57
LaPred	1.53	0.53	1.12	0.46
P2T	1.45	0.64	1.16	0.46
GOHOME	1.42	0.57	1.15	0.47
AutoBot	1.37	0.62	1.03	0.44
THOMAS	1.33	0.57	1.04	0.42
PGP	1.30	0.61	1.00	0.37
LAformer	1.19	0.48	0.93	0.33
本模型	1.26	0.52	0.94	0.33

表3

图9

图10

参考文献 33

1	YURTSEVER E， LAMBERT J， CARBALLO A， et al. A survey of autonomous driving： common practices and emerging technologies［J］. IEEE Access， 2019， 8： 58443-58469.
2	段续庭，周宇康，田大新，等. 深度学习在自动驾驶领域应用综述［J］. 无人系统技术， 2021， 4（6）： 1-27.
	DUAN X T， ZHOU Y K， TIAN D X， et al. A review of deep learning applications for autonomous driving［J］. Unmanned Systems Technology， 2021， 4（6）： 1-27.
3	TONG Y， LI C， WANG G， et al. Lntegrated path-following and fault-tolerant control for four-wheel lndependent-driving electric vehicles［J］. Automotive Innovation， 2022， 5（3）： 311-323.
4	LIANG Y， LI Y， YU Y， et al. Path-following control of autonomous vehicles considering coupling effects and multi-source system uncertainties［J］. Automotive Innovation， 2021，4（3）： 284-300.
5	ZHANG P， ZHU B， ZHAO J， et al. Performance evaluation method for automated driving system in logical scenario［J］. Automotive Innovation， 2022， 5（3）： 299-310.
6	HOSS M， SCHOLTES M， ECKSTEIN L. A review of testing object-based environment perception for safe automated driving［J］. Automotive Innovation， 2022， 5： 223-250.
7	黄峻，田永林，戴星原，等. 基于深度学习的自动驾驶多模态轨迹预测方法：现状及展望［J］. 智能科学与技术学报， 2023， 5（2）： 180-199.
	HUANG J， TIAN Y L， DAI X Y， et al. Deep learning-based multimodal trajectory prediction methods for autonomous driving： state of the art and perspectives［J］. Chinese Journal of Intelligent Science and Technology， 2023， 5（2）： 180-199.
8	陈瑞祥，刘金广，朱新宇. 面向城市交通组织的交通参与者行为特征差异研究［J］. 交通工程， 2022， 22（3）： 52-58，76.
	CHEN R X， LIU J G， ZHU X Y. Differences in behavior characteristics of traffic participants for urban traffic organization［J］. Journal of Transportation Engineering， 2022， 22（3）： 52-58，76.
9	PARK S， KIM B， KANG C M， et al. Sequence-to-sequence prediction of vehicle trajectory via lstm encoder-decoder architecture［C］. 2018 IEEE Intelligent Vehicles Symposium， 2018： 1672-1678.
10	季学武，费聪，何祥坤，等. 基于LSTM网络的驾驶意图识别及车辆轨迹预测［J］. 中国公路学报， 2019， 32（6）： 34-42.
	JI X W， FEI C， HE X K， et al. Intention recognition and trajectory prediction for vehicles using LSTM network［J］. China Joural of Highway and Transport， 2019， 32（6）： 34-42.
11	DEO N， TRIVEDI M M. Convolutional social pooling for vehicle trajectory prediction［C］. IEEE/CVF Conference on Computer Vision， 2018： 1549-15498.
12	高镇海，鲍明喜，高菲，等. 基于LSTM概率多模态预期轨迹预测方法［J］. 汽车工程， 2023， 45（7）：1145-1152.
	GAO Z H， BAO X M， GAO F， et al. The method of probabilistic multi-modal expected trajectory prediction based on LSTM［J］. Automotive Engineering， 2023， 45（7）： 1145-1152.
13	CHUNG J， GÜLÇEHRE Ç， CHO K， et al. Empirical evaluation of gated recurrent neural networks on sequence modeling［J］. arXiv preprint arXiv：， 2014.
14	DEO N， WOLFF E M， BEIJBOM O. Multimodal trajectory prediction conditioned on lane-graph traversals［C］. Conference on Robot Learning， 2021.
15	HAO Z， HUANG X， WANG K， et al. Attention -based GRU for driver intention recognition and vehicle trajectory prediction［C］. 4th CAA International Conference on Vehicular Control， 2020： 86-91.
16	刘创，梁军. 基于注意力机制的车辆运动轨迹预测［J］. 浙江大学学报（工学版）， 2020， 54（6）： 1156-1163.
	LIU C， LIANG J. Vehicle motion trajectory prediction based on attention mechanism［J］. Journal of Zhejiang University （Engineering Science）， 2020， 54（6）： 1156-1163.
17	包智鹏，支永帅，张素民，等. 基于BiGRU的多模态驾驶行为及轨迹预测［J］. 大连理工大学学报， 2021， 61（3）： 246-254.
	BAO Z P， ZHI Y S， ZHANG S M， et al. BiGRU based multi-modal maneuvers and trajectory prediction［J］. Journal of Dalian University of Technology， 2021， 61（3）： 246-254.
18	KIM H， KIM D， KIM G， et al. Multi-head attention based probabilistic vehicle trajectory prediction［C］. IEEE Intelligent Vehicles Symposium， 2020： 1720-1725.
19	MESSAOUD K， YAHIAOUI I， VERROUST-BLONDET A， et al. Attention based vehicle trajectory prediction［J］. IEEE Transactions on Intelligent Vehicles， 2020， 6： 175-185.
20	SHENG Z， XU Y， XUE S， et al. Graph-based spatial-temporal convolutional network for vehicle trajectory prediction in autonomous driving［J］. IEEE Transactions on Intelligent Transportation Systems， 2021， 23： 17654-17665.
21	田彦涛，黄兴，卢辉遒，等. 基于注意力与深度交互的周车多模态行为轨迹预测［J］. 吉林大学学报（工学版）， 2023， 53（5）： 1474-1480.
	TIAN Y T， HUANG X， LU H Q， et al. Multi-mode behavior trajectory prediction of surrounding vehicle based on attention and depth interaction［J］. Journal of Jilin University （Engineering and Technology Edition）， 2023， 53（5）： 1474-1480.
22	MO X， XING Y， LV C. Graph and recurrent neural network-based vehicle trajectory prediction for highway driving［C］. IEEE International Intelligent Transportation Systems Conference， 2021： 1934-1939.
23	LI X， YING X， CHUAH M C. GRIP++： enhanced graph-based interaction-aware trajectory prediction for autonomous driving［J］. arXiv preprint arXiv：， 2020.
24	CHO K， MERRIENBOER B V， GÜLÇEHRE Ç， et al. Learning phrase representations using RNN encoder–decoder for statistical machine translation［C］. Conference on Empirical Methods in Natural Language Processing， 2014.
25	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［J］. Advances in Neural Information Processing Systems， 2017， 30.
26	VELICKOVIC P， CUCURULL G， CASANOVA A， et al. Graph attention networks［J］. arXiv preprint arXiv：， 2018.
27	SALZMANN T， BORIS I， CHAKRAVARTY P， et al. Trajectron++： multi-agent generative trajectory forecasting with heterogeneous data for control［J］. arXiv preprint arXiv：， 2021.
28	KIM B， PARK S， LEE S S， et al. LaPred： lane-aware prediction of multi-modal future trajectories of dynamic agents［C］. IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2021： 14631-14640.
29	DEO N， TRIVEDI M M. Trajectory forecasts in unknown environments conditioned on grid-based plans［J］. arXiv preprint arXiv：， 2021.
30	GILLES T， SABATINI S， TSISHKOU D V， et al. GOHOME： graph-oriented heatmap output for future motion estimation［C］. International Conference on Robotics and Automation， 2021： 9107-9114.
31	GIRGIS R， GOLEMO F， CODEVILLA F， et al. Latent variable sequential set transformers for joint multi-agent motion prediction［C］. International Conference on Learning Representations， 2021.
32	GILLES T， SABATINI S， TSISHKOU D V， et al. THOMAS： trajectory heatmap output with learned multi-agent sampling［J］. arXiv preprint arXiv：， 2022.
33	LIU M， CHENG H， CHEN L， et al. LAformer： trajectory prediction for autonomous driving with lane-aware scene constraints［J］. arXiv preprint arXiv：， 2023.

[1]	张培兴,秦孔建,朱冰,赵健,范天昕,赵文博. 自动驾驶仿真多逻辑场景综合评价方法[J]. 汽车工程, 2024, 46(3): 375-382.
[2]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[3]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[4]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.
[5]	刘卫国,项志宇,刘伟平,齐道新,王子旭. 基于分布式强化学习的车辆控制算法研究[J]. 汽车工程, 2023, 45(9): 1637-1645.
[6]	李勇滔,孙晨旭,郑伟光,许恩永,李育方,王善超. 基于毫米波雷达与视觉融合的碰撞预警[J]. 汽车工程, 2023, 45(9): 1666-1676.
[7]	胡明辉,朱广曜,刘长贺,唐国峰. 考虑迟滞特性的卡尔曼滤波和门控循环单元神经网络的锂离子电池SOC联合估计[J]. 汽车工程, 2023, 45(9): 1688-1701.
[8]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[9]	朱向雷,吴志新,张宇飞,赵帅,李克秋,孙博华. 基于场景降维及采样方法的场景库优化方法研究[J]. 汽车工程, 2023, 45(8): 1408-1416.
[10]	吴新政,邢星宇,刘力豪,沈勇,陈君毅. 基于错误注入的决策规划系统抗扰性测试与分析[J]. 汽车工程, 2023, 45(8): 1428-1437.
[11]	高锋,冯德福,胡秋霞. 面向NMPC运动规划系统的数值优化加速技术[J]. 汽车工程, 2023, 45(8): 1438-1447.
[12]	芦涛,金馨,廖毅霏,黄圣杰,杨依琳,谢国涛,秦晓辉. 基于雅克比域零空间边缘化的视觉SLAM[J]. 汽车工程, 2023, 45(8): 1457-1467.
[13]	伍文广,田双岳,张志勇,张斌. 非铺装道路凹凸不平特征语义分割方法研究[J]. 汽车工程, 2023, 45(8): 1468-1478.
[14]	林程, 汪博文, 吕沛原, 宫新乐, 于潇. 面向变曲率道路的自动驾驶汽车换道博弈运动规划与协同控制研究[J]. 汽车工程, 2023, 45(7): 1099-1111.
[15]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.