融合复杂网络和记忆增强网络的轨迹预测技术

doi:10.19562/j.chinasae.qcgc.2023.09.009

汽车工程 ›› 2023, Vol. 45 ›› Issue (9): 1608-1616.doi: 10.19562/j.chinasae.qcgc.2023.09.009

所属专题：智能网联汽车技术专题-规划&决策2023年

融合复杂网络和记忆增强网络的轨迹预测技术

赵高士¹,陈龙¹,蔡英凤¹(),廉玉波³,王海²,刘擎超¹,滕成龙¹

^1.江苏大学汽车工程研究院，镇江 212013
^2.江苏大学汽车与交通工程学院，镇江 212013
^3.比亚迪汽车工业有限公司汽车工程研究院，深圳 518118

收稿日期:2023-05-08 修回日期:2023-06-11 出版日期:2023-09-25 发布日期:2023-09-23
通讯作者: 蔡英凤 E-mail:caicaixiao0304@126.com
基金资助:
国家重点研发计划(2022YFB2503302);国家自然科学基金(52225212);江苏省重点研发项目(BE2020083-3)

Trajectory Prediction Technology Integrating Complex Network and Memory-Augmented Network

Gaoshi Zhao¹,Long Chen¹,Yingfeng Cai¹(),Yubo Lian³,Hai Wang²,Qingchao Liu¹,Chenglong Teng¹

^1.Automotive Engineering Research Institute，Jiangsu University，Zhenjiang 212013
^2.School of Automotive and Traffic Engineering，Jiangsu University，Zhenjiang 212013
^3.Automotive Engineering Research Institute，BYD Automotive Industry Co. ，Ltd. ，Shenzhen 518118

Received:2023-05-08 Revised:2023-06-11 Online:2023-09-25 Published:2023-09-23
Contact: Yingfeng Cai E-mail:caicaixiao0304@126.com

摘要/Abstract

摘要：

周边目标轨迹预测是智能汽车决策规划的重要依据，现有基于多交通主体欧氏距离的建模方法无法有效描述多目标之间的复杂交互关系，制约其在实际动态交通场景中的适用性。本文创新地将复杂网络和记忆增强神经网络进行融合，构建了双层动态复杂网络模型，实现了高可靠性和可解释性的多模态轨迹预测。该模型使用高斯可变安全场计算风险权重，考虑了交通参与者的行驶状态参数、形状尺寸和智能体与道路之间的相互影响，真实准确地反映复杂环境中多交通主体间的交互关系；构建了一种由注意力机制和包含风险权重的社交池组成的复杂网络编码模块，实现了动态复杂场景中交通参与者与道路约束之间作用特征的全面有效提取；构建了以参考轨迹为条件的轨迹解码模块，实现了兼顾精度和可解释性的多模态轨迹输出。在公开数据集nuScenes上的验证结果表明，本文所提出的方法最小平均位移误差为1.37 m，最小最终位移误差为8.13 m，性能优异且具有较好的可解释性。

关键词: 智能汽车, 轨迹预测, 复杂网络, 交互建模

Abstract:

The prediction of peripheral target trajectories is an important basis for intelligent vehicle decision-making and planning. Existing modeling methods based on multi traffic agent Euclidean distance cannot effectively describe the complex interaction relationship between multiple targets， which limits the applicability in practical dynamic traffic scenarios. In this paper， complex network and memory-augmented neural network are innovatively integrated to construct a double-layer dynamic complex network model to achieve high reliability and interpretability of multimodal trajectory prediction. This model uses a Gaussian variable safety field to calculate risk weights， taking into consideration of the driving state parameters， shape and size of traffic participants， as well as the interaction between intelligent agents and the road， truly and accurately reflecting the interaction relationship between multiple traffic agents in complex environments. A complex network-coding module composed of attention mechanism and social pool containing risk weights is constructed to realize comprehensive and effective extraction of interaction features between traffic participants and road constraints in dynamic and complex scenes. A trajectory-decoding module based on reference trajectories is constructed， realizing multimodal trajectory output that balances accuracy and interpretability. The validation results on the public dataset nuScenes show that the method proposed in this paper has a minimum average displacement error of 1.37 m and a minimum final displacement error of 8.13 m， with excellent performance and good interpretability.

Key words: intelligent vehicles, trajectory prediction, complex networks, interactive modeling

赵高士,陈龙,蔡英凤,廉玉波,王海,刘擎超,滕成龙. 融合复杂网络和记忆增强网络的轨迹预测技术[J]. 汽车工程, 2023, 45(9): 1608-1616.

Gaoshi Zhao,Long Chen,Yingfeng Cai,Yubo Lian,Hai Wang,Qingchao Liu,Chenglong Teng. Trajectory Prediction Technology Integrating Complex Network and Memory-Augmented Network[J]. Automotive Engineering, 2023, 45(9): 1608-1616.

图/表 8

图1

图2

图3

表1

图4

表2

表3

图5

参考文献 15

1	ALAHI A， GOEL K， RAMANATHAN V， et al. Social LSTM： human trajectory prediction in crowded spaces［C］. CVPR， 2016.
2	LEE N， CHOI W， VERNAZA P， et al. Desire： distant future prediction in dynamic scenes with interacting agents［C］. CVPR， 2017.
3	SALZMANN T， IVANOVIC B， CHAKRAVARTY P，et al. Trajectron++： dynamically-feasible trajectory forecasting with heterogeneous data［C］. ECCV， 2020.
4	NGIAM J， CAINE B， VASUDEVAN V， et al. Scene transformer： a unified architecture for predicting future trajectories of multiple agents［C］. ICLR， 2022.
5	VEMULA A， MUELLING K， OH J. Social attention： modeling attention in human crowds［C］. ICRA， 2018.
6	董靖巍. 基于复杂网络的网络舆情动态演进影响机制研究［D］.哈尔滨：哈尔滨工业大学，2016.
	DONG Jingwei. Research on the impact mechanism of dynamic evolution of network public opinion based on complex networks ［D］. Harbin： Harbin Institute of Technology，2016.
7	高自友，赵小梅，黄海军，等.复杂网络理论与城市交通系统复杂性问题的相关研究［J］.交通运输系统工程与信息，2006（3）：41-47.
	GAO Ziyou， ZHAO Xiaomei， HUANG Haijun， et al. Research on complex network theory and complexity of urban transportation system ［J］. Transportation System Engineering and Information， 2006 （3）： 41-47.
8	XU Chenxin， MAO Weibo， ZHANG Wenjun. Remember intentions： retrospective-memory-based trajectory prediction［C］. CVPR， 2022.
9	HUANG Yingfan， BI Huikun， LI Zhaoxin， et al. STGAT： modeling spatial-temporal interactions for human trajectory prediction［C］. ICCV， 2019.
10	CAI Yingfeng， WANG Zihao， WANG Hai， et al. Environment-attention network for vehicle trajectory prediction［J］. IEEE Transactions on Vehicular Technology，2021， 70（11）：11216-11227.
11	李文礼，韩迪，石晓辉，等.基于时-空注意力机制的车辆轨迹预测［J］.中国公路学报，2023，36（1）：226-239.
	LI Wenli， HAN Di， SHI Xiaohui， et al. Vehicle trajectory prediction based on spatiotemporal attention mechanism ［J］. Journal of China Highway Engineering， 2023， 36 （1）： 226-239.
12	GUPTA A， JOHNSON J， LI F， et al. Social GAN： socially acceptable trajectories with generative adversarial networks［C］. 2018 in IEEE/CVF， 2018.
13	LI Haitong， WEI Chenchen， LEVY A， et al. One-shot learning with memory-augmented neural networks using a 64-kbit， 118 GOPS/W RRAM-based non-volatile associative memory［C］. VLSI， 2021.
14	GRAVES A， WAYNE G， REYNOLDS M， et al. Hybrid computing using a neural network with dynamic external memory［J］. Nature，2016， 538：471-476.
15	MARCHETTI F， BECATTINI F， SEIDENARI L，et al. MANTRA： memory augmented networks for multiple trajectory prediction［C］. CVPR， 2020.

模型	mADE_5/m	mADE_10/m	mFDE_1/m
Trajectron++	1.88	1.51	9.52
AgentFormer	1.86	1.45
P2T	1.45	1.16	10.50
GOHOME	1.42	1.15	6.99
CN-MAN（本文）	1.37	1.03	8.13

池化交互	缩放点积注意	参考轨迹	mADE_5	mADE_10	mFDE_1
			1.63	1.51	9.52
√			1.52	1.22	8.53
√	√		1.49	1.13	8.52
√	√	√	1.37	1.03	8.13

L	mADE_10	mFDE_1
60	1.42	9.84
80	1.25	9.64
100	1.17	9.22
120	1.09	8.29
140	1.03	8.13
160	1.05	8.41
180	1.13	8.65
200	1.17	9.13

[1]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[2]	郝建平,苏炎召,钟志华,黄晋. 面向智能汽车的SOA架构及服务调度机制研究[J]. 汽车工程, 2023, 45(9): 1563-1572.
[3]	连静,李硕贤,刘一荻,杨东方,李琳辉. 基于车道目标引导的车辆轨迹预测[J]. 汽车工程, 2023, 45(8): 1353-1361.
[4]	胡启慧,蔡英凤,王海,陈龙,董钊志,刘擎超. 基于层次图注意的异构多目标轨迹预测方法[J]. 汽车工程, 2023, 45(8): 1448-1456.
[5]	高镇海, 鲍明喜, 高菲, 唐明弘. 基于LSTM概率多模态预期轨迹预测方法[J]. 汽车工程, 2023, 45(7): 1145-1152.
[6]	韩勇,林旭洁,黄红武,蔡鸿瑜,罗金镕,李燕婷. 典型汽车碰撞事故场景中行人运动轨迹预测方法[J]. 汽车工程, 2023, 45(6): 1022-1030.
[7]	高翔,陈龙,王歆叶,熊晓夏,李祎承,陈月霞. 基于轨迹预测的智能汽车行驶风险评估方法[J]. 汽车工程, 2023, 45(4): 588-597.
[8]	胡杰,朱琪,陈锐鹏,张敏超,张志豪,刘昊岩. 引入必经点约束的智能汽车全局路径规划[J]. 汽车工程, 2023, 45(3): 350-360.
[9]	张紫微,郑玲,李以农,乔旭强,郑浩,王戡. 考虑前车运动不确定性的多目标自适应巡航控制[J]. 汽车工程, 2023, 45(3): 361-371.
[10]	刘正发,吴亚,刘佩根,顾荣琦,陈广. 基于特征和标签联合分布匹配的智能驾驶跨域自适应目标检测[J]. 汽车工程, 2023, 45(11): 2082-2091.
[11]	赵树廉,来飞,李克强,陈涛,孟璋劼,唐逸超,吴思宇,田浩东. 基于数字孪生技术的智能汽车测试方法研究[J]. 汽车工程, 2023, 45(1): 42-51.
[12]	邵文博,李骏,张玉新,王红. 智能汽车预期功能安全保障关键技术[J]. 汽车工程, 2022, 44(9): 1289-1304.
[13]	汪梓豪,蔡英凤,王海,陈龙,熊晓夏. 基于单目视觉运动估计的周边多目标轨迹预测方法[J]. 汽车工程, 2022, 44(9): 1318-1326.
[14]	梁旺,秦兆博,陈亮,边有钢,胡满江. 基于改进BP神经网络的智能车纵向控制方法[J]. 汽车工程, 2022, 44(8): 1162-1172.
[15]	赵健,宋东鉴,朱冰,吴杭哲,韩嘉懿,刘宇翔. 数据机理混合驱动的交通车意图识别方法[J]. 汽车工程, 2022, 44(7): 997-1008.

融合复杂网络和记忆增强网络的轨迹预测技术

Trajectory Prediction Technology Integrating Complex Network and Memory-Augmented Network

RichHTML

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 15

相关文章 15

Metrics

本文评价

推荐阅读 10