基于多信息融合网络的行人轨迹预测方法

doi:10.19562/j.chinasae.qcgc.2024.11.004

摘要/Abstract

摘要：

随着自动驾驶技术的不断发展，准确预测行人的未来轨迹已经成为确保系统安全和可靠的关键要素。然而，现有行人轨迹预测研究多数依赖于固定摄像头视角，进而限制了对行人运动的全面观测，因此难以直接应用于自动驾驶车辆自车视角（ego-vehicle）下的行人轨迹预测。针对该问题，本文提出了一种基于多行人信息融合网络（MPIFN）的自车视角行人轨迹预测方法。该方法通过融合社会信息、局部环境信息和行人时间信息，实现了对行人未来轨迹的准确预测。本文构建了一个局部环境信息提取模块，结合了可形变卷积与传统卷积和池化操作，旨在更有效地提取复杂环境中的局部信息。该模块通过动态调整卷积核的位置，增强了模型对不规则和复杂形状的适应能力。同时，构建了行人时空信息提取模块和多模态特征融合模块，以实现对社会信息与环境信息的充分融合。实验结果表明，该方法在JAAD和PSI两个自车视角下驾驶数据集上均取得了先进的性能。在JAAD数据集上，累积均方误差（CF_MSE）为4 063，累积平均均方误差（C_MSE）为829。在PSI数据集上平均相对偏差（ARB）和最终相对偏差（FRB）也分别在预测时间为0.5、1.0、1.5 s时取得了18.08、29.21、44.98和25.27、54.62、93.09的优异表现。

关键词: 自动驾驶, 行人轨迹预测, 多行人信息融合网络, 自车视角

Abstract:

With the continuous development of autonomous driving technology， accurately predicting the future trajectories of pedestrians has become a critical element in ensuring system safety and reliability. However， most existing studies on pedestrian trajectory prediction rely on fixed camera perspectives， which limits the comprehensive observation of pedestrian movement and thus makes them unsuitable for direct application to pedestrian trajectory prediction under the ego-vehicle perspective in autonomous vehicles. To solve the problem， in this paper a pedestrian trajectory prediction method under the ego-vehicle perspective based on the Multi-Pedestrian Information Fusion Network （MPIFN） is proposed， which achieves accurate prediction of pedestrians' future trajectories by integrating social information， local environmental information， and temporal information of pedestrians. In this paper， a Local Environmental Information Extraction Module that combines deformable convolution with traditional convolutional and pooling operations is constructed， aiming to more effectively extract local information from complex environment. By dynamically adjusting the position of convolutional kernels， this module enhances the model’s adaptability to irregular and complex shapes. Meanwhile， the pedestrian spatiotemporal information extraction module and multimodal feature fusion module are developed to facilitate comprehensive integration of social and environmental information. The experimental results show that the proposed method achieves advanced performance on two ego-vehicle driving datasets， JAAD and PSI. Specifically， on the JAAD dataset， the Center Final Mean Squared Error （CF_MSE） is 4 063， and the Center Mean Squared Error （C_MSE） is 829. On the PSI dataset， the Average Root Mean Square Error （ARB） and Final Root Mean Square Error （FRB） also achieve outstanding performance with values of 18.08/29.21/44.98 and 25.27/54.62/93.09 for prediction horizons of 0.5 s， 1.0 s， and 1.5 s， respectively.

Key words: autonomous driving, pedestrian trajectory prediction, multiple pedestrian information fusion network, ego-vehicle

高嵩,周江邻,高博麟,芦健,王鹤,徐月云. 基于多信息融合网络的行人轨迹预测方法[J]. 汽车工程, 2024, 46(11): 1973-1982.

Song Gao,Jianglin Zhou,Bolin Gao,Jian Lu,He Wang,Yueyun Xu. Pedestrian Trajectory Prediction Method Based on Multi-information Fusion Network[J]. Automotive Engineering, 2024, 46(11): 1973-1982.

图/表 10

表1

图1

图2

图3

表2

在JAAD上实验结果"

方法	Soc	Env	Soc-Env	PSI
方法	Soc	Env	Soc-Env	MSE↓ （0.5 s/1.0 s/1.5 s）	$C F M S E$ ↓ （1.5 s）	$C M S E$ ↓ （1.5 s）
Bayesian-LSTM^［9］	√			159/539/1 535	5 615	1 447
FOL-X^［26］		√		147/484/1 374	4 924	1 290
PIE_traj^［13］		√		110/399/1 280	4 780	1 183
BiTraP^［4］	√			93/378/1 206	4 565	1 105
eP2P^［12］	√	√
SGNet^［15］	√			82/328/1 049	4 076	996
CVTF^［27］		√		98/314/1 190	4 520	1 022
Pedformer^［28］	√	√	√	93/364/1 134	4 364	1 080
VOSTN^［29］	√			94/364/1 134	3 980	947
MPIFN （Ours）	√	√	√	81/307/1 106	4 063	829

表2

表3

表4

图4

图5

图6

参考文献 35

1	MARCHETTI F， BECATTINI F， SEIDENARI L， et al. Smemo： social memory for trajectory forecasting［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2024， 46（6）： 4410-4425.
2	SUN J， LI Y， CHAI L， et al. Modality exploration， retrieval and adaptation for trajectory prediction［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（12）： 15051-15064.
3	SHI L， WANG L， LONG C， et al. Representing multimodal behaviors with mean location for pedestrian trajectory prediction［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（9）： 11184-11202.
4	YAO Y， ATKINS E， JOHNSON-ROBERSON M，et al.BiTraP： bi-directional pedestrian trajectory prediction with multi-modal goal estimation［J］. IEEE Robotics and Automation Letters，2021，6（2）：1463-1470.
5	郭景华，何智飞，罗禹贡，等. 人机混驾环境下基于深度学习的车辆切入轨迹预测［J］. 汽车工程， 2022， 44（2）： 153-160.
	GUO J H， HEI Z F， LUO Y G， et al. Vehicle cut-in trajectory prediction based on deep learning in a human-machine mixed driving environment ［J］. Automotive Engineering， 2022， 44（2）： 153-160.
6	郭景华，肖宝平，王靖瑶，等. 基于 Residual BiLSTM 网络的车辆切入意图预测研究［J］. 汽车工程， 2021， 43（7）： 971-977.
	GUO J H， XIAO B P， WANG J Y， et al. Study on vehicle cut⁃in intention prediction based on residual BiLSTM network ［J］. Automotive Engineering， 2021， 43（7）： 971-977.
7	GODARD C， MAC AODHA O， BROSTOW G J. Unsupervised monocular depth estimation with left-right consistency［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 270-279.
8	CHEN Y， SCHMID C， SMINCHISESCU C. Self-supervised learning with geometric constraints in monocular video： connecting flow， depth， and camera［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 7063-7072.
9	BHATTACHARYYA A， FRITZ M， SCHIELE B. Long-term on-board prediction of people in traffic scenes under uncertainty［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 4194-4202.
10	YAO Y， XU M， CHOI C， et al. Egocentric vision-based future vehicle localization for intelligent driving assistance systems［C］. 2019 International Conference on Robotics and Automation （ICRA）. IEEE， 2019： 9711-9717.
11	YAGI T， MANGALAM K， YONETANI R， et al. Future person localization in first-person videos［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 7593-7602.
12	CHEN T， JING T， TIAN R， et al. Psi： a pedestrian behavior dataset for socially intelligent autonomous car［J］. arXiv preprint arXiv：， 2021.
13	RASOULI A， KOTSERUBA I， KUNIC T， et al. Pie： a large-scale dataset and models for pedestrian intention estimation and trajectory prediction［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 6262-6271.
14	WANG C， WANG Y， XU M， et al. Stepwise goal-driven networks for trajectory prediction［J］. IEEE Robotics and Automation Letters， 2022， 7（2）： 2716-2723.
15	NEUMANN L， VEDALDI A. Pedestrian and ego-vehicle trajectory prediction from monocular camera［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2021： 10204-10212.
16	SU Y， LI Y， WANG W， et al. A unified environmental network for pedestrian trajectory prediction［C］. Proceedings of the AAAI Conference on Artificial Intelligence， 2024， 38（5）： 4970-4978.
17	FU Z， JIANG K， XIE C， et al. Summary and reflections on pedestrian trajectory prediction in the field of autonomous driving［J］. IEEE Transactions on Intelligent Vehicles， 2024.
18	HASAN F， HUANG H. MALS-Net： a multi-head attention-based LSTM sequence-to-sequence network for socio-temporal interaction modelling and trajectory prediction［J］. Sensors， 2023， 23（1）： 530.
19	桑海峰，赵梓杉，王金玉，等. 基于车辆轨迹预测对抗性攻击与鲁棒性研究［J］. 汽车工程， 2024， 46（3）： 407-417.
	SANG H F， ZHAO Z S， WANG J Y， et al. Research on adversarial attacks and robustness in vehicle trajectory prediction ［J］. Automotive Engineering， 2024， 46（3）： 407-417.
20	DAI J， QI H， XIONG Y， et al. Deformable convolutional networks［C］. Proceedings of the IEEE International Conference on Computer Vision， 2017： 764-773.
21	DU J， WANG S， MIAO H， et al. Multi-channel pooling graph neural networks［C］. IJCAI. 2021： 1442-1448.
22	GROSSBERG S. Recurrent neural networks［J］. Scholarpedia， 2013， 8（2）： 1888.
23	GRAVES A， GRAVES A. Long short-term memory［J］. Supervised Sequence Labelling with Recurrent Neural Networks， 2012： 37-45.
24	RASOULI A， KOTSERUBA I， TSOTSOS J K. Are they going to cross？ a benchmark dataset and baseline for pedestrian crosswalk behavior［C］. Proceedings of the IEEE International Conference on Computer Vision Workshops， 2017： 206-213.
25	KOSARAJU V， SADEGHIAN A， MARTÍN-MARTÍN R， et al. Social-bigat： multimodal trajectory forecasting using bicycle-gan and graph attention networks［J］. Advances in Neural Information Processing Systems， 2019， 32.
26	YAO Y， XU M， WANG Y， et al. Unsupervised traffic accident detection in first-person videos［C］. 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. IEEE， 2019： 273-280.
27	HE Y， YANG Y， CAI Y， et al. Predicting pedestrian tracks around moving vehicles based on conditional variational transformer［J］. Proceedings of the Institution of Mechanical Engineers， Part D： Journal of Automobile Engineering， 2023： 09544070231175536.
28	RASOULI A， KOTSERUBA I. PedFormer： pedestrian behavior prediction via cross-modal attention modulation and gated multitask learning［C］. 2023 IEEE International Conference on Robotics and Automation （ICRA）. IEEE， 2023： 9844-9851.
29	WANG J， SANG H， CHEN W， et al. VOSTN： variational one-shot transformer network for pedestrian trajectory prediction［J］. Physica Scripta， 2024， 99（2）： 026002.
30	LABRíN C， URDINEZ F. Principal component analysis［M］. R for Political Data Science. Chapman and Hall/CRC， 2020： 375-393.
31	SANAGA K P， YANG M S. Unsupervised K-means clustering algorithm ［J］. IEEE Access， 2020， 8： 80716-80727.
32	HAN K， XIAO A， WU E， et al. Transformer in transformer［J］. Advances in Neural Information Processing Systems， 2021， 34： 15908-15919.
33	OKK AN U， SERBES Z A. Rainfall-runoff modeling using least squares support vector machines［J］. Environmetrics， 2012， 23（6）： 549-564.
34	TREIBER M， HENNECKE A， HELBING D. Congested traffic states in empirical observations and microscopic simulations［J］. Physical Review E， 2000， 62（2）： 1805.
35	LIU L， FENG S， FENG Y， et al. Learning-based stochastic driving model for autonomous vehicle testing［J］. Transportation Research Record， 2022， 2676（1）： 54-64.

项目	输入	时空信息提取模块 + 局部环境信息提取模块 + 多模态特征融合模块	解码器	MSE （1.5 s）
Variant1	Bbox	LSTM + - + -	FC	2 458
Variant2	Bbox+Image	LSTM + 传统卷积 + Concat	FC	2 103
Variant3	Bbox+Image	时空注意力 + 传统卷积 + Concat	FC	1 502
Variant4	Bbox+Image	时空注意力 + 可形变卷积 + Concat	FC	1 435
Variant5	Bbox+Image	时空注意力 + 可形变卷积 + 交叉注意力	FC	1 307
本文	Bbox+Image	时空注意力 + 可形变卷积 + 交叉注意力	LSTM	1 106

[1]	李道飞,潘豪. 场景复杂度评估在轨迹预测和驾驶决策中的应用[J]. 汽车工程, 2024, 46(9): 1556-1563.
[2]	朱冰,范天昕,赵健,张培兴,宋东鉴,薛越,赵文博. 自动驾驶拟人连续交互测试场景生成方法[J]. 汽车工程, 2024, 46(9): 1600-1607.
[3]	张国娟,胡宏宇,李浩淼,王明剑,高菲,高镇海. 自动驾驶车辆乘坐舒适性评价研究综述[J]. 汽车工程, 2024, 46(9): 1617-1627.
[4]	张佳楠,胡钊政,孟杰,胡华桦,左洁. 面向车-路-图协同的分布式自动驾驶仿真平台架构及应用[J]. 汽车工程, 2024, 46(8): 1335-1345.
[5]	颜伏伍,向博文,胡杰,陈锐鹏,张志豪,刘昊岩,高宠智. 基于改进LPV模型的自动驾驶轻型货车横向控制[J]. 汽车工程, 2024, 46(8): 1403-1413.
[6]	陶乐,王海,蔡英凤,陈龙. 面向自动驾驶场景的多目标点云检测算法[J]. 汽车工程, 2024, 46(7): 1208-1218.
[7]	李琳辉,付一帆,王霆,王雪成,连静. 引入自监督预训练的轨迹预测方法[J]. 汽车工程, 2024, 46(7): 1219-1227.
[8]	王海,张桂荣,罗彤,邱梦,蔡英凤,陈龙. 面向自动驾驶道路场景中异常案例的多模态数据挖掘算法[J]. 汽车工程, 2024, 46(7): 1239-1248.
[9]	王海,丁玉轩,罗彤,邱梦,蔡英凤,陈龙. 驾驶场景下结合运动速度以及外观特征的多类多目标跟踪方法[J]. 汽车工程, 2024, 46(6): 956-964.
[10]	黄晶,刘祥臻,邓潇阳,陈然. 基于多模态轨迹预测的智能车轨迹规划研究[J]. 汽车工程, 2024, 46(6): 965-974.
[11]	王国栋,刘立,孟宇,杜海平,白国星,顾青. 自动驾驶汽车避撞极限研究[J]. 汽车工程, 2024, 46(6): 985-994.
[12]	姚福星,孙超,兰云港,卢兵,王博,于海洋. 基于混合专家模型的智能网联汽车换道决策方法[J]. 汽车工程, 2024, 46(5): 882-892.
[13]	李梦凡,冯忠祥,张卫华,李靖宇. 面向人机共驾模式下驾驶人接管过程的视觉转移特性研究[J]. 汽车工程, 2024, 46(5): 795-804.
[14]	杜国栋,邹渊,张旭东,孙文景,孙巍. 基于双估计强化学习结合前向预测控制的自动驾驶运动控制研究[J]. 汽车工程, 2024, 46(4): 564-576.
[15]	丁志杰,王亚飞,章翼辰,邬明宇,王亦乐. 基于复合动态采样的自动驾驶矿车节能路径规划方法[J]. 汽车工程, 2024, 46(4): 588-595.