基于贝叶斯网络的行人穿越不确定性量化研究

doi:10.19562/j.chinasae.qcgc.2026.03.013

摘要/Abstract

摘要：

随着自动驾驶技术的发展，行人穿越意图预测已成为减少人车冲突的重要手段。然而，传统意图预测方法无法估计预测结果的不确定性，导致车辆在复杂交通环境中的决策行为缺乏可信度。针对上述问题，本文提出了一种基于多模态输入的不确定性行人穿越预测网络（UN-PCPNet），将行人姿态、边界框与车速3种输入分别提取特征后送入特征融合模块进行多模态融合，进而通过贝叶斯多层感知模块输出穿越意图预测结果，并通过结果的方差分析量化预测过程的不确定性。本文方法在JAAD和PIE公共数据集上可以实现92%和89%的AUC得分，并且可以在不影响预测准确性的前提下获得可靠的不确定性估计。实车实验也验证了本文方法在实际交通场景中的有效性，可以为提高自动驾驶安全性提供支持。

关键词: 贝叶斯神经网络, 行人穿越意图预测, 多模态融合, 不确定性估计

Abstract:

With the development of autonomous driving technology， pedestrian crossing intention prediction has become an important approach to reducing pedestrian-vehicle conflict. However， traditional intention prediction methods fail to estimate the uncertainty of the prediction results， which leads to a lack of reliability in vehicle decision-making in complex traffic environment. To address this issue， this paper proposes an uncertainty pedestrian crossing prediction network （UN-PCPNet） with multimodal input. The network extracts features from the three types of input of pedestrian pose， bounding box， and vehicle speed， which are then sent to a feature fusion module for multimodal integration. The Bayesian multilayer perceptron module outputs the crossing intention prediction result， and the uncertainty of the prediction process is quantified through the variance analysis of the results. The proposed method achieves AUC scores of 92% and 89% on the JAAD and PIE public datasets， respectively， and provides reliable uncertainty estimation without compromising prediction accuracy. The real-world experiments also validate the effectiveness of this method in practical traffic scenarios， which can support the enhancement of autonomous driving safety.

Key words: Bayesian neural networks, pedestrian crossing intention prediction, multi-modal fusion, uncertainty estimation

杨彪,杜梦沄,朱俊瑞,王海,蔡英凤. 基于贝叶斯网络的行人穿越不确定性量化研究[J]. 汽车工程, 2026, 48(3): 627-637.

Biao Yang,Mengyun Du,Junrui Zhu,Hai Wang,Yingfeng Cai. Pedestrian Crossing Intention Prediction Based on Bayesian Neural Network Quantifying Uncertainty[J]. Automotive Engineering, 2026, 48(3): 627-637.

图/表 10

图 1

表 1

表 2

图 2

表 3

表 4

表 5

图 3

图 4

图 5

参考文献 45

[1]	Global status report on road safety 2023［J］.Health and Safety， 2023（Dec.18）：15-16.
[2]	索锦辉，王晓伟，蒋沛文，等. 基于多粒度关系推理的自动驾驶域自适应视觉目标检测算法［J］. 汽车工程， 2025， 47（2）： 201-210.
	SUO J H， WANG X W， JIANG P W， et al. Autonomous driving domain adaptive visual target detection algorithm based on multi-granularity relation reasoning［J］. Automotive Engineering， 2025， 47（2）： 201-210.
[3]	YANG B， ZHU J， YU Z， et al. Fast adaptation trajectory prediction method based on online multisource transfer learning［J］. IEEE Transactions on Automation Science and Engineering， 2024， 22： 1289-1304.
[4]	YANG B， FAN F， NI R， et al. A multi-task learning network with a collision-aware graph transformer for traffic-agents trajectory prediction［J］. IEEE Transactions on Intelligent Transportation Systems， 2024， 25（7）： 6677-6690.
[5]	SINGH A， SUDDAMALLA U. Multi-input fusion for practical pedestrian intention prediction［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2021： 2304-2311.
[6]	CADENA P R G， YANG M， QIAN Y， et al. Pedestrian graph： pedestrian crossing prediction based on 2D pose estimation and graph convolutional networks［C］. 2019 IEEE Intelligent Transportation Systems Conference （ITSC）. IEEE， 2019： 2000-2005.
[7]	YANG B， WEI Z， HU H， et al. DPCIAN： a novel dual-channel pedestrian crossing intention anticipation network［J］. IEEE Transactions on Intelligent Transportation Systems， 2023， 25（6）： 6023-6034.
[8]	YANG B， ZHAN W， WANG P， et al. Crossing or not？ context-based recognition of pedestrian crossing intention in the urban environment［J］. IEEE Transactions on Intelligent Transportation Systems， 2021， 23（6）： 5338-5349.
[9]	CADENA P R G， QIAN Y， WANG C， et al. Pedestrian graph+： a fast pedestrian crossing prediction model based on graph convolutional networks［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（11）： 21050-21061.
[10]	FANG Z， LÓPEZ A M. Intention recognition of pedestrians and cyclists by 2D pose estimation［J］. IEEE Transactions on Intelligent Transportation Systems， 2019， 21（11）： 4773-4783.
[11]	RAZALI H， MORDAN T， ALAHI A. Pedestrian intention prediction： a convolutional bottom-up multi-task approach［J］. Transportation Research Part C： Emerging Technologies， 2021， 130： 103259.
[12]	杨彪，韦智文，倪蓉蓉，等. 基于动作条件交互的高效行人过街意图预测［J］. 汽车工程， 2024， 46（1）： 29-38.
	YANG B， WEI Z W， NI R R， et al. Efficient pedestrian crossing intention prediction based on action-condition interaction［J］. Automotive Engineering， 2024， 46（1）： 29-38.
[13]	WANG T W， LAI S H. Pedestrian crossing intention prediction with multi-modal transformer-based model［C］. 2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference （APSIPA ASC）. IEEE， 2023： 1349-1356.
[14]	ZHOU Y， TAN G， ZHONG R， et al. PIT： progressive interaction transformer for pedestrian crossing intention prediction［J］. IEEE Transactions on Intelligent Transportation Systems， 2023， 24（12）： 14213-14225.
[15]	CHEN X， ZHANG S， LI J， et al. Pedestrian crossing intention prediction based on cross-modal transformer and uncertainty-aware multi-task learning for autonomous driving［J］. IEEE Transactions on Intelligent Transportation Systems， 2024， 25（9）： 12538-12549.
[16]	DANG M， JIN Y， HANG P， et al. Coupling intention and actions of vehicle-pedestrian interaction： a virtual reality experiment study［J］. Accident Analysis & Prevention， 2024， 203： 107639.
[17]	YANG B， FAN Z， HU H， et al. Explainable pedestrian crossing intention prediction based on multi-task mutual guidance network［J］. IEEE Transactions on Intelligent Vehicles， 2025， 10（2）： 1342-1352.
[18]	ZHOU Z， LIU Y， LIU B， et al. Pedestrian crossing intention prediction model considering social interaction between multi-pedestrians and multi-vehicles［J］. Transportation Research Record， 2024， 2678（5）： 80-101.
[19]	ZHOU J， BAI X， FU W， et al. Pedestrian intention estimation and trajectory prediction based on data and knowledge‐driven method［J］. IET Intelligent Transport Systems， 2024， 18（2）： 315-331.
[20]	GAWLIKOWSKI J， TASSI C R N， ALI M， et al. A survey of uncertainty in deep neural networks［J］. Artificial Intelligence Review， 2023， 56（S1）： 1513-1589.
[21]	李道飞，潘豪. 场景复杂度评估在轨迹预测和驾驶决策中的应用［J］. 汽车工程， 2024， 46（9）： 1556-1563.
	LI D F， PAN H. Application of scene complexity assessment in trajectory prediction and driving decision［J］. Automotive Engineering， 2024， 46（9）： 1556-1563.
[22]	杨田，王钢，赖健，等. 基于信息分形的行人轨迹预测方法［J］. 电子与信息学报， 2024， 46（2）： 527-537.
	YANG T， WANG G， LAI J， et al. Pedestrian trajectory prediction method based on information fractals［J］. Journal of Electronics and Information Technology， 2024， 46（2）： 527-537.
[23]	MOBINY A， YUAN P， MOULIK S K， et al. Dropconnect is effective in modeling uncertainty of bayesian deep networks［J］. Scientific Reports， 2021， 11（1）： 5458.
[24]	VALDENEGRO-TORO M. Deep sub-ensembles for fast uncertainty estimation in image classification［J］. arXiv preprint arXiv：， 2019.
[25]	LI H， LIU H， JI X， et al. CIFAR10-DVS： an event-stream dataset for object classification［J］. Frontiers in Neuroscience， 2017， 11： 309.
[26]	LEE J， HUMT M， FENG J， et al. Estimating model uncertainty of neural networks in sparse information form［C］. International Conference on Machine Learning. PMLR， 2020： 5702-5713.
[27]	NEMETH C， FEARNHEAD P. Stochastic gradient markov chain monte carlo［J］. Journal of the American Statistical Association， 2021， 116（533）： 433-450.
[28]	WEN Y， TRAN D， BA J. BatchEnsemble： an alternative approach to efficient ensemble and lifelong learning［J］. arXiv preprint arXiv：， 2020.
[29]	ACHRACK O， KELLERMAN R， BARZILAY O. Multi-loss sub-ensembles for accurate classification with uncertainty estimation［J］. arXiv preprint arXiv：， 2020.
[30]	MARTINEZ W G. Ensemble pruning via quadratic margin maximization［J］. IEEE Access， 2021， 9： 48931-48951.
[31]	徐靖贤.自动驾驶车辆避障轨迹规划［J］.汽车实用技术， 2023， 48（4）：9-13.
	XU J. Obstacle avoidance trajectory planning for autonomous vehicles［J］. Automotive Practical Technology， 2023， 48（4）： 9-13.
[32]	RASOULI A， KOTSERUBA I， TSOTSOS J K. Are they going to cross？ a benchmark dataset and baseline for pedestrian crosswalk behavior［C］. Proceedings of the IEEE International Conference on Computer Vision Workshops， 2017： 206-213.
[33]	RASOULI A， KOTSERUBA I， KUNIC T， et al. PIE： a large-scale dataset and models for pedestrian intention estimation and trajectory prediction［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 6262-6271.
[34]	KOTSERUBA I， RASOULI A， TSOTSOS J K. Benchmark for evaluating pedestrian action prediction［C］. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision， 2021： 1258-1268.
[35]	TRAN D， BOURDEV L， FERGUS R， et al. Learning spatiotemporal features with 3D convolutional networks［C］. Proceedings of the IEEE International Conference on Computer Vision， 2015： 4489-4497.
[36]	SHI Xingjian. Convolutional LSTM network： a machine learning approach for precipitation nowcasting［J］. Advances in Neural Information Processing Systems， 2015， 28： 1.
[37]	CARREIRA J， ZISSERMAN A. Quo vadis， action recognition？ a new model and the kinetics dataset［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 6299-6308.
[38]	BHATTACHARYYA A， FRITZ M， SCHIELE B. Long-term on-board prediction of people in traffic scenes under uncertainty［C］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 4194-4202.
[39]	RASOULI A， KOTSERUBA I， TSOTSOS J K. Pedestrian action anticipation using contextual feature fusion in stacked rnns［J］. arXiv preprint arXiv：， 2020.
[40]	PICCOLI F， BALAKRISHNAN R， PEREZ M J， et al. Fussi-net： fusion of spatio-temporal skeletons for intention prediction network［C］. 2020 54th Asilomar Conference on Signals， Systems， and Computers. IEEE， 2020： 68-72.
[41]	KOTSERUBA I， RASOULI A， TSOTSOS J K. Do they want to cross？ understanding pedestrian intention for behavior prediction［C］. 2020 IEEE Intelligent Vehicles Symposium （IV）. IEEE， 2020： 1688-1693.
[42]	RASOULI A， ROHANI M， LUO J. Bifold and semantic reasoning for pedestrian behavior prediction［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2021： 15600-15610.
[43]	HAM J S， BAE K， MOON J. MCIP： multi-stream network for pedestrian crossing intention prediction［C］. European Conference on Computer Vision. Cham： Springer Nature Switzerland， 2022： 663-679.
[44]	HAM J S， KIM D H， JUNG N K， et al. CIPF： crossing intention prediction network based on feature fusion modules for improving pedestrian safety［C］. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2023： 3666-3675.
[45]	RAHAMAN R. Uncertainty quantification and deep ensembles［J］. Advances in Neural Information Processing Systems， 2021， 34： 20063-20075.

方法	模型变体	PIE					JAAD
方法	模型变体	ACC	AUC	F1	P	R	ACC	AUC	F1	P	R
C3D^［35］	3D Conv	0.77	0.67	0.52	0.63	0.44	0.84	0.81	0.65	0.57	0.75
ConvLSTM^［36］	VGG19+LSTM	0.58	0.55	0.39	0.32	0.49	0.63	0.57	0.32	0.24	0.48
ConvLSTM^［36］	ResNet50+LSTM	0.54	0.46	0.26	0.23	0.29	0.63	0.58	0.33	0.25	0.49
ATGC^［32］	VGG16	0.71	0.60	0.41	0.49	0.36	0.82	0.75	0.55	0.49	0.63
ATGC^［32］	RestNet50	0.70	0.59	0.38	0.47	0.32	0.81	0.72	0.52	0.47	0.56
I3D^［37］	3D Conv	0.80	0.73	0.62	0.67	0.58	0.81	0.74	0.63	0.66	0.61
MultiRNN^［38］	GRU	0.83	0.80	0.71	0.69	0.73	0.79	0.79	0.58	0.45	0.79
Pedestrain Graph^［6］	GCN	0.76	0.69	0.48	0.62	0.39	0.80	0.84	0.55	0.46	0.68
SFRNN^［39］	GRU	0.82	0.79	0.69	0.67	0.70	0.84	0.84	0.65	0.54	0.84
FUSSI^［40］	DenseNet						0.60	0.72	0.40	0.27	0.73
SingleRNN^［41］	GRU	0.83	0.77	0.67	0.70	0.64	0.65	0.59	0.34	0.26	0.49
SingleRNN^［41］	LSTM	0.81	0.75	0.64	0.67	0.61	0.78	0.75	0.54	0.44	0.70
PCPA^［34］	3D Conv	0.86	0.91	0.78	0.69	0.89	0.70	0.85	0.51	0.36	0.87
BiPed^［42］	LSTM+CNN	0.91	0.90	0.85	0.82	0.88	0.83	0.79	0.60	0.52	0.70
PedGraph+^［9］	Conv+GCN	0.89	0.90	0.81	0.83	0.79	0.86	0.88	0.65	0.58	0.80
MCIP^［43］	Conv+RNN	0.89	0.87	0.81			0.88	0.84	0.65
CIPF^［44］	Conv+GRU	0.91	0.89	0.84	0.85	0.83
PIT^［14］	Transformer	0.91	0.92	0.82	0.84	0.81	0.87	0.89	0.67	0.58	0.80
PMMT^［13］	Transformer	0.91	0.89	0.84	0.84	0.85	0.89	0.78	0.66	0.72	0.61
Ours	Conv+BNN	0.90	0.92	0.84	0.84	0.85	0.85	0.89	0.64	0.56	0.75

方法	PIE					JAAD
方法	ACC	AUC	F1	P	R	ACC	AUC	F1	P	R
Deep Ensembles^［45］	0.88	0.87	0.79	0.83	0.86	0.84	0.85	0.63	0.56	0.76
MC Dropout^［23］	0.87	0.88	0.83	0.85	0.81	0.83	0.87	0.60	0.54	0.73
UN-PCPNet	0.90	0.92	0.84	0.84	0.85	0.85	0.89	0.64	0.56	0.75

输入	PIE					JAAD
输入	ACC	AUC	F1	P	R	ACC	AUC	F1	P	R
K	0.89	0.90	0.83	0.83	0.83	0.84	0.85	0.62	0.54	0.77
B	0.88	0.91	0.80	0.79	0.81	0.83	0.86	0.64	0.52	0.71
S	0.87	0.89	0.78	0.77	0.80	0.82	0.87	0.60	0.51	0.73
B，Q	0.89	0.91	0.82	0.82	0.82	0.83	0.87	0.61	0.54	0.71
K，S，B	0.89	0.90	0.82	0.84	0.84	0.85	0.87	0.63	0.53	0.73
K，S，B，Q	0.90	0.92	0.84	0.84	0.85	0.85	0.89	0.64	0.56	0.75

输入	推理时间/ms
输入	PIE	JAAD
K，S，B	3.79	1.39
K，S，B，Q	3.81	1.41

策略	PIE					JAAD
策略	ACC	AUC	F1	P	R	ACC	AUC	F1	P	R
注意力机制^［6］	0.88	0.90	0.83	0.83	0.80	0.84	0.82	0.59	0.54	0.73
图神经网络^［14］	0.89	0.91	0.82	0.80	0.81	0.83	0.85	0.61	0.55	0.72
轻量互补融合（本文）	0.90	0.92	0.84	0.84	0.85	0.85	0.89	0.64	0.56	0.75