典型汽车碰撞事故场景中行人运动轨迹预测方法

doi:10.19562/j.chinasae.qcgc.2023.06.012

摘要/Abstract

摘要：

为提高未来自动驾驶车辆对弱势道路使用群体的感知和决策融合的可靠性，本文提出一种基于目标检测算法（YOLOv5）、多目标跟踪算法（Deep-Sort）和社交长短时记忆神经网络（social-long short-term memory， Social-LSTM）的行人未来运动轨迹预测方法。结合YOLOv5检测和Deep-Sort跟踪算法，有效解决行人检测跟踪过程中目标丢失问题。提取特定行人目标历史轨迹作为预测框架的输入边界条件，并采用Social-LSTM预测行人未来运动轨迹。并对未来运动轨迹进行透视变换和直接线性变换，转换为世界坐标系中的位置信息，预测车辆与行人的可能未来碰撞位置。结果显示目标检测精度达到93.889%，平均精度均值达96.753%，基于高精度的检测模型最终轨迹预测算法结果显示，预测损失随着训练步长的增加呈递减趋势，最终损失值均小于1%，其中平均位移误差降低了18.30%，最终位移误差降低了51.90%，本研究可为智能车辆避撞策略开发提供理论依据和参考。

关键词: 汽车碰撞行人事故, 行人轨迹预测, 目标检测, 多目标跟踪, 社交长短时记忆神经网络

Abstract:

In order to improve the reliability of perception and decision fusion of vulnerable road users in future autonomous vehicles， in this paper， a pedestrian future trajectory prediction method based on target detection algorithm （YOLOv5）， multi-target tracking algorithm （Deep-Sort） and Social-Long Short-Term Memory （Social-LSTM） neural network is proposed. Combining the YOLOv5 detection and Deep-Sort tracking algorithms， the problem of target loss during pedestrian detection and tracking can be effectively solved. A specific pedestrian target history trajectory is extracted as the input boundary conditions of the prediction framework， and Social-LSTM is used to predict the pedestrian future motion trajectory. The future motion trajectory is also subjected to perspective transformation and direct linear transformation， which is then converted into position information in the world coordinate system to predict the possible future collision locations of vehicles and pedestrians. The results show that the target detection accuracy reaches 93.889% and the average accuracy reaches 96.753%. The results of the final trajectory prediction algorithm based on the high accuracy detection model show that the prediction loss is decreasing with the increase of the training step， and the final loss values are less than 1%， among which the average displacement error is reduced by 18.30% and the final displacement error is reduced by 51.90%. This study can provide a theoretical basis and reference for the development of intelligent vehicle collision avoidance strategies.

Key words: car to pedestrian crash, pedestrian trajectory prediction, target detection, multi-target tracking, Social-LSTM

韩勇,林旭洁,黄红武,蔡鸿瑜,罗金镕,李燕婷. 典型汽车碰撞事故场景中行人运动轨迹预测方法[J]. 汽车工程, 2023, 45(6): 1022-1030.

Yong Han,Xujie Lin,Hongwu Huang,Hongyu Cai,Jinrong Luo,Yangting Li. An Approach for Predicting Pedestrian Trajectories in Typical Car Crash Scenarios[J]. Automotive Engineering, 2023, 45(6): 1022-1030.

图/表 18

表1

图1

图2

图3

图4

图5

图6

图7

图8

图9

表2

表3

图10

图11

图12

图13

表4

图14

参考文献 36

1	World Health Organization. Global status report on road safety 2018［R］. Geneva， Switzerland： World Health Organization， 2020.
2	曾令秋，马济森，韩庆文，等. 一种城市道路场景下行人危险度评估方法［J］. 湖南大学学报（自然科学版）， 2020， 47（8）：42-48.
	ZENG L Q， MA J S， HANG Q W， et al. A pedestrian hazard assessment method in urban road scene ［J］. Journal of Hunan University （Natural Sciences）， 2020，47（8）：42-48.
3	DALAL N， TRIGGS B. Histograms of oriented gradients for human detection［C］. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05）. IEEE， 2005， 1： 886-893.
4	ZHU Q， YEH M C， CHENG K T， et al. Fast human detection using a cascade of histograms of oriented gradients［C］. 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'06）. IEEE， 2006， 2： 1491-1498.
5	崔华，张骁，郭璐，等. 多特征多阈值级联AdaBoost行人检测器［J］.交通运输工程学报，2015，15（2）：109-117.
	CUI H， ZHANG X， GUO L， et al. Cascade AdaBoost pedestrian detector with multi-features and multi-thresholds［J］. Journal of Traffic and Transportation Engineering， 2015，15（2）：109-117.
6	孙炜，薛敏，孙天宇，等. 基于支持向量机优化的行人跟踪学习检测方法［J］.湖南大学学报（自然科学版），2016，43（10）：102-109.
	SUN W， XUE M， SUN T Y， et al. The optimized pedestrian tracking-learning-detection algorithm based on SVM ［J］. Journal of Hunan University（Natural Sciences）， 2016，43（10）：102-109.
7	REDMON J， FARHADI A. YOLO9000： better， faster， stronger［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 7263-7271.
8	朱行栋. 基于YOLOv5的行人检测方法研究［J］.农业装备与车辆工程，2022，60（4）：108-111.
	ZHU H D. Research on pedestrian detection method based on YOLOv5 ［J］. Agricultural Equipment & Vehicle Engineering， 2022，60（4）：108-111.
9	ZHU X， LYU S， WANG X， et al. TPH-YOLOv5： improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2021： 2778-2788.
10	ZHANG J， HUANG X， SHEN Y. Nearest neighbor method to estimate internal target for real-time tumor tracking［J］. Technology in Cancer Research & Treatment，2018，17（6）：1055665618760532.
11	COX I J， HINGORANI S L. An efficient implementation and evaluation of Reid's multiple hypothesis tracking algorithm for visual tracking［C］. Proceedings of 12th International Conference on Pattern Recognition. IEEE， 1994， 1： 437-442.
12	FORTMANN T， BAR-SHALOM Y， SCHEFFE M. Sonar tracking of multiple targets using joint probabilistic data association［J］. IEEE Journal of Oceanic Engineering， 1983， 8（3）： 173-184.
13	史胡祎. 基于深度学习的城市道路行人跟踪与轨迹预测研究［D］. 西安：西安理工大学，2021.
	SHI H W. Research on pedestrian tracking and trajectory prediction on urban road based on deep learning ［D］. Xi’an： Xi’an University of Technology，2021.
14	WOJKE N， BEWLEY A， PAULUS D. Simple online and realtime tracking with a deep association metric［C］. 2017 IEEE International Conference on Image Processing （ICIP）. IEEE， 2017： 3645-3649.
15	BEWLEY A， GE Z， OTT L， et al. Simple online and realtime tracking［C］. 2016 IEEE International Conference on Image Processing （ICIP）. IEEE， 2016： 3464-3468.
16	QIU X， SUN X， CHEN Y， et al. Pedestrian detection and counting method based on YOLOv5+ DeepSORT［C］. 4th International Symposium on Power Electronics and Control Engineering （ISPECE 2021）. SPIE， 2021， 12080： 177-181.
17	HELBING D， MOLNAR P. Social force model for pedestrian dynamics［J］. Physical Review E， 1995，51（5）：4282.
18	KOEHLER S， GOLDHAMMER M， BAUER S， et al. Stationary detection of the pedestrian's intention at intersections［J］. IEEE Intelligent Transportation Systems Magazine， 2013， 5（4）： 87-99.
19	KOOIJ J F P， SCHNEIDER N， FLOHR F， et al. Context-based pedestrian path prediction［C］. European Conference on Computer Vision. Springer， Cham， 2014：618-633.
20	ALAHI A， GOEL K， RAMANATHAN V， et al. Social lstm： human trajectory prediction in crowded spaces［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 961-971.
21	YAGI T， MANGALAM K， YONETANI R， et al. Future person localization in first-person videos［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018， 7593-7602.
22	任条娟，陈鹏，陈友荣，等. 基于深度学习的多目标运动轨迹预测算法［J］.计算机应用研究，2022，39（1）：296-302.
	REN T J， CHEN P， CHEN Y R， et al. Multi-target motion trajectory prediction algorithm based on deep learning ［J］. Application Research of Computers， 2022，39（1）：296-302.
23	王瑞平，宋晓，陈凯，等. 基于行人姿态的轨迹预测方法研究［J/OL］.北京航空航天大学学报：1-13［2022-05-23］.
	WANG R P， SONG X， CHEN K， et al. Research of pedestrian trajectory prediction method based on pedestrian pose ［J］. Journal of Beijing University of Aeronautics and Astronautics： 1-13［2022-05-23］.
24	曹昊天，施惠杰，宋晓琳，等. 基于多特征融合的行人意图以及行人轨迹预测方法研究［J/OL］.中国公路学报：1-14［2022-05-23］.
	CAO T H， SHI H J， SONG X L， et al. Research on pedestrian intention and pedestrian trajectory prediction method based on multi-feature fusion［J］. China Journal of Highway and Transport， 1-14［2022-05-23］.
25	李琳辉，周彬，连静，等. 基于社会注意力机制的行人轨迹预测方法研究［J］.通信学报，2020，41（6）：175-183.
	LI L H， ZHOU B， LIAN J， et al. Research on pedestrian trajectory prediction method based on social attention mechanism ［J］. Journal on Communications， 2020，41（6）：175-183.
26	李克强，熊辉，刘金鑫.面向弱势道路使用者的多目标运动轨迹预测方法［J］.中国公路学报，2022，35（1）：298-315.
	LI K Q， XIONG H， LIU J X. Multiple object motion trajectory prediction for vulnerable road user ［J］. China Journal of Highway and Transport， 2022，35（1）：298-315.
27	LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft coco： common objects in context［C］. Computer Vision-ECCV 2014： 13th European Conference， Zurich， Switzerland， September 6-12， 2014， Proceedings， Part V 13. Springer International Publishing， 2014： 740-755.
28	PELLEGRINI S， ESS A， SCHINDLER K， et al. You'll never walk alone： modeling social behavior for multi-target tracking［C］. 2009 IEEE 12th International Conference on Computer Vision. IEEE， 2009： 261-268.
29	DONG X， YAN S， DUAN C. A lightweight vehicles detection network model based on YOLOv5［J］. Engineering Applications of Artificial Intelligence， 2022， 113： 104914.
30	马永杰，马芸婷，程时升，等. 基于改进YOLO v3模型与Deep-SORT算法的道路车辆检测方法［J］.交通运输工程学报，2021，21（2）：222-231.
	MA Yongjie，MA Yunting，CHENG Shisheng，et al. Road vehicle detection method based on improved YOLO v3 model and deep-SORT algorithm［J］. Journal of Traffic and Transportation Engineering， 2021，21（2）：222-231.
31	张永梅，赖裕平，马健喆，等. 基于视频的装甲车和飞机检测跟踪及轨迹预测算法［J］.兵工学报，2021，42（3）：545-554.
	ZHANG Y M， LAI Y P， MA J Z， et al. A video-based prediction algorithm for armored vehicle and aircraft detection/tracking and trajectory［J］. Acta Armamentarii， 2021，42（3）：545-554.
32	方树，陈贤富.基于二倍体显性机制的透视变换矩阵参数优化［J］.信息技术与网络安全，2020，39（3）：40-43，55.
	FANG S， CHEN X F. Parameter optimization of perspective transformation matrix based on diploid dominant mechanism［J］. Information Technology and Network Security， 2020，39（3）：40-43，55.
33	韩学源，金先龙，张晓云，等. 基于视频图像与直接线性变换理论的车辆运动信息重构［J］.汽车工程，2012，34（12）：1145-1149.
	HAN X Y， JIN X L， ZHANG X Y， et al. Vehicle movement information reconstruction based on video lmages and DLT theory ［J］. Automotive Engineering， 2012，34（12）：1145-1149.
34	吴贺，韩勇，石亮亮，等.基于视频信息的高精度事故重建方法研究［J］.汽车工程，2020，42（6）.
	WU H， HAN Y， SHI L L， et al. Research on high precision accident reconstruction method based on video information［J］. Automotive Engineering， 2020，42（6）.
35	PAN D， HAN Y， JIN Q， et al. Study of typical electric two‐wheelers pre-crash scenarios using K-medoids clustering methodology based on video recordings in China［J］. Accident Analysis & Prevention， 2021， 160：106320.
36	中华人民共和国住房和城乡建设部. 城市道路交通标志和标线设置规范： GB 51038—2015 ［S］. 2015.
	Ministry of Housing and Urban-Rural Development of the People’s Republic of China. Specification for setting traffic signs and markings on urban roads： GB 51038—2015 ［S］. 2015.

Model	Size	Dataset	mAP（0.5）/%	FPS/Hz
YOLOv1	448×448	VOC 2007	63.4	45
YOLOv2	544×544	MS COCO	44.0	40
YOLOv3	608×608	MS COCO	57.9	20
YOLOv4	608×608	MS COCO	65.7	62
YOLOv5	640×640	MS COCO	55.4	113

指标	数据集	Social-LSTM ^［16］	Our-Social- LSTM	Our-Social-LSTM 误差降低率
平均位移误差	eth	0.50	0.074 2	42.48%
	hotel	0.11	0.096 9	1.31%
	zara1	0.22	0.082 6	13.74%
	zara2	0.25	0.099 4	15.06%
	ucy	0.27	0.082 0	18.80%
	Average	0.27	0.087	18.30%
最终位移误差	eth	1.07	0.088 6	98.14%
	hotel	0.23	0.098 6	13.14%
	zara1	0.48	0.087 7	39.23%
	zara2	0.50	0.097 3	40.27%
	ucy	0.77	0.088 9	68.11%
	Average	0.61	0.092	51.90%

事故	帧数	预测坐标	实际坐标
事故1	1	（369.9， 270.0）	（370，270）
	2	（460.1， 275.1）	（460，275）
	3	（585.0， 276.2）	（585，276）
	4	（733.0，275.0）	（733，275）
	5	（854.0， 275.0）	（854，275）
	误差	（±0.1，±0.1）
事故2	1	（94.9，60.1）	（95，60）
	2	（175.1，61.9）	（175，62）
	3	（245.0，63.0）	（245，63）
	4	（330.0，62.0）	（330，62）
	5	（450.0，60.0）	（450，60）
	误差	（±0.1，±0.1）

事故	帧数	拟合世界坐标	实际世界坐标
事故1	1	（-1.984， 2.380）	（-1.9，2.3）
	2	（-0.725， 2.380）	（0.7，2.3）
	3	（0.825， 2.240）	（0.8，2.2）
	4	（2.216， 2.233）	（2.1，2.2）
	5	（4.286， 2.068）	（4.2，2.0）
事故2	1	（-1.578，4.557）	（-1.5，4.5）
	2	（0.303，3.586）	（0.3，3.5）
	3	（2.359，3.282）	（2.3，3.2）
	4	（3.963，3.275）	（4.0，3.2）
	5	（6.331，3.379）	（6.3，3.3）

[1]	程腾,倪昊,张强,王文冲,石琴. 基于虚拟点云的二阶段多模态融合网络[J]. 汽车工程, 2024, 46(2): 222-229.
[2]	马雷, 杨顺清, 王欢欢, 翟家琛, 徐健傲. 融合图像显著性特征的轻量级目标检测算法[J]. 汽车工程, 2024, 46(1): 84-91.
[3]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[4]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.
[5]	陈妍妍,王海,蔡英凤,陈龙,李祎承. 基于检测的高效自动驾驶实例分割方法[J]. 汽车工程, 2023, 45(4): 541-550.
[6]	刘正发,吴亚,刘佩根,顾荣琦,陈广. 基于特征和标签联合分布匹配的智能驾驶跨域自适应目标检测[J]. 汽车工程, 2023, 45(11): 2082-2091.
[7]	胡杰,徐博远,熊宗权,昌敏杰,郭迪,谢礼浩. 基于多尺度掩码分类域自适应网络的跨域目标检测算法[J]. 汽车工程, 2022, 44(9): 1327-1338.
[8]	金立生,贺阳,王欢欢,霍震,谢宪毅,郭柏苍. 基于自适应阈值DBSCAN的路侧点云分割算法[J]. 汽车工程, 2022, 44(7): 987-996.
[9]	张哲雨,吕超,李景行,熊光明,吴绍斌,龚建伟. 基于车辆视角数据的行人轨迹预测与风险等级评定[J]. 汽车工程, 2022, 44(5): 675-683.
[10]	谢德胜,徐友春,陆峰,潘世举. 基于多传感器信息融合的3维目标实时检测[J]. 汽车工程, 2022, 44(3): 340-349.
[11]	刘子龙,沈祥飞. 融合Lite-HRNet的Yolo v5双模态自动驾驶小目标检测方法[J]. 汽车工程, 2022, 44(10): 1511-1520.
[12]	张炳力,秦浩然,江尚,郑杰禹,吴正海. 基于RetinaNet及优化损失函数的夜间车辆检测方法[J]. 汽车工程, 2021, 43(8): 1195-1202.
[13]	王海,李洋,蔡英凤,孙恺,陈龙. 基于激光雷达的3D实时车辆跟踪[J]. 汽车工程, 2021, 43(7): 1013-1021.
[14]	张炳力,詹叶辉,潘大巍,程进,宋伟杰,刘文涛. 基于毫米波雷达和机器视觉融合的车辆检测[J]. 汽车工程, 2021, 43(4): 478-484.
[15]	陈龙,朱程铮,蔡英凤,王海,李祎承. 基于自查询的车载多目标跟踪算法研究[J]. 汽车工程, 2021, 43(11): 1587-1593.