基于深度强化学习的驾驶员跟车模型研究

doi:10.19562/j.chinasae.qcgc.2021.04.015

汽车工程 ›› 2021, Vol. 43 ›› Issue (4): 571-579.doi: 10.19562/j.chinasae.qcgc.2021.04.015

基于深度强化学习的驾驶员跟车模型研究

郭景华¹(),李文昌^1,⁴,罗禹贡²,陈涛³,李克强²

^1.厦门大学机电工程系，厦门 361005
^2.清华大学车辆与运载学院，北京 100084
^3.中国汽车工程研究院股份有限公司，重庆 401122
^4.同济大学汽车学院，上海 201804

收稿日期:2020-10-14 出版日期:2021-04-25 发布日期:2021-04-23
通讯作者: 郭景华 E-mail:guojh@xmu.edu.cn
基金资助:
国家重点研发计划(2016YFB0100900);汽车安全与节能国家重点实验室开放基金课题(KF2011)

Driver Car⁃Following Model Based on Deep Reinforcement Learning

Jinghua Guo¹(),Wenchang Li^1,⁴,Yugong Luo²,Tao Chen³,Keqiang Li²

^1.School of Aerospace Engineering，Xiamen University，Xiamen 361005
^2.School of Vehicle and Mobility，Tsinghua University，Beijing 100084
^3.China Automotive Engineering Research Institute Co. ，Ltd. ，Chongqing 401122
^4.School of Automotive Studies，Tongji University，Shanghai 201804

Received:2020-10-14 Online:2021-04-25 Published:2021-04-23
Contact: Jinghua Guo E-mail:guojh@xmu.edu.cn

摘要/Abstract

摘要：

为提升智能驾驶系统的纵向跟车性能，本文构建了一种基于深度强化学习的驾驶员跟车模型。首先，设计了跟车场景截取准则并从自然驾驶数据中筛选出符合条件的典型跟车场景，并对其数据进行统计分析，即采用相关系数法分析了车间距、相对速度和车头时距等因素对驾驶员跟车行为的影响机理，得出驾驶员跟车行驶过程的行为特性及其影响因素。接着，基于深度确定性策略梯度算法建立了驾驶员跟车模型，将驾驶员跟车轨迹数据集输入到模拟跟车环境中，让智能体从经验数据中学习驾驶员的决策行为。最后，以原始工况数据为基准，对基于深度强化学习的跟车模型进行对比仿真验证，结果表明所构建的驾驶员跟车模型具有良好的跟踪性能，能真实地复现驾驶员的跟车行为。

关键词: 智能驾驶, 驾驶员模型, 跟车, 深度强化学习

Abstract:

To enhance the longitudinal car?following performance of intelligent driving system， a driver's car?following model based on deep reinforcement learning is constructed in this paper. Firstly， according to the selection rule defined of car following scenes， typical car?following scenes conforming to conditions are selected from the natural driving data， on which a statistical analysis is then conducted to analyze the influence mechanism of the factors of car spacing， relative speed and time headway on the car following behavior of driver by using correlation coefficient method， with the behavior characteristic and its affecting factors of driver's car following driving process obtained. Then a car following model of driver is established based on the deep deterministic policy gradient algorithm， and the driver's data set of car following trajectory is input into the simulated car following environment so that the intelligent agent can learn the decision?making behavior of driver from the empirical data. Finally， with the original data as the reference base， a comparative simulation verification is performed on the deep reinforcement learning?based car following model， with a result showing that the driver's car following model constructed has good tracking performance and can truly reproducing the car following behavior of driver.

Key words: intelligent driving, driver model, car following, deep reinforcement learning

郭景华,李文昌,罗禹贡,陈涛,李克强. 基于深度强化学习的驾驶员跟车模型研究[J]. 汽车工程, 2021, 43(4): 571-579.

Jinghua Guo,Wenchang Li,Yugong Luo,Tao Chen,Keqiang Li. Driver Car⁃Following Model Based on Deep Reinforcement Learning[J]. Automotive Engineering, 2021, 43(4): 571-579.

图/表 1

参考文献 17

1	郭景华，李克强，罗禹贡.智能车辆运动控制研究综述［J］. 汽车安全与节能学报， 2016（7）： 151-159.
	GUO J H， LI K Q， LUO Y G. Review on the research of motion control for intelligent vehicles［J］. Journal of Automotive Safety and Energy， 2016（7）：151-159.
2	BANDO M， HASEBE K， NAKAYAMA A， et al. Dynamical model of traffic congestion and numerical simulation［J］. Physical Review E， 1995， 51 （2）：1035-1042.
3	ZHANG G， SUN D H， LIU H， et al. Analysis of drivers' characteristics in car⁃following theory［J］. Modern Physics Letters B， 2014. 28（24）：1450291.
4	JIANG R， WU Q， ZHU Z. Full velocity difference model for a car⁃following theory［J］. Physical Review E： Statistical， Nonlinear， and Soft Matter Physics，2001，64：017101.
5	LU C， GONG J W， LV C， et al. A personalized behavior learning system for human⁃like longitudinal speed control of autonomous vehicles［J］.Sensors， 2019， 19（17）：3672.
6	PAPATHANASOPOULOU V， ANTONIOU C. Towards data⁃driven car⁃following models［J］. Transportation Research Part C， 2015， 55：496-509.
7	WANG J， ZHANG L F， LU S W， et al. Developing a car⁃following model with consideration of driver′s behavior based on an adaptive neuro⁃fuzzy inference system［J］.Journal of Intelligent & Fuzzy Systems，2016， 30（1）：461-466.
8	KHODAYARI A， GHAFFARI A， KAZEMI R， et al. A modified car⁃following model based on a neural network model of the human driver effects［J］. IEEE Transactions on Systems， Man， and Cybernetics Part A： Systems and Humans， 2012，42（6）： 1440-1449.
9	WANG X， JIANG R， LI L， et al. Capturing car⁃following behaviors by deep learning［J］. IEEE Transactions on Intelligent Transportation Systems， 2018， 19（3）：910-920.
10	王雪松，朱美新. 基于自然驾驶数据的中国驾驶人城市快速路跟驰模型标定与验证［J］. 中国公路学报， 2018， 31（9）： 129-138.
	WANG X S， ZHU M X. Calibrating and validating car⁃following models on urban expressways for chinese drivers using naturalistic driving data［J］.China Journal of Highway and Transport， 2018， 31（9）： 129-138.
11	郭景华，李克强，王进，等. 基于危险场景聚类分析的前车随机运动状态预测研究［J］. 汽车工程，2020， 42（7）： 847-853.
	GUO J H， LI K Q， WANG J， et al. Study on prediction of preceding vehicle's stochastic motion based on risk scenarios clustering analysis［J］.Automotive Engineering， 2020， 42（7）： 847 -853.
12	WANG W， XI J， ZHAO D. Learning and inferring a driver's braking action in car⁃following scenarios［J］. IEEE Transactions on Vehicular Technology， 2018，67（5）：3887-3899.
13	BEN-YAACOV A， MALTZ M， SHINAR D. Effects of an in⁃vehicle collision avoidance warning system on short⁃and long⁃term driving performance［J］. Human Factors： The Journal of the Human Factors and Ergonomics Society， 2002， 44（2）： 335-342.
14	BENDER A， AGAMENNONI G， WARD J R， et al. An unsupervised approach for inferring driver behavior from naturalistic driving data［J］. IEEE Transactions on Intelligent Transportation Systems， 2015，16（6）：3325-3336.
15	袁银龙. 深度强化学习算法及应用研究［D］. 广州：华南理工大学， 2019.
	YUAN Y L. Research on deep reinforcement learning algorithm and applications［D］. Guangzhou： South China University of Technology， 2019.
16	MNIH V， KAVUKCUOGLU K， SILVER D， et al. Human⁃level control through deep reinforcement learning［J］. Nature， 2015，518：529-533.
17	TREIBER M， HENNECKE A， HELBING D. Congested traffic states in empirical observations and microscopic simulations ［J］. Physical Review E， 2000， 62 （2）：1805-1824.

[1]	秦洪懋,沈国利,周云水,黄圣杰,秦晓辉,谢国涛,丁荣军. 特征稀疏场景下基于标签的车辆视觉SLAM[J]. 汽车工程, 2023, 45(9): 1543-1552.
[2]	郑燚,张世民,陆云龙. 基于AUTOSAR的域控制器以太网通信系统设计实现[J]. 汽车工程, 2023, 45(6): 965-973.
[3]	胡杰,刘昊岩,张敏超,张志豪,朱琪,陈锐鹏,骆嫚. 基于有限状态机的代客泊车决策规划系统研究[J]. 汽车工程, 2023, 45(2): 243-252.
[4]	刘正发,吴亚,刘佩根,顾荣琦,陈广. 基于特征和标签联合分布匹配的智能驾驶跨域自适应目标检测[J]. 汽车工程, 2023, 45(11): 2082-2091.
[5]	李捷,吴晓东,许敏,刘永刚. 基于强化学习的城市场景多目标生态驾驶策略[J]. 汽车工程, 2023, 45(10): 1791-1802.
[6]	李江坤,邓伟文,任秉韬,王文奇,丁娟. 基于场景动力学和强化学习的自动驾驶边缘测试场景生成方法[J]. 汽车工程, 2022, 44(7): 976-986.
[7]	唐斌,许占祥,江浩斌,蔡英凤,胡子添,杨铮奕. 基于分段优化的车辆换道避障轨迹规划[J]. 汽车工程, 2022, 44(6): 831-841.
[8]	刘巧斌,杨路,高博麟,王建强,李克强. 基于认知风险动态平衡的智能汽车跟车模型[J]. 汽车工程, 2022, 44(11): 1627-1635.
[9]	鲁光泉,陈发城,李鹏辉,翟俊达,谭海天,赵鹏云. 驾驶人跟车风险接受水平对其接管绩效的影响[J]. 汽车工程, 2021, 43(6): 808-814.
[10]	张昊,范钦灏,王巍,黄晋,王志. 基于强化学习的多燃烧模式混合动力能量管理策略[J]. 汽车工程, 2021, 43(5): 683-691.
[11]	高振海,闫相同,高菲,孙天骏. 仿驾驶员DDPG汽车纵向自动驾驶决策方法[J]. 汽车工程, 2021, 43(12): 1737-1744.
[12]	郭景华, 李克强, 王进, 陈涛, 李文昌, 王班. 基于危险场景聚类分析的前车随机运动状态预测研究^*[J]. 汽车工程, 2020, 42(7): 847-853.
[13]	刘志强, 韩静文, 倪捷. 智能网联环境下的多车协同换道策略研究^*[J]. 汽车工程, 2020, 42(3): 299-306.
[14]	周楠, 陈刚. 机器人驾驶车辆深度强化学习换挡策略^*[J]. 汽车工程, 2020, 42(11): 1473-1481.
[15]	李亚勇, 蔡英凤, 陈龙, 孙晓强, 何友国, 张云顺. 考虑前后方车辆行驶状态的ACC系统控制方法^*[J]. 汽车工程, 2019, 41(8): 865-871.

基于深度强化学习的驾驶员跟车模型研究

Driver Car⁃Following Model Based on Deep Reinforcement Learning

RichHTML

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

图/表 1

参考文献 17

相关文章 15

Metrics

本文评价

推荐阅读 10