基于逆向强化学习的纵向自动驾驶决策方法

doi:10.19562/j.chinasae.qcgc.2022.07.003

摘要/Abstract

摘要：

基于人类驾驶员数据获得自动驾驶决策策略是当前自动驾驶技术研究的热点。经典的强化学习决策方法大多通过设计安全性、舒适性、经济性相关公式人为构建奖励函数，决策策略与人类驾驶员相比仍然存在较大差距。本文中使用最大边际逆向强化学习算法，将驾驶员驾驶数据作为专家演示数据，建立相应的奖励函数，并实现仿驾驶员的纵向自动驾驶决策。仿真测试结果表明：相比于强化学习方法，逆向强化学习方法的奖励函数从驾驶员的数据中自动化的提取，降低了奖励函数的建立难度，得到的决策策略与驾驶员的行为具有更高的一致性。

关键词: 自动驾驶, 决策算法, 强化学习, 逆向强化学习

Abstract:

Obtaining autonomous driving decision-making strategies by using human driver data is a hot spot in current research on autonomous driving technology. Most of the classic reinforcement learning decision-making methods artificially construct reward functions by designing formulas related to safety， comfort， and economy， which leads to a big gap between decision-making strategies and human drivers. This paper uses the maximum margin inverse reinforcement learning algorithm. Taking the driver’s driving data as expert demonstration data， a reward function is established， and the longitudinal autonomous driving decision-making by imitating the driver is realized. The simulation test results show that compared with the reinforcement learning method， the reward function of the inverse reinforcement learning method is automatically extracted from the driver's data， which reduces the difficulty of establishing the reward function， and the obtained decision-making strategy has higher consistency with the driver’s behavior.

Key words: autonomous driving, decision-making algorithm, reinforcement learning, inverse reinforcement learning（IRL）

高振海,闫相同,高菲. 基于逆向强化学习的纵向自动驾驶决策方法[J]. 汽车工程, 2022, 44(7): 969-975.

Zhenhai Gao,Xiangtong Yan,Fei Gao. A Decision-making Method for Longitudinal Autonomous Driving Based on Inverse Reinforcement Learning[J]. Automotive Engineering, 2022, 44(7): 969-975.

图/表 10

图1

表1

表2

图2

图3

图4

图5

图6

图7

图8

参考文献 24

1	邱锡鹏.神经网络与深度学习［M］.北京：机械工业出版社，2020： 329.
	QIU X P. Neural networks and deep learning［M］. Beijing： China Machine Press， 2020： 329.
2	CHARLES D， BRAHIM C. Cooperative adaptive cruise control： a reinforcement learning approach［J］.IEEE Transactions on Intelligent Transportation Systems， 2011， 12（4）： 1248-1260.
3	高振海，孙天骏，何磊.汽车纵向自动驾驶的因果推理型决策［J］.吉林大学学报（工学版），2019，49（5）：1392-1404.
	GAO Z H， SUN T J， HE L. Causal reasoning decision⁃making for vehicle longitudinal autonomous driving［J］. Journal of Jilin University （Engineering and Technology Edition）， 2019， 49（5）： 1392-1404.
4	YE Y J， ZHANG X H， SUN J. Automated vehicle's behavior decision making using deep reinforcement learning and high-fidelity simulation environment［J］.Transportation Research： Part C， 2019， 107： 155-170.
5	ZHU M X， WANG Y H， PU Z Y， et al. Safe， efficient， and comfortable velocity control based on reinforcement learning for autonomous driving［J］.Transportation Research Part C： Emerging Technologies， 2020， 117：102662.
6	郭应时，蒋拯民，白艳，等.无人驾驶汽车路径跟踪控制方法拟人程度研究［J］. 中国公路学报，2018，31（8）：189-196.
	GUO Y S， JIANG Z M， BAI Y， et al. Investigation of humanoid level of path tracking methods based on autonomous vehicles［J］. China Journal of Highway and Transport， 2018， 31（8）： 189-196.
7	BLESA W， EBOSA J E， GRAAF B， et al. Motion sickness： only one provocative conflict［J］. Brain Research Bulletin， 1998， 47（5）：481-487.
8	PAN F， BAO H．Reinforcement learning model with a reward function based on human driving characteristics［C］. Proceedings of the 15th International Conference on Computational Intelligence and Security， IEEE， 2019： 225-229.
9	GU T， DOLAN J M. Toward human-like motion planning in urban environments［C］. 2014 IEEE Intelligent Vehicles Symposium Proceedings， IEEE， 2014： 350-355.
10	LEFÈVRE S， CARVALHO A， BORRELLI F. Autonomous car following： a learning-based approach［C］. 2015 IEEE Intelligent Vehicles Symposium （IV）， IEEE， 2015： 920–926.
11	KUDERER M S， BURGARD W. Learning driving styles for autonomous vehicles from demonstration［C］. IEEE International Conference on Robotics and Automation （ICRA）， 2015：2641–2646.
12	ZOU Q J， XIONG K， HOU Y L. An end-to-end learning of driving strategies based on DDPG and imitation learning［C］. 2020 Chinese Control and Decision Conference （CCDC）， IEEE， 2020： 3190-3195.
13	ZHU M X， WANG X S， WANG Y H， et al. Human-like autonomous car-following model with deep reinforcement learning［J］. Transportation Research： Part C，2018， 97： 348-368.
14	CHEN X， ZHAI Y， LU C， et al. A learning model for personalized adaptive cruise control［C］. 2017 IEEE Intelligent Vehicles Symposium （IV）， IEEE， 2017： 379-384.
15	刘旖菲. 逆向强化学习研究概述［J］. 电脑知识与技术， 2021，17（15）： 190-191.
	LIU Y F. An overview of inverse reinforcement learning［J］. Computer Knowledge and Technology， 2021， 17（15）： 190-191.
16	GAO H B， SHI G Y， XIE G T， et al. Car-following method based on inverse reinforcement learning for autonomous vehicle decision-making［J］. International Journal of Advanced Robotic Systems， 2018， 15（6）： 1-11.
17	NG A Y， RUSSELL S J. Algorithms for inverse reinforcement learning［C］. Proceedings of 17th International Conference on Machine Learning， Morgan Kaufmann， 2000： 663-670.
18	冯超. 强化学习精要：核心算法与TensorFlow实现［M］. 北京：电子工业出版社，2018：329-371.
	FENG C. Essentials of reinforcement learning： core algorithm and Tensorflow implementation［M］. Beijing： Publishing House of Electronics Industry， 2018：329-371.
19	周志华. 机器学习［ M］.北京：清华大学出版社， 2015：390-392.
	ZHOU Z H. Machine learning［M］. Beijing： Tsinghua University Publishing House， 2015：390-392.
20	YOU C X， LU J B， FILEV D， et al. Advanced planning for autonomous vehicles using reinforcement learning and deep inverse reinforcement learning［J］. Robotics and Autonomous Systems， 2019， 144： 1-18.
21	唐明弘，高振海，宋学伟. 基于逆向强化学习的ACC拟人化决策算法研究［C］.2020中国汽车工程学会年会，2020：125-131.
	TANG M H， GAO Z H， SONG X W， et al. Research on the human-like decision algorithm of ACC based on inverse reinforcement learning ［C］. 2020 China Society of Automotive Engineering Congress， 2020：125-131.
22	XIA C， KARMEL A E. Neural inverse reinforcement learning in autonomous navigation［J］. Robotics and Autonomous Systems， 2016， 84：1-14.
23	ABBEEL P， NG A Y. Apprenticeship learning via inverse reinforcement learning［C］. International Conference on Machine Learning，2004：1-8.
24	高振海，闫相同，高菲. 驾驶员DDPG汽车纵向自动驾驶决策方法［J］. 汽车工程，2021，43（12）： 1737-1744.
	GAO Z H， YAN X T， GAO F. A driver-like decision-making method for longitudinal autonomous driving based on DDPG ［J］. Automotive Engineering， 2021，43（12）： 1737-1744.

[1]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[2]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[3]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.
[4]	刘卫国,项志宇,刘伟平,齐道新,王子旭. 基于分布式强化学习的车辆控制算法研究[J]. 汽车工程, 2023, 45(9): 1637-1645.
[5]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[6]	朱向雷,吴志新,张宇飞,赵帅,李克秋,孙博华. 基于场景降维及采样方法的场景库优化方法研究[J]. 汽车工程, 2023, 45(8): 1408-1416.
[7]	吴新政,邢星宇,刘力豪,沈勇,陈君毅. 基于错误注入的决策规划系统抗扰性测试与分析[J]. 汽车工程, 2023, 45(8): 1428-1437.
[8]	高锋,冯德福,胡秋霞. 面向NMPC运动规划系统的数值优化加速技术[J]. 汽车工程, 2023, 45(8): 1438-1447.
[9]	芦涛,金馨,廖毅霏,黄圣杰,杨依琳,谢国涛,秦晓辉. 基于雅克比域零空间边缘化的视觉SLAM[J]. 汽车工程, 2023, 45(8): 1457-1467.
[10]	伍文广,田双岳,张志勇,张斌. 非铺装道路凹凸不平特征语义分割方法研究[J]. 汽车工程, 2023, 45(8): 1468-1478.
[11]	林程, 汪博文, 吕沛原, 宫新乐, 于潇. 面向变曲率道路的自动驾驶汽车换道博弈运动规划与协同控制研究[J]. 汽车工程, 2023, 45(7): 1099-1111.
[12]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[13]	李军, 周伟, 唐爽. 基于自适应拟合的智能车换道避障轨迹规划[J]. 汽车工程, 2023, 45(7): 1174-1183.
[14]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.
[15]	金立生,韩广德,谢宪毅,郭柏苍,刘国峰,朱文涛. 基于强化学习的自动驾驶决策研究综述[J]. 汽车工程, 2023, 45(4): 527-540.