基于混合专家模型的智能网联汽车换道决策方法

doi:10.19562/j.chinasae.qcgc.2024.ep.001

摘要/Abstract

摘要：

高速公路换道决策问题场景复杂、不确定性强、实时性要求高，是国内外自动驾驶领域的研究热点和难点。深度强化学习（deep reinforcement learning，DRL）具有良好的决策实时性和面向复杂场景的适应性，然而，在训练样本与成本有限的条件下学习效果有限，其难以保证最优的驾驶效率和完全的行驶安全性。本文提出了一种基于改进DRL的混合专家模型（DRL-mixture of expert，DRL-MOE）换道决策方法。首先，模型的上层分类器根据输入状态特征动态地决定下层DRL专家或启发式专家的激活状态。为提高DRL专家的学习效果，本方法通过行为克隆（behavior cloning，BC）对神经网络参数进行初始化，对传统深度确定性策略梯度算法（deep deterministic policy gradient，DDPG）进行了改进。将智能驾驶员模型和最小化换道引起的总制动策略设计为启发式专家，以确保行驶安全性。仿真结果表明，本文所提出的DRL-MOE模型方法与非混合专家型DRL方法相比，在驾驶效率方面提高了15.04％，并确保了零碰撞和零出界，具有较高的鲁棒性和更优的效果。

关键词: 自动驾驶, 高速换道决策, 深度强化学习, 混合专家模型

Abstract:

The problem of lane-changing decision-making on highways，characterized by complex scenarios，strong uncertainty，and high real-time requirements，is a research hotspot and challenge in the field of autonomous driving both domestically and internationally. Deep Reinforcement Learning （DRL） exhibits excellent real-time decision-making capabilities and adaptability to complex scenarios. However，under the constraints of limited training samples and cost，its learning effectiveness remains limited，making it difficult to ensure optimal driving efficiency and complete driving safety. In this paper， a DRL-Mixture of Expert （DRL-MOE） lane-changing decision-making method based on the improved DRL model is proposed. Firstly，the upper-level classifier dynamically determines the activation status of the lower-level DRL expert or heuristic expert based on the input state features. Then， to enhance the learning effectiveness of the DRL expert，the method utilizes Behavior Cloning （BC） for initializing the neural network parameters to make improvements on the traditional Deep Deterministic Policy Gradient （DDPG） algorithm. Finally， the Intelligent Driver Model （IDM） and the strategy of Minimizing Overall Braking Induced by Lane changes （MOBIL） are designed as heuristic experts to ensure driving safety. The simulation results show that compared to non-mixed expert DRL methods，the proposed DRL-MOE model improves driving efficiency by 15.04%，ensuring zero collisions and zero departures，demonstrating higher robustness and superior performance.

Key words: autonomous driving, high speed lane change decision-making, deep reinforcement learning, mixture of expert

姚福星,孙超,兰云港,卢兵,王博,于海洋. 基于混合专家模型的智能网联汽车换道决策方法[J]. 汽车工程, 2024, 46(5): 882-892.

Fuxing Yao,Chao Sun,Yungang Lan,Bing Lu,Bo Wang,Haiyang Yu. A Lane Change Decision Method for Intelligent Connected Vehicles Based on Mixture of Expert Model[J]. Automotive Engineering, 2024, 46(5): 882-892.

图/表 12

图1

表1

IDM和MOBIL参数设置"

参数	数值
加速度参数 $δ$	4
期望时间间隔 $T$ /s	1.5
最大加速度 $a m a x$ /（m·s^-2）	6
舒适减速度 $b$ /（m·s^-2）	5
安全减速度限制 $b s a f e$ /（m·s^-2）	2
最小相对距离 $d 0$ /m	10
礼让因子 $p$	0.001
换道决策阈值 $a t h$ /（m·s^-2）	0.2

表1

表2

DDPG奖励函数相关参数设置"

奖励系数	数值	奖励系数	数值
$k 1$	2	$k 3.3$	-1
$k 2.1$	4	$k 4.1$	-100
$k 2.2$	-5	$k 4.2$	-100
$k 2.3$	-2	$k 5.1$	-100
$k 3.1$	5	$k 5.2$	-100
$k 3.2$	1

表2

表3

DDPG模型相关参数设置"

超参数名称	数值
学习率 $α$	$3 e - 4$
折扣因子 $γ$	0.99
缓冲池大小	$1 e 6$
批次大小	128

表3

图2

表4

图3

图4

表5

图5

表6

图6

参考文献 25

1	LI L，OTA K，DONG M. Humanlike driving： empirical decision-making system for autonomous vehicles［J］. IEEE Transactions on Vehicular Technology，2018，67（8）：6814-6823.
2	IOANNOU P， CHIEN C. A rule-based approach to lane change maneuvers on highways［J］. IEEE Transactions on Vehicular Technology，1993，42（4）：657-672.
3	CAO Y，YU X， SHEN W. A fuzzy logic-based approach for autonomous vehicle lane change decision-making［J］. IEEE Transactions on Intelligent Transportation Systems，2003，4（2）：89-102.
4	KIRAN B R， SOBH I， TALPAERT V，et al. Deep reinforcement learning for autonomous driving： a survey［J］. IEEE Transactions on Intelligent Transportation Systems，2021.
5	LIU X，LI H，WANG J，et al. Personalized automatic driving system based on reinforcement learning technology［C］. 2019 4th International Conference on Mechanical，Control and Computer Engineering （ICMCCE）. IEEE，2019：373-3733.
6	ALIZADEH A， MOGHADAM M， BICER Y，et al. Automated lane change decision making using deep reinforcement learning in dynamic and uncertain highway environment［C］.2019 IEEE Intelligent Transportation Systems Conference （ITSC） . IEEE，2019：1399-1404.
7	ZHANG S，PENG H，NAGESHRAO S，et al. Discretionary lane change decision making using reinforcement learning with model-based exploration［C］.2019 18th IEEE International Conference on Machine Learning And Applications （ICMLA），IEEE，2019： 844-850.
8	FU Y，LI C，YU F，et al. A decision-making strategy for vehicle autonomous braking in emergency via deep reinforcement learning［J］. IEEE Transactions on Vehicular Technology，2020，69（6）：5876-5888.
9	HUANG Z，WU J， LV C. Driving behavior modeling using naturalistic human driving data with inverse reinforcement learning［J］. IEEE Transactions on Intelligent Transportation Systems，2021.
10	WU Z，SUN L，ZHAN W，et al. Efficient sampling-based maximum entropy inverse reinforcement learning with application to autonomous driving［J］. IEEE Robotics and Automation Letters，2020，5（4）：5355-5362.
11	金立生，韩广德，谢宪毅，等. 基于强化学习的自动驾驶决策研究综述［J］. 汽车工程，2023，45（4）： 527-540.
	JIN L，HAN G，XIE X，et al. Review of autonomous driving decision-making research based on reinforcement learning［J］. Automotive Engineering，2023，45（4）： 527-540.
12	SHI T，WANG P，CHENG X，et al. Driving decision and control for automated lane change behavior based on deep reinforcement learning［C］. 2019 IEEE Intelligent Transportation Systems Conference （ITSC） . IEEE，2019： 2895-2900.
13	YE F，CHENG X，WANG P，et al. Automated lane change strategy using proximal policy optimization-based deep reinforcement learning［C］. 2020 IEEE Intelligent Vehicles Symposium （IV） . IEEE，2020：1746-1752.
14	YUAN K，HUANG Y，YANG S，et al.Evolutionary decision-making and planning for autonomous driving based on safe and rational exploration and exploitation［J］.Engineering，2023，VISSN 2095-8099.
15	LI Z，XIONG L，LENG B，et al.Safe reinforcement learning of lane change decision making with risk-fused constraint［C］.2023 IEEE 26th International Conference on Intelligent Transportation Systems （ITSC），Bilbao，Spain，2023：1313-131.
16	高振海，闫相同，高菲，等. 仿驾驶员DDPG汽车纵向自动驾驶决策方法［J］. 汽车工程，2021，43（12）： 1737-1744.
	GAO Z，YAN X，GAO F，et al. A driver-like decision-making method for longitudinal autonomous driving based on DDPG［J］. Automotive Engineering，2021，43（12）： 1737-1744.
17	WANG P，LI H， CHAN C Y. Quadratic Q-network for learning continuous control for autonomous vehicles［J］. arXiv preprint arXiv：，2019.
18	LI X，QIU X，WANG J，et al. A deep reinforcement learning based approach for autonomous overtaking［C］. 2020 IEEE International Conference on Communications Workshops （ICC Workshops） . IEEE，2020：1-5.
19	TANG X，HUANG B，LIU T，et al. Highway decision-making and motion planning for autonomous driving via soft actor-critic［J］. IEEE Transactions on Vehicular Technology，2022， 71（5）：4706-4717.
20	TREIBER M，HENNECKE A， HELBING D. Congested traffic states in empirical observations and microscopic simulations［J］. Physical Review E，2000，62（2）：1805.
21	KESTING A，TREIBER M， HELBING D. General lane-changing model mobil for car-following models［J］. Transportation Research Record，2007，1999（1）：86-94.
22	KONG J，PFEIFFER M，SCHILDBACH G，et al. Kinematic and dynamic vehicle models for autonomous driving control design［C］. 2015 IEEE Intelligent Vehicles Symposium （IV） . IEEE，2015：1094-1099.
23	ATAEI M，KHAJEPOUR A，JEON S. Reconfigurable integrated stability control for four-and-three wheeled urban vehicles with flexible combinations of actuation systems［J］. IEEE/ASME Transactions on Mechatronics，2018，23（5）：2031-2041.
24	ZHOU M，QU X，JIN S. On the impact of cooperative autonomous vehicles in improving freeway merging： a modified intelligent driver model-based approach［J］. IEEE Transactions on Intelligent Transportation Systems，2016，18（6）：1422-1428.
25	LEURENT E. An environment for autonomous driving decision-making （version 1.4）［CP］. https：//github.com/eleurent/highway-env，2018.

算法名称	平均速度/（m·s^-1）	碰撞率/%	出界率/%
IDM+MOBIL	20.15	0	0
DQN	20.78	17	2
PPO	23.98	15	8
SAC	24.52	18	10
DDPG w/o BC	24.14	22	6
DDPG w/ BC	25.85	8	4
DRL-MOE	29.74	0	0

测试条件名称	不同参数设置	DRL-MOE 平均速度/（m·s^-1）	DRL-MOE 碰撞率/%	DRL-MOE 出界率%	DDPG w/ BC平均速度/（m·s^-1）	DDPG w/ BC碰撞率/%	DDPG w/ BC出界率/%
默认条件		29.74	0	0	25.85	8	4
行驶时间变化，其他环境条件不变	300时间步	28.71	2	1	25.22	13	6
	400时间步	28.54	3	2	24.88	15	7
	500时间步	28.51	5	1	24.17	19	10
车流密度变化，其他环境条件不变	1.1倍	27.76	2	1	24.11	12	8
	1.2倍	25.98	2	2	23.09	19	13
	1.3倍	25.46	3	2	21.97	31	15
车道数变化，其他环境条件不变	5车道	29.45	0	1	25.33	11	4
加速度范围变化，其他环境条件不变	［-3.5， 3.5］ m/s²	28.01	0	0	23.96	7	6
	［-3， 3］ m/s²	26.12	1	0	23.36	9	6
	［-2.5， 2.5］ m/s²	25.62	1	1	23.18	8	11

测试条件名称	不同参数设置	DRL-MOE 平均速度/（m·s^-1）	DRL-MOE碰撞率/%	DRL-MOE出界率/%	DDPG w/ BC平均速度/（m·s^-1）	DDPG w/ BC 碰撞率/%	DDPG w/ BC 出界率/%
默认条件（与训练集相同）（φ = 0.7， α = 0）		26.74	4	0	22.06	25	14
道路附着系数φ变化，其他环境条件不变	0.65	24.55	8	1	20.11	33	11
	0.60	23.89	7	3	19.56	29	17
	0.55	22.68	8	5	18.95	36	15
坡度α变化，其他环境条件不变	0.5%	26.23	4	0	21.76	26	15
	1.0%	26.28	4	0	21.92	24	14
	1.5%	25.54	4	0	21.74	26	14

[1]	李梦凡,冯忠祥,张卫华,李靖宇. 面向人机共驾模式下驾驶人接管过程的视觉转移特性研究[J]. 汽车工程, 2024, 46(5): 795-804.
[2]	杜国栋,邹渊,张旭东,孙文景,孙巍. 基于双估计强化学习结合前向预测控制的自动驾驶运动控制研究[J]. 汽车工程, 2024, 46(4): 564-576.
[3]	丁志杰,王亚飞,章翼辰,邬明宇,王亦乐. 基于复合动态采样的自动驾驶矿车节能路径规划方法[J]. 汽车工程, 2024, 46(4): 588-595.
[4]	刘辉,张发旺,聂士达,段京良,郭丛帅,郭凌雄. 基于逆模型预测控制的拟人驾驶控制[J]. 汽车工程, 2024, 46(4): 596-604.
[5]	张培兴,秦孔建,朱冰,赵健,范天昕,赵文博. 自动驾驶仿真多逻辑场景综合评价方法[J]. 汽车工程, 2024, 46(3): 375-382.
[6]	周亦威,夏莫,朱冰. 城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究[J]. 汽车工程, 2024, 46(3): 396-406.
[7]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[8]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[9]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.
[10]	刘卫国,项志宇,刘伟平,齐道新,王子旭. 基于分布式强化学习的车辆控制算法研究[J]. 汽车工程, 2023, 45(9): 1637-1645.
[11]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[12]	朱向雷,吴志新,张宇飞,赵帅,李克秋,孙博华. 基于场景降维及采样方法的场景库优化方法研究[J]. 汽车工程, 2023, 45(8): 1408-1416.
[13]	吴新政,邢星宇,刘力豪,沈勇,陈君毅. 基于错误注入的决策规划系统抗扰性测试与分析[J]. 汽车工程, 2023, 45(8): 1428-1437.
[14]	高锋,冯德福,胡秋霞. 面向NMPC运动规划系统的数值优化加速技术[J]. 汽车工程, 2023, 45(8): 1438-1447.
[15]	芦涛,金馨,廖毅霏,黄圣杰,杨依琳,谢国涛,秦晓辉. 基于雅克比域零空间边缘化的视觉SLAM[J]. 汽车工程, 2023, 45(8): 1457-1467.