基于Q学习模型的无信号交叉口离散车队控制

doi:10.19562/j.chinasae.qcgc.2022.09.006

摘要/Abstract

摘要：

针对智能网联汽车在交通瓶颈处的行车效率问题，提出了一种面向无信号灯交叉口的车队协同控制策略。首先，根据基于车队的交通流模型和车队在交叉口的占用时间，提出了一个车队路权分配的控制框架。其次，以瞬时效率、行车延误等为复合指标，设计了一个Q学习模型来有条件地挑选车队规模。最后，依据跟车模型对分组后的车辆进行在线轨迹规划仿真。结果表明，Q学习模型可针对不同工况灵活地分配组队指令，并保证车队运动过程中的全局安全性。与非组队方法对比，所提方法可将交叉口的通行能力提升约36.1%。

关键词: 智能网联汽车, 无信号灯交叉口, 多车队协同, Q学习模型, 轨迹规划

Abstract:

In order to enhance the driving efficiency of connected and automated vehicles （CAVs） at traffic bottlenecks， a platoon cooperative control strategy at an unsignalized intersection is proposed. Firstly， a control framework for the allocation of the right of way for platoons is put forward based on the traffic flow model and occupied time of platoons at the intersection. Then， a Q-learning model is designed to conditionally select platoon sizes， with instantaneous efficiency and travel delays as compound indicators. Finally， an online trajectory planning simulation is carried out for the grouped vehicles based on vehicle following model. The results show that the Q-learning model can flexibly allocate the platooning commands according to different working conditions and ensure the overall safety of platoons during driving process. Compared with the nonplatoon scheme， the traffic capacity of the intersection is increased by around 36.1%.

Key words: connected and automated vehicles, unsignalized intersection, multi-platoon cooperation, Q-learning model, trajectory planning

钱立军,陈晨,陈健,陈欣宇,熊驰. 基于Q学习模型的无信号交叉口离散车队控制[J]. 汽车工程, 2022, 44(9): 1350-1358.

Lijun Qian,Chen Chen,Jian Chen,Xinyu Chen,Chi Xiong. Discrete Platoon Control at an Unsignalized Intersection Based on Q-learning Model[J]. Automotive Engineering, 2022, 44(9): 1350-1358.

图/表 14

图1

图2

图3

图4

表1

Q模型仿真参数"

变量名称	变量说明	取值
$ω 1$	$X 1$ 权重	0.481
$ω 2$	$X 2$ 权重	0.267
$ω 3$	$X 3$ 权重	0.148
$ω 4$	$X 4$ 权重	0.106
$n m a x$	最大车队规模	3辆
$α$	模型学习率	0.001
$γ$	折扣因子	0.800

表1

表2

道路及车辆参数"

变量名称	变量说明	取值
$d m$	合流区尺寸	50 m
$d c$	协同区尺寸	30 m
$d b$	观察区尺寸	80 m
$d s$	子区间尺寸	15 m
$d r$	车道宽度	3.5 m
$d 0$	跟车安全距离	2.0 m
$x ˙$	车速范围	0~40 km/h
$x ¨$	加速度范围	-5~5 m/s²
$v 0$	初始车速	40 km/h
$v m$	到达合流区时车速	25 km/h
$l$	车辆长度	4.5 m

表2

图5

图6

图7

图8

图9

图10

图11

图12

参考文献 20

1	AHMANE M， ABBAS-TURKI A， PERRONNET F， et al. Modeling and controlling an isolated urban intersection based on cooperative vehicles ［J］. Transportation Research Part C： Emerging Technologies， 2013， 28： 44-62.
2	BIAN Y， LI S E， REN W， et al. Cooperation of multiple connected vehicles at unsignalized intersections： Distributed observation， optimization， and control ［J］. IEEE Transactions on Industrial Electronics， 2019， 67（12）： 10744-10754.
3	MENG Y， LI L， WANG F Y， et al. Analysis of cooperative driving strategies for nonsignalized intersections ［J］. IEEE Transactions on Vehicular Technology， 2017， 67（4）： 2900-2911.
4	LIANG K Y， MARTENSSOM J， JOHANSSON K H. Heavy-duty vehicle platoon formation for fuel efficiency ［J］. IEEE Transactions on Intelligent Transportation Systems， 2015， 17（4）： 1051-1061.
5	赵祥模，张心睿，王润民，等. 网联交叉口信号-车辆轨迹协同优化控制方法［J］. 汽车工程， 2021， 43（11）： 1577-1586.
	ZHAO X M， ZHANG X R， WANG R M， et al. Cooperative optimization control method of traffic signals and vehicle trajectories at connected intersection ［J］. Automotive Engineering， 2021， 43（11）：1577-1586.
6	BASHIRI M， FLEMING C H. A platoon-based intersection management system for autonomous vehicles ［C］. 2017 IEEE Intelligent Vehicles Symposium （IV）， 2017.
7	LIORIS J， PEDARSANI R， TASCIKARAOGLU F Y， et al. Platoons of connected vehicles can double throughput in urban roads ［J］. Transportation Research Part C： Emerging Technologies， 2017， 77： 292-305.
8	YU C， SUN W， LIU H X， et al. Managing connected and automated vehicles at isolated intersections： from reservation-to optimization-based methods ［J］. Transportation Research Part B： Methodological， 2019， 122： 416-435.
9	BASHIRI M， JAFARZADEH H， FLEMING C H. Paim： platoon-based autonomous intersection management ［C］. 21st International Conference on Intelligent Transportation Systems （ITSC）， 2018.
10	YOUNES M B， BOUKERCHE A. Intelligent traffic light controlling algorithms using vehicular networks ［J］. IEEE Transactions on Vehicular Technology， 2015， 65（8）： 5887-5899.
11	余伶俐，邵玄雅，龙子威，等.智能车辆深度强化学习的模型迁移轨迹规划方法［J］. 控制理论与应用， 2019， 36（9）： 1409-1422.
	YU L L， SHAO X Y， LONG Z W， et al. Intelligent land vehicle model transfer trajectory planning method of deep reinforcement learning ［J］. Control Theory & Applications， 2019， 36（9）： 1409-1422.
12	HOEL C J， DRIGGS-CAMPBELL K， WOLFF K， et al. Combining planning and deep reinforcement learning in tactical decision making for autonomous driving ［J］. IEEE Transactions on Intelligent Vehicles， 2019， 5（2）： 294-305.
13	LIN P， LIU J， JIN P J， et al. Autonomous vehicle-intersection coordination method in a connected vehicle environment ［J］. IEEE Intelligent Transportation Systems Magazine， 2017， 9（4）： 37-47.
14	XU B， LI S E， BIAN Y， et al. Distributed conflict-free cooperation for multiple connected vehicles at unsignalized intersections ［J］. Transportation Research Part C： Emerging Technologies， 2018， 93： 322-334.
15	LI B， ZHANG Y， ZHANG Y， et al. Near-optimal online motion planning of connected and automated vehicles at a signal-free and lane-free intersection ［C］. 2018 IEEE Intelligent Vehicles Symposium （IV）， 2018.
16	COLOMBO A， DEL VECCHIO D. Least restrictive supervisors for intersection collision avoidance： a scheduling approach ［J］. IEEE Transactions on Automatic Control， 2014， 60（6）： 1515-1527.
17	AMIRGHOLY M， NOURINEJAD M， GAO H O. Optimal traffic control at smart intersections： automated network fundamental diagram ［J］. Transportation Research Part B： Methodological， 2020， 137： 2-18.
18	TOUHBI S， BABRAM M A， NGUYEN-HUU T， et al. Adaptive traffic signal control： exploring reward definition for reinforcement learning ［J］. Procedia Computer Science， 2017， 109： 513-520.
19	李茹，马育林，田欢，等.基于熵值和G1法的自动驾驶车辆综合智能定量评价［J］. 汽车工程， 2020， 42（10）： 1327-1334.
	LI R， MA Y L， TIAN H， et al. Comprehensive intelligent quantitative evaluation of autonomous vehicle based on entropy and G1 methods ［J］. Automotive Engineering， 2020， 42（10）： 1327-1334.
20	CHEN C， WU B， XUAN L， et al. A discrete control method for the unsignalized intersection based on cooperative grouping ［J］. IEEE Transactions on Vehicular Technology， 2022， 71（1）： 123-136.

[1]	胡林,谷子逸,王丹琦,王方,邹铁方,黄晶. 汽车安全性测评规程现状及趋势展望[J]. 汽车工程, 2024, 46(2): 187-200.
[2]	关书睿,李克强,周俊宇,石佳,孔伟伟,罗禹贡. 面向强制换道场景的智能网联汽车协同换道策略[J]. 汽车工程, 2024, 46(2): 201-210.
[3]	王庞伟,刘程,汪云峰,张名芳. 面向城市道路的智能网联汽车多车道轨迹优化方法[J]. 汽车工程, 2024, 46(2): 241-252.
[4]	刘济铮,王震坡,孙逢春,张雷. 异构智能网联汽车编队延迟补偿控制研究[J]. 汽车工程, 2023, 45(9): 1573-1582.
[5]	吴思宇,于文浩,邢星宇,张玉新,李楚照,李雪轲,古昕昱,李云巍,马小涵,路伟,王政,郝圳茂,王红,李骏. 基于关键场景的预期功能安全双闭环测试验证方法[J]. 汽车工程, 2023, 45(9): 1583-1607.
[6]	左政,王云鹏,麻斌,邹博松,曹耀光,杨世春. 基于AFC-TARA的车载网络组件风险率量化评估分析[J]. 汽车工程, 2023, 45(9): 1553-1562.
[7]	李升波,占国建,蒋宇轩,兰志前,张宇航,邹文俊,陈晨,成波,李克强. 类脑学习型自动驾驶决控系统的关键技术[J]. 汽车工程, 2023, 45(9): 1499-1515.
[8]	边有钢,张田田,谢和平,秦洪懋,杨泽宇. 车辆队列抗扰抗内切协同路径跟踪控制[J]. 汽车工程, 2023, 45(8): 1320-1332.
[9]	朱冰,姜泓屹,赵健,韩嘉懿,刘彦辰. 智能网联汽车协同感知信任度动态计算与评价方法[J]. 汽车工程, 2023, 45(8): 1383-1391.
[10]	李军, 周伟, 唐爽. 基于自适应拟合的智能车换道避障轨迹规划[J]. 汽车工程, 2023, 45(7): 1174-1183.
[11]	关宇昕,冀浩杰,崔哲,李贺,陈丽文. 智能网联汽车车载CAN网络入侵检测方法综述[J]. 汽车工程, 2023, 45(6): 922-935.
[12]	钱立军,陈晨,陈健. 无信控交叉口环境下考虑驾驶员误差的集中式轨迹规划[J]. 汽车工程, 2023, 45(5): 768-776.
[13]	胡耘浩,李克强,向云丰,石佳,罗禹贡. 智能网联汽车通用跨平台实时仿真系统架构及应用[J]. 汽车工程, 2023, 45(3): 372-381.
[14]	张洪昌,宁鹏,杨杰,宋建伟,郝麟,曾娟. 基于双层求解策略的平行泊车轨迹规划[J]. 汽车工程, 2023, 45(12): 2299-2309.
[15]	刘浩天,魏洪乾,时培成,张幽彤. 基于帧间隔-总线电压混合特征的汽车ECU伪装攻击识别[J]. 汽车工程, 2023, 45(11): 2070-2081.