面向城市道路的智能网联汽车多车道轨迹优化方法

doi:10.19562/j.chinasae.qcgc.2024.02.006

摘要/Abstract

摘要：

为提高城市路网下智能网联汽车的通行效率以及燃油效率，提出面向城市道路的多车道时空轨迹优化方法。首先，结合多车道时空位置关系定义智能网联汽车状态与约束，综合考虑通行效率与燃油经济性构建时空轨迹复合优化模型，并采用庞特里亚金极大值算法进行求解。然后，本文设定协同换道的规则，并通过Q-learning算法获取最优的换道策略。最后，通过SUMO/Python联合仿真验证了该方法可以在不同车辆饱和程度、绿信比状态及最低通行速度条件下有效提高通行效率，且燃油效率得到明显改善。

关键词: 智能网联汽车, 多车道轨迹优化, Q-学习, 城市交通网络, SUMO/Python联合仿真

Abstract:

In order to improve the traffic efficiency and fuel utilization efficiency of intelligent connected vehicles （ICVs） under urban traffic networks， a multilane spatiotemporal trajectory optimization method is proposed in this paper. Firstly， the state and constraints of the ICVs are defined based on the multi-lane spatiotemporal position relationship and the compound optimization model of spatiotemporal trajectory is constructed by considering the traffic efficiency and fuel economy， which is solved by the Pontryagin Maximum algorithm. Furthermore， the rules of cooperative lane change are designed to obtain the optimal lane change strategy by Q-learning algorithm. Finally， the SUMO/Python co-simulation tests show that the method can effectively improve the traffic efficiency under different vehicle saturation levels， split allocation， and minimum traffic speed conditions， with great improvement of fuel efficiency.

Key words: intelligent connected vehicles, multi-lane trajectory optimization, Q-learning, urban traffic network, SUMO/Python co-simulation

王庞伟,刘程,汪云峰,张名芳. 面向城市道路的智能网联汽车多车道轨迹优化方法[J]. 汽车工程, 2024, 46(2): 241-252.

Pangwei Wang,Cheng Liu,Yunfeng Wang,Mingfang Zhang. Multi-lane Trajectory Optimization for Intelligent Connected Vehicles in Urban Road Network[J]. Automotive Engineering, 2024, 46(2): 241-252.

图/表 14

图1

图2

图3

表1

Q-learning算法"

Q-learning算法
1	初始化 $q (s, a)$
2	while （ $π (s) = a r g m a x a q (s, a)$ ）
3	｛选择初始状态s₀，参考ε-greedy策略在状态 $s 0$ 处执行动作 $a 0$ ；
4	while （ $s t = s T$ ）
5	｛（1）参考ε-greedy策略在状态 $s t$ 处的执行动作 $a t$ ，获取奖励 $r t$ 和下一时刻状态 $s t + 1$ ；
6	（2） $q (s t, a t) ← q (s t, a t) + a (r t + 1 + γ m a x a q (s t + 1, a) - q (s t, a t))$ ；
7	（3） $s t = s t + 1$ ；｝｝
8	最优换道策略 $π (s) = a r g m a x a q (s, a)$

表1

图4

表2

图5

图6

图7

图8

表3

图9

图10

图11

参考文献 29

1	朱庆功，刘俊女，赵笑春，等. 北京市轻型汽油车蒸发排放总量评估［J］. 中国环境科学， 2022， 42（3）： 1066-1072.
	ZHU Q G， LIU J N， ZHAO X C， et al. Estimation of light-duty vehicles total evaporative emissions in Beijing［J］. China Environmental Science， 2022， 42（3）： 1066-1072.
2	《中国公路学报》编辑部.中国交通隧道工程学术研究综述·2022［J］. 中国公路学报， 2022， 35（4）： 1-40.
	Editorial Board of the China Journal of Highway and Transport. Review on China’s tunnel engineering research： 2022［J］. China Journal of Highway and Transport， 2022， 35（4）： 1-40.
3	LI B， ZHANG Y M， FENG Y H， et al. Balancing computation speed and quality： a decentralized motion planning method for cooperative lane changes of connected and automated vehicles［J］. IEEE Transactions on Intelligent Vehicles， 2018， 3（3）： 340-350.
4	NOROUZI A， KAZEMI R， ABBASSI O R. Path planning and re-planning of lane change maneuvers in dynamic traffic environments［J］. International Journal of Vehicle Autonomous Systems， 2019， 14（3）： 239-264.
5	宗芳，石佩鑫，王猛，等. 考虑前后多车的网联自动驾驶车辆混流跟驰模型［J］. 中国公路学报， 2021， 34（7）： 105-117.
	ZONG F， SHI P X， WANG M， et al. Connected and automated vehicle mixed-traffic car-following model considering states of multiple front and rear vehicles［J］. China Journal of Highway and transport， 2021， 34（7）： 105-117.
6	崔洁茗，余贵珍，周彬，等. 基于神经网络的车辆强制换道预测模型［J］. 北京航空航天大学学报， 2022， 48（5）： 890-897.
	CUI J M， YU G Z， ZHOU B， et al. Neural network-based prediction model for forced lane change of vehicles［J］. Journal of Beijing University of Aeronautics and Astronautics， 2022， 48（5）： 890-897.
7	HAO L， SUN B H， LI G， et al. The eco-driving considering coordinated control strategy for the intelligent electric vehicles［J］. IEEE Access， 2021， 9： 10686-10698.
8	YANG Z， FENG Y H， LIU H. A cooperative driving framework for urban arterials in mixed traffic conditions［J］. Transportation Research Part C： Emerging Technologies， 2021， 124.
9	鲁工圆，王超宇，沈子力，等.面向追踪间隔压缩的高速铁路列车运行时空轨迹优化［J］. 铁道学报， 2021， 43（7）： 10-18.
	LU G Y， WANG C Y， SHEN Z L， et al. Headway compression oriented space-time trajectory optimization for high-speed railway trains［J］. Journal of the China Railway Society， 2021， 43（7）： 10-18.
10	赵蒙，于梦琦，胡祥培.新零售背景下药品协同配送优化研究［J］. 系统工程理论与实践， 2021， 41（2）： 297-309.
	ZHAO M， YU M Q， HU X P. Optimization scheduling method of drug collaborative distribution under the background of new retail［J］. System Engineering – Theory & Practice， 2021， 41（2）： 297-309.
11	LOIS D， WANG Y， BOGGIO-MARZET A， et al. Multivariate analysis of fuel consumption related to eco-driving： interaction of driving patterns and external factors［J］. Transportation Research Part D： Transport and Environment， 2019， 72： 232-242.
12	赵祥模，张心睿，王润民，等. 网联交叉口信号-车辆轨迹协同优化控制方法［J］. 汽车工程， 2021， 43（11）： 1577-1586.
	ZHAO X M， ZHANG X R， WANG R M， et al. Cooperative optimization control method of traffic signals and vehicle trajectories at connected intersection［J］. Automotive Engineering， 2021， 43（11）： 1577-1586.
13	FONSECA J C， GABRIELA C S， NETO J M， et al. A multi-agent system for solving the dynamic capacitated vehicle routing problem with stochastic customers using trajectory data mining［J］. Expert Systems with Applications， 2022， 195， June 1.
14	KÜHLMORGEN S， LU H， FESTAG A， et al. Evaluation of congestion-enabled forwarding with mixed data traffic in vehicular communications［J］. IEEE Transactions on Intelligent Transportation Systems， 2020， 21（1）： 233-247.
15	REINOLSMANN N， ALHAJYASEEN W， BRIJS T， et al. Investigating the impact of dynamic merge control strategies on driving behavior on rural and urban expressways-a driving simulator study［J］. Transportation Research Part F： Traffic Psychology and Behaviour， 2019， 65： 469-484.
16	WEI Y， AVCI C， LIU J， et al. Dynamic programming-based multi-vehicle longitudinal trajectory optimization with simplified car following models［J］. Transportation Research Part B： Methodological， 2017， 106： 102-129.
17	TANVIR S， CHASE R， ROUPAHIL N. Development and analysis of eco-driving metrics for naturalistic instrumented vehicles［J］. Journal of Intelligent Transportation Systems， 2021， 25（3）： 235-248.
18	王庞伟，于洪斌，张为，等. 城市车路协同系统下实时交通状态评价方法［J］. 中国公路学报， 2019， 32（6）： 176-187.
	WANG P W， YU H B， ZHANG W， et al. Real-time traffic status evaluation method for urban cooperative vehicle infrastructure system［J］. China Journal of Highway and Transport， 2019， 32（6）： 176-187.
19	LI L， GAN J， ZHOU K， et al. A novel lane-changing model of connected and automated vehicles： using the safety potential field theory［J］. Physica A： Statistical Mechanics and Its Applications， 2020， 559： 125039.
20	WANG P W， WANG Y F， WANG X， et al. An intelligent actuator of an indoor logistics system based on multi-sensor fusion［J］. Actuators， 2021， 10（6）： 120.
21	黄玲，郭亨聪，张荣辉，等. 人机混驾环境下基于LSTM的无人驾驶车辆换道行为模型［J］. 中国公路学报， 2020， 33（7）： 156-166.
	HUANG L， GUO H C， ZHANG R H， et al. LSTM-based lane-changing behavior model for unmanned vehicle under environment of heterogeneous human-driven and autonomous vehicles［J］. China Journal of Highway and Transport， 2020， 33（7）： 156-166.
22	YAO H D， LI X P. Lane-change-aware connected automated vehicle trajectory optimization at a signalized intersection with multi-lane roads［J］. Transportation Research Part C： Emerging Technologies， 2021， 129.
23	PATLE B K， JHA A， PANDEY A， et al. The optimized path for a mobile robot using fuzzy decision function［J］. Materials Today： Proceedings， 2019， 18（7）： 3575-3581.
24	LIU Y， ZHANG X J， GUAN X M， et al. Adaptive sensitivity decision based path planning algorithm for unmanned aerial vehicle with improved particle swarm optimization［J］. Aerospace Science and Technology， 2016（58）： 92-102.
25	张哲，丁海涛，张袅娜，等.智能网联电动汽车经济性巡航速度规划［J］. 汽车工程， 2022， 44（4）： 609-616，637.
	ZHANG Z， DING H T， ZHANG N N， et al. Economic cruising speed planning of intelligent network connected electric vehicle［J］. Automotive Engineering， 2022， 44（4）： 609-616，637.
26	WANG P W， DENG H， ZHANG J， et al. Model predictive control for connected vehicle platoon under switching communication topology［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（7）： 7817-7830.
27	王树凤，孙文盛，刘宗锋.车辆稳定换道时的侧向加速度分析［J］.机械设计与制造， 2020， 7： 17-20，24.
	WANG S F， SUN W S， LIU Z F. Analysis on lateral acceleration of lane changing in vehicle stability［J］. Machinery Design & Manufacture， 2020， 7：17-20，24.
28	SWIDAN H. Integrating AIMSUN micro simulation model with portable emissions measurement system （PEMS）： calibration and validation case study［D］. North Carolina State University， 2011.
29	AKCELIK R. Efficiency and drag in the power-based model of fuel consumption［J］. Transportation Research Part B： Methodological， 1989， 23（5）： 376-385.

参数	设定值
权重系数w₁	100
权重系数w₂	50
权重系数w₃	10
权重系数w₄	200
权重系数w₅	1
权重系数w₆	5
权重系数w₇	50

饱和度为0.6/0.8/1.0	基准仿真控制方法	GPPA	本文方法
平均值/s	84.58/96.91/125.81	79.30/90.22/116.40	77.24/88.15/113.69
标准差	9.77/12.81/16.53	6.59/8.30/13.33	4.07/6.66/10.19
收益/%	0.00/0.00/0.00	6.24/6.90/7.48	8.68/9.04/6.63

[1]	胡林,谷子逸,王丹琦,王方,邹铁方,黄晶. 汽车安全性测评规程现状及趋势展望[J]. 汽车工程, 2024, 46(2): 187-200.
[2]	关书睿,李克强,周俊宇,石佳,孔伟伟,罗禹贡. 面向强制换道场景的智能网联汽车协同换道策略[J]. 汽车工程, 2024, 46(2): 201-210.
[3]	左政,王云鹏,麻斌,邹博松,曹耀光,杨世春. 基于AFC-TARA的车载网络组件风险率量化评估分析[J]. 汽车工程, 2023, 45(9): 1553-1562.
[4]	李升波,占国建,蒋宇轩,兰志前,张宇航,邹文俊,陈晨,成波,李克强. 类脑学习型自动驾驶决控系统的关键技术[J]. 汽车工程, 2023, 45(9): 1499-1515.
[5]	刘济铮,王震坡,孙逢春,张雷. 异构智能网联汽车编队延迟补偿控制研究[J]. 汽车工程, 2023, 45(9): 1573-1582.
[6]	吴思宇,于文浩,邢星宇,张玉新,李楚照,李雪轲,古昕昱,李云巍,马小涵,路伟,王政,郝圳茂,王红,李骏. 基于关键场景的预期功能安全双闭环测试验证方法[J]. 汽车工程, 2023, 45(9): 1583-1607.
[7]	边有钢,张田田,谢和平,秦洪懋,杨泽宇. 车辆队列抗扰抗内切协同路径跟踪控制[J]. 汽车工程, 2023, 45(8): 1320-1332.
[8]	朱冰,姜泓屹,赵健,韩嘉懿,刘彦辰. 智能网联汽车协同感知信任度动态计算与评价方法[J]. 汽车工程, 2023, 45(8): 1383-1391.
[9]	关宇昕,冀浩杰,崔哲,李贺,陈丽文. 智能网联汽车车载CAN网络入侵检测方法综述[J]. 汽车工程, 2023, 45(6): 922-935.
[10]	胡耘浩,李克强,向云丰,石佳,罗禹贡. 智能网联汽车通用跨平台实时仿真系统架构及应用[J]. 汽车工程, 2023, 45(3): 372-381.
[11]	刘浩天,魏洪乾,时培成,张幽彤. 基于帧间隔-总线电压混合特征的汽车ECU伪装攻击识别[J]. 汽车工程, 2023, 45(11): 2070-2081.
[12]	李捷,吴晓东,许敏,刘永刚. 基于强化学习的城市场景多目标生态驾驶策略[J]. 汽车工程, 2023, 45(10): 1791-1802.
[13]	钱立军,陈晨,陈健,陈欣宇,熊驰. 基于Q学习模型的无信号交叉口离散车队控制[J]. 汽车工程, 2022, 44(9): 1350-1358.
[14]	钟文沁,孔伟伟,李志恒,于杰,罗禹贡. 不同渗透率下非信控交叉路口混合预约多车协同控制[J]. 汽车工程, 2022, 44(8): 1144-1152.
[15]	陈一鹤,孔伟伟,于杰,李克强,罗禹贡. 混合交通下非信控交叉口队列预约式控制[J]. 汽车工程, 2022, 44(7): 953-959.