考虑不同时域的商用车预见性巡航控制

doi:10.19562/j.chinasae.qcgc.2024.11.011

摘要/Abstract

摘要：

预见性巡航控制（predictive cruise control，PCC）在规划层以预测节能为目标进行长时域的速度规划，执行层对规划速度进行短时域的跟踪控制。由于规划层与执行层有着不同时间尺度步长要求，在系统设计中很难将二者置于一个优化控制问题中。因此，本文采用分层控制思想，在规划层基于改进的双延迟深度确定性策略梯度算法（twin delayed deep deterministic policy gradient algorithm，TD3）获得预测时域内长周期的规划速度；在执行层基于模型预测控制（model predictive control，MPC）以规划速度为参考速度，同时考虑发动机油耗特性和变速器换挡规律，对规划速度在短时域内作进一步的经济性优化，并进行跟踪控制。硬件在环验证结果表明，将改进的TD3与MPC相结合可以改善PCC在规划与执行中的时间尺度不一致问题，并有效降低重型商用车在巡航过程中的燃油消耗量和换挡频次。

关键词: 预见性巡航, 速度规划与控制, 深度强化学习, 模型预测控制

Abstract:

Predictive cruise control （PCC） performs long-term speed planning at the planning layer with the objective of predicting energy savings and short-term tracking control for the vehicle speed at the execution layer. Integrating these layers into a single optimal control problem poses significant challenges in system design due to the different time scale step requirements between the planning layer and the execution layer. To address this challenge， a hierarchical control approach is adopted in this paper. At the planning layer， an improved twin delayed deep deterministic policy gradient （TD3） algorithm is utilized to determine the long-term planning speed over the prediction horizon. Meanwhile， at the execution layer， based on model predictive control （MPC）， taking the planned vehicle speed as the reference speed and considering engine fuel consumption characteristics and transmission shift laws， further economic optimization and tracking control of the planned speed are carried out in the short term. The hardware-in-the-loop （HIL） validation results show that combining the improved TD3 algorithm with MPC effectively resolves the time scale inconsistency between planning and execution in PCC， which can significantly reduce both fuel consumption and shift frequency during the cruising of heavy-duty commercial vehicles.

Key words: predictive cruising, speed planning and control, deep reinforcement learning, model predictive control

耿小虎,付尧,王杰,雷雨龙,刘卫东,王玉海,刘科. 考虑不同时域的商用车预见性巡航控制[J]. 汽车工程, 2024, 46(11): 2046-2058.

Xiaohu Geng,Yao Fu,Jie Wang,Yulong Lei,Weidong Liu,Yuhai Wang,Ke Liu. Predictive Cruise Control for Commercial Vehicles Considering Different Time Domains[J]. Automotive Engineering, 2024, 46(11): 2046-2058.

图/表 29

图1

图2

图3

图4

图5

图6

图7

图8

图9

图10

图11

图12

图13

表1

参考速度序列生成"

参考速度序列生成
$v r e f = [?]$
$f o r ? i = 0 ? t o ? N p ? d o :$
$???? u k + i = T D 3 P C C (s h k + i, v h k + i, α (s h k + i))$
$???? [s h k + i + 1, v h k + i + 1] T = f ([s h k + i, v h k + i] T, u (k + i))$
$???? v r e f · a p p e n d (v h (k + i + 1))$
End for

表1

图14

图15

图16

表2

表3

图17

图18

图19

图 20

图 21

表4

图22

图23

图 24

表5

参考文献 38

1	徐向阳，赵俊玮，董鹏，等. 双碳目标下商用车动力传动系统技术特征与展望［J］. 汽车安全与节能学报， 2023， 14（4）： 395-412.
	XU X Y， ZHAO J W， DONG P， et al. Technical characteristics and prospects of power transmissions for commercial vehicles under the “Carbon-Peak and Carbon-Neutrality” target ［J］. Journal of Automotive Safety and Energy， 2023， 14（4）： 395-412.
2	洪金龙，高炳钊，董世营，等. 智能网联汽车节能优化关键问题与研究进展［J］. 中国公路学报， 2021， 34（11）： 306-334.
	HONG J L， GAO B Z， DONG S Y， et al. Key problems and research progress of energy saving optimization for intelligent connected vehicles ［J］. China Joural of Highway and Transport， 2021， 34（11）： 306-334.
3	李兴坤，郑旭光，王国晖，等. 重型商用车预见性自适应巡航控制策略研究［J］. 汽车工程， 2022， 44（5）： 649-655，674.
	LI X K， ZHENG X G， ZHENG W H， et al. Research on control strategy of predictive adaptive cruise control of heavy duty commercial vehicle ［J］. Automotive Engineering， 2022， 44（5）： 649-655，674.
4	HE D F， HE W T， SONG X L. Efficient predictive cruise control of autonomous vehicles with improving ride comfort and safety ［J］. Meas Control-Uk， 2020， 53（1-2）： 18-28.
5	WANG Z， CHU D F， GAO B L， et al. Cloud-based platoon predictive cruise control considering fuel-efficient and platoon stability ［J］. J Transp Eng a-Syst， 2024， 150（3）.
6	LIU T， HU X S， LI S E， et al. Reinforcement learning optimized look-ahead energy management of a parallel hybrid electric vehicle ［J］. IEEE-Asme T Mech， 2017， 22（4）： 1497-1507.
7	XU Z H， LI J H， XIAO F， et al. Energy-saving model predictive cruise control combined with vehicle driving cycles ［J］. Int J Auto Tech-Kor， 2022， 23（2）： 439-450.
8	孙超，刘波，孙逢春. 新能源汽车节能规划与控制技术研究综述［J］. 汽车安全与节能学报， 2022， 13（4）： 593-616.
	SUN C， LIU B， SUN F C. Review of energy-saving planning and control technology for new energy vehicles ［J］. Journal of Automotive Safety and Energy， 2022， 13 （4）： 593-616.
9	CHEN H， GUO L L， DING H T， et al. Real-time predictive cruise control for eco-driving taking into account traffic constraints ［J］. IEEE T Intell Transp， 2019， 20（8）： 2858-2868.
10	HE D F， SHI Y J， SONG X L. Weight-free multi-objective predictive cruise control of autonomous vehicles in integrated perturbation analysis and sequential quadratic programming optimization framework ［J］. J Dyn Syst-T Asme， 2019， 141（9）.
11	WANG S Y， LIN X K. Eco-driving control of connected and automated hybrid vehicles in mixed driving scenarios ［J］. Appl Energ， 2020， 271.
12	ZAINUDDIN M A S， ABDULLAH M， AHMAD S， et al. Performance comparison between predictive functional control and PID algorithms for automobile cruise control system ［J］. Int J Automo Mech E， 2022， 19（1）： 9460-9468.
13	HE D F， PENG B B. Gaussian learning-based fuzzy predictive cruise control for improving safety and economy of connected vehicles ［J］. Iet Intelligent Transport Systems， 2020， 14（5）： 346-355.
14	LIU X， LIU Y W， CHEN Y， et al. Enhancing the fuel-economy of V2I-assisted autonomous driving： a reinforcement learning approach ［J］. IEEE T Veh Technol， 2020， 69（8）： 8329-8342.
15	MAADI S， STEIN S， HONG J， et al. Real-time adaptive traffic signal control in a connected and automated vehicle environment： optimisation of signal planning with reinforcement learning under vehicle speed guidance ［J］. Sensors-Basel， 2022， 22（19）.
16	SHEN D L， KARBOWSKI D， ROUSSEAU A. Fuel-optimal periodic control of passenger cars in cruise based on pontryagin's minimum principle ［J］. Ifac Papersonline， 2018， 51（31）： 813-820.
17	王建强，俞倩雯，李升波，等. 基于道路坡度实时信息的经济车速优化方法［J］. 汽车安全与节能学报， 2014， 5（3）： 257-262.
	WANG J Q， YU Q W， LI S B， et al. Eco speed optimization based on real-time information of road gradient ［J］. Journal of Automotive Safety and Energy， 2014， 5（3）： 257-262.
18	王玉海，李兴坤，张鹏雷，等. 基于ADAS地图的载货车预见巡航实时优化算法［J］. 汽车工程， 2020， 42（10）： 1335-1339，1411.
	WANG Y H， LI X K， ZHANG P L， et al. Real-time optimization algorithm for truck predictive cruise based on ADAS map ［J］. Automotive Engineering， 2020， 42 （10）： 1335-1339，1411.
19	LI S E， GUO Q Q， XU S B， et al. Performance enhanced predictive control for adaptive cruise control system considering road elevation information ［J］. IEEE T Intell Vehicl， 2017， 2（3）： 150-160.
20	JIA Y， JIBRIN R， ITOH Y， et al. Energy-optimal adaptive cruise control for electric vehicles in both time and space domain based on model predictive control ［J］. Ifac Papersonline， 2019， 52（5）： 13-20.
21	邓小豪，侯进，谭光鸿，等. 基于强化学习的多目标车辆跟随决策算法［J］. 控制与决策， 2021， 36（10）： 2497-2503.
	DENG X H， HOU J， TAN G H， et al. Multi-objective vehicle following decision algorithm based on reinforcement learning ［J］. Control and Decision， 2021， 36（10）： 2497-2503.
22	MYNUDDIN M， GAO W N. Distributed predictive cruise control based on reinforcement learning and validation on microscopic traffic simulation ［J］. Iet Intelligent Transport Systems， 2020， 14（5）： 270-277.
23	LI J， WU X D， FAN J W. Speed planning for connected and automated vehicles in urban scenarios using deep reinforcement learning ［J］. 2022 IEEE Vehicle Power and Propulsion Conference （Vppc）， 2022.
24	HE W L， HUANG Y. Real-time energy optimization of hybrid electric vehicle in connected environment based on deep reinforcement learning ［J］. Ifac Papersonline， 2021， 54（10）： 176-181.
25	GUO J H， LI W C， LUO Y G， et al. Model predictive adaptive cruise control of intelligent electric vehicles based on deep reinforcement learning algorithm FWOR driver characteristics ［J］. Int J Auto Tech-Kor， 2023， 24（4）： 1175-1187.
26	LI G Q， GORGES D. Ecological adaptive cruise control for vehicles with step-gear transmission based on reinforcement learning ［J］. IEEE T Intell Transp， 2020， 21（11）： 4895-4905.
27	HELLSTRöM E， IVARSSON M， ÅSLUND J， et al. Look-ahead control for heavy trucks to minimize trip time and fuel consumption ［J］. Control Eng Pract， 2009， 17（2）： 245-254.
28	GUO L L， GAO B Z， GAO Y， et al. Optimal energy management for HEVs in eco-driving applications using Bi-level MPC ［J］. IEEE T Intell Transp， 2017， 18（8）： 2153-2162.
29	YANG J R， PENG W F， SUN C. A learning control method of automated vehicle platoon at straight path with DDPG-based PID （vol 10， 2580， 2021）［J］. Electronics-Switz， 2022， 11（4）.
30	ZHU M X， WANG Y H， PU Z Y， et al. Safe， efficient， and comfortable velocity control based on reinforcement learning for autonomous driving ［J］. Transport Res C-Emer， 2020， 117.
31	ZHU M X， WANG X S， WANG Y H. Human-like autonomous car-following model with deep reinforcement learning ［J］. Transport Res C-Emer， 2018， 97： 348-368.
32	LEE H， CHA S W. Energy management strategy of fuel cell electric vehicles using model-based reinforcement learning with data-driven model update ［J］. IEEE Access， 2021， 9： 59244-59254.
33	LEE H， KANG C， PARK Y I， et al. Online data-driven energy management of a hybrid electric vehicle using model-based Q-learning ［J］. IEEE Access， 2020， 8： 84444-84454.
34	BADINGS T， SIMAO T D， SUILEN M， et al. Decision-making under uncertainty： beyond probabilities challenges and perspectives ［J］. Int J Softw Tools Te， 2023， 25（3）： 375-391.
35	WU J D， HUANG Z Y， LV C. Uncertainty-aware model-based reinforcement learning： methodology and application in autonomous driving ［J］. IEEE T Intell Vehicl， 2023， 8（1）： 194-203.
36	YEOM K. Learning model predictive control for efficient energy management of electric vehicles under car following and road slopes ［J］. Energy Rep， 2022， 8： 599-604.
37	LIN M， SUN Z Q， XIA Y Q， et al. Reinforcement learning-based model predictive control for discrete-time systems ［J］. IEEE T Neur Net Lear， 2024， 35（3）： 3312-3324.
38	CHU Z Z， WANG D， MENG F. An adaptive RBF-NMPC architecture for trajectory tracking control of underwater vehicles ［J］. Machines， 2021， 9（5）.

参数	数值或设置
参数	策略网络	价值网络
输入层维度	3	4
隐藏层1和2	128/无	128/128
输出层	1	1
隐藏层激活函数	ReLU	ReLU
输出层激活函数	tanh	tanh
优化器	Adam	Adam

参数	数值或设置
策略网络学习率	5e-4
价值网络学习率	5e-3
回报衰减率	0.98
软更新参数	0.000 5
经验回放数组维度	10 000
训练最小经验回放维度	1 000
单次更新采样经验回放数组	64
预测数组	200
单次更新采样预测数组	20
OU噪声标准差/均值	0.15/0
OU噪声回归系数	0.15

项目	CC	RL规划	RL-MPC
燃油消耗/kg	1.368	1.283	1.268
换挡次数	6	4	4
行驶距离/m	3 999.99	4 004.09	4 004.09

算法	CC	RL规划	RL-MPC
燃油消耗/kg	9.525	8.573	8.232
换挡次数	118	62	51
行驶距离/m	26 500	26 500	26 500

[1]	钱立军,陈健,赵丰,陈欣宇,宣亮. 基于快速随机模型预测控制的网联混合车队生态驾驶策略研究[J]. 汽车工程, 2024, 46(9): 1587-1599.
[2]	苏东旭,赵治国,赵坤,李刚,于勤. 基于可拓相平面稳定域划分的Tube-MPC车辆稳定性控制[J]. 汽车工程, 2024, 46(9): 1654-1667.
[3]	李兴坤,王国晖,卢紫旺,王玉海,王语风,田光宇. 基于IDP的重型商用车自适应距离域预见性巡航控制策略[J]. 汽车工程, 2024, 46(8): 1346-1356.
[4]	韩陌,何洪文,石曼,刘伟,曹剑飞,吴京达. 基于学习的无人驾驶车辆模型预测路径跟踪控制研究[J]. 汽车工程, 2024, 46(7): 1197-1207.
[5]	冯桂珍,赵东鹏,李韶华. 基于分数阶的空气弹簧建模及电动汽车主动悬架控制研究[J]. 汽车工程, 2024, 46(7): 1282-1293.
[6]	姚福星,孙超,兰云港,卢兵,王博,于海洋. 基于混合专家模型的智能网联汽车换道决策方法[J]. 汽车工程, 2024, 46(5): 882-892.
[7]	赵树恩,王盛,冷姚. 智能汽车轨迹跟踪多目标显式模型预测控制[J]. 汽车工程, 2024, 46(5): 784-794.
[8]	何一超,寇胜杰,田贺,李昊,芦勇. 面向量产的高速公路智能换道系统决策规划方法研究[J]. 汽车工程, 2024, 46(3): 418-430.
[9]	俞志豪,罗荣康,吴佩宝,侯之超. 四轮轮毂驱动车辆横向稳定性的底盘协同控制[J]. 汽车工程, 2024, 46(10): 1733-1743.
[10]	吴桐,荣劲,王军年,孙文,初亮,葛林鹤. 面向转向制动工况的制动力动态分配策略[J]. 汽车工程, 2024, 46(10): 1755-1765.
[11]	卢少波,代灵峰,王晨辉,刘丙军,褚志刚,谢文科. 基于自主漂移的自动驾驶车辆极限工况轨迹规划与控制[J]. 汽车工程, 2024, 46(10): 1780-1789.
[12]	秦洪懋,江曙,张田田,谢和平,边有钢,李洋. 基于学习型模型预测控制的智能车辆路径跟踪控制[J]. 汽车工程, 2024, 46(10): 1804-1815.
[13]	张忠,吴晓建,江会华,张超,万宇康. 多源干扰下的智能车模型预测纵向运动抗干扰控制[J]. 汽车工程, 2024, 46(10): 1816-1828.
[14]	袁志群,陈衍强,常宇轩,霍殿生,林立. 考虑侧风稳定性的汽车轨迹跟踪自适应时域模型预测控制[J]. 汽车工程, 2024, 46(10): 1829-1841.
[15]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.