基于强化学习的多燃烧模式混合动力能量管理策略

doi:10.19562/j.chinasae.qcgc.2021.05.006

摘要/Abstract

摘要：

针对采用HCCI/SI多燃烧模式的功率分流型混合动力汽车，提出了一种基于深度强化学习（DRL）的能量管理策略。基于发动机台架试验和电机有限元分析建立了混合动力汽车模型。将整车作为环境，采用排序优先经验回放算法，训练基于深度Q网络（DQN）的能量管理智能体。在WLTC和NEDC工况下，与规则策略、自适应等效燃油消耗最小策略（A?ECMS）和动态规划结果进行对比，仿真结果表明：基于DRL的能量管理策略能在维持SOC的前提下，避免燃烧模式频繁切换，并且充分利用中小负荷HCCI燃烧，燃烧模式切换频率降低13%以上，燃油经济性提升6%以上。

关键词: 多燃烧模式, 混合动力汽车, 深度强化学习, 能量管理策略

Abstract:

For hybrid electric vehicles （HEVs） of the power split type with HCCI/SI multi?mode combustion， a deep reinforcement learning （DRL） based energy management strategy is proposed. Firstly， an HEV model is established based on engine bench test and motor finite element analysis （FEA）. Then， considering the vehicle as the environment， a ranking prioritized experience replay algorithm is used to train the energy management agent based on deep Q network （DQN）. Finally， the performance of the proposed strategy is verified by comparing with the results of the rule?based strategy， adaptive equivalent fuel consumption minimization strategy （A?ECMS） and dynamic programming under WLTC and NEDC driving cycles. The simulation results show that the DRL based energy management strategy can avoid frequent switching of combustion modes and make full use of HCCI combustion mode at small and medium loads while maintaining the level of SOC. The frequency of combustion mode switching is reduced by 13% or more， and fuel economy is improved over 6%.

Key words: multi?mode combustion, hybrid electric vehicle, deep reinforcement learning, energy management strategy

张昊,范钦灏,王巍,黄晋,王志. 基于强化学习的多燃烧模式混合动力能量管理策略[J]. 汽车工程, 2021, 43(5): 683-691.

Hao Zhang,Qinhao Fan,Wei Wang,Jin Huang,Zhi Wang. Reinforcement Learning Based Energy Management Strategy for Hybrid Electric Vehicles Using Multi⁃mode Combustion[J]. Automotive Engineering, 2021, 43(5): 683-691.

图/表 21

图 1

表1

图 2

表2

图 3

图 4

图 5

图 6

图 7

图 8

表3

DQN算法伪代码"

DQN算法

1.初始化记忆存储空间 $D$ ,定义其容量为 $n$ ;

2.用随机权重 $θ$ 初始化当前值 $Q$ 网络(Main $Q$ 网络);

3.用权重 $θ - = θ$ 初始化目标值 $Q ?$ 网络(Target $Q ?$ 网络);

4.for循环(episode=1,2,…,M):

5.初始化状态序列 $s 1 = S O C 1, a c c 1, v 1, σ 1$ ;

6.for循环(step=1,2,…,T):

7.以概率 $ε$ 选择一个随机动作 $a t$ ,

8.否则选择动作 $a t = a r g m a x a t ? Q (s t, a t, θ)$ ;9.在混动系统环境中执行动作 $a t$ 并获得奖励 $r t$ ;

10.令 $s t + 1 = S O C t + 1, a c c t + 1, v t + 1, σ t + 1$ ;

11.计算时序误差: $δ t = R t + γ m a x a t ? Q (s t, a t, θ) - Q (s t - 1, a t - 1, θ)$ ,并按大小排列得到 $r a n k (t)$ ;

12.由式(11)计算当前经验优先级 $p t$ ，由式(12)计算采样概率 $p (t)$ ，以采用概率 $p (t)$ 向记忆存储空间 $D$ 中存储经验 $(s t, a t, r t, s t + 1)$ ;

13.从记忆存储空间 $D$ 中根据 $p (t)$ 采样小批量样本 $(s t, a t, r t, s t + 1)$ ;

14.如果episode在第 $s j + 1$ 结束，令 $y i = r j$ ,

15.否则， $y i = r j + γ m a x a j + 1 ? Q ? (s j + 1, a j + 1, θ -)$ ;

16.对 $θ$ 使用损失函数 $L θ = y j - Q (s j, a j, θ) 2$ 梯度下降更新；

17.每 $C$ 步进行参数拷贝，令 $Q ? = Q$ ;

18.判断终止条件，结束step循环;

19.判断终止条件，结束episode循环。

表3

图 9

图 10

图 11

图 12

图 13

图 14

图 15

表4

图 16

图 17

参考文献 11

1	王建昕，王志. 高效清洁车用汽油机燃烧的研究进展［J］. 汽车安全与节能学报，2010，1（3）：167-178.
	WANG J， WANG Z. Research progress of high efficient and clean combustion of automotive gasoline engines［J］. Journal of Automotive Safety and Energy， 2010， 1（3）： 167-178.
2	田国弘，王志，葛强强，等. 缸内直喷汽油机SI-HCCI-SI燃烧模式切换的研究［J］. 内燃机学报， 2007（3）：229-234.
	TIAN G， WANG Z， GE Q， et al. Study of SI⁃HCCI⁃SI mode switching in a DGI engine［J］. Transactions of CSICE， 2007（3）：229-234.
3	AHN K， WHITEFOOT J， BABAJIMOPOULOS A， et al. Homogeneous charge compression ignition technology implemented in a hybrid electric vehicle： system optimal design and benefit analysis for a power⁃split architecture［J］. Proceedings of the Institution of Mechanical Engineers， Part D： Journal of Automobile Engineering，2013，227（1）：87-98.
4	BENAJES J， GARCÍA A， MONSALVE⁃SERRANO J， et al. Optimization of the parallel and mild hybrid vehicle platforms operating under conventional and advanced combustion modes［J］. Energy Conversion and Management， 2019， 190：73-90.
5	GAO Z， CURRAN S， PARKS J， et al. Drive cycle simulation of high efficiency combustions on fuel economy and exhaust properties in light⁃duty vehicles［J］. Applied Energy，2015，157： 762-776.
6	MUSARDO C， STACCIA B， MIDLAM-MOHLER S， et al. Supervisory control for NOx reduction of an HEV with a mixed⁃mode HCCI/CIDI engine［C］. American Control Conference. IEEE， 2005， 6：3877-81.
7	GARCIA A， CARLUCCI P， MONSALVE⁃SERRANO J， et al. Energy management strategies comparison for a parallel full hybrid electric vehicle using reactivity controlled compression ignition combustion［J］. Applied Energy， 2020， 272： 115191.
8	NUESCH S， GORZELIC P， JIANG L， et al. Accounting for combustion mode switch dynamics and fuel penalties in drive cycle fuel economy［J］. International Journal of Engine Research， 2016， 17（4）：436-450.
9	NUESCH S， STEFANAPOULOU A. Multimode combustion in a mild hybrid electric vehicle. part 1： supervisory control［J］. Control Engineering Practice， 2016， 57： 99-110.
10	杨业，张幽彤，张彪，等. 基于等效因子优化的插电式混合动力客车自适应能量管理策略［J］. 汽车工程， 2020， 42（3）： 292-298.
	YANG Y， ZHANG Y， ZHANG B， et al. Adaptive energy management strategy for plug⁃in hybrid electric bus based on equivalent factor optimization［J］. Automotive Engineering， 2020， 42（3）： 292-298.
11	LIAN R， PENG J， WU Y， et al. Rule⁃interposing deep reinforcement learning based energy management strategy for power⁃split hybrid electric vehicle［J］. Energy， 2020， 197：117297.

参数	数值
发动机最大功率/kW	69.5
发动机最大转矩/(N·m)	175
发动机最高转速/(r·min^-1)	4 500
驱动电机最大功率/kW	55
驱动电机最大转矩/(N·m)	320
驱动电动最高转速/(r·min^-1)	6 000
发电机最大功率/kW	42
发电机最大转矩/(N·m)	93
发电机最高转速/(r·min^-1)	10 000
电池组容量/(kW·h)	1.54
电池组电压/V	237
行星齿轮R/S齿比	2.6
主减速器速比	3.9
装备质量/kg	1 623
长×宽×高/mm	4485×1745×1510
轴距/mm	1 525
轮距/mm	2 700
迎风面积/m²	2.2
滚动阻力系数	0.01

参数	数值
气门数	16气阀
排量/L	2.0
缸径/mm	83.5
行程/mm	90.0
连杆长度/mm	144
几何压缩比	13

控制策略	工况	油耗/ (L·100km^-1)	燃烧模式切换次数	SOC 终值/%
基于规则控制策略	WLTC	6.0	294	61
基于规则控制策略	NEDC	4.7	136	60
A?ECMS 控制策略	WLTC	5.4	203	63
A?ECMS 控制策略	NEDC	4.3	61	62
基于DRL 控制策略	WLTC	4.9	176	63
基于DRL 控制策略	NEDC	4.1	52	59
动态规划	WLTC	4.6	162	60
动态规划	NEDC	3.9	59	60

[1]	李亚鹏,唐小林,胡晓松. 基于分层式控制的混合动力汽车生态驾驶研究[J]. 汽车工程, 2023, 45(4): 551-560.
[2]	刘晋霞,梁志豪,王强,温明星. TTR汽车等效燃油消耗最小的能量管理策略研究[J]. 汽车工程, 2023, 45(2): 285-292.
[3]	李捷,吴晓东,许敏,刘永刚. 基于强化学习的城市场景多目标生态驾驶策略[J]. 汽车工程, 2023, 45(10): 1791-1802.
[4]	齐春阳,宋传学,宋世欣,靳立强,王达,肖峰. 基于逆强化学习的混合动力汽车能量管理策略研究[J]. 汽车工程, 2023, 45(10): 1954-1964.
[5]	陈勇,魏长银,李晓宇,李彦林,刘彩霞,林霄喆. 融合工况识别的增程式电动汽车模糊能量管理策略研究[J]. 汽车工程, 2022, 44(4): 514-524.
[6]	刘志超,郑天雷,柳邵辉,龚慧明. 插电式混合动力乘用车能耗和续驶里程评价方法研究[J]. 汽车工程, 2022, 44(2): 161-170.
[7]	李军求,刘吉威,朱超峰. 基于时变底盘构型的混动车辆能量管理研究[J]. 汽车工程, 2022, 44(12): 1866-1876.
[8]	施德华,容香伟,汪少华,张开美,陈龙,李春. 双离合器协同的功率分流式混合动力汽车动态协调优化控制研究[J]. 汽车工程, 2022, 44(12): 1877-1888.
[9]	钱立军,陈健,吴冰,宣亮,陈晨,陈亮亮. 考虑驾驶员操作误差的混合动力汽车队列生态驾驶控制[J]. 汽车工程, 2021, 43(7): 1037-1045.
[10]	杨宁康,韩立金,刘辉,张欣. 基于效率优化的混合动力车辆强化学习能量管理策略研究[J]. 汽车工程, 2021, 43(7): 1046-1056.
[11]	解少博,罗慧冉,张乾坤,张康康. 智能网联混合动力车辆速度规划的多目标协同控制研究[J]. 汽车工程, 2021, 43(7): 953-961.
[12]	解少博,张康康,张乾坤,罗慧冉. 考虑电池电-热-放电深度的并联PHEV能量管理策略研究[J]. 汽车工程, 2021, 43(6): 791-798.
[13]	王长卉,刘泽民,李雁飞,帅石金,邵慧芳,王银辉. 电量保持阶段增程器的排放与工作特性的试验研究[J]. 汽车工程, 2021, 43(5): 667-674.
[14]	胡杰,王明,刘迪,颜伏伍,曹恺. 基于交通信息的复合电源系统控制策略优化[J]. 汽车工程, 2021, 43(5): 675-682.
[15]	郭景华,李文昌,罗禹贡,陈涛,李克强. 基于深度强化学习的驾驶员跟车模型研究[J]. 汽车工程, 2021, 43(4): 571-579.