基于Q学习的整车主动悬架免参数H∞控制

doi:10.19562/j.chinasae.qcgc.2023.12.008

摘要/Abstract

摘要：

主动悬架是智能汽车全线控底盘的重要部件，配合各线控执行系统可实现整车底盘的全矢量控制，极大增强行驶的安全性，而传统控制方法需要标定的整车模型参数过多，降低了控制开发的效率。基于此，本文研究了整车主动悬架免参数H_∞控制方法。首先，建立主动悬架的行为依赖近似动态规划模型，将H_∞控制问题转化为路面干扰和控制行为的零和博弈过程；其次，使用自适应评判方法整定动作网络与批判网络，通过在线Q学习求解系统的博弈黎卡提方程，给出无须模型参数的控制最优解，稳定性分析表明该方法可收敛到系统的纳什平衡点；最后，搭建硬件在环系统验证该方法的有效性，对包块路面以及不同路面等级下的随机路面进行主动控制仿真。结果表明，基于Q学习的控制方法具有最优控制效果，能够改善低频范围内的整车平顺性和操纵稳定性。

关键词: 整车主动悬架, 免参数, H_∞控制, Q学习

Abstract:

Active suspension plays a crucial role in the all-by-wire chassis of intelligent vehicles， enabling full-vector control of the vehicle chassis in conjunction with various driven-by-wire execution systems， significantly improving driving safety. However， the traditional control method involves calibrating numerous vehicle model parameters， which reduces the efficiency of control development. On this basis， a parameter-free H_∞ control method for the vehicle's active suspension is studied in this paper. Firstly， an approximate dynamic programming model based on the behavior dependence of the active suspension is established， transforming the H_∞ control problem into a zero-sum game process involving pavement disturbance and control behavior. Secondly， an adaptive evaluation method is used to set the action network and the critical network and online Q-learning is used to solve the system's Game algebraic Riccati equation， which provides an optimal control solution without requiring model parameters. The stability analysis demonstrates that the proposed method can converge to the Nash equilibrium point of the system. Finally， a hardware-in-the-loop system is built to verify the effectiveness of the proposed method， and the active control simulation is carried out for the bump pavement and random pavement with different road grades. The results show that the control method based on Q-learning has the optimal control effect， which can improve vehicle ride comfort and handling stability in the low frequency range.

Key words: full-car active suspension, parameter-free, H_∞ control, Q-learning

王刚,李昆鹏,景晖,刘溯奇. 基于Q学习的整车主动悬架免参数H_∞控制[J]. 汽车工程, 2023, 45(12): 2260-2271.

Gang Wang,Kunpeng Li,Hui Jing,Suqi Liu. Parameter-Free H_∞ Control of Vehicle Active Suspension Based on Q-learning[J]. Automotive Engineering, 2023, 45(12): 2260-2271.

图/表 21

图1

图2

图3

表1

整车悬架模型参数"

参数	数值
俯仰惯量 $I p / k g ? m 2$	910
侧倾惯量 $I r / k g ? m 2$	400
簧载质量 $m s / k g$	500
前非簧载质量 $m u 1,2 / k g$	30
后非簧载质量 $m u 3,4 / k g$	40
轮胎刚度 $k t i / N ? m - 1$	200 000
质心至前轴距离 $a / m$	1.25
质心至后轴距离 $b / m$	1.45
质心至右轴距离 $c / m$	0.9
质心至左轴距离 $d / m$	1
悬架弹簧刚度 $k i / N ? m - 1$	10 000
减振器阻尼 $c i / N ? s ? m - 1$	1 000

表1

图4

图5

图6

图7

图8

图9

图10

图11

图12

图13

图14

图15

图16

图17

图18

表2

B级随机路面下悬架均方根值"

方法	$x ¨ s$ / （ $m ? s - 2$ ）	$θ ¨$ / （ $r a d ? s - 2$ ）	$φ ¨$ / （ $r a d ? s - 2$ ）	轮胎动变形/m
方法	$x ¨ s$ / （ $m ? s - 2$ ）	$θ ¨$ / （ $r a d ? s - 2$ ）	$φ ¨$ / （ $r a d ? s - 2$ ）	前左	前右	后左	后右
被动悬架	19.10	20.96	21.58	0.032	0.031	0.029	0.029
H_∞控制	10.56	10.96	11.48	0.028	0.028	0.025	0.026
免参数H_∞控制	10.56	10.96	11.47	0.028	0.028	0.025	0.025

表2

表3

D级随机路面下悬架均方根值"

方法	$x ¨ s$ / （ $m ? s - 2$ ）	$θ ¨$ / （ $r a d ? s - 2$ ）	$φ ¨$ / （ $r a d ? s - 2$ ）	轮胎动变形/m
方法	$x ¨ s$ / （ $m ? s - 2$ ）	$θ ¨$ / （ $r a d ? s - 2$ ）	$φ ¨$ / （ $r a d ? s - 2$ ）	前左	前右	后左	后右
被动悬架	96.64	102.59	93.06	0.142	0.148	0.140	0.146
H_∞控制	50.84	52.62	52.95	0.127	0.131	0.120	0.121
免参数H_∞控制	50.82	52.61	52.93	0.127	0.131	0.120	0.120

表3

参考文献 21

1	孙晓东，蔡峰，蔡英凤，等. 主动悬架用直线电机模型预测推力控制［J］. 中国公路学报， 2021， 34（9）： 85-100.
	SUN X D， CAI F， CAI Y F， et al. Improved model predictive thrust-force control of linear motors for active suspensions［J］. China Journal of Highway and Transport， 2021， 34（9）： 85-100.
2	汪若尘，谢健，叶青，等. 直线电机式主动悬架建模与试验研究［J］. 汽车工程， 2016， 38（4）： 495-499.
	WANG R C， XIE J， YE Q， et al. Modeling and experimental study of active suspension with linear motor［J］. Automotive Engineering， 2016， 38（4）： 495-499.
3	寇发荣，张海亮，许家楠，等. 电动静液压主动悬架自适应Smith反馈时滞控制［J］. 振动、测试与诊断，2022，42（5）：864-870，1030.
	KOU F R， ZHANG H L， XU J N， et al. Electrostatic active suspension adapts to smith feedback delay control［J］. Journal of Vibration， Measurement & Diagnosis， 2022， 42（5）： 864-870，1030.
4	黄英博，吕永峰，赵刚，等. 非线性主动悬架系统自适应最优控制［J］. 控制与决策， 2022， 37（12）： 3197-3206.
	HUANG Y B， LV Y F， ZHAO G， et al. Adaptive optimal control for nonlinear active suspension systems［J］. Control and Decision， 2022， 37（12）： 3197-3206.
5	郝梦俊. 基于路面信息识别的汽车主动悬架模型预测控制［D］.重庆：重庆大学， 2021.
	HAO M J. Model predictive control of active suspension based on road information recognition［D］. Chongqing： Chongqing University， 2021.
6	李仲兴，李忠远，刘晨来. 基于显式模型预测控制的轮毂驱动电动车垂向振动研究［J］. 振动与冲击， 2022， 41（11）： 259-265.
	LI Z X， LI Z Y， LIU C L. Vertical vibration of hub motor driven electric vehicle based on EMPC［J］. Journal of Vibration and Shock， 2022， 41（11）： 259-265.
7	李韶华，张培强，杨建森. 轮毂电机驱动电动汽车主动悬架T-S变论域模糊控制研究［J］. 振动与冲击， 2022， 41（24）： 201-209.
	LI S H， ZHAO P Q， YANG J S. Research on T-S variable domain fuzzy control of active suspension on the electric vehicle driven by an in-wheel motor［J］. Journal of Vibration and Shock， 2022， 41（24）： 201-209.
8	李杰，贾长旺，成林海，等. 脉冲路面下电动汽车主动悬架状态反馈 H_∞ 控制［J］. 湖南大学学报（自然科学版）， 2022， 49（8）： 12-20.
	LI J， JIA C W， CHENG L H， et al. State feedback H_∞ control for active suspension of electric vehicles on pulse road［J］. Journal of Hunan University （Natural Sciences）， 2022， 49（8）： 12-20.
9	汪洪波，林澍，孙晓文，等. 基于可拓理论的汽车主动悬架系统H_∞控制与优化［J］. 汽车工程， 2016， 38（11）： 1382-1390.
	WANG H B， LIN S， SUN X W， et al. H_∞ control and optimization for vehicle active suspension system based on extension theory［J］. Automotive Engineering， 2016， 38（11）： 1382-1390.
10	纪仁杰，方明霞，李佩琳，等. 含时滞悬架系统 H_∞ 控制的理论与实验研究［J］. 汽车工程， 2020， 42（3）： 339-344.
	JI R J， FANG M X， LI P L， et al. Theoretical and experimental research on H_∞ control suspension system with time delay［J］. Automotive Engineering， 2020， 42（3）： 339-344.
11	庞辉，王延，刘凡. 考虑参数不确定性的主动悬架H₂/H_∞ 保性能控制［J］. 控制与决策， 2019， 34（3）： 470-478.
	PANG H， WANG Y， LIU F. H₂/H_∞ guaranteed cost control for active suspensions considering parameter uncertainty［J］. Control and Decision， 2019， 34（3）： 470-478.
12	周兵，吴晓建，文桂林，等. 基于μ综合的整车主动悬架鲁棒控制研究［J］. 振动工程学报， 2017， 30（6）： 1029-1037.
	ZHOU B， WU X J， WEN G L， et al. Research on robust control of active suspension of the whole vehicle based on μ synthesis［J］. Journal of Vibration Engineering，2017， 30（6）： 1029-1037.
13	JING H， WANG R， LI C， et al. Robust finite-frequency H_∞ control of full-car active suspension［J］. Journal of Sound and Vibration， 2019， 441： 221-239.
14	荣吉利，邓增琨，何丽，等. 整车主动悬架平顺性时域仿真与优化［J］. 北京理工大学学报， 2022， 42（1）： 46-52.
	RONG J L， DENG Z K， HE L， et al. Time domain simulation and optimization of ride comfort for vehicle active suspension［J］. Transactions of Beijing Institute of Technology， 2022， 42（1）： 46-52.
15	LUO B， LIU D， HUANG T， et al. Model-free optimal tracking control via critic-only Q-learning［J］. IEEE Transactions on Neural Networks and Learning Systems， 2016， 27（10）： 2134-2144.
16	JIANG Y， KIUMARSI B， FAN J， et al. Optimal output regulation of linear discrete-time systems with unknown dynamics using reinforcement learning［J］. IEEE Transactions on Cybernetics， 2019， 50（7）： 3147-3156.
17	PENG Y， CHEN Q， SUN W. Reinforcement Q-learning algorithm for H_∞ tracking control of unknown discrete-time linear systems［J］. IEEE Transactions on Systems， Man， and Cybernetics： Systems， 2019， 50（11）： 4109-4122.
18	LUO B， YANG Y， LIU D. Policy iteration Q-learning for data-based two-player zero-sum game of linear discrete-time systems［J］. IEEE Transactions on Cybernetics， 2020， 51（7）： 3630-3640.
19	LI P， LAM J， CHEUNG K C. Velocity-dependent multi-objective control of vehicle suspension with preview measurements［J］. Mechatronics， 2014， 24（5）： 464-475.
20	汽车平顺性试验方法： GB/T 4970—2009［S］. 2009.
	Test method for smoothness of automobiles： GB/T 4970—2009［S］. 2009.
21	陈杰平，陈无畏，祝辉，等. 基于Matlab/Simulink的随机路面建模与不平度仿真［J］. 农业机械学报， 2010， 41（3）： 11-15.
	CHEN J P， CHEN W W， ZHU H， et al. Modeling and simulation on stochastic road surface irregularity based on Matlab/Simulink［J］. Transactions of the Chinese Society for Agricultural Machinery， 2010， 41（3）： 11-15.

[1]	钱立军,陈晨,陈健,陈欣宇,熊驰. 基于Q学习模型的无信号交叉口离散车队控制[J]. 汽车工程, 2022, 44(9): 1350-1358.
[2]	纪仁杰, 方明霞, 李佩琳, 闫盖. 含时滞悬架系统H_∞控制的理论与实验研究^*[J]. 汽车工程, 2020, 42(3): 339-344.