基于Q学习的整车主动悬架免参数H∞控制

doi:10.19562/j.chinasae.qcgc.2023.12.008

Abstract

Abstract:

Active suspension plays a crucial role in the all-by-wire chassis of intelligent vehicles， enabling full-vector control of the vehicle chassis in conjunction with various driven-by-wire execution systems， significantly improving driving safety. However， the traditional control method involves calibrating numerous vehicle model parameters， which reduces the efficiency of control development. On this basis， a parameter-free H_∞ control method for the vehicle's active suspension is studied in this paper. Firstly， an approximate dynamic programming model based on the behavior dependence of the active suspension is established， transforming the H_∞ control problem into a zero-sum game process involving pavement disturbance and control behavior. Secondly， an adaptive evaluation method is used to set the action network and the critical network and online Q-learning is used to solve the system's Game algebraic Riccati equation， which provides an optimal control solution without requiring model parameters. The stability analysis demonstrates that the proposed method can converge to the Nash equilibrium point of the system. Finally， a hardware-in-the-loop system is built to verify the effectiveness of the proposed method， and the active control simulation is carried out for the bump pavement and random pavement with different road grades. The results show that the control method based on Q-learning has the optimal control effect， which can improve vehicle ride comfort and handling stability in the low frequency range.

Key words: full-car active suspension, parameter-free, H_∞ control, Q-learning

Gang Wang,Kunpeng Li,Hui Jing,Suqi Liu. Parameter-Free H_∞ Control of Vehicle Active Suspension Based on Q-learning[J].Automotive Engineering, 2023, 45(12): 2260-2271.

Figures/Tables 21

参数	数值
俯仰惯量 $I p / k g ? m 2$	910
侧倾惯量 $I r / k g ? m 2$	400
簧载质量 $m s / k g$	500
前非簧载质量 $m u 1,2 / k g$	30
后非簧载质量 $m u 3,4 / k g$	40
轮胎刚度 $k t i / N ? m - 1$	200 000
质心至前轴距离 $a / m$	1.25
质心至后轴距离 $b / m$	1.45
质心至右轴距离 $c / m$	0.9
质心至左轴距离 $d / m$	1
悬架弹簧刚度 $k i / N ? m - 1$	10 000
减振器阻尼 $c i / N ? s ? m - 1$	1 000

方法	$x ¨ s$ / （ $m ? s - 2$ ）	$θ ¨$ / （ $r a d ? s - 2$ ）	$φ ¨$ / （ $r a d ? s - 2$ ）	轮胎动变形/m
方法	$x ¨ s$ / （ $m ? s - 2$ ）	$θ ¨$ / （ $r a d ? s - 2$ ）	$φ ¨$ / （ $r a d ? s - 2$ ）	前左	前右	后左	后右
被动悬架	19.10	20.96	21.58	0.032	0.031	0.029	0.029
H_∞控制	10.56	10.96	11.48	0.028	0.028	0.025	0.026
免参数H_∞控制	10.56	10.96	11.47	0.028	0.028	0.025	0.025

方法	$x ¨ s$ / （ $m ? s - 2$ ）	$θ ¨$ / （ $r a d ? s - 2$ ）	$φ ¨$ / （ $r a d ? s - 2$ ）	轮胎动变形/m
方法	$x ¨ s$ / （ $m ? s - 2$ ）	$θ ¨$ / （ $r a d ? s - 2$ ）	$φ ¨$ / （ $r a d ? s - 2$ ）	前左	前右	后左	后右
被动悬架	96.64	102.59	93.06	0.142	0.148	0.140	0.146
H_∞控制	50.84	52.62	52.95	0.127	0.131	0.120	0.121
免参数H_∞控制	50.82	52.61	52.93	0.127	0.131	0.120	0.120

References 21

1	孙晓东，蔡峰，蔡英凤，等. 主动悬架用直线电机模型预测推力控制［J］. 中国公路学报， 2021， 34（9）： 85-100.
	SUN X D， CAI F， CAI Y F， et al. Improved model predictive thrust-force control of linear motors for active suspensions［J］. China Journal of Highway and Transport， 2021， 34（9）： 85-100.
2	汪若尘，谢健，叶青，等. 直线电机式主动悬架建模与试验研究［J］. 汽车工程， 2016， 38（4）： 495-499.
	WANG R C， XIE J， YE Q， et al. Modeling and experimental study of active suspension with linear motor［J］. Automotive Engineering， 2016， 38（4）： 495-499.
3	寇发荣，张海亮，许家楠，等. 电动静液压主动悬架自适应Smith反馈时滞控制［J］. 振动、测试与诊断，2022，42（5）：864-870，1030.
	KOU F R， ZHANG H L， XU J N， et al. Electrostatic active suspension adapts to smith feedback delay control［J］. Journal of Vibration， Measurement & Diagnosis， 2022， 42（5）： 864-870，1030.
4	黄英博，吕永峰，赵刚，等. 非线性主动悬架系统自适应最优控制［J］. 控制与决策， 2022， 37（12）： 3197-3206.
	HUANG Y B， LV Y F， ZHAO G， et al. Adaptive optimal control for nonlinear active suspension systems［J］. Control and Decision， 2022， 37（12）： 3197-3206.
5	郝梦俊. 基于路面信息识别的汽车主动悬架模型预测控制［D］.重庆：重庆大学， 2021.
	HAO M J. Model predictive control of active suspension based on road information recognition［D］. Chongqing： Chongqing University， 2021.
6	李仲兴，李忠远，刘晨来. 基于显式模型预测控制的轮毂驱动电动车垂向振动研究［J］. 振动与冲击， 2022， 41（11）： 259-265.
	LI Z X， LI Z Y， LIU C L. Vertical vibration of hub motor driven electric vehicle based on EMPC［J］. Journal of Vibration and Shock， 2022， 41（11）： 259-265.
7	李韶华，张培强，杨建森. 轮毂电机驱动电动汽车主动悬架T-S变论域模糊控制研究［J］. 振动与冲击， 2022， 41（24）： 201-209.
	LI S H， ZHAO P Q， YANG J S. Research on T-S variable domain fuzzy control of active suspension on the electric vehicle driven by an in-wheel motor［J］. Journal of Vibration and Shock， 2022， 41（24）： 201-209.
8	李杰，贾长旺，成林海，等. 脉冲路面下电动汽车主动悬架状态反馈 H_∞ 控制［J］. 湖南大学学报（自然科学版）， 2022， 49（8）： 12-20.
	LI J， JIA C W， CHENG L H， et al. State feedback H_∞ control for active suspension of electric vehicles on pulse road［J］. Journal of Hunan University （Natural Sciences）， 2022， 49（8）： 12-20.
9	汪洪波，林澍，孙晓文，等. 基于可拓理论的汽车主动悬架系统H_∞控制与优化［J］. 汽车工程， 2016， 38（11）： 1382-1390.
	WANG H B， LIN S， SUN X W， et al. H_∞ control and optimization for vehicle active suspension system based on extension theory［J］. Automotive Engineering， 2016， 38（11）： 1382-1390.
10	纪仁杰，方明霞，李佩琳，等. 含时滞悬架系统 H_∞ 控制的理论与实验研究［J］. 汽车工程， 2020， 42（3）： 339-344.
	JI R J， FANG M X， LI P L， et al. Theoretical and experimental research on H_∞ control suspension system with time delay［J］. Automotive Engineering， 2020， 42（3）： 339-344.
11	庞辉，王延，刘凡. 考虑参数不确定性的主动悬架H₂/H_∞ 保性能控制［J］. 控制与决策， 2019， 34（3）： 470-478.
	PANG H， WANG Y， LIU F. H₂/H_∞ guaranteed cost control for active suspensions considering parameter uncertainty［J］. Control and Decision， 2019， 34（3）： 470-478.
12	周兵，吴晓建，文桂林，等. 基于μ综合的整车主动悬架鲁棒控制研究［J］. 振动工程学报， 2017， 30（6）： 1029-1037.
	ZHOU B， WU X J， WEN G L， et al. Research on robust control of active suspension of the whole vehicle based on μ synthesis［J］. Journal of Vibration Engineering，2017， 30（6）： 1029-1037.
13	JING H， WANG R， LI C， et al. Robust finite-frequency H_∞ control of full-car active suspension［J］. Journal of Sound and Vibration， 2019， 441： 221-239.
14	荣吉利，邓增琨，何丽，等. 整车主动悬架平顺性时域仿真与优化［J］. 北京理工大学学报， 2022， 42（1）： 46-52.
	RONG J L， DENG Z K， HE L， et al. Time domain simulation and optimization of ride comfort for vehicle active suspension［J］. Transactions of Beijing Institute of Technology， 2022， 42（1）： 46-52.
15	LUO B， LIU D， HUANG T， et al. Model-free optimal tracking control via critic-only Q-learning［J］. IEEE Transactions on Neural Networks and Learning Systems， 2016， 27（10）： 2134-2144.
16	JIANG Y， KIUMARSI B， FAN J， et al. Optimal output regulation of linear discrete-time systems with unknown dynamics using reinforcement learning［J］. IEEE Transactions on Cybernetics， 2019， 50（7）： 3147-3156.
17	PENG Y， CHEN Q， SUN W. Reinforcement Q-learning algorithm for H_∞ tracking control of unknown discrete-time linear systems［J］. IEEE Transactions on Systems， Man， and Cybernetics： Systems， 2019， 50（11）： 4109-4122.
18	LUO B， YANG Y， LIU D. Policy iteration Q-learning for data-based two-player zero-sum game of linear discrete-time systems［J］. IEEE Transactions on Cybernetics， 2020， 51（7）： 3630-3640.
19	LI P， LAM J， CHEUNG K C. Velocity-dependent multi-objective control of vehicle suspension with preview measurements［J］. Mechatronics， 2014， 24（5）： 464-475.
20	汽车平顺性试验方法： GB/T 4970—2009［S］. 2009.
	Test method for smoothness of automobiles： GB/T 4970—2009［S］. 2009.
21	陈杰平，陈无畏，祝辉，等. 基于Matlab/Simulink的随机路面建模与不平度仿真［J］. 农业机械学报， 2010， 41（3）： 11-15.
	CHEN J P， CHEN W W， ZHU H， et al. Modeling and simulation on stochastic road surface irregularity based on Matlab/Simulink［J］. Transactions of the Chinese Society for Agricultural Machinery， 2010， 41（3）： 11-15.

[1]	HAO Han, WANG Si-南, LI Xiao, LIU Zong-Wei, ZHAO Fu-Quan. [J]. , 2017, 39(1): 1 -8 .
[2]	XU Cheng-Shan, JIANG Fa-Chao, SONG Sen-Nan, TIAN Guang-Yu. [J]. , 2017, 39(1): 9 -14 .
[3]	ZENG Bi-Qiang, GAO Ji-Dong, PENG Wei, SUN Zhen-Dong. [J]. , 2016, 38(12): 1446 -1451 .
[4]	PENG Qian-Lei, GUI Liang-Jin, FAN Zi-Jie. [J]. , 2016, 38(12): 1500 -1507 .
[5]	CHEN Yong, ZHANG Zhen-Dong, CHENG Qiang. [J]. , 2017, 39(3): 262 -268 .
[6]	CHEN Wu-Wei, JIANG Yu-Ting, TAN Dong-Kui. [J]. , 2017, 39(3): 357 -363 .
[7]	JIN Geng-Ri, GUAN Xin, ZHAN Jun, GUO Rui. [J]. , 2017, 39(3): 364 -368 .
[8]	CHU Liang, LIU Da-Liang, LIU Hong-Wei, CAI Jian-Wei, ZHAO Di. [J]. , 2017, 39(4): 471 -479 .
[9]	WANG Hong-Liang, ZHANG Qing-Ke, GU Wen-Hao, HUANG Di. [J]. , 2017, 39(4): 480 -485 .
[10]	ZHANG Lan-Chun, ZHAO Qing-Hai, ZHANG Hong-Xin, CHEN Xiao-Kai, ZHANG Tie-Zhu. [J]. , 2017, 39(5): 551 -555 .

Parameter-Free H_∞ Control of Vehicle Active Suspension Based on Q-learning

RichHTML

PDF (PC)

Like

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 21

References 21

Related Articles 3

Metrics

Comments

Recommended 10

[1]	Pangwei Wang,Cheng Liu,Yunfeng Wang,Mingfang Zhang. Multi-lane Trajectory Optimization for Intelligent Connected Vehicles in Urban Road Network [J]. Automotive Engineering, 2024, 46(2): 241-252.
[2]	Lijun Qian,Chen Chen,Jian Chen,Xinyu Chen,Chi Xiong. Discrete Platoon Control at an Unsignalized Intersection Based on Q-learning Model [J]. Automotive Engineering, 2022, 44(9): 1350-1358.
[3]	Ji Renjie, Fang Mingxia, Li Peilin, Yan Gai. Theoretical and Experimental Research on H_∞ Control Suspension System with Time Delay [J]. Automotive Engineering, 2020, 42(3): 339-344.

Parameter-Free H∞ Control of Vehicle Active Suspension Based on Q-learning

RichHTML

PDF (PC)

Like

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 21

References 21

Related Articles 3

Metrics

Comments

Recommended 10

Parameter-Free H_∞ Control of Vehicle Active Suspension Based on Q-learning