越野车辆多维耦合稳定性深度强化学习控制

doi:10.19562/j.chinasae.qcgc.2025.09.005

摘要/Abstract

摘要：

越野车辆在极限工况下易发生整车侧滑、纵滑和侧倾的多维失稳，且难以用具体的数学模型表征整车稳定性状态，因此本文提出了极限工况下越野车辆多维耦合稳定性深度强化学习协同控制策略。首先建立不同维度稳定性评价指标，同时构建多维耦合稳定域，根据轮胎纵横垂向力耦合关系进行稳定域划分，并通过离线轮胎模型训练确定各稳定域的边界参数；其次通过DDPG（deep deterministic policy gradient）深度强化学习算法构建越野车辆与环境交互下的控制策略，输出各维度最优权重系数表征越野车辆稳定性状态；再基于汽车底盘解耦的协同控制策略设计纵滑、侧滑和侧倾控制器进行稳定性控制；最后，通过CarSim与Simulink联合仿真验证和硬件在环平台验证，结果表明基于DDPG算法下多维耦合稳定性控制策略显著提升整车综合稳定性。

关键词: 越野车辆, 多维耦合稳定域, 深度强化学习, 协同控制, 硬件在环试验

Abstract:

The operation of off-road vehicles in a variety of extreme conditions can result in instability risks， including lateral slip， longitudinal slip， and roll. Nevertheless， there are difficulties in defining the stability states of the vehicle with a precise mathematical model. Therefore， in this paper a multi-dimensional coupled stability deep reinforcement learning collaborative control strategy for off-road vehicles under extreme conditions is proposed. Firstly， indicators for evaluating stability in different dimensions are established. Concurrently， the multi-dimensional coupled stable domain is constructed， and the stable domain is divided based on the coupling relationship between tire lateral and vertical forces， and the boundary parameters between each stable domain are determined through offline tire model training. Secondly， the DDPG （Deep Deterministic Policy Gradient） deep reinforcement learning algorithm is used to construct control strategies for the interaction between off-road vehicles and the environment. The optimal weight coefficients of each dimension are output to characterize the stability status of off-road vehicles. Then， a controller for longitudinal， lateral， and roll control is designed based on a collaborative control strategy for decoupling the car chassis. Finally， the joint simulation and hardware-in-the-loop verification in CarSim and Simulink show that the multi-dimensional coupled stability control strategy based on the DDPG algorithm markedly enhances the overall stability of the vehicle.

Key words: off-road vehicle, multi-dimensional coupled stability domain, deep reinforcement learning, cooperative control, hardware-in-the-loop test

夏光,吴士标,张洋,魏恒,刘贤阳. 越野车辆多维耦合稳定性深度强化学习控制[J]. 汽车工程, 2025, 47(9): 1686-1699.

Guang Xia,Shibiao Wu,Yang Zhang,Heng Wei,Xianyang Liu. Deep Reinforcement Learning Control of Multi-dimensional Coupled Stability of Off-road Vehicles[J]. Automotive Engineering, 2025, 47(9): 1686-1699.

图/表 32

图1

图2

图3

图4

表1

网络类型标注"

算法类型	网络类型	网络符号	动作公式
策略网络	Actor当前网络	$θ μ$	$μ (s \| θ μ)$
策略网络	Actor目标网络	$θ μ'$	$μ' (s \| θ μ')$
值网络	Critic当前网络	$θ Q$	$Q (s \| θ Q)$
值网络	Critic目标网络	$θ Q'$	$Q' (s \| θ Q')$

表1

表2

DDPG训练配置参数"

参数	数值
采样时间 $T / s$	$2 × 10 - 2$
策略网络学习率 $α θ μ$	$10 - 4$
值网络学习率 $α θ Q$	$10 - 3$
折扣系数 $γ$	$0.99$
经验池大小 $D$	$106$
经验池采样数 $N$	$64$
软更新率 $τ$	$10 - 3$

表2

图5

图6

图7

图8

图9

表3

越野车辆整车参数"

参数	数值
整车质量 $m / k g$	1 800
簧上质量 $m s / k g$	1 590
前轴至质心距离 $a / m$	1.18
后轴至质心距离 $b / m$	1.77
轴距 $L / m$	2.95
轮距 $B / m$	1.575
侧倾中心高度 $h / m$	0.33
质心高度 $H / m$	0.72
侧倾转动惯量 $I x / (k g ? m 2)$	984.4
横摆转动惯量 $I z / (k g ? m 2)$	2 687.1
前后悬架阻尼系数 $c s / (N ? m ? s ? r a d - 1)$	250
前后悬架弹簧刚度 $k s / (N ? m ? r a d - 1)$	50 000
轮胎转动惯量 $J / (k g ? m 2)$	2.8
轮胎半径 $R / m$	0.402
阻力臂距 $e / m$	0.01
前轮侧偏刚度 $C f / (N · r a d - 1)$	11 000
后轮侧偏刚度 $C r / (N · r a d - 1)$	13 000

表3

图10

图11

图12

图13

图14

图15

图16

图17

图18

图19

图20

图21

图22

图23

图24

图25

图26

图27

图28

图29

参考文献 20

[1]	胡宇辉，王旭，胡家铭，等.越野环境下无人驾驶车辆技术研究综述［J］. 北京理工大学学报， 2021， 41： 1137-1144.
	HU Y H， WANG X， HU J M， et al. An overview on unmanned vehicle technology in off-road environment［J］. Transactions of Beijing Institute of Technology， 2021， 41： 1137-1144.
[2]	National Highway Traffic Safety Administeration （NHTSA）. National automotive sampling system ［EB/OL］. http：//www.nhtsa.gov/NASS.
[3]	HEQIMI G， GATES T J， KAY J. Using spatial interpolation to determine impacts of annual snowfall on traffic crashes for limited access freeway segments［J］. Accident Analysis， 2018， 121： 202-212.
[4]	RAJESH R. Vehicle dynamics and control ［M］. New York： Springer， 2012.
[5]	THOMAS D G. Fundamentals of vehicle dynamics ［M］. Warrendale： SAE International， 1992.
[6]	潘公宇，丁聪，李韵. 基于零力矩点的车辆侧倾评价指标及侧倾控制研究［J］. 机械工程学报， 2023， 59（1）： 175-187.
	PAN G Y， DING C， LI Y. Vehicle roll evaluation index based on ZMP position and roll control research［J］. Journal of Mechanical Engineering， 2023， 59（1）： 175-187.
[7]	LI X， CHAN C Y， WANG Y. A reliable fusion methodology for simultaneous estimation of vehicle sideslip and yaw angles［J］. IEEE Transactions on Vehicular Technology， 2015， 65（6）： 4440-4458.
[8]	杨炜，魏朗，刘晶郁. 商用车横向稳定性优化控制联合仿真分析［J］. 机械工程学报， 2017， 53（2）： 115-123.
	YANG W， WEI L， LIU J Y. Co-simulation analysis of commercial vehicle lateral stability optimization control［J］. Journal of Mechanical Engineering， 2017， 53（2）： 115-123.
[9]	严周栋，杭鹏，陈重璞，等.分布式电驱动装载机驱动防滑控制［J］. 汽车工程， 2023， 45： 1944-1953.
	YAN Z D， HANG P， CHEN C P， et al. Drive anti-skid control of distributed electric drive loader［J］. Automotive Engineering， 2023， 45： 1944-1953.
[10]	ZIREK A， VOLTR P， LATA M. Validation of an anti-slip control method based on the angular acceleration of a wheel on a roller rig［J］. Proceedings of the Institution of Mechanical Engineers， 2020， 234（9）： 1029-1040.
[11]	CHEN Z， ZHU B， ZHAO J， et al. Longitudinal and lateral coupling vehicle stability controller designed based on piecewise TS fuzzy model［J］. Proceedings of the Institution of Mechanical Engineers， Part D： Journal of Automobile Engineering， 2023： 09544070231157134.
[12]	LI L， LU Y， WANG R， et al. A three-dimensional dynamics control framework of vehicle lateral stability and rollover prevention via active braking with MPC［J］. IEEE Transactions on Industrial Electronics， 2016， 64（4）： 3389-3401.
[13]	宋能学. 基于DDPG的智能汽车稳定性控制方法研究［D］. 合肥：合肥工业大学， 2019.
	SONG N X. Research on stability control method of intelligent vehicle based on DDPG［D］. Hefei：Hefei University of Technology， 2019.
[14]	QIN P， TAN H， LI H， et al. Deep reinforcement learning car-following model considering longitudinal and lateral control［J］. Sustainability， 2022， 14（24）： 16705.
[15]	汪洪波，王春阳，赵林峰，等.基于强化学习的智能车辆路径跟踪变参数MPC多目标控制［J］. 中国公路学报， 2024： 1-19.
	WANG H B， WANG C Y， ZHAO L F， et al. Variable-parameter MPC multi-objective control for intelligent vehicle path tracking based on reinforcement learning［J］. China Journal of Highway and Transport， 2024： 1-19.
[16]	沈法鹏，赵又群，赵洪光，等.非线性轮胎侧向力对汽车转向稳定性的影响［J］. 中国机械工程， 2015， 26： 135.
	SHEN F P， ZHAO Y Q， ZHAO H G， et al. Effects of nonlinear tire lateral force on vehicle steering stability［J］. China Mechanical Engineering， 2015， 26： 135.
[17]	DING X， WANG Z， ZHANG L， et al. A comprehensive vehicle stability assessment system based on enabling tire force estimation［J］. IEEE Transactions on Vehicular Technology， 2022， 71（11）： 11571-11588.
[18]	SORNIOTTI A， D'ALFIO N. Vehicle dynamics simulation to develop an active roll control system［C］. SAE Paper 2007-01-0828.
[19]	赵治国，顾君，余卓平. 四轮驱动混合动力轿车驱动防滑控制研究［J］. 机械工程学报， 2011， 47（14）： 83-98.
	ZHAO Z G， GU J， YU Z P. Study of acceleration slip regulation strategy for four wheel drive hybrid electric car［J］. Journal of Mechanical Engineering， 2011， 47（14）： 83-98.
[20]	GUP R Q， YUAN L， XIE J Z. Implement of handling and stability road test of passenger vehicle for ISO standards［J］. Applied Mechanics and Materials， 2014， 568： 1869-1874.