基于分布式强化学习的车辆控制算法研究

doi:10.19562/j.chinasae.qcgc.2023.09.012

摘要/Abstract

摘要：

端到端自动驾驶算法的开发现已成为当前自动驾驶技术研发的热点。经典的强化学习算法利用车辆状态、环境反馈等信息训练车辆行驶，通过试错学习获得最佳策略，实现了端到端的自动驾驶算法开发，但仍存在开发效率低下的问题。为解决虚拟仿真环境下训练强化学习算法的低效性和高复杂度问题，本文提出了一种异步分布式强化学习框架，并建立了进程间和进程内的多智能体并行柔性动作-评价（soft actor-critic， SAC）分布式训练框架，加速了Carla模拟器上的在线强化学习训练。同时，为进一步实现模型的快速训练和部署，本文提出了一种基于Cloud-OTA的分布式模型快速训练和部署系统架构，系统框架主要由空中下载技术（over-the-air technology， OTA）平台、云分布式训练平台和车端计算平台组成。在此基础上，本文为了提高模型的可复用性并降低迁移部署成本，搭建了基于ROS的Autoware-Carla集成验证框架。实验结果表明，本文方法与多种主流自动驾驶方法定性相比训练速度更快，能有效地应对密集交通流道路工况，提高了端到端自动驾驶策略对未知场景的适应性，减少在实际环境中进行实验所需的时间和资源。

关键词: 强化学习, 分布式, 多智能体, 自动驾驶, Carla, 车辆控制

Abstract:

The development of end-to-end autonomous driving algorithms has become a hot topic in current autonomous driving technology research and development. Classic reinforcement learning algorithms leverage information such as vehicle state and environmental feedback to train the vehicle for driving， through trial-and-error learning to obtain the best strategy， so as to achieve the development of end-to-end autonomous driving algorithms. However， there is still the problem of low development efficiency. The article proposes an asynchronous distributed reinforcement learning framework to address the inefficiency and high complexity problems in training RL algorithms in virtual simulation environment， establishes intra and inter process multi-agent parallel Soft Actor-Critic （SAC） distributed training framework on the Carla simulator to accelerate online RL training. Additionally， to achieve rapid model training and deployment， the article proposes a distributed model training and deployment system architecture based on Cloud-OTA， which mainly consists of an Over-the-Air Technology （OTA） platform， a cloud-based distributed training platform， and an on-vehicle computing platform. On this basis， the paper establishes an Autoware-Carla integrated validation framework based on ROS to improve model reusability and reduce migration and deployment cost. The experimental results show that compared with various mainstream autonomous driving methods， the method proposed in this paper has a faster training speed qualitatively， which can effectively cope with dense traffic flow and improve the adaptability of end-to-end autonomous driving strategies to unknown scenes， and reduce the time and resources required for experimentation in actual environment.

Key words: reinforcement learning, distributed system, multi-agent, autonomous driving, Carla, vehicle control

刘卫国,项志宇,刘伟平,齐道新,王子旭. 基于分布式强化学习的车辆控制算法研究[J]. 汽车工程, 2023, 45(9): 1637-1645.

Weiguo Liu,Zhiyu Xiang,Weiping Liu,Daoxin Qi,Zixu Wang. Research on Vehicle Control Algorithm Based on Distributed Reinforcement Learning[J]. Automotive Engineering, 2023, 45(9): 1637-1645.

图/表 14

图1

图2

图3

图4

图5

图6

图7

图8

表1

一般超参数"

符号	注释	数值
$R v$	默认速度奖励	1
$α v$	速度奖励系数	1
$R θ$	默认转向惩罚	-1
$α θ$	转向惩罚系数	0.1
$R δ$	默认车道偏离惩罚	-1
$α δ$	车道偏离惩罚系数	1
$R I$	默认违规处罚	-1
$α I$	违规处罚系数	250
$m a x ? o v f$	前方障碍物探测范围	10 m
$m a x ? o ? f$	前方障碍物探测半径	0.5 m
$m a x ? O v \ o v f$	其他障碍物探测范围	5 m
$m a x ? O ? \ o ? f$	其他障碍物探测半径	0.785 4 m

表1

表2

多智能体并行SAC超参数"

符号	注释	数值
$l r π$	全局策略的学习速率	4×10^-4
$l r q$	Q网络的学习速率	4×10^-4
$l r T$	平均步长	0.01
$α$	固定熵温	e
$b u f f e r ? s i z e$	全局缓冲池的大小	1 000 000
$b a t c h ? s i z e$	每个梯度更新的批量大小	512
$f r e q q$	Q网络更新频率	25
$f r e q t$	目标Q网络更新频率	25

表2

表3

图9

图10

表4

参考文献 17

1	张新钰，高洪波，赵建辉，等.基于深度学习的自动驾驶技术综述［J］.清华大学学报（自然科学版）， 2018， 58（4）： 438-444.
	ZHANG X Y， GAO H B， ZHAO J H， et al. Overview of deep learning intelligent driving methods［J］. Journal of Tsinghua University（Science and Technology）， 2018， 58（4）： 438-444.
2	冯洋，夏志龙，郭安，等.自动驾驶软件测试技术研究综述［J］.中国图象图形学报， 2021， 26（1）： 13-27.
	FENG Y， XIA Z L， GUO A， et al. Survey of testing techniques of autonomous driving software［J］. Journal of Image and Graphics， 2021， 26（1）： 13-27
3	许如晨. 基于深度强化学习的自动驾驶策略研究［D］.杭州：浙江大学， 2021.
	XU R C. Research on autonomous driving strategy based on deep reinforcement learning［D］. Hangzhou： Zhejiang University， 2021.
4	DOSOVITSKIY A， ROS G， CODEVILLA F， et al. Carla： an open urban driving simulator［C］.Conference on Robot Learning. PMLR， 2017： 1-16.
5	AGARWAL T， ARORA H， SCHNEIDER J. Affordance-based reinforcement learning for urban driving［J］. arXiv preprint arXiv：， 2021.
6	HORGAN D， QUAN J， BUDDEN D， et al. Distributed prioritized experience replay［J］. arXiv preprint arXiv：， 2018.
7	ESPEHOLT L， SOYER H， MUNOS R， et al. Impala： scalable distributed deep-RL with importance weighted actor-learner architectures［C］.International Conference on Machine Learning. PMLR， 2018： 1407-1416.
8	CODEVILLA F， SANTANA E， LÓPEZ A M， et al. Exploring the limitations of behavior cloning for autonomous driving［C］.Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 9329-9338.
9	杨顺，蒋渊德，吴坚，等.基于多类型传感数据的自动驾驶深度强化学习方法［J］.吉林大学学报（工学版）， 2019， 49（4）： 1026-1033.
	YANG S，JIANG Y D， WU J， et al. Autonomous driving policy learning based on deep reinforcement learning and multi-type sensor data［J］. Journal of Jilin University（Engineering and Technology Edition）， 2019， 49（4）： 1026-1033.
10	HAARNOJA T， ZHOU A， ABBEEL P， et al. Soft actor-critic： off-policy maximum entropy deep reinforcement learning with a stochastic actor［C］.International Conference on Machine Learning. PMLR， 2018： 1861-1870.
11	POLYAK B T， JUDITSKY A B. Acceleration of stochastic approximation by averaging［J］. SIAM Journal on Control and Optimization， 1992， 30（4）： 838-855.
12	GENG J， LI D， CHENG Y， et al. HiPS： hierarchical parameter synchronization in large-scale distributed machine learning［C］.Proceedings of the 2018 Workshop on Network Meets AI & ML. 2018： 1-7.
13	WU X， LI X， LI J， et al. Caching transient content for IoT sensing： multi-agent soft actor-critic［J］. IEEE Transactions on Communications， 2021， 69（9）： 5886-5901.
14	CODEVILLA F， SANTANA E， LÓPEZ A M， et al. Exploring the limitations of behavior cloning for autonomous driving［C］.Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 9329-9338.
15	XIAO Y， CODEVILLA F， GURRAM A， et al. Multimodal end-to-end autonomous driving［J］. IEEE Transactions on Intelligent Transportation Systems， 2020， 23（1）： 537-547.
16	ZHANG Z， ONG Y S， WANG D， et al. A collaborative multiagent reinforcement learning method based on policy gradient potential［J］. IEEE Transactions on Cybernetics， 2019， 51（2）： 1015-1027.
17	STEVIĆ S， KRUNIĆ M， DRAGOJEVIĆ M， et al. Development of ADAS perception applications in ROS and" Software-In-the-Loop" validation with Carla simulator［J］. Telfor Journal， 2020， 12（1）： 40-45.

项目	ARL	多智能体并行SAC
server个数		1	1	1	1	4
worker个数		1	8	8	8	8
agent个数		1	1	8	8	8
参数服务器		×	×	√	×	×
每1 h步数	16k	16k	120k	40k	350k	356k

[1]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[2]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[3]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.
[4]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[5]	朱向雷,吴志新,张宇飞,赵帅,李克秋,孙博华. 基于场景降维及采样方法的场景库优化方法研究[J]. 汽车工程, 2023, 45(8): 1408-1416.
[6]	吴新政,邢星宇,刘力豪,沈勇,陈君毅. 基于错误注入的决策规划系统抗扰性测试与分析[J]. 汽车工程, 2023, 45(8): 1428-1437.
[7]	高锋,冯德福,胡秋霞. 面向NMPC运动规划系统的数值优化加速技术[J]. 汽车工程, 2023, 45(8): 1438-1447.
[8]	芦涛,金馨,廖毅霏,黄圣杰,杨依琳,谢国涛,秦晓辉. 基于雅克比域零空间边缘化的视觉SLAM[J]. 汽车工程, 2023, 45(8): 1457-1467.
[9]	伍文广,田双岳,张志勇,张斌. 非铺装道路凹凸不平特征语义分割方法研究[J]. 汽车工程, 2023, 45(8): 1468-1478.
[10]	林程, 汪博文, 吕沛原, 宫新乐, 于潇. 面向变曲率道路的自动驾驶汽车换道博弈运动规划与协同控制研究[J]. 汽车工程, 2023, 45(7): 1099-1111.
[11]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[12]	李军, 周伟, 唐爽. 基于自适应拟合的智能车换道避障轨迹规划[J]. 汽车工程, 2023, 45(7): 1174-1183.
[13]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.
[14]	金立生,韩广德,谢宪毅,郭柏苍,刘国峰,朱文涛. 基于强化学习的自动驾驶决策研究综述[J]. 汽车工程, 2023, 45(4): 527-540.
[15]	陈妍妍,王海,蔡英凤,陈龙,李祎承. 基于检测的高效自动驾驶实例分割方法[J]. 汽车工程, 2023, 45(4): 541-550.