不确定性环境下的自动驾驶汽车行为决策方法

doi:10.19562/j.chinasae.qcgc.2024.02.003

摘要/Abstract

摘要：

在真实驾驶环境中，由于感知数据的噪声和其他交通参与者难以预测的行为意图，自动驾驶汽车如何在高度交互的复杂驾驶环境中考虑不确定性因素的影响，做出合理的决策，是当前决策规划系统须解决的主要问题之一。本文提出了一种不确定性环境下的自动驾驶汽车行为决策方法，为消除不确定性的影响，将行为决策过程转化为部分可观察马尔可夫决策过程（POMDP）。同时为解决POMDP模型计算复杂度过高的问题，首次将复杂网络理论应用于自动驾驶汽车周围微观的驾驶环境，对自动驾驶汽车驾驶环境进行动态建模，实现了车辆节点间交互关系的有效刻画，并对重要车辆节点进行科学筛选，用于指导自车的行为决策，实现对关键车辆节点的精准识别和决策空间的剪枝。在仿真环境中验证了所提方法的有效性，实验结果表明，与现有最先进的行为决策方法相比，所提出的方法拥有更高的计算效率，且拥有更好的性能和灵活性。

关键词: 自动驾驶汽车, 行为决策, 部分可观察马尔可夫决策过程, 复杂网络

Abstract:

In the context of real-world driving environments， due to the perturbation of perception data and the unpredictable behavior of other traffic participants， rational decision-making in highly interactive and intricate driving scenarios considering the impact of uncertainty factors is one of the main concerns that decision-making and planning systems for autonomous vehicles must address. A behavioral decision-making method for autonomous vehicles navigating in uncertain environments is proposed in this paper. To mitigate the impact of uncertainty， the behavioral decision-making process is transformed into a partially observable Markov decision process （POMDP）. Furthermore， to tackle the computational complexity of the POMDP model， the complex network theory is applied for the first time for dynamically modeling the microscopic driving environment surrounding the autonomous vehicle， which allows for the effective characterization of interaction relationship between vehicle nodes and the scientific selection of significant vehicle nodes， guiding the autonomous vehicle's decision-making process， enabling precise identification of critical vehicle nodes， and pruning the decision space. The effectiveness of the proposed method is verified in a simulation environment， and the experimental results show that the proposed method has higher computational efficiency， superior performance， and enhanced flexibility in comparison to existing state-of-the-art behavioral decision-making methods.

Key words: autonomous vehicles, decision-making, POMDP, complex network

付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.

Xinke Fu,Yingfeng Cai,Long Chen,Hai Wang,Qingchao Liu. Decision-Making for Autonomous Driving in Uncertain Environment[J]. Automotive Engineering, 2024, 46(2): 211-221.

图/表 9

图1

图2

图3

图4

图5

图6

图7

图8

表1

参考文献 35

1	SCHWARTING W， ALONSO-MORA J， RUS D. Planning and decision-making for autonomous vehicles ［J］. Annual Review of Control， Robotics， and Autonomous Systems， 2018， 1（1）： 187-210.
2	LIKMETA A， METELLI A M， TIRINZONI A， et al. Combining reinforcement learning with rule-based controllers for transparent and general decision-making in autonomous driving ［J］. Robotics and Autonomous Systems， 2020， 131： 103568.
3	ZHAO L， ICHISE R， SASAKI Y， et al. Fast decision making using ontology-based knowledge base［C］. Proceedings of the 2016 IEEE Intelligent Vehicles Symposium （IV）， F 19-22 June 2016.
4	VACEK S， GINDELE T， ZOLLNER J M， et al. Using case-based reasoning for autonomous vehicle guidance［C］. Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems， F 29 Oct.-2 Nov. 2007.
5	CHEN C， SEFF A， KORNHAUSER A， et al. DeepDriving： learning affordance for direct perception in autonomous driving［C］. Proceedings of the 2015 IEEE International Conference on Computer Vision （ICCV）， F 7-13 Dec. 2015.
6	DESJARDINS C， CHAIB-DRAA B. Cooperative adaptive cruise control： a reinforcement learning approach ［J］. IEEE Transactions on Intelligent Transportation Systems， 2011， 12（4）： 1248-1260.
7	SHU H， LIU T， MU X， et al. Driving tasks transfer using deep reinforcement learning for decision-making of autonomous vehicles in unsignalized intersection ［J］. IEEE Transactions on Vehicular Technology， 2022， 71（1）： 41-52.
8	MNIH V， KAVUKCUOGLU K， SILVER D， et al. Human-level control through deep reinforcement learning ［J］. Nature， 2015， 518（7540）： 529-533.
9	VITELLI M， NAYEBI A. Carma： a deep reinforcement learning approach to autonomous driving ［D］. Tech Rep Stanford University， Tech Rep， 2016.
10	FU Y， LI C， YU F R， et al. Hybrid autonomous driving guidance strategy combining deep reinforcement learning and expert system ［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（8）： 11273-11286.
11	KAELBLING L P， LITTMAN M L， CASSANDRA A R. Planning and acting in partially observable stochastic domains ［J］. Artificial Intelligence， 1998， 101（1）： 99-134.
12	CAI P， LUO Y， HSU D， et al. HyP-DESPOT： a hybrid parallel algorithm for online planning under uncertainty ［J］. The International Journal of Robotics Research， 2021， 40（2-3）： 558-573.
13	SILVER D， VENESS J. Monte-Carlo planning in large POMDPs ［J］. Advances in Neural Information Processing Systems， 2010， 23.
14	YE N， SOMANI A， HSU D， et al. DESPOT： online POMDP planning with regularization ［J］. Journal of Artificial Intelligence Research， 2017， 58： 231-266.
15	KURNIAWATI H， YADAV V. An online POMDP solver for uncertainty planning in dynamic environment ［M］. Robotics Research. Springer， 2016： 611-629.
16	HUBMANN C， SCHULZ J， XU G， et al. A belief state planner for interactive merge maneuvers in congested traffic［C］. Proceedings of the 2018 21st International Conference on Intelligent Transportation Systems （ITSC）， F 4-7 Nov. 2018.
17	BAI H， CAI S， YE N， et al. Intention-aware online POMDP planning for autonomous driving in a crowd［C］. Proceedings of the 2015 IEEE International Conference on Robotics and Automation （ICRA）， F 26-30 May 2015.
18	HUBMANN C， BECKER M， ALTHOFF D， et al. Decision making for autonomous driving considering interaction and uncertain prediction of surrounding vehicles［C］. Proceedings of the 2017 IEEE Intelligent Vehicles Symposium （IV）， F 11-14 June 2017.
19	HUBMANN C， SCHULZ J， BECKER M， et al. Automated driving in uncertain environments： planning with interaction and uncertain maneuver prediction ［J］. IEEE Transactions on Intelligent Vehicles， 2018， 3（1）： 5-17.
20	GALCERAN E， CUNNINGHAM A G， EUSTICE R M， et al. Multipolicy decision-making for autonomous driving via changepoint-based behavior prediction： theory and experiment ［J］. Autonomous Robots， 2017， 41（6）： 1367-1382.
21	CUNNINGHAM A G， GALCERAN E， EUSTICE R M， et al. MPDM： multipolicy decision-making in dynamic， uncertain environments for autonomous driving［C］. Proceedings of the 2015 IEEE International Conference on Robotics and Automation （ICRA）， F 26-30 May 2015.
22	NISHI T， DOSHI P， PROKHOROV D. Merging in congested freeway traffic using multipolicy decision making and passive actor-critic learning ［J］. IEEE Transactions on Intelligent Vehicles， 2019， 4（2）： 287-297.
23	DING W， ZHANG L， CHEN J， et al. EPSILON： an efficient planning system for automated vehicles in highly interactive environments ［J］. IEEE Transactions on Robotics， 2022， 38（2）： 1118-1138.
24	ZHANG L， DING W， CHEN J， et al. Efficient uncertainty-aware decision-making for automated driving using guided branching［C］. Proceedings of the 2020 IEEE International Conference on Robotics and Automation （ICRA）， F 31 May-31 Aug. 2020.
25	WATTS D J， STROGATZ S H. Collective dynamics of ‘small-world’networks ［J］. Nature， 1998， 393（6684）： 440-442.
26	BOCCALETTI S， LATORA V， MORENO Y， et al. Complex networks： structure and dynamics ［J］. Physics Reports， 2006， 424（4-5）： 175-308.
27	LIU Y Y， SLOTINE J J， BARABáSI A L. Controllability of complex networks ［J］. Nature， 2011， 473（7346）： 167-173.
28	YUAN Z， ZHAO C， DI Z， et al. Exact controllability of complex networks ［J］. Nature Communications， 2013， 4（1）： 2447.
29	BAGGIO G， BASSETT D S， PASQUALETTI F. Data-driven control of complex networks ［J］. Nature Communications， 2021， 12（1）： 1429.
30	LI A， CORNELIUS S P， LIU Y Y， et al. The fundamental advantages of temporal networks ［J］. Science， 2017， 358（6366）： 1042-1046.
31	UNICOMB S， IñIGUEZ G， GLEESON J P， et al. Dynamics of cascades on burstiness-controlled temporal networks ［J］. Nature Communications， 2021， 12（1）： 133.
32	STROGATZ S H. Exploring complex networks ［J］. Nature， 2001， 410（6825）： 268-276.
33	ZOU Y， DONNER R V， MARWAN N， et al. Complex network approaches to nonlinear time series analysis ［J］. Physics Reports， 2019， 787：1-97.
34	TREIBER M， KESTING A. Traffic flow dynamics ［J］. Traffic Flow Dynamics： Data， Models Simulation， Springer-Verlag Berlin Heidelberg， 2013， 983-1000.
35	COULTER R C. Implementation of the pure pursuit path tracking algorithm［M］. Carnegie Mellon University， The Robotics Institute， 1992.

方法	速度/（km·h^-1）	舒适度/（m·s^-2）
EPSILON	42.21	4.22
本文算法	47.56	1.90

[1]	赵高士,陈龙,蔡英凤,廉玉波,王海,刘擎超,滕成龙. 融合复杂网络和记忆增强网络的轨迹预测技术[J]. 汽车工程, 2023, 45(9): 1608-1616.
[2]	朱向雷,吴志新,张宇飞,赵帅,李克秋,孙博华. 基于场景降维及采样方法的场景库优化方法研究[J]. 汽车工程, 2023, 45(8): 1408-1416.
[3]	林程, 汪博文, 吕沛原, 宫新乐, 于潇. 面向变曲率道路的自动驾驶汽车换道博弈运动规划与协同控制研究[J]. 汽车工程, 2023, 45(7): 1099-1111.
[4]	陈龙,杨晨,蔡英凤,王海,李祎承. 基于多模态特征融合的行人穿越意图预测方法[J]. 汽车工程, 2023, 45(10): 1779-1790.
[5]	宋东鉴,朱冰,赵健,韩嘉懿,刘彦辰. 基于驾驶行为生成机制的智能汽车类人行为决策[J]. 汽车工程, 2022, 44(12): 1797-1808.
[6]	朱冰,孙宇航,赵健,张培兴,范天昕,宋东鉴. 自动驾驶汽车测试场景基元自动提取方法[J]. 汽车工程, 2022, 44(11): 1647-1655.
[7]	王安杰,郑玲,李以农,王戡. 基于预测风险场的智能汽车主动避撞运动规划[J]. 汽车工程, 2021, 43(7): 1096-1104.
[8]	张志勇,龙凯,杜荣华,黄彩霞. 自动驾驶汽车高速超车轨迹跟踪协调控制[J]. 汽车工程, 2021, 43(7): 995-1004.
[9]	徐向阳,胡文浩,董红磊,王琰,肖凌云,李鹏辉. 自动驾驶汽车测试场景构建关键技术综述[J]. 汽车工程, 2021, 43(4): 610-619.
[10]	宋晓琳,盛鑫,曹昊天,李明俊,易滨林,黄智. 基于模仿学习和强化学习的智能车辆换道行为决策[J]. 汽车工程, 2021, 43(1): 59-67.
[11]	蔡英凤,臧勇,孙晓强,陈龙,王海,江浩斌,何友国. 自动驾驶汽车横向可拓预瞄切换控制系统研究^*[J]. 汽车工程, 2018, 40(9): 1032-1039.