飞行汽车多模态任务路径高效学习规划方法

doi:10.19562/j.chinasae.qcgc.2025.11.002

摘要/Abstract

摘要：

飞行汽车在城市交通、救援运输等领域备受关注。高效的多模态任务路径规划有效提高其在上述领域中的作业效率。为此，本文提出一种用于飞行汽车多模态任务路径规划的高效学习方法。首先，优化了飞行汽车的动作空间，保留起飞、降落及朝向目标位置方向的动作，同时设计了一种针对非目标方向动作的概率选择机制。其次，考虑飞行汽车的空地协同特点，设计一种新型的Q-learning奖励函数，并提出一种针对历史最优路径经验的奖励增强机制。最后，提出一种路径平滑方法，获得一条光滑连续的空地协同任务路径。研究结果表明：所提方法规划的多模态路径依次比A*、Q-learning和D* Lite所规划的多模态路径减少了10.35、126.75和162.10 m的运行距离。在学习效率方面，所提方法比Q-learning缩短了45.97%的学习时间。

关键词: 飞行汽车, 多模态任务路径规划, 动作空间, 奖励函数, 路径平滑

Abstract:

Flying vehicles have attracted significant attention in urban traffic， rescue transportation， and other operational fields. Efficient multi-modal task path planning effectively improves their operational efficiency in these fields. Therefore， an efficient learning method for multi-modal task path planning of flying vehicles is proposed. Firstly， the action space of the flying vehicle is optimized， retaining the actions of take-off， landing， and moving towards the target position. Simultaneously， a probability selection mechanism for non-target direction actions is designed. Secondly， considering the air-ground coordination characteristics of the flying vehicle， a novel reward function of Q-learning is designed. And a reward enhancement mechanism based on historical optimal path experience is proposed. Finally， a path smoothing method is proposed to obtain a smooth and continuous path for the air-ground cooperative task. Compared with the multi-modal paths planned by A*， Q-learning， and D* Lite， the multi-modal path planned by this method successively reduces the running distance by 10.35， 126.75， and 162.10 m， respectively. In terms of learning efficiency， the method reduces the learning time by 45.97% compared to Q-learning.

Key words: flying vehicles, multi-modal task path planning, action space, reward function, path smoothing

赵靖,杨超,王伟达,李颖,项昌乐. 飞行汽车多模态任务路径高效学习规划方法[J]. 汽车工程, 2025, 47(11): 2070-2082.

Jing Zhao,Chao Yang,Weida Wang,Ying Li,Changle Xiang. An Efficient Learning Method for Multi-Modal Task Path Planning of Flying Vehicles[J]. Automotive Engineering, 2025, 47(11): 2070-2082.

图/表 16

图1

图2

表1

图3

图4

图5

图6

表2

博弈学习参数表"

参数	数值
$b$	1
$c$	7.5
$d$	1.01
$t n$	400
$α$	0.6
$γ$	0.9

表2

图7

图8

图9

表3

图10

图11

图12

图13

参考文献 21

[1]	ZHAO J， YANG C， LIU G， et al. A flight-fault-aware path planning strategy for VTOL intelligent air-ground vehicle using game learning approach［J］. IEEE Transactions on Intelligent Vehicles， 2024.
[2]	HU G， DU B， CHEN K， et al. Super eagle optimization algorithm based three-dimensional ball security corridor planning method for fixed-wing UAVs［J］. Advanced Engineering Informatics， 2024， 59.
[3]	胡子牛，陈鑫鹏，杨泽宇，等. 具有多型避障方式的智能车辆路径规划［J］. 汽车工程， 2025， 47（3）： 402-411.
	HU Z N， CHEN X P， YANG Z Y， et al. Path planning with multiple obstacle-avoidance modes for intelligent vehicles［J］. Automotive Engineering， 2025， 47（3）： 402-411.
[4]	张硕，邝士奇，赵轩，等. 基于全局导向的智能车辆路径规划融合算法研究［J］. 汽车工程， 2024， 46（9）： 1546-1555.
	ZHANG S， KUANG S Q， ZHAO X， et al. Research on global oriented path planning fusion algorithm for intelligent vehicles［J］. Automotive Engineering， 2024， 46（9）： 1546-1555.
[5]	ZHAO J， WANG W， YANG C， et al. A new efficient algorithm for short path planning of the vertical take-off and landing air-ground integrated vehicle［J］. Engineering Applications of Artificial Intelligence， 2024， 127.
[6]	MA D， HAO S， MA W， et al. An optimal control-based path planning method for unmanned surface vehicles in complex environments［J］. Ocean Engineering， 2022， 245.
[7]	金立生，韩广德，谢宪毅，等. 基于强化学习的自动驾驶决策研究综述［J］. 汽车工程， 2023， 45（4）： 527-540.
	JIN L S， HAN G D， XIE X Y， et al. Review of autonomous driving decision-making research based on reinforcement learning［J］. Automotive Engineering， 2023， 45（4）： 527-540.
[8]	赵靖，王伟达，杨超，等. 一种兼顾运行距离与能耗的飞行车辆多模态任务路线规划方法［J］. 机械工程学报， 2025， 61（2）： 222-235.
	ZHAO J， WANG W D， YANG C， et al. Multi-modal mission route planning method for flying vehicles considering running distance and energy consumption［J］. Journal of Mechanical Engineering， 2025， 61（2）： 222-235.
[9]	LOW E S， ONG P， LOW C Y， et al. Modified Q-learning with distance metric and virtual target on path planning of mobile robot［J］. Expert Systems with Applications， 2022， 199.
[10]	WU J， SUN Y， LI D， et al. An adaptive conversion speed Q-learning algorithm for search and rescue UAV path planning in unknown environments［J］. IEEE Transactions on Vehicular Technology， 2023， 72（12）： 15391-15404.
[11]	段书用，章霖鑫，韩旭，等. 具有光滑-直行功能的Q-Learning路径优化算法［J］. 机械工程学报， 2022， 58（11）： 72-87.
	DUAN S Y， ZHANG L X， HAN X， et al. Smoothed-shortcut Q-learning algorithm for optimal robot agent path planning［J］. Journal of Mechanical Engineering， 2022， 58（11）： 72-87.
[12]	WANG X， HUANG K， ZHANG X， et al. Path planning for air-ground robot considering modal switching point optimization［C］. 2023 International Conference on Unmanned Aircraft Systems （ICUAS）， 2023： 87-94.
[13]	ZHAO J， YANG C， WANG W， et al. A game-learning-based smooth path planning strategy for intelligent air-ground vehicle considering mode switching［J］. IEEE Transactions on Transportation Electrification， 2022， 8（3）： 3349-3366.
[14]	WANG W， CHEN Y， YANG C， et al. An efficient optimal sizing strategy for a hybrid electric air-ground vehicle using adaptive spiral optimization algorithm［J］. Journal of Power Sources， 2022， 517.
[15]	WANG W， CHEN Y， YANG C， et al. An enhanced hypotrochoid spiral optimization algorithm based intertwined optimal sizing and control strategy of a hybrid electric air-ground vehicle［J］. Energy， 2022， 257.
[16]	张伟民，徐森生，张月. 基于改进A*算法的室内巡检机器人路径规划研究［J］. 机械工程学报， 2024， 60（20）： 315-326.
	ZHANG W M， XU S S， ZHANG Y. Research on path planning of indoor inspection robot based on improved A* algorithm［J］. Journal of Mechanical Engineering， 2024， 60（20）： 315-326.
[17]	LIN Z， WU K， SHEN R， et al. An efficient and accurate A-star algorithm for autonomous vehicle path planning［J］. IEEE Transactions on Vehicular Technology， 2024， 73（6）： 9003-9008.
[18]	WATKINS C J C H， DAYAN P. Q-learning［J］. Machine Learning， 1992， 8： 279-292.
[19]	HART P E， NILSSON N J， RAPHAEL B. A formal basis for the heuristic determination of minimum cost paths［J］. IEEE Transactions on Systems Science and Cybernetics， 1968， 4（2）： 100-107.
[20]	KOENIG S， LIKHACHEV M. Fast replanning for navigation in unknown terrain［J］. IEEE Transactions on Robotics， 2005， 21（3）： 354-363.
[21]	KOENIG S， LIKHACHEV M， FURCY D. Lifelong planning A^∗［J］. Artificial Intelligence， 2004， 155（1-2）： 93-146.

汽车参数	数值	模态
汽车质量/kg	2 000	地面行驶/空中飞行
模态切换时间/min	3	地面行驶/空中飞行
外廓尺寸/m	6.5×2.5×2	地面行驶
车轮半径/m	0.39	地面行驶
最高车速/（km·h^-1）	80	地面行驶
外廓尺寸/m	7.5×6.5×2	空中飞行
旋翼桨叶半径/m	1.1	空中飞行
涵道桨叶半径/m	1	空中飞行
最大飞行高度/m	100	空中飞行
最大飞行距离/m	2 000	空中飞行

算法	运行距离/m	学习时间/s	地图
改进方法	365.50	86.74	地图1
Q-learning	365.50	181.44
A*	400.85
D* Lite	400.85
LPA*	400.85
改进方法	619.40	100.01	地图2
Q-learning	619.40	212.41
A*	690.10
D* Lite	619.40
LPA*	690.10
改进方法	639.60	119.60	地图3
Q-learning	766.35	221.36
A*	649.95
D* Lite	801.70
LPA*	801.70