基于2阶HMM的智能车视觉地图定位方法

doi:10.19562/j.chinasae.qcgc.2022.02.005

摘要/Abstract

摘要：

本文中针对视觉地图匹配问题，将视觉地图匹配问题转化为基于图像序列的最优视觉地图节点匹配问题，并提出基于2阶隐马尔科夫模型（hidden Markov model，HMM）的视觉地图匹配方法。在该模型中，状态变量被定义为高精度视觉地图节点，查询图像被定义为观测数据。在状态转移模型中，引入2阶模型对短时间车辆运动进行匀速运动建模，与传统的1阶HMM相比，可以提高模型的适用性与准确性。提出利用全局图像特征建立查询图像与地图节点之间的匹配关系，并从匹配的汉明距离建立发射概率模型，可有效提高地图匹配的效率。最后，通过前向算法来求解最优匹配的地图节点。为了验证算法的性能，分别在封闭工业园区、开放道路和KITTI公开数据集对算法进行验证。实验结果表明：2阶HMM模型能够有效融合车辆运动信息和图像信息，提高匹配的稳定性和精确度，算法性能明显优于传统的基于单帧匹配和序列匹配算法。

关键词: 智能车, 视觉定位, 2阶隐马尔可夫模型, 视觉地图

Abstract:

In this paper， the visual map matching problem is transformed into the optimal visual map node matching problem based on image sequence and a method for visual map matching method based on second-order HMM （Hidden Markov Model） is proposed. In this model， state variables are defined as high precision visual map nodes， and query images are defined as observation variables. In the state transition model， the second-order model is introduced to model the uniform motion of vehicles within a short period of time. Compared with the traditional first-order HMM， the second-order HMM method is more applicable and precise. The paper proposes to use the global image features to establish the matching relationship between the query image and the map nodes， and establish the transmission probability model from the matching Hamming distance， which can effectively improve the efficiency of map matching. Finally， the optimal matching map nodes are obtained by forward algorithm. The performance of the algorithm is verified in closed industrial park， open roads， and the public KITTI datasets， respectively. The experimental results show that the proposed second-order HMM model can effectively integrate vehicle motion information and image information， improve the stability and accuracy of matching， and the performance of the proposed algorithm outperforms traditional single frame matching and sequence matching algorithms.

Key words: intelligent vehicle, vision-based positioning, second-order Hidden Markov Model, visual map

周哲,胡钊政,王志强,肖汉彪. 基于2阶HMM的智能车视觉地图定位方法[J]. 汽车工程, 2022, 44(2): 190-198.

Zhe Zhou,Zhaozheng Hu,Zhiqiang Wang,Hanbiao Xiao. Visual Map Matching Method for Intelligent Vehicles Based on Second-order HMM[J]. Automotive Engineering, 2022, 44(2): 190-198.

图/表 17

图1

图2

图3

图4

图5

图6

图7

图8

图9

表1

图10

图11

表2

图12

图13

图14

表3

参考文献 23

1	TARIQ Z B， CHEEMA D M， KAMRAN M Z， et al. Non-GPS positioning systems： a survey［J］. ACM Computing Surveys， 2017， 50（4）： 57-51，34.
2	胡玉文，龚建伟，姜岩，等. 基于子地图的智能车辆同步定位与地图创建［J］. 汽车工程， 2015， 37（2）： 224-229.
	HU Y， GONG J W， JIANG Y， et al. A sub-map–based simulataneous localization and mapping technique for intelligent vehicles［J］. Automotive Engineering， 2015， 37（2）： 224-229.
3	曹立波，陈峥，颜凌波，等. 基于RFID、视觉和UWB的车辆定位系统［J］. 汽车工程， 2017， 39（2）： 225-231.
	CAO L B， CHEN Z， YAN L B， et al. Vehicle positioning system based on RFID， vision and UWB［J］. Automotive Engineering， 2017， 39（2）： 225-231.
4	董星亮，苑晶，张雪波，等. 室内环境下基于图像序列拓扑关系的移动机器人全局定位［J］. 机器人， 2019， 41（1）： 83-94，103．
	DONG X L， YUAN J， ZHANG X B， et al. Mobile robot global localization based on topological relationship between image sequences in indoor environments［J］. Robot， 2019， 41（1）： 83-94，103.
5	LI Y， HU Z， CAI Y， et al. Visual map-based localization for intelligent vehicles from multi-view site matching［J］. IEEE Transactions on Intelligent Transportation Systems， 2020， 22（2）： 1-12.
6	LATEGAHN H， STILLER C. Vision-only localization［J］. IEEE Transactions on Intelligent Transportation Systems， 2014， 15（3）： 1246-1257.
7	LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.
8	BAY H， TUYTELAARS T， VAN G L. SURF： Speeded up robust features［C］. European Conference on Computer Vision 2006. Berlin： Springer， 2006： 404-417.
9	RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF［C］. 2011 IEEE International Conference on Computer Vision. Barcelona， Spain： IEEE， 2011： 2564-2571.
10	ZHANG X， ZHU S， WANG Z， et al. Hybrid visual natural landmark–based localization for indoor mobile robots［J］. International Journal of Advanced Robotic Systems， 2018， 15（6）： 1-18.
11	范涵奇，张帅. 基于时空一致性的相机定位与地图重建算法［J］. 机器人， 2019， 41（1）： 40-49，57．
	FAN H Q， ZHANG S. Camera localization and map reconstruction algorithm based on temporal-spatial consistency［J］. Robot， 2019， 41（1）： 40-49，57．
12	FENG G， MA L， TAN X， et al. Visual map construction using RGB-D sensors for image-based localization in indoor environments［J］. Journal of Sensors， 2017： 1-18.
13	GALVEZ-LOPEZ D， TARDOS J D. Bag of binary words for fast place recognition in image sequences［J］. IEEE Transactions on Robotics， 2012， 28（5）： 1188-1197.
14	陈昊天，张彪，孙凤池，等. 基于分层词袋模型的室外环境增量式场景发现［J］. 控制理论与应用， 2020， 37（7）： 1471-1480．
	CHEN H T， ZHANG B， SUN F C， et al. Incremental scene detection in outdoor environment based on hierarchical bag-of-words model［J］. Control Theory & Applications， 2020， 37（7）： 1471-1480.
15	GARCIA-FIDALGO E， ORTIZ A. Hierarchical place recognition for topological mapping［J］. IEEE Transactions on Robotics， 2017， 33（5）： 1061-1074.
16	MA L， XUE H， JIA T， et al. A fast C-GIST based image retrieval method for vision-based indoor localization［C］. Vehicular Technology Conference， 2017： 1-5.
17	刘国忠，胡钊政. 基于SURF和ORB全局特征的快速闭环检测［J］. 机器人， 2017， 39（1）： 36-45．
	LIU G Z， HU Z Z. Fast closed loop detection based on SURF and ORB global features［J］. Robot， 2017， 39（1）： 36-45．
18	WANG X， HU Z， TAO Q W， et al. Bayesian place recognition based on bag of objects for intelligent vehicle localisation［J］. IET Intelligent Transport Systems， 2019， 13（11）： 1736-1744.
19	KHALIQ A， EHSAN S， MILFORD M， et al. A holistic visual place recognition approach using lightweight CNNs for severe viewpoint and appearance changes［J］. IEEE Transactions on Robotics， 2020， 36（2）： 561-569.
20	MILFORD M J， WYETH G F. SeqSLAM： Visual route-based navigation for sunny summer days and stormy winter nights［C］. IEEE. 2012 IEEE International Conference on Robotics and Automation. Piscataway， USA： IEEE， 2012： 1643-1649.
21	QIAO Y， CAPPELLE C， RUICHEK Y. Visual localization across seasons using sequence matching based on multi-feature combination［J］. Sensors， 2017， 17（11）： 324-335.
22	GEIGER A， LENZ P， STILLER C， et al. Vision meets robotics： the KITTI dataset［J］. International Journal of Robotics Research， 2013， 32（11）： 1231-1237.
23	CUMMINS M， NEWMAN P. FAB-MAP： Probabilistic localization and mapping in the space of appearance［J］. International Journal of Robotics Research， 2008， 27（6）： 647-665.

算法	平均值/帧	标准差/帧	正确定位概率/%	平均耗时/ms
本文算法	0.12	0.52	93.24	12.20
文献［15］算法	0.48	0.92	84.29	74.55
文献［19］算法	0.43	0.72	89.10	86.38
文献［20］算法	0.46	1.04	88.44	286.24

算法	平均值/帧	标准差/帧	正确定位概率/%	平均耗时/ms
本文算法	0.01	0.08	99.32	11.95
文献［15］算法	0.59	0.82	82.80	68.23
文献［19］算法	0.15	0.41	93.00	79.61
文献［20］算法	0.17	0.50	89.33	279.59

算法	平均值/帧	标准差/帧	正确定位概率/%	平均耗时/ms
本文算法	0.01	0.08	99.33	3.31
文献［15］算法	0.47	0.99	85.40	13.75
文献［19］算法	0.43	0.78	88.01	17.42
文献［20］算法	1.07	1.78	78.67	49.38

[1]	胡林,李根,王方,林淼,巫宁. 基于CIDAS事故数据的路口乘用车-两轮车测试场景研究[J]. 汽车工程, 2023, 45(8): 1417-1427.
[2]	潘世举, 李建市, 李华, 娄静涛, 徐友春. 基于反馈纯跟踪的智能车路径跟随方法[J]. 汽车工程, 2023, 45(7): 1134-1144.
[3]	李子先,潘世举,朱愿,何滨兵,徐友春. 基于状态反馈和预瞄前馈的智能车半主动悬架控制[J]. 汽车工程, 2023, 45(5): 735-745.
[4]	吕彦直,魏超,何元浩. 基于GCN和CIL的端到端自动驾驶换道方法[J]. 汽车工程, 2023, 45(12): 2310-2317.
[5]	任明辉,梁军,陈龙,张春,王云. 基于改进冲突搜索的智能车库多AGV路径规划[J]. 汽车工程, 2023, 45(10): 1933-1943.
[6]	潘世举,李永乐,李子先,何滨兵,朱愿,徐友春. 基于改进纯跟踪的智能车路径跟随方法[J]. 汽车工程, 2023, 45(1): 1-8.
[7]	邓泽武,胡钊政,周哲,刘裕林,彭超. 融合激光雷达与双层地图模型的智能车定位[J]. 汽车工程, 2022, 44(7): 1018-1026.
[8]	关龙新,顾祖飞,张超,王爱春,彭晨若,江会华,吴晓建. 考虑系统复杂扰动的智能车模型预测路径跟踪控制[J]. 汽车工程, 2022, 44(12): 1844-1855.
[9]	黄圣杰,胡满江,周云水,殷周平,秦晓辉,边有钢,贾倩倩. 动态场景下基于语义分割与运动一致性约束的车辆视觉SLAM[J]. 汽车工程, 2022, 44(10): 1503-1510.
[10]	梁军,朱方博,蔡英凤,陈小波,陈龙. 面向复杂曲率变化的智能车路径跟踪控制[J]. 汽车工程, 2021, 43(12): 1771-1779.
[11]	陈吉清,翁楚滨,兰凤崇. 智能车辆换道潜在冲突分析与风险量化方法[J]. 汽车工程, 2021, 43(11): 1565-1576.
[12]	章军辉,付宗杰,郭晓满,李庆,陈大鹏,赵野. 基于HS⁃FCM模糊聚类的快速多目标车辆跟踪算法[J]. 汽车工程, 2021, 43(10): 1419-1426.
[13]	宋晓琳,盛鑫,曹昊天,李明俊,易滨林,黄智. 基于模仿学习和强化学习的智能车辆换道行为决策[J]. 汽车工程, 2021, 43(1): 59-67.
[14]	周维, 过学迅, 裴晓飞, 张震, 余嘉星. 基于RRT与MPC的智能车辆路径规划与跟踪控制研究^*[J]. 汽车工程, 2020, 42(9): 1151-1158.
[15]	赵雅婷, 孙浩, 陈小龙, 吴其林. 基于U-K理论的家用智能车控制^*[J]. 汽车工程, 2020, 42(9): 1277-1283.