分布式多车协同视觉SLAM系统

doi:10.19562/j.chinasae.qcgc.2022.12.002

摘要/Abstract

摘要：

可靠的定位与导航是实现自动驾驶的先决条件。单车视觉同时定位与建图（SLAM）技术能够在GNSS拒止的情况下实现车辆的定位，但累积误差会随运行时间逐渐增加，难以持续准确完成定位任务。通过多车协同视觉SLAM可以提升定位效果。本文提出了一种鲁棒、轻量化的分布式多车协同视觉SLAM系统，该系统以ORB-SLAM2作为视觉里程计，利用NetVLAD全局图像描述子实现多车间共视区域识别和数据关联；提出了一种基于数据相似性和结构一致性的方法，实现多车间闭环离群值剔除；提出了一种分布式位姿图优化方法，提高多车协同定位精度。经过自主搭建平台所采集的真实数据以及KITTI数据集测试，该系统相较于已有的主流视觉SLAM算法以及协同SLAM算法均具有更高的定位精度。

关键词: 多车协同, 同时定位与建图, 视觉位置识别, 自动驾驶

Abstract:

Reliable localization and navigation are prerequisites for autonomous driving. Single-vehicle visual simultaneous localization and mapping（SLAM） enables vehicle localization in GNSS denial environment. However， the cumulative error will gradually increase with the running time， which leads to a great challenge of continuous and accurate localization. Therefore， localization can be improved by multi-vehicle collaborative visual SLAM. In this paper， a robust and lightweight distributed multi-vehicle collaborative visual SLAM system is proposed. The system uses ORB-SLAM2 as visual odometry， and uses global image descriptors NetVLAD for multi-vehicle place recognition and data association. A method based on data similarity and structural consistency is proposed to solve multi-vehicle loop-closure outlier rejection. Moreover， a distributed pose graph optimization method is proposed， which can enhance the accuracy of multi-vehicle collaborative localization. The system has been tested on our datasets collected by autonomous platform and KITTI datasets. The experiment results show that the proposed system outperforms the existing visual SLAM and collaborative SLAM.

Key words: multi-vehicle collaboration, SLAM, visual place recognition, autonomous vehicles

蒋朝阳,兰天然,郑晓妮,高九龙,叶学通. 分布式多车协同视觉SLAM系统[J]. 汽车工程, 2022, 44(12): 1809-1817.

Chaoyang Jiang,Tianran Lan,Xiaoni Zheng,Jiulong Gao,Xuetong Ye. Distributed Multi-vehicle Collaborative Visual SLAM System[J]. Automotive Engineering, 2022, 44(12): 1809-1817.

图/表 16

图1

图2

图3

图4

图5

图6

图7

图8

图9

表1

表2

图10

表3

图11

图12

图13

参考文献 24

1	BRESSON G， ALSAYED Z， YU L， et al. Simultaneous localization and mapping： a survey of current trends in autonomous driving［J］. IEEE Transactions on Intelligent Vehicles， 2017， 2（3）： 194-220.
2	CADENA C， CARLONE L， CARRILLO H， et al. Past， present， and future of simultaneous localization and mapping： toward the robust-perception age［J］. IEEE Transactions on Robotics， 2016， 32（6）： 1309-1332.
3	曹立波，陈峥，颜凌波，等. 基于RFID、视觉和UWB的车辆定位系统［J］. 汽车工程， 2017， 39（2）： 225-231.
	CAO L B， CHEN Z， YAN L B， et al. Vehicle positioning system based on RFID， vision and UWB［J］. Automotive Engineering， 2017， 39（2）： 225-231.
4	蔡英凤，陆子恒，李祎承，等. 基于多传感器融合的紧耦合SLAM系统［J］. 汽车工程， 2022， 44（3）： 350-361.
	CAI Y F， LU Z H， LI Y C， et al. Tightly coupled SLAM system based on multi-sensor fusion［J］. Automotive Engineering， 2022， 44（3）： 350-361.
5	HUANG G， HU Z Z， TAO Q W， et al. Improved intelligent vehicle self-localization with integration of sparse visual map and high-speed pavement visual odometry［J］. The Institution of Mechanical Engineers Part D-Journal of Automobile Engineering， 2021， 235（1）： 177-187.
6	胡玉文，龚建伟，姜岩，等. 基于子地图的智能车辆同步定位与地图创建［J］. 汽车工程， 2015， 37（2）： 224-229.
	HU Y W， GONG J W， JIANG Y， et al. A sub-map-based simultaneous localization and mapping technique for intelligent vehicles［J］. Automotive Engineering， 2015， 37（2）： 224-229.
7	孙宁，闫梦如，倪捷，等. 基于GRI的多车协同定位研究［J］. 汽车工程， 2018， 40（4）： 488-493，499.
	SUN N， YAN M R， NI J， et al. A study on multi-vehicle cooperative positioning based on GRI［J］. Automotive Engineering， 2018， 40（4）： 488-493，499.
8	段续庭，田大新，王云鹏. 基于V2X通信网络的车辆协同定位增强方法［J］. 汽车工程， 2018， 40（8）： 947-951，959.
	DUAN X T， TIAN D X， WANG Y P. Vehicle cooperative positioning enhancement method based on V2X communication networks［J］. Automotive Engineering， 2018， 40（8）： 947-951，959.
9	CAMPOS C， ELVIRA R， RODRíGUEZ J J G， et al. Orb-slam3： an accurate open-source library for visual， visual–inertial， and multimap slam ［J］. IEEE Transactions on Robotics， 2021， 37（6）： 1874-1890.
10	QIN T， LI P， SHEN S. VINS-Mono： a robust and versatile monocular visual-inertial state estimator［J］. IEEE Transactions on Robotics， 2018， 34（4）： 1004-1020.
11	SCHMUCK P， CHLI M. CCM‐SLAM： robust and efficient centralized collaborative monocular simultaneous localization and mapping for robotic teams［J］. Journal of Field Robotics， 2019， 36（4）： 763-781.
12	KARRER M， SCHMUCK P， CHLI M. CVI-SLAM—collaborative visual-inertial SLAM［J］. IEEE Robotics and Automation Letters， 2018， 3（4）： 2762-2769.
13	SCHMUCK P， ZIEGLER T， KARRER M， et al. COVINS： visual-inertial SLAM for centralized collaboration［C］. 2021 IEEE International Symposium on Mixed and Augmented Reality Adjunct （ISMAR-Adjunct）. IEEE， 2021： 171-176.
14	BRESSON G， AUFRèRE R， CHAPUIS R. Consistent multi-robot decentralized slam with unknown initial positions［C］. Proceedings of the 16th International Conference on Information Fusion. IEEE， 2013： 372-379.
15	CUNNINGHAM A， INDELMAN V， DELLAERT F. DDF-SAM 2.0： consistent distributed smoothing and mapping［C］. 2013 IEEE International Conference on Robotics and Automation（ICRA）. IEEE， 2013： 5220-5227.
16	TIAN Y， CHANG Y， ARIAS F H， et al. Kimera-multi： robust， distributed， dense metric-semantic SLAM for multi-robot systems［J］. IEEE Transactions on Robotics， 2022： 1-17.
17	CIESLEWSKI T， CHOUDHARY S， SCARAMUZZA D. Data-efficient decentralized visual SLAM［C］. 2018 IEEE International Conference on Robotics and Automation（ICRA）. 2018： 2466-2473.
18	ARANDJELOVIC R， GRONAT P， TORII A， et al. NetVLAD： CNN architecture for weakly supervised place recognition［C］. IEEE Conference on Computer Vision and Pattern Recognition. 2016： 5297-5307.
19	LAJOIE P Y， RAMTOULA B， CHANG Y， et al. DOOR-SLAM： distributed， online， and outlier resilient SLAM for robotic teams［J］. IEEE Robotics and Automation Letters， 2020， 5（2）： 1656-1663.
20	AGARWAL P， TIPALDI G D， SPINELLO L， et al. Robust map optimization using dynamic covariance scaling［C］. 2013 IEEE International Conference on Robotics and Automation（ICRA）. 2013： 62-69.
21	MANGELSON J G， DOMINIC D， EUSTICE R M， et al. Pairwise consistent measurement set maximization for robust multi-robot map merging［C］. 2018 IEEE International Conference on Robotics and Automation（ICRA）. IEEE， 2018： 2916-2923.
22	HUANG Y， SHAN T， CHEN F， et al. DiSCo-SLAM： distributed scan context-enabled multi-robot LiDAR SLAM with two-stage global-local graph optimization ［J］. IEEE Robotics and Automation Letters， 2021， 7（2）： 1150-1157.
23	CHOUDHARY S， CARLONE L， NIETO C， et al. Distributed mapping with privacy and communication constraints： Lightweight algorithms and object-based models［J］. The International Journal of Robotics Research， 2017， 36（12）： 1286-1311.
24	CARLONE L， ROSEN D M， CALAFIORE G， et al. Lagrangian duality in 3D SLAM： verification techniques and optimal solutions［C］. 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS）. IEEE， 2015： 125-132.

算法步骤	最大值/m	平均值/m	RMSE/m
DGS	61.48	15.33	20.25
PCM+DGS	12.22	3.97	3.65
PCM+MC-DGS	11.55	3.18	2.95
本文系统	3.50	1.91	2.25

SLAM系统		RMSE/m
单车SLAM	VINS-Fusion	11.65
单车SLAM	ORB-SLAM2	6.82
协同SLAM	DSLAM	4.00
	DOOR-SLAM	8.00
	本文系统	2.25

数据集	轨迹长度/m	本文系统/m	DGS+PCM/m	ORB-SLAM2/m	VINS-Fusion/m
KITTI 00 城镇	3 724.187	2.25	3.65	6.82	11.65
KITTI 01 高速	2 453.203	5.19	5.74	10.30	6.78
KITTI 04 高速	393.645	0.28	0.28	0.17	0.19
KITTI 07 城镇	694.697	0.48	0.49	0.51	0.97
KITTI 08 城镇	3 222.795	1.47	1.40	3.58	9.89

[1]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[2]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[3]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.
[4]	秦洪懋,沈国利,周云水,黄圣杰,秦晓辉,谢国涛,丁荣军. 特征稀疏场景下基于标签的车辆视觉SLAM[J]. 汽车工程, 2023, 45(9): 1543-1552.
[5]	刘卫国,项志宇,刘伟平,齐道新,王子旭. 基于分布式强化学习的车辆控制算法研究[J]. 汽车工程, 2023, 45(9): 1637-1645.
[6]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[7]	朱向雷,吴志新,张宇飞,赵帅,李克秋,孙博华. 基于场景降维及采样方法的场景库优化方法研究[J]. 汽车工程, 2023, 45(8): 1408-1416.
[8]	吴新政,邢星宇,刘力豪,沈勇,陈君毅. 基于错误注入的决策规划系统抗扰性测试与分析[J]. 汽车工程, 2023, 45(8): 1428-1437.
[9]	高锋,冯德福,胡秋霞. 面向NMPC运动规划系统的数值优化加速技术[J]. 汽车工程, 2023, 45(8): 1438-1447.
[10]	芦涛,金馨,廖毅霏,黄圣杰,杨依琳,谢国涛,秦晓辉. 基于雅克比域零空间边缘化的视觉SLAM[J]. 汽车工程, 2023, 45(8): 1457-1467.
[11]	伍文广,田双岳,张志勇,张斌. 非铺装道路凹凸不平特征语义分割方法研究[J]. 汽车工程, 2023, 45(8): 1468-1478.
[12]	林程, 汪博文, 吕沛原, 宫新乐, 于潇. 面向变曲率道路的自动驾驶汽车换道博弈运动规划与协同控制研究[J]. 汽车工程, 2023, 45(7): 1099-1111.
[13]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[14]	李军, 周伟, 唐爽. 基于自适应拟合的智能车换道避障轨迹规划[J]. 汽车工程, 2023, 45(7): 1174-1183.
[15]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.