基于场景流不确定性模型的MOT SLAM算法研究

doi:10.19562/j.chinasae.qcgc.2025.09.006

摘要/Abstract

摘要：

多目标跟踪（multi-object tracking，MOT）结合同时定位与建图（simultaneous localization and mapping，SLAM）能够充分运用场景中动静态信息，可提升定位精度和鲁棒性而受到关注。本文提出了一种基于场景流不确定性模型的3D目标跟踪SLAM算法，以双目或RGB-D图像作为输入，结合实例掩膜和IMU信息，精确检测动态特征并联合估计自身和物体的位姿变换。针对动、静态和临时静态特征无法准确识别的问题，结合实例信息和场景流不确定性建模剔除误差干扰，实现精准的动态特征检测；针对运动物体特征点稀少和跟踪困难的问题，结合KLT光流和实例信息进行鲁棒的多层级数据关联；通过构建因子图并引入车辆运动学约束，实现了自身和运动物体位姿以及地图点坐标的紧耦合优化。最后，在公开数据集上进行对比实验。结果表明，所提算法能够准确跟踪自身和运动物体的位姿变换。

关键词: 视觉惯性SLAM, 3D目标跟踪, 场景流不确定性模型, 实例分割

Abstract:

Multi-object Tracking （MOT） combined with Simultaneous Localization and Mapping （SLAM）， making full use of dynamic and static information in the scene， can improve positioning accuracy and robustness， which has received considerable attention. In this paper a 3D object tracking SLAM algorithm based on the scene flow uncertainty model is proposed. With stereo or RGB-D images as input， combining instance masks and IMU information， it can accurately detect dynamic features and jointly estimate the pose transformation of itself and the objects. For the problem that dynamic， static and temporary static features cannot be accurately identified， instance information and scene flow uncertainty modeling are combined for modeling to eliminate error interference and achieve accurate dynamic feature detection. For the problem that feature points of moving objects are scarce and difficult to track， KLT optical flow and instance information are combined to perform robust multi-level data association. By constructing a factor graph and introducing vehicle kinematic constraints， tightly coupled optimization of the vehicle's own and moving object poses and map point coordinates is achieved. Finally， comparative experiments are conducted on public datasets. The results show that the proposed algorithm can accurately track the pose transformation of itself and the moving objects.

Key words: visual-inertial SLAM, 3D object tracking, scene flow uncertainty model, instance segmentation

苏家靖,朱元,陆科. 基于场景流不确定性模型的MOT SLAM算法研究[J]. 汽车工程, 2025, 47(9): 1700-1711.

Jiajing Su,Yuan Zhu,Ke Lu. Research on MOT SLAM Algorithm Based on Scene Flow Uncertainty Model[J]. Automotive Engineering, 2025, 47(9): 1700-1711.

图/表 16

图1

图2

图3

图4

图5

表1

图6

图7

图8

图9

图10

表2

表3

图11

图12

表4

参考文献 25

[1]	MUR-ARTAL R， MONTIEL J M M， TARDOS J D. ORB-SLAM： a versatile and accurate monocular SLAM system［J］. IEEE Transactions on Robotics， 2015， 31（5）： 1147-1163.
[2]	QIN T， LI P， SHEN S. VINS-Mono： a robust and versatile monocular visual-inertial state estimator［J］. IEEE Transactions on Robotics， 2018， 34（4）： 1004-1020.
[3]	SHAN T， ENGLOT B. LeGO-LOAM： lightweight and ground-optimized lidar odometry and mapping on variable terrain［C］. 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， IEEE， 2018： 4758-4765.
[4]	MUR-ARTAL R， TARDÓS J D. ORB-SLAM2： an open-source SLAM system for monocular， stereo， and RGB-D cameras［J］. IEEE Transactions on Robotics， 2017， 33（5）： 1255-1262.
[5]	QIN T， CAO S， PAN J， et al. A general optimization-based framework for global pose estimation with multiple sensors［J］. arXiv preprint arXiv：， 2019.
[6]	DAI W， ZHANG Y， LI P， et al. RGB-D SLAM in dynamic environments using point correlations［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 44（1）： 373-389.
[7]	CANOVAS B， ROMBAUT M， NÈGRE A， et al. Speed and memory efficient dense RGB-D SLAM in dynamic scenes［C］. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. IEEE， 2020： 4996-5001.
[8]	XIAO L H， WANG J G， QIU X S， et al. Dynamic-SLAM： semantic monocular visual localization and mapping based on deep learning in dynamic environment［J］. Robotics and Autonomous Systems， 2019， 117： 1-16.
[9]	BESCOS B， FÁCIL J M， CIVERA J， et al. DynaSLAM： tracking， mapping， and inpainting in dynamic scenes［J］. IEEE Robotics and Automation Letters， 2018， 3（4）： 4076-4083.
[10]	YANG S， SCHERER S. CubeSLAM： monocular 3-D object SLAM［J］. IEEE Transactions on Robotics， 2019， 35（4）： 925-938.
[11]	ZHANG J， HENEIN M， MAHONY R， et al. VDO-SLAM： a visual dynamic object-aware SLAM system［J］. arXiv preprint arXiv：， 2020.
[12]	BESCOS B， CAMPOS C， TARDÓS J D， et al. DynaSLAM II： tightly-coupled multi-object tracking and SLAM［J］. IEEE Robotics and Automation Letters， 2021， 6（3）： 5191-5198.
[13]	PARK S Y， LEE J. TDO-SLAM： traffic sign and dynamic object based visual SLAM［J］. IEEE Access， 2024， 12： 24569-24582.
[14]	PENG Z， CHENG S， LI X， et al. Dynamic visual SLAM integrated with IMU for unmanned scenarios［C］. 2022 IEEE 25th International Conference on Intelligent Transportation Systems （ITSC）. IEEE， 2022： 4247-4253.
[15]	SONG S， LIM H， LEE A J， et al. DynaVINS： a visual-inertial SLAM for dynamic environments［J］. IEEE Robotics and Automation Letters， 2022， 7（4）： 11523-11530.
[16]	ZHENG Z， LIN S， YANG C. RLD-SLAM： a robust lightweight VI-SLAM for dynamic environments leveraging semantics and motion information［J］. IEEE Transactions on Industrial Electronics， 2024.
[17]	YIN H， LI S， TAO Y， et al. Dynam-SLAM： an accurate， robust stereo visual-inertial SLAM method in dynamic environments［J］. IEEE Transactions on Robotics， 2022， 39（1）： 289-308.
[18]	CHANG J R， CHEN Y S. Pyramid stereo matching network［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 5410-5418.
[19]	WANG A， CHEN H， LIU L， et al. Yolov10： real-time end-to-end object detection［J］. Advances in Neural Information Processing Systems， 2025， 37： 107984-108011.
[20]	ZHANG C， HAN D， QIAO Y， et al. Faster segment anything： towards lightweight sam for mobile applications［J］. arXiv preprint arXiv：， 2023.
[21]	WONG X I， MAJJI M. Uncertainty quantification of lucas kanade feature track and application to visual odometry［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. IEEE， 2017： 950-958.
[22]	WEDEL A， CREMERS D. Stereo scene flow for 3D motion analysis［M］. Springer Science & Business Media， 2011.
[23]	陈建华.面向自主地面车辆的立体视觉里程计定位技术研究［D］. 长春：吉林大学，2019.
	CHEN Jianhua. Research on positional technology of stereo visual odometry for autonomous land vehicles［D］. Changchun： Jilin University， 2019.
[24]	MINODA K， SCHILLING F， WÜEST V， et al. VIODE： a simulated dataset to address the challenges of visual-inertial odometry in dynamic environments［J］. IEEE Robotics and Automation Letters， 2021， 6（2）： 1343-1350.
[25]	GEIGER A， LENZ P， STILLER C， et al. Vision meets robotics： the KITTI dataset［J］. The International Journal of Robotics Research， 2013， 32（11）： 1231-1237.

算法	ATE_Mean/m	ATE_Med/m	ATE_RMSE/m	ATE_STD/m
VINS-Fusion	1.153 4	0.928 2	1.653 3	1.184 5
MOT-VIS	0.053 5	0.052 4	0.056 7	0.018 7
LC-VIS	0.064 5	0.063 2	0.067 3	0.038 5

算法	RPE_Mean	RPE_Med	RPE_RMSE	RPE_STD
VINS-Fusion	0.077 0	0.006 4	0.205 0	0.189 9
MOT-VIS	0.002 4	0.001 8	0.003 3	0.002 3
LC-VIS	0.007 2	0.002 9	0.029 9	0.028 2

序列	DynaSLAM II^［12］		CubeSLAM^［10］				VDO-SLAM（RGB-D）^［11］				本文MOT-VIS算法（双目）
	自身位姿		自身位姿		物体位姿		自身位姿		物体位姿		自身位姿		物体位姿
	RPE_r/ （（°）·帧^-1）	RPE_t/ （m·帧^-1）	RPE_r/ （（°）·帧^-1）	RPE_t/ （m·帧^-1）	RPE_r/ （（°）·帧^-1）	RPE_t/ （m·帧^-1）	RPE_r/ （（°）·帧^-1）	RPE_t/ （m·帧^-1）	RPE_r/ （（°）·帧^-1）	RPE_t/ （m·帧^-1）	RPE_r/ （（°）·帧^-1）	RPE_t/ （m·帧^-1）	RPE_r/ （（°）·帧^-1）	RPE_t/ （m·帧^-1）
00	0.06	0.04					0.07	0.07	1.05	0.11	0.05	0.04	1.12	0.11
01	0.04	0.05					0.04	0.12	0.91	0.16	0.04	0.08	1.01	0.15
02	0.02	0.04					0.02	0.05	1.24	0.28	0.02	0.04	1.92	0.36
03	0.04	0.06	0.05	0.09	3.61	4.59	0.03	0.08	0.29	0.10	0.05	0.09	0.40	0.18
04	0.06	0.07	0.07	0.12	5.58	32.54	0.05	0.11	0.83	0.19	0.06	0.12
05	0.03	0.06	0.03	0.07	3.26	6.48	0.02	0.09	0.37	0.11	0.02	0.06	0.39	0.15
06	0.04	0.02					0.05	0.02	1.08	0.12	0.03	0.02
18	0.02	0.05	0.04	0.05	3.18	3.79	0.02	0.07	0.25	0.08	0.02	0.05	0.26	0.30
20	0.04	0.07	0.14	0.19	3.42	5.70	0.03	0.17	0.37	0.08	0.04	0.05