自动驾驶多传感器融合的时间校准方法研究

doi:10.19562/j.chinasae.qcgc.2022.02.008

汽车工程 ›› 2022, Vol. 44 ›› Issue (2): 215-224.doi: 10.19562/j.chinasae.qcgc.2022.02.008

所属专题：智能网联汽车技术专题-感知&HMI&测评2022年

自动驾驶多传感器融合的时间校准方法研究

张晶威^1,³,刘铁军^1,^2,³,李仁刚^1,³,刘丹^1,³(),詹景麟^1,³,阚宏伟^1,^2,³

^1.浪潮集团有限公司，高效能服务器与存储技术国家重点实验室，北京　100085
^2.广东浪潮智慧计算技术有限公司，广州　510627
^3.浪潮（北京）电子信息产业有限公司，北京　100085

收稿日期:2021-10-27 修回日期:2021-12-08 出版日期:2022-02-25 发布日期:2022-02-24
通讯作者: 刘丹 E-mail:bj_liudan@163.com
基金资助:
广东省重点研发计划(2033811500013)

A Temporal Calibration Method for Multi-Sensor Fusion of Autonomous Vehicles

Jingwei Zhang^1,³,Tiejun Liu^1,^2,³,Rengang Li^1,³,Dan Liu^1,³(),Jinglin Zhan^1,³,Hongwei Kan^1,^2,³

^1.Laboratory of High-End Server ＆ Storage Technology，Inspur Group Co. ，Ltd. ，Beijing 　100085
^2.Guangdong Inspur Intelligent Computing Technology Co. ，Ltd，Guangzhou 　510627
^3.Inspur （Beijing） Electronic Information Industry Co. ，Ltd. ，Beijing 　100085

Received:2021-10-27 Revised:2021-12-08 Online:2022-02-25 Published:2022-02-24
Contact: Dan Liu E-mail:bj_liudan@163.com

摘要/Abstract

摘要：

针对自动驾驶感知域系统的激光雷达、图像传感器、惯性测量单元3种传感器数据融合的时基校准问题，利用机械式激光雷达自身特征设计校准设备、系统及实验方法。基于激光雷达的触发事件和车载图像传感器感知特征，实现两种传感器时基在线标定，并通过示波器测量校验证明该方法的有效性。利用激光雷达扫描频率与触发事件时间差相互关联的特征，将激光雷达与惯性测量单元的标定系统结合，对激光雷达与惯性测量单元时基进行标定，并通过惯性测量单元标定实验证明方法有效性。

关键词: 自动驾驶, 传感器融合, 时间校准

Abstract:

For the temporal calibration of data fusion of Lidar， image sensor and inertial measurement unit （IMU） in the perception system of autonomous vehicles， the calibration equipment， system and test method are designed by using the characteristics of Lidar. Based on the trigger case of Lidar and the sensing characteristics of on-board image sensor， the on-line temporal calibration of the two sensors is realized， and the effectiveness of this method is verified by oscilloscope measurement. Based on the correlation between Lidar scanning frequency and trigger case time difference， the time base of Lidar and inertial measurement unit is calibrated by combining the calibration system of Lidar and inertial measurement unit， and the effectiveness of the method is proved by the inertial measurement unit calibration test.

Key words: autonomous vehicles, multi-sensor fusion, temporal calibration

张晶威,刘铁军,李仁刚,刘丹,詹景麟,阚宏伟. 自动驾驶多传感器融合的时间校准方法研究[J]. 汽车工程, 2022, 44(2): 215-224.

Jingwei Zhang,Tiejun Liu,Rengang Li,Dan Liu,Jinglin Zhan,Hongwei Kan. A Temporal Calibration Method for Multi-Sensor Fusion of Autonomous Vehicles[J]. Automotive Engineering, 2022, 44(2): 215-224.

图/表 18

图1

图2

图3

图4

图5

图6

图7

图8

表1

图9

图10

图11

图12

图13

表2

表3

本文实验方法测得IMU相对激光雷达延迟"

θ	t/s	$θ ˙$ _R_z（t）/ （（°）·s^-1）	ω_I_z/（（°）·s^-1）	t_d/ms
0	0
2π	0.106 021	3.017 6	3.303 5	21
4π	0.209 435	0.967 7	1.432 5	23
6π	0.309 021	-1.390 9	-0.955 0	19
8π	0.405 452	-3.180 6	-2.870 3	21
10π	0.499 976	-3.838 2	-3.814 0	18
12π	0.594 545	-3.180 6	-3.446 3	22
14π	0.690 933	-1.392 0	-1.786 8	18
16π	0.790 578	0.968 0	0.447 0	22
18π	0.893 955	3.017 2	2.626 6	24
20π	1.000 022	3.838 1	3.808 0	20

表3

图14

图15

参考文献 14

1	WONG U ， GARNEY B ， WHITTAKER W ， et al. Camera and LIDAR fusion for mapping of actively illuminated subterranean voids［C］. Field and Service Robotics， Results of the 7th International Conference， FSR 2009.
2	WISTH D ， CAMURRI M ， DAS S ， et al. Unified multi-modal landmark tracking for tightly coupled lidar-visual-inertial odometry［J］. IEEE Robotics and Automation Letters， 2021， 6（2）： 1004-1011.
3	GENEVA P ， ECKENHOFF K ， YANG Y， et al. LIPS： LiDAR-inertial 3D plane SLAM［C］. 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS 2018）. IEEE， 2018.
4	杨明亮，寇胜杰，芦勇，等. 基于多传感器融合的换道预警模型研究［J］. 汽车工程， 2019， 41（10）： 1197-1203.
	YANG Mingliang， KOU Shengjie， LU Yong， et al. Research on lane change warning model based on multi-sensor fusion［J］. Automotive Engineering， 2019， 41（10）： 1197-1203.
5	LEE K ， EIDSON J . IEEE 1588 standard for a precision clock synchronization protocol for networked measurement and control systems［C］. 2nd ISA/IEEE Sensors for Industry Conference. IEEE， 2002.
6	LUPTON T ， SUKKARIEH S . Visual-Inertial-Aided navigation for high-dynamic motion in built environments without initial conditions［J］. IEEE Press， 2012， 28（1）：61-76.
7	FORSTER C， CARLONE L， DELLAERT F， et al. IMU preintegration on manifold for efficient visualinertial maximum-a-posteriori estimation［C］. Proceedings of the 2015 Robotics： Science and Systems， Rome， Italy， 2015.
8	OPROMOLLA R， FASANO G， RUFINO G， et al. LIDAR-inertial integration for UAV localization and mapping in complex environments［C］. International Conference on Unmanned Aircraft Systems. IEEE， 2016.
9	SOMMER H ， KHANNA R ， GILITSCHENSKI I ， et al. A low-cost system for high-rate， high-accuracy temporal calibration for LIDARs and cameras［C］. 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. IEEE， 2017.
10	ENGLISH A ， ROSS P ， BALL D ， et al. TriggerSync： a time synchronisation tool［J］. IEEE， 2015：6220-6226.
11	HALL D S. High definition lidar system： US7969558B2［P］. 2011-06-28.
12	HALL D S， SHETTIGARA R， SLATTENGREN N， et al. Lidar signal acquisition： US10739444B2［P］. 2020-08-11.
13	付凤杰，李辰懋，吴丽，等. 视觉传感器和惯性传感器的时间标定方法［J］. 光学学报，2021，41（24）：2415002.
	FU F J， LI C M， WU L， et al. Temporal calibration method for visual sensor and inertial sensor［J］. Acta Optica Sinica， 2021，41（24）：2415002.
14	FURGALE P ， REHDER J ， SIEGWART R . Unified temporal and spatial calibration for multi-sensor systems［C］. IEEE/RSJ International Conference on Intelligent Robots & Systems. IEEE， 2013.

实验组	LD发光状态［6：0］（1-点亮，0-熄灭）	图像传感器曝光延迟t_k/ms	示波器测试I2C报文延迟/ms
1	0001010	2.25	2.30
2	0001010	2.25	2.48
3	0001010	2.25	2.38
4	0001011	2.50	2.55
5	0001010	2.25	2.43

名称	数值
轴系	滚转轴（内圈）
转角范围	连续
角速率范围/（（°）·s^-1）	±0.001~±1 200
角加速度（Max）/（（°）·s^-1）	1 800
速率精度平稳性/（（°）·s^-1）	≤5x10^-5（360°平均）ω≥10
速率分辨率/（（°）·s^-1）	0.000 1

[1]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[2]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[3]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.
[4]	刘卫国,项志宇,刘伟平,齐道新,王子旭. 基于分布式强化学习的车辆控制算法研究[J]. 汽车工程, 2023, 45(9): 1637-1645.
[5]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[6]	朱向雷,吴志新,张宇飞,赵帅,李克秋,孙博华. 基于场景降维及采样方法的场景库优化方法研究[J]. 汽车工程, 2023, 45(8): 1408-1416.
[7]	吴新政,邢星宇,刘力豪,沈勇,陈君毅. 基于错误注入的决策规划系统抗扰性测试与分析[J]. 汽车工程, 2023, 45(8): 1428-1437.
[8]	高锋,冯德福,胡秋霞. 面向NMPC运动规划系统的数值优化加速技术[J]. 汽车工程, 2023, 45(8): 1438-1447.
[9]	芦涛,金馨,廖毅霏,黄圣杰,杨依琳,谢国涛,秦晓辉. 基于雅克比域零空间边缘化的视觉SLAM[J]. 汽车工程, 2023, 45(8): 1457-1467.
[10]	伍文广,田双岳,张志勇,张斌. 非铺装道路凹凸不平特征语义分割方法研究[J]. 汽车工程, 2023, 45(8): 1468-1478.
[11]	林程, 汪博文, 吕沛原, 宫新乐, 于潇. 面向变曲率道路的自动驾驶汽车换道博弈运动规划与协同控制研究[J]. 汽车工程, 2023, 45(7): 1099-1111.
[12]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[13]	李军, 周伟, 唐爽. 基于自适应拟合的智能车换道避障轨迹规划[J]. 汽车工程, 2023, 45(7): 1174-1183.
[14]	浦震峰, 唐亮, 上官文斌, 王伟玮, 蒋开洪. 基于多传感器信息的汽车低速车速估计方法[J]. 汽车工程, 2023, 45(7): 1235-1243.
[15]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.

自动驾驶多传感器融合的时间校准方法研究

A Temporal Calibration Method for Multi-Sensor Fusion of Autonomous Vehicles

RichHTML

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

图/表 18

参考文献 14

相关文章 15

Metrics

本文评价

推荐阅读 10