基于毫米波雷达与视觉融合的碰撞预警

doi:10.19562/j.chinasae.qcgc.2023.09.015

摘要/Abstract

摘要：

针对现有的毫米波雷达与视觉融合的碰撞预警算法误警率与漏警率较高等问题，提出了一种基于毫米波雷达与视觉融合的碰撞预警方法。首先基于距离速度阈值与生命周期方法对毫米波雷达数据进行预处理，并提出基于遗忘因子的自适应拓展卡尔曼滤波算法对目标进行追踪；利用加入改进的CBAM双通道注意力机制YOLOv5算法提高视觉识别的准确率。然后运用交并比的思想实现毫米波雷达与视觉的决策级融合。最后基于最小安全距离模型提出前碰撞预警策略。通过不同场景下的实车验证结果表明：该算法比单传感器算法更加准确，具有更好的鲁棒性。

关键词: 毫米波雷达, 深度视觉, 车辆识别, 碰撞预警, 自适应卡尔曼滤波, 注意力机制

Abstract:

For the problems of high false alarm rate and missed alarm rate of existing collision warning algorithms of millimeter wave radar and vision fusion， a collision warning method based on millimeter wave radar and vision fusion is proposed in this paper. Firstly， the distance-velocity threshold and life cycle methods are used to pre-process the millimeter wave radar data， and the adaptive extended Kalman filter algorithm based on forgetting factor is proposed to track the target， adding the improved CBAM two-channel attention mechanism YOLOv5 algorithm to improve the accuracy of visual recognition. Then the idea of cross-comparison is applied to realize the decision-level fusion of millimeter wave radar and vision. Finally， a forward collision warning strategy is proposed based on the minimum safe distance model. The results of real-vehicle tests under different scenarios show that the algorithm is more accurate and has better robustness than the single-sensor algorithm.

Key words: millimeter?wave radar, depth vision, vehicle identification, collision warning, adaptive Kalman filtering, attention mechanism

李勇滔,孙晨旭,郑伟光,许恩永,李育方,王善超. 基于毫米波雷达与视觉融合的碰撞预警[J]. 汽车工程, 2023, 45(9): 1666-1676.

Yongtao Li,Chenxu Sun,Weiguang Zheng,Enyong Xu,Yufang Li,Shanchao Wang. Collision Warning Based on Fusion of Millimeter Wave Radar and Vision[J]. Automotive Engineering, 2023, 45(9): 1666-1676.

图/表 16

图 1

表1

图2

图3

图4

图5

图6

表 2

图7

图8

图 9

图10

图11

图12

图13

表 3

参考文献 28

1	YAN Q T， LAN T. Thoughts on the construction of automobile service engineering major under the background of “new four moderniza-tions”［C］. 2021 2nd International Conference on Education， Knowledge and Information Management （ICEKIM）. IEEE， 2021： 491-494.
2	WEI Z， ZHANG F， CHANG S， et al. Mmwave radar and vision fusion for object detection in autonomous driving： a review［J］. Sensors， 2022， 22（7）： 2542.
3	GIRBES V， ARMESTO L， DOLS J， et al. An active safety system for low-speed bus braking assistance［J］. IEEE Transactions on Intelligent Transportation Systems， 2016， 18（2）： 377-387.
4	MIANI M， DUNNHOFER M， MICHELONI C， et al. Young drivers’ pedestrian anti-collision braking operation data modelling for ADAS development［J］. Transportation Research Procedia， 2022， 60： 432-439.
5	YU G， ZHOU B， WANG Z， et al. Vehicle intelligent driving technology［M］. Intelligent Road Transport Systems： An Introduction to Key Technologies. Singapore： Springer Nature Singapore， 2022： 399-464.
6	于增雨. 毫米波雷达人车目标分类方法研究［D］. 西安：西安电子科技大学， 2021.
	YU Z Y. Research on classification method of human and vehicle target base on millimeter wave radar ［D］. Xi'an： Xi'an University of Electronic Science and Technology， 2021.
7	王战古. 不良天气条件下车辆检测方法研究［D］. 长春：吉林大学， 2022.
	WANG Z G. Research on vehicle detection methods under adverse weather conditions ［D］. Changchun： Jilin University， 2022.
8	BENBARRAD T， SALHAOUI M， KENITAR S B， et al. Intelligent machine vision model for defective product inspection based on machine learning［J］. Journal of Sensor and Actuator Networks， 2021， 10（1）： 7.
9	GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2014： 580-587.
10	HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916.
11	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 779-788.
12	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector［C］. European Conference on Computer Vision. Springer， Cham， 2016： 21-37.
13	张海明，史涛.基于改进Faster R-CNN的目标检测算法研究［J］. 重庆理工大学学报（自然科学）， 2022， 36（9）：179-186.
	ZHANG H M， SHI T. Research on the target detection algorithm based on the improved Faster R-CNN ［J］. Journal of Chongqing University of Technology （Natural Sciences），2022，36（9）：179-186.
14	谈文蓉，薛余坤，陈秋实，等.改进YOLOv4算法的高速公路碰撞预警系统［J］. 西南民族大学学报（自然科学版）， 2022， 48（1）：64-74.
	TAN W R， XUE Y K， CHEN Q S， et al. Improved YOLOv4 algorithm for highway collision warning system［J］. Journal of Southwest University for Nationalities （Natural Science Edition），2022，48（1）：64-74.
15	ZHOU T， YANG M， JIANG K， et al. MMW radar-based technologies in autonomous driving： a review［J］. Sensors， 2020， 20（24）： 7283.
16	WANG J G， CHEN S J， ZHOU L B， et al. Vehicle detection and width estimation in rain by fusing radar and vision［C］. 2018 15th International Conference on Control， Automation， Robotics and Vision （ICARCV）. IEEE， 2018： 1063-1068.
17	张炳力，詹叶辉，潘大巍，等.基于毫米波雷达和机器视觉融合的车辆检测［J］. 汽车工程， 2021， 43（4）：478-484.
	ZHANG B L， ZHAN Y H， PAN D W， et al. Vehicle detection based on fusion of millimeter-wave radar and machine vision ［J］. Automotive Engineering，2021，43（4）：478-484.
18	胡延平，刘菲，魏振亚，等.毫米波雷达与视觉传感器信息融合的车辆跟踪［J］.中国机械工程， 2021， 32（18）：2181-2188.
	HU Y P， LIU F， WEI Z Y， et al. Vehicle tracking of information fusion for millimeter wave radar and vision sensor［J］. China Mechanical Engineering，2021，32（18）：2181-2188.
19	甘耀东，郑玲，张志达，等.融合毫米波雷达与深度视觉的多目标检测与跟踪［J］. 汽车工程， 2021， 43（7）：1022-1029，1056.
	GAN Y D， ZHENG L， ZHANG Z D， et al. Multi-target detection and tracking with fusion of millimeter-wave radar and depth vision［J］. Automotive Engineering，2021，43（7）：1022-1029，1056.
20	王艳玲. 基于驾驶员与环境特性的车辆前向防撞预警系统研究［D］. 西安：长安大学，2021.
	WANG Y L. Study on vehicle forward collision avoidance early warning system based on driver and environment characteristics［D］. Xi'an： Chang'an University，2021.
21	唐甜. 基于毫米波雷达与视觉信息融合的前方车辆检测［D］. 成都：电子科技大学，2021.
	TANG T. Forward vehicle detection based on millimeter wave radar and vision information fusion ［D］. Chengdu： University of Electronic Science and Technology， 2021.
22	HU C， CHEN W， CHEN Y， et al. Adaptive Kalman filtering for vehicle navigation［J］. Journal of Global Positioning Systems， 2003， 2（1）： 42-47.
23	JONDHALE S R， DESHPANDE R S. Tracking target with constant acceleration motion using kalman filtering［C］. 2018 International Conference on Advances in Communication and Computing Technology （ICACCT）. IEEE， 2018： 581-587.
24	SCHUBERT R， ADAM C， OBST M， et al. Empirical evaluation of vehicular models for ego motion estimation［C］. 2011 IEEE Intelligent Vehicles Symposium （IV）. IEEE， 2011： 534-539.
25	XIANG X， WANG Z， QIAO Y. An improved YOLOv5 crack detection method combined with transformer［J］. IEEE Sensors Journal， 2022， 22（14）： 14328-14335.
26	YU F， KOLTUN V. Multi-scale context aggregation by dilated convolutions［J］. arXiv preprint arXiv：， 2015.
27	BOCHINSKI E， SENST T， SIKORA T. Extending IOU based multi-object tracking by visual information［C］. 2018 15th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS）. IEEE， 2018： 1-6.
28	YANG W， LIU J， ZHOU K， et al. An automatic emergency braking model considering Driver’s intention recognition of the front vehicle［J］. Journal of Advanced Transportation， 2020， 2020： 1-15.

道路环境	预警算法	昼夜环境	里程数/km	总报警数	漏报警数	误报警数	准确率/%	漏警率/%	误警率/%
城镇/乡村	本文算法	白天	82	86	2	3	94.32	2.41	3.49
	本文算法	夜晚	12	30	3	1	87.88	10.34	3.33
	传统算法	白天	82	93	3	5	91.67	3.41	5.38
	传统算法	夜晚	12	24	5	0	82.76	20.83	0
国道/省道	本文算法	白天	1 215	2 240	43	61	95.44	1.97	2.72
	本文算法	夜晚	905	512	36	6	92.34	7.11	1.17
	传统算法	白天	1 215	2 532	67	122	92.73	2.78	4.82
	传统算法	夜晚	905	486	27	10	92.79	5.67	2.06
高速公路	本文算法	白天	1 242	1 040	26	32	94.56	2.58	3.08
	本文算法	夜晚	1 627	236	10	2	95.12	4.27	0.85
	传统算法	白天	1 242	1 076	44	51	91.52	4.29	4.74
	传统算法	夜晚	1 627	197	12	5	91.87	6.25	2.54
总计	本文算法		5 083	4 144	120	105	94.72	2.97	2.53
总计	传统算法		5 083	4 408	158	193	92.31	3.75	4.38

[1]	赵霞,李朝,付锐,葛振振,王畅. 基于深度卷积-Tokens降维优化视觉Transformer的分心驾驶行为实时检测[J]. 汽车工程, 2023, 45(6): 974-988.
[2]	李琳辉,张鑫亮,付一帆,连静,马家旭. 基于TC-YOLOv7算法的可见光与红外后融合检测研究[J]. 汽车工程, 2023, 45(12): 2280-2290.
[3]	陈龙,杨晨,蔡英凤,王海,李祎承. 基于多模态特征融合的行人穿越意图预测方法[J]. 汽车工程, 2023, 45(10): 1779-1790.
[4]	张小俊,奚敬哲,史延雷,袁安录. 面向路侧视角目标检测的轻量级YOLOv7-R算法[J]. 汽车工程, 2023, 45(10): 1833-1844.
[5]	张新荣,王鑫,宫新乐,黄晋,黄丹,王鹏兴. 面向智能车辆的路面附着系数分段识别方法[J]. 汽车工程, 2023, 45(10): 1923-1932.
[6]	龙文民,鲁光泉,石茜,谭海天. 基于驾驶人跟驰特性的前撞预警指标与阈值确定方法[J]. 汽车工程, 2022, 44(9): 1339-1349.
[7]	王大方,尚海,曹江,王涛,夏祥腾,韩雨霖. 基于自注意力机制的自动驾驶场景点云语义分割方法[J]. 汽车工程, 2022, 44(11): 1656-1664.
[8]	甘耀东,郑玲,张志达,李以农. 融合毫米波雷达与深度视觉的多目标检测与跟踪[J]. 汽车工程, 2021, 43(7): 1022-1029.
[9]	张炳力,詹叶辉,潘大巍,程进,宋伟杰,刘文涛. 基于毫米波雷达和机器视觉融合的车辆检测[J]. 汽车工程, 2021, 43(4): 478-484.
[10]	刘军,陈岚磊,李汉冰. 基于类人视觉的多任务交通目标实时检测模型[J]. 汽车工程, 2021, 43(1): 50-58.
[11]	蔡英凤, 邰康盛, 王海, 李祎承, 陈龙. 无人驾驶汽车周边车辆行为识别算法研究^*[J]. 汽车工程, 2020, 42(11): 1464-1472.
[12]	熊晓夏, 陈龙, 梁军, 蔡英凤, 江浩斌. 基于驾驶员避撞行为的行车风险判别方法的仿真研究^*[J]. 汽车工程, 2019, 41(2): 153-160.
[13]	王战古,高松,邵金菊，谭德荣，孙亮，于杰. 基于深度置信网络的多源信息前方车辆检测[J]. 汽车工程, 2018, 40(5): 554-560.