融合毫米波雷达与深度视觉的多目标检测与跟踪

doi:10.19562/j.chinasae.qcgc.2021.07.009

摘要/Abstract

摘要：

针对现有融合毫米波雷达与传统机器视觉的车辆检测算法准确率较低与实时性较差的问题，本文中对多目标检测与跟踪进行研究。首先，利用阈值筛选和前后帧数据关联方法对毫米波雷达数据进行预处理，进而提出一种用于毫米波雷达数据跟踪的自适应扩展卡尔曼滤波算法。然后，为提高目标检测精度与速度，基于采集到的实车数据集训练卷积神经网络，完成深度视觉的多车辆检测。最后，采用决策级融合策略融合毫米波雷达与深度视觉信息，设计了一种用于复杂交通环境下前方车辆多目标检测与跟踪的框架。为验证所设计的框架，进行了不同交通环境下的实车实验。结果表明：该方法可实时检测跟踪前方车辆，具有比融合毫米波雷达与传统机器视觉的车辆检测方法更好的可靠性与鲁棒性。

关键词: 车辆检测, 目标跟踪, 毫米波雷达, 深度视觉, 自适应卡尔曼滤波, 神经网络

Abstract:

Aiming at the problems of low accuracy and poor real?time performance of the existing vehicle detection algorithm fusing millimeter wave radar and traditional machine vision， multi?target detection and tracking are studied in this paper. Firstly， the millimeter?wave radar data is preprocessed by using threshold screening and the data association of adjacent frames， and an adaptive extended Kalman filter algorithm is proposed for millimeter?wave radar data tracking. Then， for enhancing the accuracy and speed of target detection， the convolutional neural network is trained based on the real?vehicle data set collected to complete multi?vehicle detection with deep vision. Finally， a decision?level fusion strategy is adopted to fuse the information of millimeter?wave radar and deep vision， and a framework for the multi?target detection and tracking of front vehicles is designed. Real vehicle tests under different traffic environment are carried out to verify the designed framework. The results show that the method adopted can detect and track the front vehicles in real time with higher reliability and robustness， compared with the vehicle detection method fusing millimeter wave radar and traditional machine vision.

Key words: vehicle detection, target tracking, millimeter?wave radar, depth vision, adaptive Kalman filter, neural network

甘耀东,郑玲,张志达,李以农. 融合毫米波雷达与深度视觉的多目标检测与跟踪[J]. 汽车工程, 2021, 43(7): 1022-1029.

Yaodong Gan,Ling Zheng,Zhida Zhang,Yinong Li. Multi⁃target Detection and Tracking with Fusion of Millimeter⁃wave Radar and Deep Vision[J]. Automotive Engineering, 2021, 43(7): 1022-1029.

参考文献 18

1	FORTUNATI S， SANGUINETTI L， GINI F， et al. Massive MIMO radar for target detection ［J］. IEEE Transactions on Signal Processing， 2020， 68： 859-871.
2	KIM Y， KIM D， LEE J， et al. Moving target detection on an iron⁃bridge using phase analysis for automotive FMCW radar ［J］. Electronics Letters， 2019， 55（22）：1196-1198.
3	ZHE T， HUANG L， WU Q， et al. Inter⁃vehicle distance estimation method based on monocular vision using 3D detection ［J］. IEEE Transactions on Vehicular Technology， 2020， 69（5）：4907-4919.
4	李云翀，何克忠，贾培发. 基于阴影特征和Adaboost的前向车辆检测系统［J］. 清华大学学报（自然科学版）， 2007， 47（10）：1713-1716.
	LI Yunzhong， HE Kezhong， JIA Peifa. Vehicle detection system based on shadow and Adaboost［J］. Journal of Tsinghua University （Science and Technology）， 2007，47（10）：1713-1716.
5	TAKEUCHI A， MITA S， MCALLESTER D. On⁃road vehicle tracking using deformable object model and particle filter with integrated likelihoods［C］.IEEE Intelligent Vehicles Symposium. San Diego， 2010： 1014-1021.
6	FAN B， HE Z， WU Y， et al. Deep learning empowered traffic offloading in intelligent software defined cellular V2X networks［J］. IEEE Transactions on Vehicular Technology， 2020， 69（11）： 13328 - 13340.
7	GIRSHICK R. Fast R⁃CNN［C］.Proceedings of the IEEE International Conference on Computer Vision， 2015： 1440-1448.
8	REN S， HE K， GIRSHICK R， et al. Faster R⁃CNN： towards real⁃time object detection with region proposal networks［C］.Advances in Neural Information Processing Systems， 2015：91-99.
9	SHIH K H， CHIU C T， LIN J A， et al. Real⁃time object detection with reduced region proposal network via multi⁃feature concatenation［J］. IEEE Transactions on Neural Networks and Learning Systems， 2020， 31（6）： 2164-2173.
10	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector ［C］. Proceedings of the IEEE European Conference on Computer Vision. Amsterdam， The Netherlands： IEEE， 2016： 21-37.
11	PAN H， JIANG J， CHEN G. TDFSSD： Top⁃down feature fusion single shot multibox detector［J］. Signal Processing Image Communication， 2020， 89：115987.
12	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real⁃time object detection［C］. IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2015： 779-788.
13	REDMON J， FARHADI A. YOLO 9000： better，faster，stronger［C］. IEEE Conference on Computer Vision and Pattern Recognition. Honlulu： IEEE， 2017：6517-6525.
14	REDMON J， FARHADI A.YOLO v3： an incremental improvement［C］. IEEE Conference on Computer Vision and Pattern Recognition，2018： 89-95.
15	李原.毫米波雷达在车路协同系统中的应用研究［J］.工业控制计算机，2020，33（1）：44-46.
	LI Yuan. Application research of millimeter wave radar in vehicle⁃road collaboration system［J］.Industrial Control Computer，2020，33（1）：44-46．
16	YANG S， SONG S， ZHANG S， et al. Research on target tracking algorithm using millimeter⁃wave radar on curved road［J］. Mathematical Problems in Engineering， 2020， 2020：1-21.
17	UMAR R， MOBIEN M， ALDOWESH A， et al. Design， development and first experimental results of a multi⁃antenna， multi⁃beam， multi⁃frequency passive radar system［C］. International Radar Conference， 2019：171286.
18	赵望宇，李必军，单云霄，等. 融合毫米波雷达与单目视觉的前车检测与跟踪［J］.武汉大学学报（信息科学版），2019，44（12）：1832-1840.
	ZHAO Wangyu， LI Bijun， SHAN Yunxiao， et al. Vehicle detection and tracking based on fusion of millimeter wave radar and monocular vision［J］. Geomatics and Information Science of Wuhan University， 2019， 44（12）： 1832-1840.

[1]	王彦鑫,李海岩,崔世海,贺丽娟,吕文乐. 基于BP神经网络的儿童乘员头部损伤预测模型及评估参数研究[J]. 汽车工程, 2024, 46(2): 329-336.
[2]	李勇滔,孙晨旭,郑伟光,许恩永,李育方,王善超. 基于毫米波雷达与视觉融合的碰撞预警[J]. 汽车工程, 2023, 45(9): 1666-1676.
[3]	胡明辉,朱广曜,刘长贺,唐国峰. 考虑迟滞特性的卡尔曼滤波和门控循环单元神经网络的锂离子电池SOC联合估计[J]. 汽车工程, 2023, 45(9): 1688-1701.
[4]	管欣,仲昭辉,詹军,奚腾龙,叶昊,高深圳,成健,廖世辉,蔡均. 基于卷积神经网络的汽车操纵稳定性试验类型识别方法[J]. 汽车工程, 2023, 45(9): 1765-1771.
[5]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[6]	陈国强,申正义,孙利,支梦帆,李彤. 基于BP神经网络优化遗传算法的智能座舱感性意象预测[J]. 汽车工程, 2023, 45(8): 1479-1488.
[7]	张雷, 关可人, 丁晓林, 郭鹏宇, 王震坡, 孙逢春. 基于图像识别与动力学融合的路面附着系数估计方法[J]. 汽车工程, 2023, 45(7): 1222-1234.
[8]	韩勇,林旭洁,黄红武,蔡鸿瑜,罗金镕,李燕婷. 典型汽车碰撞事故场景中行人运动轨迹预测方法[J]. 汽车工程, 2023, 45(6): 1022-1030.
[9]	赵霞,李朝,付锐,葛振振,王畅. 基于深度卷积-Tokens降维优化视觉Transformer的分心驾驶行为实时检测[J]. 汽车工程, 2023, 45(6): 974-988.
[10]	何智成,杜磊浩,周恩临,覃高峰,黄晋. 基于改进连续型Hopfield神经网络的CAN总线负载率优化[J]. 汽车工程, 2023, 45(12): 2338-2347.
[11]	张新荣,王鑫,宫新乐,黄晋,黄丹,王鹏兴. 面向智能车辆的路面附着系数分段识别方法[J]. 汽车工程, 2023, 45(10): 1923-1932.
[12]	梁旺,秦兆博,陈亮,边有钢,胡满江. 基于改进BP神经网络的智能车纵向控制方法[J]. 汽车工程, 2022, 44(8): 1162-1172.
[13]	毕贵红,谢旭,蔡子龙,骆钊,陈臣鹏,赵鑫. 动态条件下基于深度学习的锂电池容量估计[J]. 汽车工程, 2022, 44(6): 868-878.
[14]	张哲雨,吕超,李景行,熊光明,吴绍斌,龚建伟. 基于车辆视角数据的行人轨迹预测与风险等级评定[J]. 汽车工程, 2022, 44(5): 675-683.
[15]	石琴,刘鑫,应贺烈,王铭伟,贺泽佳,贺林. 电液线控制动系统压力反步控制算法研究[J]. 汽车工程, 2022, 44(5): 747-755.