基于毫米波雷达和机器视觉融合的车辆检测

doi:10.19562/j.chinasae.qcgc.2021.04.004

摘要/Abstract

摘要：

针对车辆检测中使用传统单一传感器的识别效果差、易受干扰等缺点，本文提出一种基于毫米波雷达和机器视觉融合的车辆检测方法。首先利用分层聚类算法对雷达数据进行处理，过滤无效目标；利用改进的YOLO v2算法降低漏检率，提高检测速度；然后运用目标检测交并比和全局最近邻数据关联算法实现多传感器数据融合；最后基于扩展卡尔曼滤波算法进行目标跟踪，而得出最终结果。实车试验结果表明，该方法的车辆识别效果优于单一传感器，且在多种路况下识别效果良好。

关键词: 车辆检测, 毫米波雷达, YOLO算法, 传感器融合, 多目标跟踪

Abstract:

Aiming at the defects of poor identification effects and prone to be disturbed when using traditional single sensor in vehicle detection， a vehicle detection method based on the fusion of millimeter wave radar and machine vision is propose in this paper. Firstly， the radar data is processed by using hierarchical clustering algorithm with invalid targets filtered out， and the improved YOLO v2 algorithm is adopted to reduce the missed detection rate and increase the detection speed. Then， the intersection?over?union （IoU） of target detection and the global nearest neighbor data association algorithm are utilized to achieve multi?sensor data fusion. Finally， the extended Kalman filter algorithm is employed for target tracking， with the final result obtained. The results of real vehicle test show that the results of vehicle identification with the method proposed is better than that with single sensor， and has good recognition effects under various road conditions.

Key words: vehicle detection, millimeter wave radar, YOLO algorithm, sensor fusion, multi?target tracking

张炳力,詹叶辉,潘大巍,程进,宋伟杰,刘文涛. 基于毫米波雷达和机器视觉融合的车辆检测[J]. 汽车工程, 2021, 43(4): 478-484.

Bingli Zhang,Yehui Zhan,Dawei Pan,Jin Cheng,Weijie Song,Wentao Liu. Vehicle Detection Based on Fusion of Millimeter⁃wave Radar and Machine Vision[J]. Automotive Engineering, 2021, 43(4): 478-484.

图/表 12

图 1

图 2

图 3

表1

图 4

表2

表3

图 5

图 6

图 7

图 8

表4

参考文献 11

1	曹聪聪. 基于卷积神经网络的智能车前方车辆检测系统研究［D］. 合肥：合肥工业大学， 2019.
	CAO Congcong. Research on preceding vehicle detection system of intelligent vehicle based on convolutional neural network ［D］. Heifei： HefeiUniversity of Technology， 2019.
2	ZHANG X， ZHOU M， QIU P， et al. Radar and vision fusion for the real⁃time obstacle detection and identification ［J］. Industrial Robot An International Journal， 2019， 46（3）：391-395.
3	KIM H T， SONG B. Vehicle recognition based on radar and vision sensor fusion for automatic emergency braking［C］. International Conference on Control， IEEE， 2014.
4	CHANG S， ZHANG Y， ZHANG F， et al. Spatial attention fusion for obstacle detection using mmwave radar and vision sensor［J］. Sensors， 2020， 20（4）：956.
5	孙青. 基于视觉与雷达信息融合的障碍物检测识别方法研究［D］. 南京：南京理工大学， 2019.
	SUN Qing. Research on obstacle detection and recognition method based on fusion of vision and radar information［D］. Nanjing： Nanjing University of Science and Technology， 2019.
6	王战古，高松，邵金菊，等. 基于深度置信网络的多源信息前方车辆检测［J］. 汽车工程， 2018， 40（5）： 554-560，574.
	WANG Zhangu， GAO Song， SHAO Jinju， et al. Front vehicle detection with multi⁃source information based on deep belief network［J］. Automotive Engineering， 2018， 40（5）： 554-560，574.
7	KONSTANTINOVA P， UDVAREV A， SEMERDJIEV T. A study of a target tracking algorithm using global nearest neighbor approach ［C］ . International Conference on Computer and Technologies， Sofia： CiteSeer， 2003： 290-295.
8	赵望宇，李必军，单云霄，等. 融合毫米波雷达与单目视觉的前车检测与跟踪［J］. 武汉大学学报（信息科学版）， 2019， 44（12）： 1832-1840.
	ZHAO Wangyu， LI Bijun， SHAN Yunxiao， et al. Front vehicle detection and tracking based on fusion of millimeter wave radar and monocular vision ［J］. Geomatics and Information Science of Wuhan University， 2019， 44（12）： 1832-1840.
9	REDMON J， FARHADI A. YOLO9000： better， faster， stronger［C］. IEEE Conference on Computer Vision & Pattern Recognition， IEEE， 2017：6517-6525.
10	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real⁃time object detection［C］. Computer Vision & Pattern Recognition， IEEE， 2016.
11	梁翼. 基于毫米波雷达及深度学习视觉信息融合的前方车辆检测方法研究［D］. 广州：华南理工大学， 2019.
	LIANG Yi. Research on preceding vehicle detection method based on millimeter wave radar and deep learning visual information fusion ［D］. Guangzhou： South China University of Technology， 2019.

层号	类型	卷积核	尺寸/步长	输出
0	Conv	16	3×3/1	416×416×16
1	Max?Pooling		2×2/2	208×208×16
2	Conv	32	3×3/1	208×208×32
3	Max?Pooling		2×2/2	104×104×32
4	Conv	64	3×3/1	104×104×64
5	Max?Pooling		2×2/2	52×52×64
6	Conv	128	3×3/1	52×52×128
7	Max?Pooling		2×2/2	26×26×128
8	Conv	256	3×3/1	26×26×256
9	Max?Pooling		2×2/2	13×13×256
10	Conv	256	3×3/1	13×13×256
11	Conv	18	1×1/1	13×13×18
12	Route 10			13×13×256
13	Conv	128	1×1/1	13×13×128
14	Upsample		2	26×26×128
15	Route 14 8			26×26×384
16	Conv	128	3×3/1	26×26×128
17	Conv	18	1×1/1	26×26×18

类别	条目	版本
硬件配置	CPU	英特尔至强E5-1630 v4
	内存	16GB
	显卡	Nvidia Geforce 1080
软件配置	操作系统	Ubuntu 16.04
	CUDA	10.0
	CUDNN	8.0
	OpenCV	3.2.0
	Python	2.7

检测网络	车辆总数	正检数	误检数	漏检数	准确率/%	漏检率/%	检测速度/fps
YOLO v2	1 937	1 796	39	188	97.87	9.71	42
改进YOLO v2	1 937	1 787	46	154	97.49	7.95	79

处理方法	车辆总数	正检数	误检数	漏检数	准确率/%	漏检率/%
雷达算法	2 071	1 742	344	329	83.51	15.89
视觉算法		1 826	181	245	90.98	11.83
融合策略		1 907	112	164	94.45	7.92

[1]	李勇滔,孙晨旭,郑伟光,许恩永,李育方,王善超. 基于毫米波雷达与视觉融合的碰撞预警[J]. 汽车工程, 2023, 45(9): 1666-1676.
[2]	浦震峰, 唐亮, 上官文斌, 王伟玮, 蒋开洪. 基于多传感器信息的汽车低速车速估计方法[J]. 汽车工程, 2023, 45(7): 1235-1243.
[3]	韩勇,林旭洁,黄红武,蔡鸿瑜,罗金镕,李燕婷. 典型汽车碰撞事故场景中行人运动轨迹预测方法[J]. 汽车工程, 2023, 45(6): 1022-1030.
[4]	李琳辉,张鑫亮,付一帆,连静,马家旭. 基于TC-YOLOv7算法的可见光与红外后融合检测研究[J]. 汽车工程, 2023, 45(12): 2280-2290.
[5]	蔡英凤,陆子恒,李祎承,陈龙,王海. 基于多传感器融合的紧耦合SLAM系统[J]. 汽车工程, 2022, 44(3): 350-361.
[6]	张晶威,刘铁军,李仁刚,刘丹,詹景麟,阚宏伟. 自动驾驶多传感器融合的时间校准方法研究[J]. 汽车工程, 2022, 44(2): 215-224.
[7]	张炳力,秦浩然,江尚,郑杰禹,吴正海. 基于RetinaNet及优化损失函数的夜间车辆检测方法[J]. 汽车工程, 2021, 43(8): 1195-1202.
[8]	王海,李洋,蔡英凤,孙恺,陈龙. 基于激光雷达的3D实时车辆跟踪[J]. 汽车工程, 2021, 43(7): 1013-1021.
[9]	甘耀东,郑玲,张志达,李以农. 融合毫米波雷达与深度视觉的多目标检测与跟踪[J]. 汽车工程, 2021, 43(7): 1022-1029.
[10]	罗玉涛,秦瀚. 基于稀疏彩色点云的自动驾驶汽车3D目标检测方法[J]. 汽车工程, 2021, 43(4): 492-500.
[11]	陈龙,朱程铮,蔡英凤,王海,李祎承. 基于自查询的车载多目标跟踪算法研究[J]. 汽车工程, 2021, 43(11): 1587-1593.
[12]	石健,成前,金立生,胡耀光,蒋晓蓓,郭柏苍,王武宏. 面向视频结构化的细粒度车辆检测分类模型[J]. 汽车工程, 2021, 43(10): 1427-1434.
[13]	廖家才,曹立波,夏家豪,张晓,吴强. 基于核相关滤波和运动模型的多目标轨迹跟踪^*[J]. 汽车工程, 2019, 41(10): 1179-1188.
[14]	杨明亮,寇胜杰,芦勇,于春磊,江昆,杨殿阁. 基于多传感器融合的换道预警模型研究^*[J]. 汽车工程, 2019, 41(10): 1197-1203.
[15]	王战古,高松,邵金菊，谭德荣，孙亮，于杰. 基于深度置信网络的多源信息前方车辆检测[J]. 汽车工程, 2018, 40(5): 554-560.