基于特征融合的多层次多模态目标检测

doi:10.19562/j.chinasae.qcgc.2021.11.005

摘要/Abstract

摘要：

针对复杂环境下自动驾驶汽车环境感知的鲁棒性较低和小目标难以识别的问题，本文提出一种基于特征融合的多层次多模态融合方法。首先将图像与点云两种模态信息映射到同一维度，提取针对不同大小目标的层级特征，在此基础上进行多模态的多层次特征融合；并设计6次对比实验验证网络各模块的有效性。采用Waymo数据集结合蔚来汽车实车数据进行训练和测试，实验结果表明，该网络的检测MAP值较YOLO V3提升23.1%。

关键词: 自动驾驶, 环境感知, 层级特征融合, 多模态融合, 小目标检测

Abstract:

For the problems of low robustness of the environment perception and identification difficulty of small targets of autonomous driving in complex environment， a multi-level and multi-modal fusion method based on feature fusion is proposed in this paper. Firstly， the image and point cloud modal information are mapped to the same dimension， and the hierarchical features of different size targets are extracted. On this basis， the multi-modal multi-level feature fusion is carried out. Then， six comparative experiments are designed to verify the effectiveness of each module. Finally， the Waymo data set and NIO real car data are used for training and testing. The test results show that the detection MAP value of the network is improved by 23.1% compared with that of YOLO V3.

Key words: autonomous driving, environmental perception, hierarchical feature fusion, multimodal fusion, small target detection

程腾,孙磊,侯登超,石琴,张峻宁,陈炯,黄鹤. 基于特征融合的多层次多模态目标检测[J]. 汽车工程, 2021, 43(11): 1602-1610.

Teng Cheng,Lei Sun,Dengchao Hou,Qin Shi,Junning Zhang,Jiong Chen,He Huang. Multi-level and Multi-modal Target Detection Based on Feature Fusion[J]. Automotive Engineering, 2021, 43(11): 1602-1610.

图/表 20

图1

图2

图3

图4

图5

图6

图7

图8

图9

图10

图11

图12

图13

图14

图15

图16

图17

图18

图19

表1

参考文献 16

1	王宝锋，齐志权，马国成，等. 一种基于雷达和机器视觉信息融合的车辆识别方法［J］. 汽车工程， 2015， 37（6）：674-678，736.
	WANG B F， QI Z Q， MA G C， et al. Vehicle detection based on information fusion of radar and machine vision［J］. Automotive Engineering， 2015， 37（6）：674-678，736.
2	张燕咏，张莎，张昱，等. 基于多模态融合的自动驾驶感知及计算［J］. 计算机研究与发展， 2020（9）：1781-1799.
	ZHANG Y Y， ZHANG S， ZHANG Y， et al. Multi-modality fusion perception and computing in autonomous driving［J］. Journal of Computer Research and Development， 2020（9）：1781-1799.
3	张新钰，邹镇洪，李志伟，等. 面向自动驾驶目标检测的深度多模态融合技术［J］. 智能系统学报，2020，15（4）：758-771.
	ZHANG X Y， ZOU Z H， LI Z W， et al. Deep multi-modal fusion in object detection for autonomous driving［J］. Caai Transactions on Intelligent Systems，2020，15（4）：758-771.
4	郭磊，李克强，王建强，等. 一种基于特征的车辆检测方法［J］. 汽车工程，2006，28（11）：1031-1035.
	GUO L， LI K Q， WANG J Q， et al. A feature-based vehicle detection method［J］. Automotive Engineering， 2006，28（11）：1031-1035.
5	常昕，陈晓冬，张佳琛，等.基于激光雷达和相机信息融合的目标检测及跟踪［J］.光电工程，2019，46（7）：91-101.
	CHANG X， CHEN X D， ZHANG J C， et al. An object detection and tracking algorithm based on LiDAR and camera information fusion［J］. Opto-Electronic Engineering，2019，46（7）：91-101.
6	孙宁，秦洪懋，张利，等.基于多传感器信息融合的车辆目标识别方法［J］.汽车工程，2017，39（11）：1310-1315.
	SUN N， QIN H M， ZHANG L， et al. Vehicle target recognition based on multi-sensor information fusion［J］. Automotive Engineering， 2017，39（11）：1310-1315.
7	吴愿，薛培林，殷国栋，等. 基于特征融合的双模态低辨识度目标识别［J］. 中国机械工程，2021，32（10）：1205-1212，1221.
	WU Y， XUE P L， YIN G D， et al. Low-identification dual target recognition based on feature fusion［J］. China Mechanical Engineering，2021，32（10）：1205-1212，1221.
8	KIM T ， GHOSH J . Robust detection of non-motorized road users using deep learning on optical and LIDAR data［C］. 2016 IEEE 19th International Conference on Intelligent Transportation Systems （ITSC）. IEEE， 2016.
9	金彦亮，葛飞扬. 基于FPN融合的全时段自动驾驶中行人检测［J］. 工业控制计算机，2020，33（6）：59-60，63.
	JIN Y L， GE F Y. Pedestrian detection in full－time automatic driving based on fpn fusion architecture［J］. Industrial Control Computer，2020，33（6）：59-60，63.
10	LIN T Y， DOLLAR P， GIRSHICK R ， et al. Feature pyramid networks for object detection［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE Computer Society， 2017.
11	谢文亮，朱丹，佟新鑫. 一种基于视觉注意的小目标检测方法［J］. 计算机工程与应用， 2013， 49（12）：125-128.
	XIE W L， ZHU D， TONG X X. Small target detection method based on visual attention［J］. Computer Engineering and Applications， 2013， 49（12）：125-128.
12	DOU J， XUE J， FANG J. SEG-VoxelNet for 3D vehicle detection from RGB and LiDAR data［C］. 2019 International Conference on Robotics and Automation （ICRA）. 2019.
13	廖家才，曹立波，夏家豪，等. 基于核相关滤波和运动模型的多目标轨迹跟踪［J］. 汽车工程，2019，41（10）：1179-1188.
	LIAO J C， CAO L B， XIA J H， et al. Multi-target trajectory tracking based on kernelized correlation filtering and motion mode［J］. Automotive Engineering， 2019，41（10）：1179-1188.
14	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2016.
15	SUN C， SHRIVASTAVA A， SINGH S， et al. Revisiting unreasonable effectiveness of data in deep learning era［C］. IEEE Computer Society. IEEE Computer Society， 2017.
16	HE Y， XU D，WU L， et al. LFFD： a light and fast face detector for edge devices［J］.arXiv Preprint，arXiv：，2019.

项目	AP/汽车	AP/行人	AP/自行车手	MAP
YOLOV3	57.93%	43.14%	25.11%	42.06%
调整先验框	55.65%	43.96%	30.61%	43.40%
增大尺度	62.44%	46.25%	30.25%	46.31%
数据增强	63.72%	48.41%	31.03%	47.72%
扩大分辨率	65.91%	50.08%	33.16%	49.72%
多模态融合	67.32%	53.74%	34.29%	51.79%

[1]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[2]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[3]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.
[4]	刘卫国,项志宇,刘伟平,齐道新,王子旭. 基于分布式强化学习的车辆控制算法研究[J]. 汽车工程, 2023, 45(9): 1637-1645.
[5]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[6]	朱向雷,吴志新,张宇飞,赵帅,李克秋,孙博华. 基于场景降维及采样方法的场景库优化方法研究[J]. 汽车工程, 2023, 45(8): 1408-1416.
[7]	吴新政,邢星宇,刘力豪,沈勇,陈君毅. 基于错误注入的决策规划系统抗扰性测试与分析[J]. 汽车工程, 2023, 45(8): 1428-1437.
[8]	高锋,冯德福,胡秋霞. 面向NMPC运动规划系统的数值优化加速技术[J]. 汽车工程, 2023, 45(8): 1438-1447.
[9]	芦涛,金馨,廖毅霏,黄圣杰,杨依琳,谢国涛,秦晓辉. 基于雅克比域零空间边缘化的视觉SLAM[J]. 汽车工程, 2023, 45(8): 1457-1467.
[10]	伍文广,田双岳,张志勇,张斌. 非铺装道路凹凸不平特征语义分割方法研究[J]. 汽车工程, 2023, 45(8): 1468-1478.
[11]	林程, 汪博文, 吕沛原, 宫新乐, 于潇. 面向变曲率道路的自动驾驶汽车换道博弈运动规划与协同控制研究[J]. 汽车工程, 2023, 45(7): 1099-1111.
[12]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[13]	李军, 周伟, 唐爽. 基于自适应拟合的智能车换道避障轨迹规划[J]. 汽车工程, 2023, 45(7): 1174-1183.
[14]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.
[15]	金立生,韩广德,谢宪毅,郭柏苍,刘国峰,朱文涛. 基于强化学习的自动驾驶决策研究综述[J]. 汽车工程, 2023, 45(4): 527-540.