基于双目逆投影的停车位占位快速检测方法

doi:10.19562/j.chinasae.qcgc.2021.05.002

摘要/Abstract

摘要：

本文中提出了一种基于双目逆投影变换的停车位快速检测与定位方法。首先，通过逆投影变换将双目相机获取的两张图像投影到参考平面，生成两个新视图，即双目逆投影图，并利用其差分图来区分平面上与平面外的目标；随后，通过对差分图进行阈值化与滤波来实现障碍物的快速检测；同时，障碍物的位置也可从参考平面获取。与现有方法相比，该方法不需要明确的目标检测或三维重建，仅利用基本的图像变换实现停车位的快速检测与障碍物定位。在地下停车场与室外停车场环境下，利用智能车搭载的双目摄像机采集数据对本文算法进行验证。试验结果表明，此方法能快速有效地检测和定位车位附近的动静态障碍物，例如路障、行人、车辆和车位锁等，检测速度达到18帧/s，识别准确率高于95.0%，在算法效率、准确率和定位精度方面均优于现有的检测方法。

关键词: 自动驾驶, 停车位占位检测, 逆投影, 双目相机

Abstract:

This paper proposes a method for fast parking space detection and location based on inverse perspective mapping with binocular cameras. Firstly， the two images captured by binocular camera are projected to the reference plane through back projection to generate two new views， which are called Binocular Inverse Perspective Mapping （BIPM） views. The difference map of the two DBP （BIPM Difference） views can thus be utilized to distinguish objects on the plane or out of the plane. Then， obstacle fast detection is realized by thresholding and filtering the difference map. Meanwhile， the obstacle is localized readily from the reference plane. Compared to the existing methods， the proposed method requires no explicit object detection or 3D reconstruction. It can achieve fast parking space detection and obstacle localization by basic image warping. The proposed method has been verified with actual data collected by the binocular camera of the intelligent vehicle in indoor and outdoor parking lot. The experimental results show that this method can quickly and effectively detect and localize both dynamic and static obstacle objects near the parking space， such as roadblocks， pedestrians， vehicles， ground lockers， etc. The detection speed reaches 18 frames per second （fps）， and the recognition accuracy rate is above 95.0%， outperforming existing methods in terms of algorithm efficiency， accuracy and localization precison.

Key words: autonomous driving, parking space occupation detection, inverse perspective mapping, binocular cameras

肖汉彪,胡钊政,周哲,伍锦祥. 基于双目逆投影的停车位占位快速检测方法[J]. 汽车工程, 2021, 43(5): 650-656.

Hanbiao Xiao,Zhaozheng Hu,Zhe Zhou,Jinxiang Wu. Fast Detection Method of Parking Space Occupation Based on Inverse Perspective Mapping with Binocular Cameras[J]. Automotive Engineering, 2021, 43(5): 650-656.

图/表 11

图 1

图 2

图 3

图 4

表1

图 5

表2

图 6

表3

图 7

表4

参考文献 20

1	胡文，谭运生，康龙云，等. 基于驾驶员经验的自动泊车规划算法研究［J］. 汽车工程， 2019， 41（12）： 1394-1400， 1415.
	HU W， TAN Y S， KANG L Y， et al. Study on automatic parking planning algorithm based on driver’s experience［J］. Automotive Engineering， 2019， 41（12）： 1394-1400， 1415.
2	JEONG S H， CHOI C G， OH J N， et al. Low cost design of parallel parking assist system based on an ultrasonic sensor［J］. International Journal of Automotive Technology， 2010， 11（3）： 409-416.
3	POHL J， SETHSSON M， DEGERMAN P. A semi⁃automated parallel parking system for passenger cars［J］. Proceedings of the Institution of Mechanical Engineers， 2006， 220（1）： 53-56
4	JUNG H G， CHO Y H， YOON P J， et al. Scanning laser radar⁃based target position designation for parking aid system［J］. IEEE Transactions on Intelligent Transportation Systems， 2008， 9（3）： 406-424.
5	SUHR J K， JUNG H G， BAE K， et al. Automatic free parking space detection by using motion stereo⁃based 3D reconstruction［J］. Machine Vision and Applications， 2010， 21（2）： 163-176.
6	UNGER C， WAHL E， ILIC S， et al. Parking assistance using dense motion⁃stereo［J］. Machine Vision Application， 2014， 25（3）： 561-581.
7	GDEL POSTIGO C， TORRES J， MENENDEZ J M. Vacant parking area estimation through background subtraction and transience map analysis［J］. IET Intelligent Transport Systems， 2015， 9（9）： 835-841.
8	朱旺旺，黄宏成，马晋兴. 基于图像识别的泊车车位检测算法研究［J］.汽车工程，2019， 41（7）： 744-749， 756.
	ZHU W W， HUANG H C， MA J X. A research on parking space detection algorithm based on image recognition［J］. Automotive Engineering， 2019， 41（7）： 744-749， 756.
9	WANG C， ZHANG H， YANG M， et al. Automatic parking based on a bird's eye view vision system［J］. Advances in Mechanical Engineering， 2014， 6： 847406.
10	LEE S， HYEON D， PARK G， et al. Directional⁃DBSCAN： parking⁃slot detection using a clustering method in around⁃view monitoring system［C］. 2016 IEEE Intelligent Vehicles Symposium （IV）. IEEE， 2016： 349-354.
11	SUHR J K， JUNG H G. Automatic parking space detection and tracking for underground and indoor environments［J］. IEEE Transactions on Industrial Electronics， 2016， 63（9）： 5687-5698.
12	HSU C M， CHEN J Y. Around view monitoring⁃based vacant parking space detection and analysis［J］. Applied Sciences， 2019， 9（16）： 1-30.
13	ZHANG L， LI X， HUANG J， et al. Vision⁃based parking⁃slot detection： a benchmark and a learning⁃based approach［J］. Symmetry， 2018， 10（3）： 1-18.
14	徐乐先，陈西江，班亚，等. 基于深度学习的车位智能检测方法［J］. 中国激光， 2019， 46（4）： 230-241.
	XU L X， CHEN X J， BAN Y， et al. Intelligent detection method of parking space based on deep learning［J］. Chinese Journal of Lasers， 2019， 46（4）： 230-241.
15	CAI B Y， ALVAREZ R， SIT M， et al. Deep learning based video system for accurate and real⁃time parking measurement［J］. IEEE Internet of Things Journal， 2019， 6（5）： 7693-7701.
16	YING Z， LI G. Robust lane marking detection using boundary⁃based inverse perspective mapping［C］. 2016 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. IEEE， 2016： 1921-1925.
17	WANG J， MEI T， KONG B， et al. An approach of lane detection based on inverse perspective mapping［C］. 17th International IEEE Conference on Intelligent Transportation Systems （ITSC）. IEEE， 2014： 35-38.
18	郭磊，徐友春，李克强，等. 基于单目视觉的实时测距方法研究［J］.中国图象图形学报， 2006， 11（1）： 74-81.
	GUO L， XU Y C， LI K Q， et al. Study on real⁃time distance detection based on monocular vision technique［J］. Journal of Image and Graphics， 2006， 11（1）： 74-81.
19	ZHANG Z. A flexible new technique for camera calibration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（11）： 1330-1334.
20	SINGLA N. Motion detection based on frame difference method［J］. International Journal of Information & Computation Technology， 2014， 4（15）： 1559-1565.

占用类型	数量	错误检测	精确率/%
空闲	18	1	94.4
车	56	0	100
路障	2	0	100
车位锁	2	0	100
总数	78	1	98.7

占用类型	数量	错误检测	精确率/%
空闲	15	1	93.3
车	21	1	95.2
路障	4	0	100
总数	40	2	95.0

方法	检测时间/ms	准确率/%	定位精度/%
本文方法	55	97.4	1.8
文献[6]的方法	124	85.3	3.2
文献[12]的方法	68	90.3	6.4
文献[14]的方法	94	91.0	13.2

[1]	付新科,蔡英凤,陈龙,王海,刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法[J]. 汽车工程, 2024, 46(2): 211-221.
[2]	赵晓聪,房世玉,李子睿,孙剑. 社会性驾驶交互关键效用析取与应用[J]. 汽车工程, 2024, 46(2): 230-240.
[3]	马艳丽, 秦钦, 董方琦, 娄艺苧. 基于风险场的不同认知次任务下接管风险评估模型[J]. 汽车工程, 2024, 46(1): 9-17.
[4]	刘卫国,项志宇,刘伟平,齐道新,王子旭. 基于分布式强化学习的车辆控制算法研究[J]. 汽车工程, 2023, 45(9): 1637-1645.
[5]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[6]	朱向雷,吴志新,张宇飞,赵帅,李克秋,孙博华. 基于场景降维及采样方法的场景库优化方法研究[J]. 汽车工程, 2023, 45(8): 1408-1416.
[7]	吴新政,邢星宇,刘力豪,沈勇,陈君毅. 基于错误注入的决策规划系统抗扰性测试与分析[J]. 汽车工程, 2023, 45(8): 1428-1437.
[8]	高锋,冯德福,胡秋霞. 面向NMPC运动规划系统的数值优化加速技术[J]. 汽车工程, 2023, 45(8): 1438-1447.
[9]	芦涛,金馨,廖毅霏,黄圣杰,杨依琳,谢国涛,秦晓辉. 基于雅克比域零空间边缘化的视觉SLAM[J]. 汽车工程, 2023, 45(8): 1457-1467.
[10]	伍文广,田双岳,张志勇,张斌. 非铺装道路凹凸不平特征语义分割方法研究[J]. 汽车工程, 2023, 45(8): 1468-1478.
[11]	林程, 汪博文, 吕沛原, 宫新乐, 于潇. 面向变曲率道路的自动驾驶汽车换道博弈运动规划与协同控制研究[J]. 汽车工程, 2023, 45(7): 1099-1111.
[12]	赵东宇, 赵树恩. 基于级联YOLOv7的自动驾驶三维目标检测[J]. 汽车工程, 2023, 45(7): 1112-1122.
[13]	李军, 周伟, 唐爽. 基于自适应拟合的智能车换道避障轨迹规划[J]. 汽车工程, 2023, 45(7): 1174-1183.
[14]	赵嘉豪,齐志权,齐智峰,王皓,何磊. 基于轮胎特征点的并行大型车辆朝向角计算[J]. 汽车工程, 2023, 45(6): 1031-1039.
[15]	金立生,韩广德,谢宪毅,郭柏苍,刘国峰,朱文涛. 基于强化学习的自动驾驶决策研究综述[J]. 汽车工程, 2023, 45(4): 527-540.