基于Retinex的低光照车位图像增强

doi:10.19562/j.chinasae.qcgc.2023.06.009

摘要/Abstract

摘要：

针对自动泊车过程中车载鱼眼相机拍摄的车位图像因低光照环境导致图像整体偏暗、车位信息模糊而无法检测出车位的问题，本文中设计了一种融合限制对比度自适应直方图均衡化（CLAHE）和改进单尺度Retinex（SSR）的车位线图像增强算法。首先将鱼眼相机图像畸变矫正后转换生成鸟瞰图；然后使用优化映射函数计算过程的CLAHE算法对鸟瞰图预处理；进而使用基于迭代方框滤波估计入射分量的单尺度Retinex算法增强图像；经过滤波和形态学处理，最后基于亮通道先验将图像灰度化，得到最终的增强结果。本文采集多组低光照场景下单侧鱼眼相机摄取的实际泊车过程视频，截取驶过停车位过程中的单帧图像作为数据输入，并使用一种基础车位检测算法对增强结果进行检测，试验结果表明，经过增强后可被检测出车位的视频帧数量超过90%，且单帧图像增强算法处理时间仅38 ms。

关键词: 自动泊车, 低光照, 车位线增强, 车位检测

Abstract:

In the process of automatic parking， the parking space image taken by the fisheye camera on the vehicle is dark due to the low light environment and the parking space information is fuzzy， which makes it impossible to detect the parking space. In this paper， an image enhancement algorithm of parking space line is designed， which combines limited contrast adaptive histogram equalization （CLAHE） and improved single-scale Retinex （SSR）. Firstly， the image distortion of fisheye camera is rectified and converted to generate a bird's eye view. Then， the bird's-eye view is preprocessed by the CLAHE algorithm， which optimizes the calculation process of mapping function. Then， a single-scale Retinex algorithm based on iterative block filtering to estimate incident components is used to enhance the image. After filtering and morphological processing， the image is grayed based on the bright channel prior， and the final enhancement result is obtained. In this paper， multiple sets of videos of actual parking process captured by one-sided fisheye camera in low-light scenes are collected， and single-frame image in the process of passing through parking space is intercepted as data input， and a basic parking space detection algorithm is used to detect the enhancement result. The experiment shows that the number of video frames that can detect parking spaces after enhancement exceeds 90%， with only 38 ms of the processing time of single-frame image enhancement algorithm.

Key words: automatic parking, low illumination, parking space line enhancement, parking space detection

苗作华,朱良建,赵成诚,刘代文,李诒雯,陈澳光. 基于Retinex的低光照车位图像增强[J]. 汽车工程, 2023, 45(6): 989-996.

Zuohua Miao,Liangjian Zhu,Chengcheng Zhao,Daiwen Liu,Yiwen Li,Aoguang Chen. Image Enhancement of Low-Light Parking Space Based on Retinex[J]. Automotive Engineering, 2023, 45(6): 989-996.

图/表 15

图1

图2

图3

图4

图5

图6

图7

图8

图9

图10

表1

图11

表2

图12

表3

参考文献 21

1	MA Y， LIU Y， ZHANG L， et al. Research review on parking space detection method［J］. Symmetry， 2021， 13（1）： 128.
2	姬伟，吕兴琴，赵德安，等. 苹果采摘机器人夜间图像边缘保持的Retinex增强算法［J］. 农业工程学报， 2016， 32（6）： 189-196.
	JI Wei， LÜ Xingqin， ZHAO Dean， et al. Retinex enhancement algorithm for image edge preservation of apple picking robot at night ［J］. Journal of Agricultural Engineering， 2016， 32（6）： 189-196.
3	ZHOU Z， SANG N， HU X. Global brightness and local contrast adaptive enhancement for low illumination color image［J］. Optik-International Journal for Light and Electron Optics， 2014， 125（6）： 1795-1799.
4	江浩斌，王成雨，马世典，等. 基于图像梯度匹配的自动泊车系统车位识别方法［J］. 江苏大学学报（自然科学版）， 2020， 41（6）： 621-626.
	JIANG Haobin， WANG Chengyu， MA Shidian， et al. Parking slotre cognition of automatic parking system based on image gradient matching［J］. Journal of Jiangsu University （Natural Science Edition）， 2020， 41（6）： 621-626.
5	黄晨，刘泽，罗禹贡，等. 基于背景光照去除和连通区域的车位检测［J］. 汽车工程， 2020， 42（1）： 47-51，73.
	HUANG Chen， LIU Ze， LUO Yugong， et al. Parking space detection based on background Illumination removal and connected regions ［J］. Automotive Engineering， 2020， 42（1）： 47-51，73.
6	ZHANG Z. Flexible camera calibration by viewing a plane from unknown orientations［C］. Seventh IEEE International Conference on Computer Vision. IEEE， 1999.
7	HUANG F， WANG Y， SHEN X， et al. Method for calibrating the fisheye distortion center［J］. Applied Optics， 2012， 51（34）： 8169-8176.
8	杨宇，赵成星，张晓玲. 鱼眼相机的视觉标定及畸变校正［J］. 激光杂志， 2020， 41（9）： 20-23.
	YANG Yu， ZHAO Chengxing， ZHANG Xiaoling. Vision calibration and distortion correction of fisheye camera［J］. Laser Journal， 2020，41（9）： 20-23.
9	CHANG Y， JUNG C， KE P， et al. Automatic contrast limited adaptive histogram equalization with dual gamma correction［J］. IEEE Access， 2018： 1-1.
10	ASHIBA H I， ASHIBA M I. Super-efficient enhancement algorithm for infrared night vision imaging system［J］. Multimedia Tools and Applications， 2020， 80（6）： 9721-9747.
11	LI Jia. Application of image enhancement method for digital images based on Retinex theory［J］. Optik - International Journal for Light and Electron Optics， 2013， 124（23）： 5986-5988.
12	JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes［J］. IEEE Transactions on Image Processing， 2002， 6（7）： 965-976.
13	YOUNG I T， VLIET L. Recursive implementation of the Gaussian filter［J］. Signal Processing， 1995， 44（2）：139-151.
14	JOBSON D J， RAHMAN Z， WOODELL G A. Properties and performance of a center/surround Retinex ［J］. IEEE Transactions on Image Processing， 1997， 6（3）： 451–462.
15	SONG X， HUANG J， CAO J， et al. Multi-scale joint network based on Retinex theory for low-light enhancement［J］. Signal Image and Video Processing， 2021， 15（4）.
16	韩梦妍，李良荣，蒋凯. 基于光照图估计的Retinex低照度图像增强算法［J］. 计算机工程， 2021， 47（10）： 201-206.
	HAN Mengyan， LI Liangrong， JIANG Kai. Retinex low-illumination image enhancement algorithm based on light image estimation ［J］. Computer Engineering， 2021， 47（10）： 201-206.
17	HU H， LI B， LIU Q. Removing mixture of gaussian and impulse noise by patch-based weighted means［J］.Journal of Scientific Computing， 2015， 67（1）： 103-129.
18	WEI C， WANG W， YANG W， et al. Deep Retinex decomposition for low-light enhancement［C］. British Machine Vision Conference， 2018.
19	LIU L， LIANG F， ZHENG J， et al. Ship infrared image edge detection based on an improved adaptive Canny algorithm［J］. International Journal of Distributed Sensor Networks， 2018， 14（3）.
20	LIU W， ZHANG Z， LI S， et al. Road detection by using a generalized hough transform［J］. Remote Sensing， 2017， 9（6）： 590.
21	JUNG J H， LEE H S， LEE J H， et al. A novel template matching scheme for fast full-search boosted by an integral image［J］. IEEE Signal Processing Letters， 2009， 17（1）： 107-110.

模块	运行时间/ms
模块	第1次	第2次	第3次	3σ	平均值	平均-3σ	平均+3σ
低光照增强	40.532 4	37.274 8	38.369 5	4.060 6	38.725 6	34.665 0	42.786 2
车位线检测	34.681 2	33.532 4	34.416 8	1.473 7	34.210 1	32.736 4	35.683 8
总时长	75.213 6	70.807 2	72.786 3	5.406 0	72.935 7	67.529 7	78.341 7

方法	运行时间/s
方法	第1次	第2次	第3次	均值
直方图	0.014 5	0.017 6	0.013 6	0.015 2
HSV亮度增强	0.964 4	0.952 3	0.958 8	0.958 5
传统SSR	1.435 8	1.456 9	1.443 1	1.445 3
本文方法	0.038 5	0.037 4	0.037 7	0.037 9

数据	检测情况
数据	匹配车位数	未识别数	车位增强率/%
1	55	5	91.67
2	57	3	95.00
3	57	3	95.00
4	56	4	93.33
5	55	5	91.67

[1]	马天飞,李波,朱冰,赵健. 考虑大气条件影响的自动泊车系统超声波雷达建模[J]. 汽车工程, 2023, 45(9): 1646-1654.
[2]	刘平, 陈卓, 刘明杰, 朴昌浩, Soohyun Jang, 万凯林. 阶段约束下Gauss配点离散化平行车位自动泊车轨迹规划[J]. 汽车工程, 2023, 45(7): 1163-1173.
[3]	张书恺,陈慧,刘美岑. 全自动泊车系统路径跟随控制策略[J]. 汽车工程, 2022, 44(7): 1027-1039.
[4]	胡杰,朱令磊,陈瑞楠,钟鑫凯,徐文才,张敏超. 狭小车位平行泊车路径规划方法研究[J]. 汽车工程, 2022, 44(7): 1040-1048.
[5]	高强,陆洲,段晨东,徐婷. 汽车垂直泊车路径规划与路径跟踪研究[J]. 汽车工程, 2021, 43(7): 987-994.
[6]	朱旺旺, 黄宏成, 马晋兴. 基于图像识别的泊车车位检测算法研究[J]. 汽车工程, 2019, 41(7): 744-749.
[7]	胡文, 谭运生, 康龙云, 于宗光. 基于驾驶员经验的自动泊车规划算法研究^*[J]. 汽车工程, 2019, 41(12): 1394-1400.