基于复杂气象数字-物理融合模拟的智能汽车相机在环测试

doi:10.19562/j.chinasae.qcgc.2025.07.011

摘要/Abstract

摘要：

测试相机在复杂气象场景下的性能对提高智能汽车环境适应性具有重要意义。然而，利用数字仿真软件对相机进行测试时存在图像拟真度差的问题，而物理实景测试存在测试成本高、周期长且场景难以精准可控复现的缺点。对此，本文提出一种基于复杂气象数字-物理融合模拟的智能汽车相机在环测试方法，将相机硬件嵌入到数字仿真目标物与物理复杂气象实体共同构成的虚实融合测试环境中对智能汽车相机进行测试。首先，设计并构建复杂气象数字-物理融合模拟相机在环测试平台；其次，从像素级、特征级和结果级3个层级建立面向相机在环测试平台的多层级拟真度评价方法；结果表明，在雨、雾和光照等复杂气象场景的测试中本文提出的相机在环测试方法能够模拟的图像结构最小相似性和峰值信噪比分别为0.571 1和27.991 1 dB，所能够保留目标物体的轮廓信息与真实环境相比最大差距为88像素。在测试目标识别和测距功能时，最大结果差异分别为10.10%和13.39%。多层级拟真度评价结果表明，该测试方法在同等场景条件下优于纯数字仿真方法；相较于物理实景测试，该测试方法具有测试成本低、效率高以及复杂气象场景参数精准可控等优势。

关键词: 智能汽车, 相机在环测试, 复杂气象数字-物理融合模拟, 多层级拟真度评价

Abstract:

Testing performances of camera in adverse weather conditions （AWCs） is significant for improving intelligent vehicles adaptability. However， when using digital simulation to test cameras， there is the problem of poor fidelity， while physical testing suffers from high cost， long cycles， and difficulty in accurately and controllably reproducing scenarios. Therefor， in this paper， adverse weather condition Digital-Physical Fusion Simulation Camera-in-the-loop Simulation Test （DPF-CIL） method is proposed. The camera is embedded into a digital-physical fusion test environment composed of digital simulation targets and physical weather entities. Firstly， DPF-CIL platform is designed and constructed. Secondly， multi-level fidelity evaluation method for CIL platform is established at pixel， feature， and result level. The results show that when testing in AWCs such as rain， fog， and glare， the DPF-CIL is able to simulate the minimum Structural Similarity Index and Peak Signal-to-Noise Ratio of 0.571 1 and 27.991 1 dB， respectively， and retains the target object's contour information and the real environment with the maximum gap of 88 pixels. In addition， when testing the target recognition and ranging functions， the results vary the most at 10.10% and 13.39%， respectively. The comprehensive multi-level fidelity evaluation results are better than the pure digital simulation method under the same scenario conditions. Compared to physical testing DPF-CIL has advantages of lower cost， higher efficiency， and precise control over AWCs parameters.

Key words: intelligent vehicle, camera-in-the-loop test, adverse weather condition digital-physical fusion simulation, multi-level fidelity evaluation

朱冰,黄殷梓,赵健,张培兴,高质桐,薛经纬. 基于复杂气象数字-物理融合模拟的智能汽车相机在环测试[J]. 汽车工程, 2025, 47(7): 1335-1343.

Bing Zhu,Yinzi Huang,Jian Zhao,Peixing Zhang,Zhitong Gao,Jingwei Xue. Adverse Weather Condition Digital-Physical Fusion Simulation Based Intelligent Vehicle Camera-in-the-loop Test[J]. Automotive Engineering, 2025, 47(7): 1335-1343.

图/表 13

图1

图2

图3

表1

测试场景参数及对应取值范围"

参数种类	具体参数	取值范围
交通目标物	目标类别 $T a r$	行人、车辆
交通目标物	与本车之间的纵向距离 $d y$	0-50 m
复杂气象	光照强度 $I$	5-3 000 Lux
	降雨强度 $R$	5-120 mm/h
	雾气能见度 $V$	5-120 m

表1

图4

图5

图6

图7

表2

验证实验中真实场景参数及取值"

参数		具体取值
复杂气象	$R$	$10,50 ? m m / h$
	$V$	$50,100 ? m$
	$I$	$50,500 ? L u x$
交通目标物	$d y$	$10,50 ? m$
交通目标物	$T a r$	$行人, 车辆$

表2

图8

图9

图10

图11

参考文献 18

[1]	徐向阳，胡文浩，董红磊，等. 自动驾驶汽车测试场景构建关键技术综述［J］. 汽车工程， 2021， 43（4）： 610-619.
	XU Xiangyang， HU Wenhao， DONG Honglei， et al. Review of key technologies for autonomous vehicle test scenario construction［J］. Automotive Engineering， 2021， 43（4）： 610-619.
[2]	程腾，孙磊，侯登超，等. 基于特征融合的多层次多模态目标检测［J］. 汽车工程， 2021， 43（11）： 1602-1610.
	CHENG Teng， SUN Lei， HOU Dengchao， et al. Multi-level and multi-modal target detection based on feature fusion［J］. Automotive Engineering， 2021， 43（11）： 1602-1610.
[3]	XIE G， CHEN Z， GAO M， et al. PPF-Det： point-pixel fusion for multi-modal 3D object detection［J］. IEEE Transactions on Intelligent Transportation Systems， 2024， 25（6）： 5598-5611.
[4]	GAO M， JIN L， JIANG Y， et al. Manifold siamese network： a novel visual tracking convnet for autonomous vehicles［J］. IEEE Transactions on Intelligent Transportation Systems， 2019， 21（4）： 1612-1623.
[5]	马雷，杨顺清，王欢欢，等. 融合图像显著性特征的轻量级目标检测算法［J］. 汽车工程， 2024， 46（1）： 84-91.
	MA Lei， YANG Shunqing， WANG Huanhuan， et al. Lightweight object detection algorithm based on image saliency feature fusion［J］. Automotive Engineering， 2024， 46（1）： 84-91.
[6]	ZANG S， DING M， SMITH D， et al. The impact of adverse weather conditions on autonomous vehicles： how rain， snow， fog， and hail affect the performance of a self-driving car［J］. IEEE Vehicular Technology Magazine， 2019， 14（2）： 103-111.
[7]	中国汽车工程学会. 智能网联汽车辅助驾驶前向视觉感知性能要求及测评方法第1部分：测试方法及指标定义： T/CSAE 266.1—2022［S］. 北京：中国汽车工程学会， 2022： 12.
	Society of Automotive Engineers of China.Requirements and evaluation methods for forward visual perception performance of intelligent connected vehicle assisted driving - part 1： testing methods and indicator definitions： T/CSAE 266.1—2022［S］. Beijing： Society of Automotive Engineers of China， 2022： 12.
[8]	KOMORKIEWICZ M， TUREK K， SKRUCH P， et al. FPGA-based hardware-in-the-Loop environment using video injection concept for camera-based systems in automotive applications［C］.2016 Conference on Design and Architectures for Signal and Image Processing （DASIP）. Rennes， France： IEEE， 2016： 183-190.
[9]	DI M G， VICO F， CRISCI F， et al. An innovative real-time test setup for ADASs based on vehicle cameras［J］. Transportation Research Part F， 2019， 61： 252-258.
[10]	REWAY F， HUBER W， RIBEIRO E P. Test methodology for vision-based ADAS algorithms with an automotive camera-in-the-loop［C］.2018 IEEE International Conference on Vehicular Electronics and Safety （ICVES）. Madrid， Spain： IEEE， 2018： 1-7.
[11]	REWAY F， DRECHSLER M， MURTHY R， et al. Simulation-based test methods with an automotive camera-in-the-loop for automated driving algorithms［C］.2022 International Conference on Electrical， Computer， Communications and Mechatronics Engineering （ICECCME）. Maldives， Maldives： IEEE， 2022： 1-8.
[12]	ZHAO Shuai， ZHANG Lu， SHEN Yongwang，et al. Research on benchmarking of smart camera based on hardware-in-loop （HIL）［C］.2020 IEEE 4th Information Technology， Networking， Electronic and Automation Control Conference （ITNEC）. Chongqing， China： IEEE， 2020： 1819-1823.
[13]	SARA U， AKTER M， UDDIN M S. Image quality assessment through FSIM， SSIM， MSE and PSNR-a comparative study［J］. Journal of Computer and Communications， 2019， 7（3）： 8-18.
[14]	李靖，王慧，闫科，等. 改进Canny算法的图像边缘增强方法［J］. 测绘科学技术学报， 2021， 38（4）： 398-403.
	LI Jing， WANG Hui， YAN Ke，et al. Improved canny algorithm for image edge enhancement［J］. Journal of Geomatics Science and Technology， 2021， 38（4）： 398-403.
[15]	崔建伟，曹尔凡，陆普东，等.基于子动作特征矩阵与DTW算法的手臂动作识别方法［J］. 东南大学学报（自然科学版）， 2021， 51（4）： 679-686.
	CUI Jianwei，CAO Erfan，LU Pudong，et al.Arm motion recognition method based on sub-motion feature matrix and DTW algorithm［J］. Journal of Southeast University （Natural Science Edition）， 2021， 51（4）： 679-686.
[16]	ZHANG Y， GUO Z， WU J， et al. Real-time vehicle detection based on improved YOLO V5［J］. Sustainability， 2022， 14（19）： 1-19.
[17]	PARK K Y， HWANG S Y. Robust range estimation with a monocular camera for vision‐based forward collision warning system［J］. The Scientific World Journal， 2014， 2014（1）： 1-9.
[18]	REZATOFIGHI H， TSOI N， GWAK J Y， et al. Generalized intersection over union： a metric and a loss for bounding box regression［C］.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach， USA： IEEE， 2019： 658-666.