感知系统触发条件穿透率评估方法研究

doi:10.19562/j.chinasae.qcgc.2024.04.003

Abstract

Abstract:

The issue of safety of the intended functionality （SOTIF） restricts the application of autonomous vehicles. The various extreme driving environments faced by the perception system of autonomous vehicles are highly susceptible to SOTIF problems. Therefore， it is necessary to identify and evaluate a large number of triggering conditions in the safety analysis phase according to the existing SOTIF standards to select high-value trigger conditions so as to provide test scenarios for subsequent test and validation. Firstly， a set of three-dimensional evaluation system for triggering conditions of the perception system including exposure rate， penetration rate and hazard rate is proposed， based on the analysis of the risk evolution process of triggering conditions in autonomous driving system. Subsequently， based on the analytic hierarchy process （AHP）， a quantitative evaluation method for the penetration of triggering conditions is constructed. Finally， 15 triggering conditions for a mass-produced vehicle fusion perception system are selected and analyzed. Test cases are built and the closed site tests are conducted to evaluate the penetration rate of the above triggering conditions. Finally， through the calculation， 3 high-risk triggering conditions are screened， which verifies the feasibility of the quantitative evaluation method of trigger condition penetration rate.

Key words: perception system, safety of the intended functionality, triggering conditions, quantitative evaluation, closed site test

Junyi Chen,Zhenyuan Liu,Xuezhu Yang,Tianchen Wang,Haixia Li,Tong Jia,Xingyu Xing,Xinzheng Wu. Evaluation Method for the Penetration Rate of Perception System Triggering Conditions[J].Automotive Engineering, 2024, 46(4): 577-587.

Figures/Tables 24

准则层	权重	权重系数	指标层	权重	权重系数
存在不确定性	$ω E$	0.76	漏检率	$ω E 1$	0.65
存在不确定性	$ω E$	0.76	误检率	$ω E 2$	0.11
分类不确定性	$ω C$	0.12	错误率	$ω C$	0.12
状态不确定性	$ω S$	0.12	位置偏差最大值	$ω S 1$	0.09
状态不确定性	$ω S$	0.12	速度偏差最大值	$ω S 2$	0.03

评价指标	$x m i n$	$x m a x$
漏检率	0.05	0.10
误检率	0.05	0.10
错误率	0.03	0.08
位置偏差最大值/m	0.29	3.00
速度偏差最大值/（m·s^-1）	0.50	5.00

参数	符号	取值	单位
自车车速	$v e$	（35， 45）	km/h
前车车速	$v f$	（35， 45）	km/h
纵向间距	$d x 0$	（20， 30）*	m
前车最大减速度	$G x m a x$	（2， 5）	m/s²
前车减速度变化率	$d G d t$	$∞$	m/s³

References 34

1	International Organization for Standardization. Road vehicles-functional safety： ISO 26262 ［S］. Geneva， Switzerland， 2011.
2	International Organization for Standardization. Road vehicles-cybersecurity engineering， Ground Vehicle Standard： ISO/SAE 21434［S］. 2020.
3	International Organization for Standardization. Road vehicles-safety of the intended functionality： ISO 21448 ［S］. Geneva， Switzerland： ISO， 2022： 1.
4	DEVI S， MALARVEZHI P， DAYANA R， et al. A comprehensive survey on autonomous driving cars： a perspective view［J］. Wireless Personal Communications， 2020， 114（3）： 2121-2133.
5	XING X， JIA T， CHEN J， et al. An ontology-based method to identify triggering conditions for perception insufficiency of autonomous vehicles［J］. arXiv preprint arXiv：， 2022.
6	BOUDETTE N E. Fatal Tesla crash raises new questions about autopilot system［J］. The New York Times， 2018， 31.
7	EFRATI A. Uber finds deadly accident likely caused by software set to ignore objects on road［J］. The Information， 2018.
8	王若萱，吴建平，徐辉.自动驾驶汽车感知系统仿真的研究及应用综述［J］.系统仿真学报，2022，34（12）：2507-2521.
	WANG R X， WU J P， XU H. Overview of research and application on autonomous vehicle oriented perception system simulation［J］. Journal of System Simulation， 2022，34（12）：2507-2521.
9	PEYNOT T， UNDERWOOD J， SCHEDING S. Towards reliable perception for unmanned ground vehicles in challenging conditions［C］. 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE， 2009： 1170-1176.
10	RIVERO J R V， TAHIRAJ I， SCHUBERT O， et al. Characterization and simulation of the effect of road dirt on the performance of a laser scanner［C］. 2017 IEEE 20th International Conference on Intelligent Transportation Systems （ITSC）. IEEE， 2017： 1-6.
11	RASSHOFER R H， SPIES M， SPIES H. Influences of weather phenomena on automotive laser radar systems［J］. Advances in Radio Science， 2011， 9： 49-60.
12	赵望宇，李必军，单云霄，等.融合毫米波雷达与单目视觉的前车检测与跟踪［J］.武汉大学学报（信息科学版）， 2019，44（12）：1832-1840.
	ZHAO W Y， LI B J， SHAN Y X， et al. Vehicle detection and tracking based on fusion of millimeter wave radar and monocular vision［J］. Geomatics and Information Science of Wuhan University， 2019，44（12）：1832-1840.
13	YEONG D J， VELASCO-HERNANDEZ G， BARRY J， et al. Sensor and sensor fusion technology in autonomous vehicles： a review［J］. Sensors， 2021， 21（6）： 2140.
14	JIA T， XING X， GUO R， et al. Performance limitations analysis of visual sensors in low light conditions based on field test［C］.SAE 2022 Intelligent and Connected Vehicles Symposium. SAE， 2022.
15	JIANG W， XING X， HUANG A， et al. Research on performance limitations of visual-based perception system for autonomous vehicle under severe weather conditions［C］. 2022 IEEE Intelligent Vehicles Symposium （IV）. IEEE， 2022： 586-593.
16	POST K， DAVEY C K. Integrating SOTIF and agile systems engineering ［C］. SAE Paper 2019-01-0141.
17	冯浩. 高速公路自动驾驶系统感知模块预期功能安全研究［D］. 长春：吉林大学，2022.
	FENG H. Research on safety of the intended functionality of perception module for highway pilot system［D］. Changchun： Jinlin University， 2022.
18	HOU Z， LIU H， ZHANG Y. Attributes based bayesian unknown hazards assessment for digital twin empowered autonomous driving［C］. 2021 IEEE 23rd Int Conf on High Performance Computing & Communications； 7th Int Conf on Data Science & Systems； 19th Int Conf on Smart City； 7th Int Conf on Dependability in Sensor， Cloud & Big Data Systems & Application （HPCC/DSS/SmartCity/DependSys）. IEEE， 2021： 853-860.
19	ADEE A， GANSCH R， LIGGESMEYER P. Systematic modeling approach for environmental perception limitations in automated driving［C］. 2021 17th European Dependable Computing Conference （EDCC）. IEEE， 2021： 103-110.
20	吴新政，邢星宇，刘力豪，等.基于错误注入的决策规划系统抗扰性测试与分析［J］.汽车工程，2023，45（8）：1428-1437.
	WU X Z， XING X Y， LIU L H， et al. Testing and analysis of the robustness of decision-making and planning systems based on fault injection［J］. Automotive Engineering， 2023，45（8）：1428-1437.
21	XING X， LIU L， CHEN J， et al. Adaptive error injection for robustness verification of decision-making systems for autonomous vehicles［J］. Proceedings of the Institution of Mechanical Engineers， Part D： Journal of Automobile Engineering， 2023： 09544070231176934.
22	KIROVSKII O M， GORELOV V A. Driver assistance systems： analysis， tests and the safety case. ISO 26262 and ISO PAS 21448［C］. IOP Conference Series： Materials Science and Engineering. IOP Publishing， 2019， 534（1）： 012019.
23	SKRUCH P， SZELEST M， DLUGOSZ M， et al. Safety of perception systems in vehicles of high-level motion automation［C］. 2022 20th International Conference on Emerging eLearning Technologies and Applications （ICETA）. IEEE， 2022： 561-566.
24	CHIA W M D， KEOH S L， GOH C， et al. Risk assessment methodologies for autonomous driving： a survey［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（10）： 16923-16939.
25	YANG M， JIANG K， WEN J， et al. Real-time evaluation of perception uncertainty and validity verification of autonomous driving［J］. Sensors， 2023， 23（5）： 2867.
26	REN L， YIN H， GE W， et al. Environment influences on uncertainty of object detection for automated driving systems［C］. 2019 12th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics （CISP-BMEI）. IEEE， 2019： 1-5.
27	GASPERINI S， HAUG J， MAHANI M A N， et al. CertainNet： sampling-free uncertainty estimation for object detection［J］. IEEE Robotics and Automation Letters， 2021， 7（2）： 698-705.
28	陈君毅，周堂瑞，邢星宇，等.基于系统理论过程分析的自动驾驶汽车安全分析方法研究［J］.汽车技术，2019（12）：1-5.
	CHEN J Y， ZHOU T R， XING X Y， et al. Research on safety analysis method for autonomous vehicles based on STPA［J］. Automobile Technology，2019（12）：1-5.
29	BÜHLER A， GAIDON A， CRAMARIUC A， et al. Driving through ghosts： behavioral cloning with false positives［C］. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. IEEE， 2020： 5431-5437.
30	BERK M， SCHUBERT O， KROLL H M， et al. Assessing the safety of environment perception in automated driving vehicles［J］. SAE International Journal of Transportation Safety， 2020， 8（1）： 49-74.
31	DE FSM RUSSO R， CAMANHO R. Criteria in AHP： a systematic review of literature［J］. Procedia Computer Science， 2015， 55： 1123-1132.
32	LI C， SOLANGI Y A， ALI S. Evaluating the factors of green finance to achieve carbon peak and carbon neutrality targets in China： a delphi and fuzzy AHP approach［J］. Sustainability， 2023， 15（3）： 2721.
33	REID T G R， HOUTS S E， CAMMARATA R， et al. Localization requirements for autonomous vehicles［J］. arXiv preprint arXiv：， 2019.
34	EVERINGHAM M， VAN GOOL L， WILLIAMS C K I， et al. The pascal visual object classes （voc） challenge［J］. International Journal of Computer Vision， 2010， 88： 303-338.

相对重要程度	定义
1	两个指标/准则具有同等重要性
3	前者指标/准则比后者指标稍微重要
5	前者指标/准则比后者指标较强重要
7	前者指标/准则比后者指标强烈重要
9	前者指标/准则比后者指标极其重要
2， 4， 6， 8	两相邻判断的中间值
倒数	两相邻的反比较

分类	序号	语义触发条件	具体触发条件
分类	序号	语义触发条件	属性变量	取值
传感器遮挡	T1	金属覆盖毫米波雷达	遮挡比例	100%
	T1	金属覆盖毫米波雷达	覆盖形式	块状
	T2	灰尘覆盖毫米波雷达和视觉传感器	遮挡比例	*
	T2	灰尘覆盖毫米波雷达和视觉传感器	覆盖形式	零星
	T3	落叶覆盖视觉传感器	遮挡比例	100%
	T3	落叶覆盖视觉传感器	覆盖形式	块状
路面条件	T4	传感器异常振动	道路类型	连续减速带
	T5	起伏路面（凸起井盖）	起伏高度	（10， 20） cm
	T5	起伏路面（凸起井盖）	起伏宽度	（20， 50） cm
	T6	路面有金属铁板	反射率	*
天气条件	T7	小雨	降雨强度	*
	T8	大雨	降雨强度	*
	T9	浓雾	能见度	*
	T10	强浓雾	能见度	*
	T11	模拟机动车远光灯直射摄像头	光照强度变化量	*
	T12	夜晚低光照条件	光照强度	*
基础设施	T13	道路金属隔离	反射率	*
	T14	金属龙门架	反射率	*
	T15	驶入隧道	光照强度变化量	*

评价指标	单位	数值
漏检率	%	0.00
误检率	%	2.35
纵向位置偏差最大值	m	1.11
纵向速度偏差最大值	m/s	0.97
穿透率得分		0.03

序号	触发条件	漏检率/%	误检率/%	位置偏差最大值/m	速度偏差最大值/（m·s^-1）	穿透率
T1	金属覆盖毫米波雷达	0.00	0.00	1.92	1.48	0.06
T2	灰尘覆盖毫米波雷达和视觉传感器	0.00	2.09	3.74	2.71	0.11
T3	落叶覆盖视觉传感器	0.00	1.63	0.50	0.90	0.01
T4	传感器异常振动	0.00	0.00	1.17	1.93	0.04
T5	起伏路面（凸起井盖）	0.00	3.03	0.92	0.84	0.02
T6	路面有金属铁板*	1.12	38.18	11.13	3.50	0.22
T7	小雨	0.00	8.82	0.58	1.55	0.10
T8	大雨*	25.57	1.87	4.13	0.93	0.75
T9	浓雾*	12.20	0.56	9.67	2.37	0.76
T10	强浓雾	0.00	0.36	0.75	0.84	0.02
T11	模拟机动车远光灯直射摄像头	0.00	6.14	1.14	1.12	0.06
T12	夜晚低光照条件	0.00	2.75	0.76	0.96	0.02
T13	道路金属隔离	1.47	5.34	4.60	1.04	0.10
T14	金属龙门架	0.00	0.00	0.83	1.21	0.02
T15	驶入隧道	0.00	0.00	0.52	0.77	0.01

[1]	Siyu Wu,Wenhao Yu,Xingyu Xing,Yuxin Zhang,Chuzhao Li,Xueke Li,Xinyu Gu,Yunwei Li,Xiaohan Ma,Wei Lu,Zheng Wang,Zhenmao Hao,Hong Wang,Jun Li. Methodology of Critical Scenarios-Based Dual-Loop Testing and Verification for Safety of the Intended Functionality [J]. Automotive Engineering, 2023, 45(9): 1583-1607.
[2]	Xianxu Bai,Yu Zuo,Weihan Li,Qin Shi,Chuzhao Li,Shulian Zhao,Jiong Chen. Quantitative Evaluation of SOTIF for Control Module of AEBS [J]. Automotive Engineering, 2023, 45(9): 1655-1665.
[3]	Xinzheng Wu,Xingyu Xing,Lihao Liu,Yong Shen,Junyi Chen. Testing and Analysis of the Robustness of Decision-Making and Planning Systems Based on Fault Injection [J]. Automotive Engineering, 2023, 45(8): 1428-1437.
[4]	Wenbo Shao,Jun Li,Yuxin Zhang,Hong Wang. Key Technologies to Ensure the Safety of the Intended Functionality for Intelligent Vehicles [J]. Automotive Engineering, 2022, 44(9): 1289-1304.
[5]	Chao Zhao,Dexu Bu,Lipeng Cao,Keqiang Li,Yugong Luo. Safety Control Strategy for Adaptive Cruise Control System in Heavy Rainfall Scenes [J]. Automotive Engineering, 2022, 44(8): 1117-1125.

Evaluation Method for the Penetration Rate of Perception System Triggering Conditions

RichHTML

PDF (PC)

Like

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 24

References 34

Related Articles 5

Metrics

Comments

Recommended 0

目标层	准则层	指标层
穿透率	存在不确定性	漏检率
	存在不确定性	误检率
	分类不确定性	错误率
	状态不确定性	位置偏差最大值
	状态不确定性	速度偏差最大值

项目	位置偏差	速度偏差
位置偏差	1	3
速度偏差	1/3	1