感知系统触发条件穿透率评估方法研究

doi:10.19562/j.chinasae.qcgc.2024.04.003

摘要/Abstract

摘要：

预期功能安全问题制约着自动驾驶汽车的落地。自动驾驶感知系统面临的各种极端行驶环境等极易引起预期功能安全问题。因此，须按照现有预期功能安全标准，在安全分析阶段识别并评估种类多且数量大的触发条件，筛选高价值触发条件为后续测试验证提供测试场景输入。本文中首先基于对触发条件在自动驾驶系统中的风险演化过程的分析，提出一套包括暴露率、穿透率和危害率的三维感知系统触发条件评估体系。随后，基于层次分析法构建了触发条件穿透率量化评估方法。最后，针对某量产车型的融合感知系统分析并选取15个触发条件，构建测试用例并开展封闭场地测试，评估上述触发条件的穿透率。最终经计算筛选得到3个高风险触发条件，验证了触发条件穿透率量化评估方法的可行性。

关键词: 感知系统, 预期功能安全, 触发条件, 量化评估, 封闭场地测试

Abstract:

The issue of safety of the intended functionality （SOTIF） restricts the application of autonomous vehicles. The various extreme driving environments faced by the perception system of autonomous vehicles are highly susceptible to SOTIF problems. Therefore， it is necessary to identify and evaluate a large number of triggering conditions in the safety analysis phase according to the existing SOTIF standards to select high-value trigger conditions so as to provide test scenarios for subsequent test and validation. Firstly， a set of three-dimensional evaluation system for triggering conditions of the perception system including exposure rate， penetration rate and hazard rate is proposed， based on the analysis of the risk evolution process of triggering conditions in autonomous driving system. Subsequently， based on the analytic hierarchy process （AHP）， a quantitative evaluation method for the penetration of triggering conditions is constructed. Finally， 15 triggering conditions for a mass-produced vehicle fusion perception system are selected and analyzed. Test cases are built and the closed site tests are conducted to evaluate the penetration rate of the above triggering conditions. Finally， through the calculation， 3 high-risk triggering conditions are screened， which verifies the feasibility of the quantitative evaluation method of trigger condition penetration rate.

Key words: perception system, safety of the intended functionality, triggering conditions, quantitative evaluation, closed site test

陈君毅,刘镇源,杨雪珠,王天辰,李海霞,贾通,邢星宇,吴新政. 感知系统触发条件穿透率评估方法研究[J]. 汽车工程, 2024, 46(4): 577-587.

Junyi Chen,Zhenyuan Liu,Xuezhu Yang,Tianchen Wang,Haixia Li,Tong Jia,Xingyu Xing,Xinzheng Wu. Evaluation Method for the Penetration Rate of Perception System Triggering Conditions[J]. Automotive Engineering, 2024, 46(4): 577-587.

图/表 24

图 1

图 2

图 3

表 1

表 2

表 3

表 4

表 5

表 6

各指标权重"

准则层	权重	权重系数	指标层	权重	权重系数
存在不确定性	$ω E$	0.76	漏检率	$ω E 1$	0.65
存在不确定性	$ω E$	0.76	误检率	$ω E 2$	0.11
分类不确定性	$ω C$	0.12	错误率	$ω C$	0.12
状态不确定性	$ω S$	0.12	位置偏差最大值	$ω S 1$	0.09
状态不确定性	$ω S$	0.12	速度偏差最大值	$ω S 2$	0.03

表 6

表 7

表 8

感知不确定性各指标的归一化阈值"

评价指标	$x m i n$	$x m a x$
漏检率	0.05	0.10
误检率	0.05	0.10
错误率	0.03	0.08
位置偏差最大值/m	0.29	3.00
速度偏差最大值/（m·s^-1）	0.50	5.00

表 8

图 4

图 5

表 9

基础场景参数"

参数	符号	取值	单位
自车车速	$v e$	（35， 45）	km/h
前车车速	$v f$	（35， 45）	km/h
纵向间距	$d x 0$	（20， 30）*	m
前车最大减速度	$G x m a x$	（2， 5）	m/s²
前车减速度变化率	$d G d t$	$∞$	m/s³

表 9

表 10

图 6

图 7

表 11

表 12

图 8

图 9

图 10

图 11

图 12

参考文献 34

1	International Organization for Standardization. Road vehicles-functional safety： ISO 26262 ［S］. Geneva， Switzerland， 2011.
2	International Organization for Standardization. Road vehicles-cybersecurity engineering， Ground Vehicle Standard： ISO/SAE 21434［S］. 2020.
3	International Organization for Standardization. Road vehicles-safety of the intended functionality： ISO 21448 ［S］. Geneva， Switzerland： ISO， 2022： 1.
4	DEVI S， MALARVEZHI P， DAYANA R， et al. A comprehensive survey on autonomous driving cars： a perspective view［J］. Wireless Personal Communications， 2020， 114（3）： 2121-2133.
5	XING X， JIA T， CHEN J， et al. An ontology-based method to identify triggering conditions for perception insufficiency of autonomous vehicles［J］. arXiv preprint arXiv：， 2022.
6	BOUDETTE N E. Fatal Tesla crash raises new questions about autopilot system［J］. The New York Times， 2018， 31.
7	EFRATI A. Uber finds deadly accident likely caused by software set to ignore objects on road［J］. The Information， 2018.
8	王若萱，吴建平，徐辉.自动驾驶汽车感知系统仿真的研究及应用综述［J］.系统仿真学报，2022，34（12）：2507-2521.
	WANG R X， WU J P， XU H. Overview of research and application on autonomous vehicle oriented perception system simulation［J］. Journal of System Simulation， 2022，34（12）：2507-2521.
9	PEYNOT T， UNDERWOOD J， SCHEDING S. Towards reliable perception for unmanned ground vehicles in challenging conditions［C］. 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE， 2009： 1170-1176.
10	RIVERO J R V， TAHIRAJ I， SCHUBERT O， et al. Characterization and simulation of the effect of road dirt on the performance of a laser scanner［C］. 2017 IEEE 20th International Conference on Intelligent Transportation Systems （ITSC）. IEEE， 2017： 1-6.
11	RASSHOFER R H， SPIES M， SPIES H. Influences of weather phenomena on automotive laser radar systems［J］. Advances in Radio Science， 2011， 9： 49-60.
12	赵望宇，李必军，单云霄，等.融合毫米波雷达与单目视觉的前车检测与跟踪［J］.武汉大学学报（信息科学版）， 2019，44（12）：1832-1840.
	ZHAO W Y， LI B J， SHAN Y X， et al. Vehicle detection and tracking based on fusion of millimeter wave radar and monocular vision［J］. Geomatics and Information Science of Wuhan University， 2019，44（12）：1832-1840.
13	YEONG D J， VELASCO-HERNANDEZ G， BARRY J， et al. Sensor and sensor fusion technology in autonomous vehicles： a review［J］. Sensors， 2021， 21（6）： 2140.
14	JIA T， XING X， GUO R， et al. Performance limitations analysis of visual sensors in low light conditions based on field test［C］.SAE 2022 Intelligent and Connected Vehicles Symposium. SAE， 2022.
15	JIANG W， XING X， HUANG A， et al. Research on performance limitations of visual-based perception system for autonomous vehicle under severe weather conditions［C］. 2022 IEEE Intelligent Vehicles Symposium （IV）. IEEE， 2022： 586-593.
16	POST K， DAVEY C K. Integrating SOTIF and agile systems engineering ［C］. SAE Paper 2019-01-0141.
17	冯浩. 高速公路自动驾驶系统感知模块预期功能安全研究［D］. 长春：吉林大学，2022.
	FENG H. Research on safety of the intended functionality of perception module for highway pilot system［D］. Changchun： Jinlin University， 2022.
18	HOU Z， LIU H， ZHANG Y. Attributes based bayesian unknown hazards assessment for digital twin empowered autonomous driving［C］. 2021 IEEE 23rd Int Conf on High Performance Computing & Communications； 7th Int Conf on Data Science & Systems； 19th Int Conf on Smart City； 7th Int Conf on Dependability in Sensor， Cloud & Big Data Systems & Application （HPCC/DSS/SmartCity/DependSys）. IEEE， 2021： 853-860.
19	ADEE A， GANSCH R， LIGGESMEYER P. Systematic modeling approach for environmental perception limitations in automated driving［C］. 2021 17th European Dependable Computing Conference （EDCC）. IEEE， 2021： 103-110.
20	吴新政，邢星宇，刘力豪，等.基于错误注入的决策规划系统抗扰性测试与分析［J］.汽车工程，2023，45（8）：1428-1437.
	WU X Z， XING X Y， LIU L H， et al. Testing and analysis of the robustness of decision-making and planning systems based on fault injection［J］. Automotive Engineering， 2023，45（8）：1428-1437.
21	XING X， LIU L， CHEN J， et al. Adaptive error injection for robustness verification of decision-making systems for autonomous vehicles［J］. Proceedings of the Institution of Mechanical Engineers， Part D： Journal of Automobile Engineering， 2023： 09544070231176934.
22	KIROVSKII O M， GORELOV V A. Driver assistance systems： analysis， tests and the safety case. ISO 26262 and ISO PAS 21448［C］. IOP Conference Series： Materials Science and Engineering. IOP Publishing， 2019， 534（1）： 012019.
23	SKRUCH P， SZELEST M， DLUGOSZ M， et al. Safety of perception systems in vehicles of high-level motion automation［C］. 2022 20th International Conference on Emerging eLearning Technologies and Applications （ICETA）. IEEE， 2022： 561-566.
24	CHIA W M D， KEOH S L， GOH C， et al. Risk assessment methodologies for autonomous driving： a survey［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（10）： 16923-16939.
25	YANG M， JIANG K， WEN J， et al. Real-time evaluation of perception uncertainty and validity verification of autonomous driving［J］. Sensors， 2023， 23（5）： 2867.
26	REN L， YIN H， GE W， et al. Environment influences on uncertainty of object detection for automated driving systems［C］. 2019 12th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics （CISP-BMEI）. IEEE， 2019： 1-5.
27	GASPERINI S， HAUG J， MAHANI M A N， et al. CertainNet： sampling-free uncertainty estimation for object detection［J］. IEEE Robotics and Automation Letters， 2021， 7（2）： 698-705.
28	陈君毅，周堂瑞，邢星宇，等.基于系统理论过程分析的自动驾驶汽车安全分析方法研究［J］.汽车技术，2019（12）：1-5.
	CHEN J Y， ZHOU T R， XING X Y， et al. Research on safety analysis method for autonomous vehicles based on STPA［J］. Automobile Technology，2019（12）：1-5.
29	BÜHLER A， GAIDON A， CRAMARIUC A， et al. Driving through ghosts： behavioral cloning with false positives［C］. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. IEEE， 2020： 5431-5437.
30	BERK M， SCHUBERT O， KROLL H M， et al. Assessing the safety of environment perception in automated driving vehicles［J］. SAE International Journal of Transportation Safety， 2020， 8（1）： 49-74.
31	DE FSM RUSSO R， CAMANHO R. Criteria in AHP： a systematic review of literature［J］. Procedia Computer Science， 2015， 55： 1123-1132.
32	LI C， SOLANGI Y A， ALI S. Evaluating the factors of green finance to achieve carbon peak and carbon neutrality targets in China： a delphi and fuzzy AHP approach［J］. Sustainability， 2023， 15（3）： 2721.
33	REID T G R， HOUTS S E， CAMMARATA R， et al. Localization requirements for autonomous vehicles［J］. arXiv preprint arXiv：， 2019.
34	EVERINGHAM M， VAN GOOL L， WILLIAMS C K I， et al. The pascal visual object classes （voc） challenge［J］. International Journal of Computer Vision， 2010， 88： 303-338.

相对重要程度	定义
1	两个指标/准则具有同等重要性
3	前者指标/准则比后者指标稍微重要
5	前者指标/准则比后者指标较强重要
7	前者指标/准则比后者指标强烈重要
9	前者指标/准则比后者指标极其重要
2， 4， 6， 8	两相邻判断的中间值
倒数	两相邻的反比较

分类	序号	语义触发条件	具体触发条件
分类	序号	语义触发条件	属性变量	取值
传感器遮挡	T1	金属覆盖毫米波雷达	遮挡比例	100%
	T1	金属覆盖毫米波雷达	覆盖形式	块状
	T2	灰尘覆盖毫米波雷达和视觉传感器	遮挡比例	*
	T2	灰尘覆盖毫米波雷达和视觉传感器	覆盖形式	零星
	T3	落叶覆盖视觉传感器	遮挡比例	100%
	T3	落叶覆盖视觉传感器	覆盖形式	块状
路面条件	T4	传感器异常振动	道路类型	连续减速带
	T5	起伏路面（凸起井盖）	起伏高度	（10， 20） cm
	T5	起伏路面（凸起井盖）	起伏宽度	（20， 50） cm
	T6	路面有金属铁板	反射率	*
天气条件	T7	小雨	降雨强度	*
	T8	大雨	降雨强度	*
	T9	浓雾	能见度	*
	T10	强浓雾	能见度	*
	T11	模拟机动车远光灯直射摄像头	光照强度变化量	*
	T12	夜晚低光照条件	光照强度	*
基础设施	T13	道路金属隔离	反射率	*
	T14	金属龙门架	反射率	*
	T15	驶入隧道	光照强度变化量	*

评价指标	单位	数值
漏检率	%	0.00
误检率	%	2.35
纵向位置偏差最大值	m	1.11
纵向速度偏差最大值	m/s	0.97
穿透率得分		0.03

序号	触发条件	漏检率/%	误检率/%	位置偏差最大值/m	速度偏差最大值/（m·s^-1）	穿透率
T1	金属覆盖毫米波雷达	0.00	0.00	1.92	1.48	0.06
T2	灰尘覆盖毫米波雷达和视觉传感器	0.00	2.09	3.74	2.71	0.11
T3	落叶覆盖视觉传感器	0.00	1.63	0.50	0.90	0.01
T4	传感器异常振动	0.00	0.00	1.17	1.93	0.04
T5	起伏路面（凸起井盖）	0.00	3.03	0.92	0.84	0.02
T6	路面有金属铁板*	1.12	38.18	11.13	3.50	0.22
T7	小雨	0.00	8.82	0.58	1.55	0.10
T8	大雨*	25.57	1.87	4.13	0.93	0.75
T9	浓雾*	12.20	0.56	9.67	2.37	0.76
T10	强浓雾	0.00	0.36	0.75	0.84	0.02
T11	模拟机动车远光灯直射摄像头	0.00	6.14	1.14	1.12	0.06
T12	夜晚低光照条件	0.00	2.75	0.76	0.96	0.02
T13	道路金属隔离	1.47	5.34	4.60	1.04	0.10
T14	金属龙门架	0.00	0.00	0.83	1.21	0.02
T15	驶入隧道	0.00	0.00	0.52	0.77	0.01

[1]	吴思宇,于文浩,邢星宇,张玉新,李楚照,李雪轲,古昕昱,李云巍,马小涵,路伟,王政,郝圳茂,王红,李骏. 基于关键场景的预期功能安全双闭环测试验证方法[J]. 汽车工程, 2023, 45(9): 1583-1607.
[2]	白先旭,左瑜,李维汉,石琴,李楚照,赵树廉,陈炯. 自动紧急制动系统控制模块的SOTIF量化评价[J]. 汽车工程, 2023, 45(9): 1655-1665.
[3]	吴新政,邢星宇,刘力豪,沈勇,陈君毅. 基于错误注入的决策规划系统抗扰性测试与分析[J]. 汽车工程, 2023, 45(8): 1428-1437.
[4]	邵文博,李骏,张玉新,王红. 智能汽车预期功能安全保障关键技术[J]. 汽车工程, 2022, 44(9): 1289-1304.
[5]	段顺昌,白先旭,石琴,李维汉,何冠男. 汽车自动紧急制动系统控制策略的预期功能安全设计[J]. 汽车工程, 2022, 44(9): 1305-1317.
[6]	赵超,卜德旭,曹礼鹏,李克强,罗禹贡. 强降雨场景下自适应巡航控制系统的安全控制策略[J]. 汽车工程, 2022, 44(8): 1117-1125.
[7]	谈东奎,胡港君,朱波,金来,张捷. 考虑预期功能安全的智能汽车自动紧急制动系统[J]. 汽车工程, 2022, 44(6): 799-808.
[8]	陈浩,王红,李维汉,白先旭,陈炯,李楚照,石琴,孙骏. 基于行车安全场理论的预期功能安全场景风险评估[J]. 汽车工程, 2022, 44(11): 1636-1646.