智能网联汽车技术专题-感知&HMI&测评2023年
针对自动驾驶复杂场景下的视觉目标难以实现快速准确检测的问题，提出一种基于注意力机制的TC-YOLOv7检测算法，应用于可见光与红外以及后融合场景。首先，基于CBAM和Transformer注意力机制模块改进YOLOv7基准检测模型，并利用多场景数据集进行可见光和红外检测效果验证。其次，构建并验证SS-PostFusion、DS-PostFusion、DD-PostFusion 3种不同非极大值抑制后融合方法的检测效果。最后，结合TC-YOLOv7与DD-PostFusion方法，与单传感器检测结果进行对比。结果表明，在晴天、夜间、雾、雨、雪可见光和红外场景下，TC-YOLOv7相比基准YOLOv7 mAP@.5均有3%以上精度提升；在综合场景测试集中，使用TC-YOLOv7后融合方法相比可见光检测精度提升4.5%，相比红外检测精度提升11.1%，相比YOLOv7后融合方法提升0.6%，且TC-YOLOv7后融合方法的推理速度为39 fps，满足自动驾驶场景实时性要求。
当前无监督单目红外图像深度估计方法难以处理低纹理和低对比度区域，导致估计效果差，因此本文提出了一种基于局部平面引导层的无监督单目红外图像深度估计算法。该算法由连续视频帧输入、多尺度特征提取、ASPP和局部平面引导层、计算损失、联合训练、输出图像模块组成。首先，通过采用多个小分辨率灰度块和多尺度特征融合，解决了红外图像边缘模糊和遮挡物体等问题。其次，通过利用局部平面引导层在深度图像上引入一个平面约束，减小了深度图像中的噪声和不连续性，以及传统算法对低纹理区域处理不明显等问题。实验结果表明，所提出的深度估计算法有效提高了单目深度估计的精度并减小误差，在Iray数据集上的Abs Rel、Sq Rel、RMS、RMS（log）分别为0.262、3.621、9.473、0.332，在阈值指标小于1.25、1.252、1.253时，准确率达到了60.5%、85.2%、94.5%。
在高级自动化驾驶中，准确预测驾驶接管绩效对于提高自动驾驶接管安全水平意义重大。文中设计了不同认知负荷非驾驶任务下驾驶接管场景，分析不同认知负荷非驾驶任务下驾驶接管绩效指标与脑电指标的显著性，采用驾驶人eSense数值和脑电波数据作为输入特征，构建了基于随机森林的驾驶接管绩效预测模型，分析了模型在3、5、7、9 s 4种时间窗下的预测性能，并开展了模型的有效性验证。结果表明，不同认知负荷非驾驶任务下的接管时间、最大横向加速度、最小TTC及驾驶人eSense等存在显著性差异；随机森林在9 s时间窗下的预测性能最佳，其准确率达到了0.94；随机森林的预测准确率和micro-AUC面积高于支持向量机、朴素贝叶斯和逻辑回归。研究方法可有效预测驾驶员自动驾驶接管绩效，并为驾驶员与自动驾驶车辆之间的交互设计提供理论依据。
现有的跨域自适应目标检测器主要通过特征分布匹配学习域不变特征来减小域偏移。然而，它们忽略了现实世界中因目标检测对象组合不同和类不平衡等引起的标签分布偏移问题，导致这些方法泛化性较差。为解决这一问题，本文提出一种基于特征和标签联合分布匹配的域自适应目标检测算法，以同时在特征和标签级别上显式对齐域分布。首先，提出一个图像级分类嵌入模块，通过对比学习增强全局特征可迁移性和可判别性。然后，提出类级分布对齐模块，通过多级特征对齐实现域间多模态结构对齐。最后，提出增强一致性正则化模块，通过区域一致性正则化实现跨域标签分布对齐。在多个数据集上的实验表明，所提出的域对齐算法能有效地促进跨域数据迁移前后语义一致性，为智能汽车跨视觉域应用提供了一种有效的解决方案。
路面附着系数是车辆主动控制系统的重要输入参数，其估计的准确性直接影响车辆动力学系统控制的性能，估算方法应满足实时、可靠和准确性高的要求。首先，建立3自由度车辆模型以及车轮受力模型；其次，分别采用了扩张状态观测器和自适应卡尔曼滤波对利用附着系数和滑移率进行识别与估计；最后，提出了一种路面附着系数的分段识别方法，可以有效识别路面附着系数，在估算过程中通过引入评价指标，减少了该方法的运算复杂度，提高了运行效率。仿真和实验结果表明，路面附着系数的估计误差在0.05以内，通过加入评价指标，算法的运行效率提高了21.1%，可以满足控制系统的实时性要求。
针对V2X中的路侧感知单元在检测过程中，模型部署困难的问题、被测目标所呈现的多尺度问题及目标之间遮挡问题，提出了一种基于YOLOv7算法的轻量级检测算法YOLOv7-R。首先使用改进的EfficientNetv2-s重新构建YOLOv7的主干网络，减小模型参数量，提高模型的推理速度。其次，采用CA坐标注意力机制，保留精确的位置信息，加强模型对多尺度目标的检测性能；同时采用Focal-EIoU损失函数，提升算法精度。最后，在预处理阶段使用GridMask数据增强，提升算法对被遮挡目标的学习能力。实验结果表明：相较于基线算法YOLOv7，该算法在DAIR-V2X-I数据集上的map@0.5和map@0.5：0.95分别提高了3%与4.8%，检测速率达到了96.3 f/s，从而在满足轻量化要求的同时得到更优的检测精度，有效地实现了路侧单元对交通参与者的检测任务。
多模态融合感知是自动驾驶的研究热点之一，然而在复杂交通环境下由于天气、光照等外部因素干扰，目标识别可能出现错误，融合时会不可避免地出现分类冲突问题。为此，本文提出一种基于D-S证据理论的多模态结果级融合框架，将深度神经网络的置信度得分输出并作为D-S证据理论的概率密度函数，通过证据组合修正冲突的分类结果，该框架可以解决任意模态之间融合的分类冲突问题。基于KITTI数据集对该框架进行实验验证，实验测试的结果表明，框架输出的融合结果较单一感知网络mAP值均能提高8％左右，其中Yolov3与Pointpillar的融合结果相较于Pointpillar单一网络感知结果mAP值提高32％，且在复杂交通环境下能够有效解决多模态融合后的分类冲突问题。
行人行为预测是城市环境智能汽车决策规划系统面临的主要挑战之一，提升行人穿越意图的预测准确率对于行车安全意义重大。针对现有方法过度依赖行人的边界框位置信息，且很少考虑交通场景中环境信息及交通对象间的交互关系等问题，本文提出一种基于多模态特征融合的行人过街意图预测方法。首先结合多种注意力机制构建了一种新型全局场景上下文信息提取模块和局部场景时空特征提取模块来增强其提取车辆周边场景时空特征的能力，并依赖场景的语义解析结果来捕获行人与其周围环境之间的交互关系，解决了交通环境上下文信息与交通对象之间的交互信息应用不充分的问题。此外，本文设计了一种基于混合融合策略的多模态特征融合模块，根据不同信息源的复杂程度实现了对视觉特征和运动特征的联合推理，为行人穿越意图预测模块提供可靠信息。基于JAAD数据集的测试表明，所提出方法的预测Accuracy为0.84，较基线方法提升了10.5%，相比于现有的同类型模型，所提出方法的综合性能最佳，且具有更广泛的应用场景。
在智能车辆的同时定位与建图中，视觉特征点法通过对特征点的提取和匹配进行车辆位姿估计，但当环境缺少纹理或动态变化时，场景的特征稀疏、稳定性差，基于自然特征定位易导致精度下降甚至定位失败。在环境中加入视觉标签可有效解决特征稀疏问题，但基于视觉标签的定位方法高度依赖人工标定，且常因视角变化出现位姿抖动，影响定位的精度。为此，本文提出了一种基于标签的车辆视觉SLAM方法，充分利用标签信息，引入内外角点约束降低标签位姿抖动，同时借助视觉里程计建立低漂移、全局一致的地图；在定位时基于标签估计车辆位姿，并联合优化标签地图与车辆位姿，从而构建低成本、高鲁棒的视觉SLAM系统。试验结果表明，本文方法使用内外角点约束有效降低了标签的位姿抖动，使标签建图精度的提升率超过60%，定位精度的平均提升率超过30%，显著地提高了基于标签定位的精度与鲁棒性，有利于智能车辆的安全运行。
预期功能安全作为道路运行安全的重要组成，是智能网联汽车的核心挑战。全面高效的预期功能安全测试验证方法能够有效支撑系统安全开发流程。本文提出一种以关键场景为载体、由封闭验证和开放论证双闭环构建的测试验证框架，并综合论述关键场景构建技术，进一步建立接受准则的量化方法。最后，本文展望在预期功能安全测试验证领域亟待推进的关键研究。本文旨在为智能网联汽车预期功能安全测试验证的工程实践提供兼具可操作性和理论充分性的参考依据。
在自动驾驶汽车环境感知任务中，采用环视相机在统一鸟瞰图（bird's eye view，BEV）坐标系下对车道线、车辆等目标进行语义分割受到广泛关注。针对相机个数增加致使任务推理延迟线性上升、实时性难以完成语义分割任务的难题，本文提出一种基于局部窗口交叉注意力的轻量型语义分割方法。采用改进型EdgeNeXt骨干网络提取特征，通过构建BEV查询和图像特征之间的局部窗口交叉注意力，完成对跨相机透视图之间的特征查询，然后对融合后的BEV特征图通过上采样残差块对BEV特征解码，以得到BEV语义分割结果。在nuScenes公开数据集上的实验结果表明，该方法在BEV地图静态车道线分割任务中平均IoU达到35.1%，相较于表现较好的HDMapNet提高2.2%，推理速度相较于较快的GKT提高58.2%，帧率达到106 FPS。
超声波雷达是自动泊车系统最常用的环境感知传感器，而超声波雷达的精确建模是自动泊车系统仿真分析的难点。本文提出了一种考虑大气条件影响的超声波雷达建模方法，将空气温度、湿度、大气压力这3项大气条件纳入建模体系。首先分析了超声波雷达的工作机理，明确了超声波雷达模型应由检测范围模型与检测距离模型两部分组成；而后推导了大气条件、目标物特性和超声波吸收能量损失、传播能量损失之间的定量关系，建立了检测范围模型；并根据大气条件求解真实声速，进一步将距离真值修正为真实超声波雷达检测值，建立了检测距离模型；最后对建立的超声波雷达模型进行了测试验证。结果表明，所建立的超声波雷达模型可以精确模拟超声波雷达在自动泊车场景中的检测范围与检测距离。
针对现有的毫米波雷达与视觉融合的碰撞预警算法误警率与漏警率较高等问题，提出了一种基于毫米波雷达与视觉融合的碰撞预警方法。首先基于距离速度阈值与生命周期方法对毫米波雷达数据进行预处理，并提出基于遗忘因子的自适应拓展卡尔曼滤波算法对目标进行追踪；利用加入改进的CBAM双通道注意力机制YOLOv5算法提高视觉识别的准确率。然后运用交并比的思想实现毫米波雷达与视觉的决策级融合。最后基于最小安全距离模型提出前碰撞预警策略。通过不同场景下的实车验证结果表明：该算法比单传感器算法更加准确，具有更好的鲁棒性。
协同感知技术增强了智能网联汽车的感知性能，但协同网络中出现的异常车辆和恶意攻击信息会影响协同感知结果的真实性与有效性。针对该问题，本文结合车辆协同网络中的检测结果提出一种基于遮挡状态判别与检测有效性识别策略的智能网联汽车信任度动态聚合评价方法。仿真结果表明，本文提出的协同感知信任评价方法提升了协同感知车辆对检测结果的可信度，增强了智能网联汽车协同感知过程的鲁棒性，并实现了信任管理模型面对高信任车辆突发恶意攻击的动态识别。
为降低系统求解大规模线性方程时的计算资源占用率、提高系统运行速度，现有基于非线性优化的视觉SLAM框架大多利用增量方程中海森矩阵稀疏性与边缘化策略对问题进行降阶。然而，这些方法仍须占用大量内存以显式构建超高维度的海森矩阵，且由于该方法对数值变化的敏感性，在实际部署时常依赖双精度浮点数进行求解以降低数值误差，限制了其在低算力平台中的应用。为解决这一问题，本文提出基于雅克比域零空间边缘化的视觉SLAM方法，该方法在后端优化模块中将路标雅克比矩阵投影至其左零空间，在避免构建海森矩阵前提下达到降阶效果，提升求解效率，并在代数上证明两种边缘化方法的等价性。从数值分析角度证明本文提出的边缘化方法具备更好的数值稳定性，可支持单精度浮点数求解，进一步提升效率。公开数据集和实车试验表明本文方法相较于基于舒尔消元边缘化的通用优化器具备更好的求解速度和精度。
非铺装道路凹凸不平特征参数复杂，增加了自动驾驶汽车提取有效信息以进行路径规划和决策控制的难度，精确的语义分割方法将有助于简化道路不平参数信息，提高特征识别精度，从而提高车辆自主行驶的安全性和舒适性。为此，本文提出了一种非铺装道路凹凸不平特征语义分割方法，实现对不同尺寸和高程差的凹凸不平特征分类。首先，引入高斯函数建立了非铺装道路表达模型，提出了凹凸不平特征自动标注方法并构建了仿真数据集，弥补了非铺装道路点云数据集的空白；然后，搭建了非铺装道路凹凸不平特征语义分割模型，基于Pointnet++的多层次特征提取结构，首次实现了对非铺装道路凹凸不平特征语义分割；最后，通过建立非铺装路面特征沙盘模型，运用本文提出的方法对实测数据进行验证。结果表明，本方法能准确对道路凹凸不平特征进行分类，且在不同点云数据密度、路面范围的数据中具有较好鲁棒性。
为减少主观因素干扰，满足用户多样化感性需求，提出基于BP神经网络优化遗传算法的智能座舱感性意象设计方法。从用户角度出发，获取用户感性意象并划分强度，应用因子分析法降维得到目标意象，获取新能源汽车座舱样本，应用聚类分析法筛选得到优势样本，并结合形态分析法提取智能座舱中控造型特征因子。基于BP神经网络构建特定目标意象与造型特征因子的映射模型，得到两者函数关系后将其作为适应度函数展开遗传算法分析，优选特定意象下造型因子的最优组合，完成评估方法与优选方法的结合。根据优势因子组合进行设计实践以验证方法实用性，结果表明该方法能有效满足用户多维感性需求，为智能座舱造型设计多样化提供新的思路和参考。
本文采用场景降维及采样的方法对场景库进行优化。首先将场景元素分类，并基于层次分析法对其重要性权重值求解，根据权重值的大小进行场景元素离散化，构建场景空间；然后通过场景空间自身的属性计算场景危险度，通过自然驾驶数据库中场景的发生概率计算场景空间中场景的发生概率，构造重要性函数，通过自然驾驶数据库的引导在人为构建的场景空间中筛选出关键场景组成测试场景库，同时为加快搜索效率，采用多起点优化算法与泛洪填充算法进行采样搜索；最后，根据场景风险评估方法验证了关键场景的有效性。结果表明，本文所提出的场景库优化方法能够筛选出用于自动驾驶测试的关键场景，提高自动驾驶测试的效率与现实意义。
现有两轮车事故场景研究由于不区分事发地点，故对路口两轮车事故场景的提取还远远不足。据此，本文对来自CIDAS数据库的1 239起路口乘用车-两轮车事故案例进行了聚类分析，提取10个典型路口两轮车事故场景。针对强相关变量组，对比了单层聚类和双层聚类两种方法，发现双层聚类在样本划分和结果可解释性方面性能更优。从场景频率和致伤风险两个角度分析了聚类结果，进一步挖掘了速度与场景致伤风险指数之间的相关性。通过事故致因分析，发现了一些特色场景，例如未让行、两轮车逆行、交通灯冲突（包括闯红灯和交通灯切换间隙）以及视觉障碍。提取的路口两轮车事故场景能为智能车及主动安全系统测试提供场景参考依据。
针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet， F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest， RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。
智能网联汽车技术专题-感知&HMI&测评2023年
