智能网联汽车技术专题-感知&HMI&测评2023年
本文将知识图谱引入汽车故障诊断领域，以某公司的售后业务数据为来源，根据文本特点，设计了一种知识图谱构建流程：在传统构建流程的基础上，加入文本预分类和实体重组流程。基于DPCNN模型的文本预分类用于处理目标字段存在信息冗余的问题；基于BERT-BiLSTM-MUL-CRF模型的实体抽取与基于语法规则的实体重组的组合形式可以有效解决文本中的嵌套实体问题和非连续实体问题；采用结合术语相似度和结构相似度的方法完成知识融合；最后，选用Neo4j图数据库进行存储，完成汽车故障知识图谱的构建。
为实现在自动驾驶复杂场景下检测数量变化的车道线，提出一种基于实例分割的车道线检测算法。首先以ResNet18网络作为主干网络提取图像特征，采用特征金字塔网络进行特征融合。同时设计一种扩张卷积残差模块来提高检测的精度；然后基于车道线的位置进行实例分割，利用语义分割出的车道线点位置预测对应的聚类点位置，通过对聚类点采用DBSCAN聚类算法实现车道线实例区分。结果表明，该算法能够在复杂的自动驾驶场景下有效地进行多车道线检测，在CULane数据集和TuSimple数据集上的调和平均值分别达到75.2%和97.0%。
自动驾驶汽车的凸凹不平道路和异常路面行驶，不仅要考虑道路曲率等因素，还需要对路面凸起、凹坑等特征和病害进行识别建模，提高车辆通过性、安全性和舒适性。为此，本文提出了一种基于激光雷达的凸凹不平道路几何参数识别和模型重构方法。首先，将局部加权散点平滑方法（Lowess）首次应用于激光雷达点云处理，提高了激光雷达点云数据的平滑性；其次，提出了基于斜率阈值分割的路面几何参数识别方法，通过设置斜率阈值对道路凸起与凹坑进行识别提取；再次，通过识别特征点云边界构建了带约束的分段多项式函数路面连续典型特征拟合数学模型。最后，通过建立的室内路面典型特征沙盘模型及路面实测数据，应用本文提出的方法，对凸凹不平道路的凹坑和凸起等特征进行了识别和模型重构。结果表明，分段多项式拟合方法在拟合次数5~6次时达到拟合效果极限位置，此时各个场景中92%的数据点拟合均方根误差在0~0.015 m范围内，本文提出的方法能准确完成凸凹不平道路几何参数识别，实现路面典型特征三维数学模型重构。
基于深度学习的实例分割算法在大规模通用场景中取得了良好的分割性能，然而面向复杂交通场景的多目标实例分割仍然极具挑战性，尤其在算法的高精度和较快推理速度的权衡方面，而这对于智能汽车的行驶安全性至关重要。鉴于此，本文以实时性算法Orienmask为基础，提出了一种基于单阶段检测算法的多头实例分割框架。具体来说，所提框架由骨干网络、特征融合模块和多头掩码构建模块组成。首先，本文通过在骨干网络中加入残差结构获取更加完整的高维表征信息。其次，为了产生更具判别性的特征表达，本文通过引入自校正卷积重构特征金字塔，并使用全局注意力机制改善信息传播以进一步优化所提框架的特征融合模块。最后，提出的多头掩码构建机制通过细化场景目标尺寸分布显著提高不同目标的分割性能。本文算法在开源数据集BDD100k上进行大量测试与验证，分别在边界框和掩码上获得了23.3% 和19.4%的均交并比（mAP@0.5：0.95），与基线方法相比，平均指标提高了5.2%和2.2%。同时在基于自主搭建的实车平台上进行的道路实验也证明本算法能够较好地适应真实驾驶环境，且满足实时性分割需求。
自动驾驶领域对点云配准实时性要求高，而已有ICP算法及其变体存在对初始位姿要求高、配准速度慢等问题。鉴于此，本文提出了一种改进的快速点云配准方法，首先采用双重下采样方法对初始点云数据进行预处理，在保留原始特征的同时快速降低点云数据量，然后引入内部形状描述子（ISS）来优化超级全等四点集（Super4PCS）算法，降低其时间复杂度，最后选用线性最小二乘优化ICP算法进行快速精配准。采用斯坦福点云数据和自动驾驶Kitti点云数据对该算法有效性进行了测试和对比验证，结果表明：该算法具有良好的鲁棒性，且配准精度和配准速度均比已有算法有明显提高。
类人驾驶是提升汽车智能化程度的重要途径之一，识别和定位驾驶人的感兴趣目标和区域，进而快速、精确地感知驾驶场景中潜在风险或提供决策所需关键信息，能够有效增强智能汽车的功能可理解性和鲁棒性。本文基于层次化编码器-解码器架构设计轻量化多层时空融合网络，建立轻量化驾驶人注意力预测模型。首先，以MobileNetV2作为编码器的骨干网络，提取当前帧4个尺度上的多层次空间特征，将其存入记忆模块并与在历史帧上提取的多层次特征在时间维度叠加，得到连续帧间的时空特征后传输至解码器。其次，基于层次化解码结构设计解码器，采用逆瓶颈3D卷积模块设计时空融合层，融合每个独立分支上的时空特征。最后，融合4个独立分支上捕获不同尺度信息的预测结果，获得驾驶人注意力预测值作为模型预测输出结果。结果表明：本文提出的驾驶人注意力预测模型，通过在多个特征尺度上的编码与解码，能够有效利用动态场景当前帧和历史帧间的时间、空间、尺度信息；在DADA-2000和TDV数据集上的测试实验表明，在多个指标上优于当前同类优秀模型；模型尺寸为19 MB，单帧运算速度为0.02 s，实现了优秀的模型轻量化与实时性效果。综上所述，本研究解决了当前复杂交通环境下的动态驾驶场景驾驶人注意力预测模型体积庞大、实时性较差的问题，对智能汽车类人感知、决策等研究有一定的理论支持和应用价值。
针对现有的深度学习目标检测算法中存在的复杂光照场景下检测精度不高、实时性差等问题，提出了一种基于YOLO算法的抗光照目标检测网络模型YOLO-RLG。首先，将输入模型的RGB数据转换为HSV数据，从HSV数据分离出抗光照能力强的S通道，并与RGB数据合并生成RGBS数据，使输入数据具备抗光照能力；其次，将YOLOV4的主干网络替换成Ghostnet网络，并对其在普通卷积与廉价卷积的模型分配比例上进行调整，在保证检测精度的同时提高检测速度；最后，用EIoU替换CIoU改进模型的损失函数，提高了目标检测精度和算法鲁棒性。基于KITTI与VOC数据集的实验结果表明，与原网络模型比较，FPS提高了22.54与17.84 f/s，模型降低了210.3 M，精确度（AP）提升了0.83%与1.31%，且算法的抗光照能力得到显著增强。
针对数字孪生过程中，交通雾霾图像的采集受天气限制，数据库获取困难导致样本不足等问题，提出了一种新的大气加雾模型，并用于扩展不同浓度的交通雾霾图像数据库。首先，结合暗特征原理，求解大气光值，并提出了一种基于区域方差的大气光补偿方法来获取大气光估计；其次，利用颜色衰减先验估计场景深度，求解初始透射率；然后构建了图像大气加雾模型，将计算的大气光估计与大气加雾透射率代入模型，并利用雾霾系数调整加雾浓度；最后设计了多组交通视频加雾实验并进行评价。实验结果表明，提出的算法能随着预置雾霾系数增大，使得图像主观上明显趋于模糊，客观指标随之逐步发生变化，图像降质规律与真实的含雾场景基本一致，可用于扩充雾霾数据集，具有很好的有效性和实用性。利用不同去雾算法评价对比加雾图像可知，复原图像效果与针对实际图像的去雾效果基本无异，进一步反向验证了加雾模型的有效性。
针对自动驾驶车辆在雾天情况下易将行人误检和漏检的问题，提出一种基于改进GCANet除雾网络和CenterNet检测网络相结合、有效进行雾天行人识别的联合检测方法。该方法在GCANet中引入结合底层细节和全局结构的复合损失函数，优化除雾图的结构细节及图像质量；并将改进的GCANet除雾算法应用于检测算法的训练图像预处理中，最后送入CenterNet网络训练。试验结果显示，本文提出的方法在合成雾天数据集Foggy Citypersons上的平均对数漏检率MR-2值达到9.65，在真实雾天数据集RTTS上的平均精度AP50值达到86.11，降低了雾天场景下行人的漏检和误检情况，有效提升了检测网络在雾天条件下的泛化能力。
为提高未来自动驾驶车辆对弱势道路使用群体的感知和决策融合的可靠性，本文提出一种基于目标检测算法（YOLOv5）、多目标跟踪算法（Deep-Sort）和社交长短时记忆神经网络（social-long short-term memory， Social-LSTM）的行人未来运动轨迹预测方法。结合YOLOv5检测和Deep-Sort跟踪算法，有效解决行人检测跟踪过程中目标丢失问题。提取特定行人目标历史轨迹作为预测框架的输入边界条件，并采用Social-LSTM预测行人未来运动轨迹。并对未来运动轨迹进行透视变换和直接线性变换，转换为世界坐标系中的位置信息，预测车辆与行人的可能未来碰撞位置。结果显示目标检测精度达到93.889%，平均精度均值达96.753%，基于高精度的检测模型最终轨迹预测算法结果显示，预测损失随着训练步长的增加呈递减趋势，最终损失值均小于1%，其中平均位移误差降低了18.30%，最终位移误差降低了51.90%，本研究可为智能车辆避撞策略开发提供理论依据和参考。
针对自动泊车过程中车载鱼眼相机拍摄的车位图像因低光照环境导致图像整体偏暗、车位信息模糊而无法检测出车位的问题，本文中设计了一种融合限制对比度自适应直方图均衡化（CLAHE）和改进单尺度Retinex（SSR）的车位线图像增强算法。首先将鱼眼相机图像畸变矫正后转换生成鸟瞰图；然后使用优化映射函数计算过程的CLAHE算法对鸟瞰图预处理；进而使用基于迭代方框滤波估计入射分量的单尺度Retinex算法增强图像；经过滤波和形态学处理，最后基于亮通道先验将图像灰度化，得到最终的增强结果。本文采集多组低光照场景下单侧鱼眼相机摄取的实际泊车过程视频，截取驶过停车位过程中的单帧图像作为数据输入，并使用一种基础车位检测算法对增强结果进行检测，试验结果表明，经过增强后可被检测出车位的视频帧数量超过90%，且单帧图像增强算法处理时间仅38 ms。
针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet， F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest， RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。
协同感知技术增强了智能网联汽车的感知性能，但协同网络中出现的异常车辆和恶意攻击信息会影响协同感知结果的真实性与有效性。针对该问题，本文结合车辆协同网络中的检测结果提出一种基于遮挡状态判别与检测有效性识别策略的智能网联汽车信任度动态聚合评价方法。仿真结果表明，本文提出的协同感知信任评价方法提升了协同感知车辆对检测结果的可信度，增强了智能网联汽车协同感知过程的鲁棒性，并实现了信任管理模型面对高信任车辆突发恶意攻击的动态识别。
为降低系统求解大规模线性方程时的计算资源占用率、提高系统运行速度，现有基于非线性优化的视觉SLAM框架大多利用增量方程中海森矩阵稀疏性与边缘化策略对问题进行降阶。然而，这些方法仍须占用大量内存以显式构建超高维度的海森矩阵，且由于该方法对数值变化的敏感性，在实际部署时常依赖双精度浮点数进行求解以降低数值误差，限制了其在低算力平台中的应用。为解决这一问题，本文提出基于雅克比域零空间边缘化的视觉SLAM方法，该方法在后端优化模块中将路标雅克比矩阵投影至其左零空间，在避免构建海森矩阵前提下达到降阶效果，提升求解效率，并在代数上证明两种边缘化方法的等价性。从数值分析角度证明本文提出的边缘化方法具备更好的数值稳定性，可支持单精度浮点数求解，进一步提升效率。公开数据集和实车试验表明本文方法相较于基于舒尔消元边缘化的通用优化器具备更好的求解速度和精度。
非铺装道路凹凸不平特征参数复杂，增加了自动驾驶汽车提取有效信息以进行路径规划和决策控制的难度，精确的语义分割方法将有助于简化道路不平参数信息，提高特征识别精度，从而提高车辆自主行驶的安全性和舒适性。为此，本文提出了一种非铺装道路凹凸不平特征语义分割方法，实现对不同尺寸和高程差的凹凸不平特征分类。首先，引入高斯函数建立了非铺装道路表达模型，提出了凹凸不平特征自动标注方法并构建了仿真数据集，弥补了非铺装道路点云数据集的空白；然后，搭建了非铺装道路凹凸不平特征语义分割模型，基于Pointnet++的多层次特征提取结构，首次实现了对非铺装道路凹凸不平特征语义分割；最后，通过建立非铺装路面特征沙盘模型，运用本文提出的方法对实测数据进行验证。结果表明，本方法能准确对道路凹凸不平特征进行分类，且在不同点云数据密度、路面范围的数据中具有较好鲁棒性。
在智能车辆的同时定位与建图中，视觉特征点法通过对特征点的提取和匹配进行车辆位姿估计，但当环境缺少纹理或动态变化时，场景的特征稀疏、稳定性差，基于自然特征定位易导致精度下降甚至定位失败。在环境中加入视觉标签可有效解决特征稀疏问题，但基于视觉标签的定位方法高度依赖人工标定，且常因视角变化出现位姿抖动，影响定位的精度。为此，本文提出了一种基于标签的车辆视觉SLAM方法，充分利用标签信息，引入内外角点约束降低标签位姿抖动，同时借助视觉里程计建立低漂移、全局一致的地图；在定位时基于标签估计车辆位姿，并联合优化标签地图与车辆位姿，从而构建低成本、高鲁棒的视觉SLAM系统。试验结果表明，本文方法使用内外角点约束有效降低了标签的位姿抖动，使标签建图精度的提升率超过60%，定位精度的平均提升率超过30%，显著地提高了基于标签定位的精度与鲁棒性，有利于智能车辆的安全运行。
预期功能安全作为道路运行安全的重要组成，是智能网联汽车的核心挑战。全面高效的预期功能安全测试验证方法能够有效支撑系统安全开发流程。本文提出一种以关键场景为载体、由封闭验证和开放论证双闭环构建的测试验证框架，并综合论述关键场景构建技术，进一步建立接受准则的量化方法。最后，本文展望在预期功能安全测试验证领域亟待推进的关键研究。本文旨在为智能网联汽车预期功能安全测试验证的工程实践提供兼具可操作性和理论充分性的参考依据。
在自动驾驶汽车环境感知任务中，采用环视相机在统一鸟瞰图（bird's eye view，BEV）坐标系下对车道线、车辆等目标进行语义分割受到广泛关注。针对相机个数增加致使任务推理延迟线性上升、实时性难以完成语义分割任务的难题，本文提出一种基于局部窗口交叉注意力的轻量型语义分割方法。采用改进型EdgeNeXt骨干网络提取特征，通过构建BEV查询和图像特征之间的局部窗口交叉注意力，完成对跨相机透视图之间的特征查询，然后对融合后的BEV特征图通过上采样残差块对BEV特征解码，以得到BEV语义分割结果。在nuScenes公开数据集上的实验结果表明，该方法在BEV地图静态车道线分割任务中平均IoU达到35.1%，相较于表现较好的HDMapNet提高2.2%，推理速度相较于较快的GKT提高58.2%，帧率达到106 FPS。
超声波雷达是自动泊车系统最常用的环境感知传感器，而超声波雷达的精确建模是自动泊车系统仿真分析的难点。本文提出了一种考虑大气条件影响的超声波雷达建模方法，将空气温度、湿度、大气压力这3项大气条件纳入建模体系。首先分析了超声波雷达的工作机理，明确了超声波雷达模型应由检测范围模型与检测距离模型两部分组成；而后推导了大气条件、目标物特性和超声波吸收能量损失、传播能量损失之间的定量关系，建立了检测范围模型；并根据大气条件求解真实声速，进一步将距离真值修正为真实超声波雷达检测值，建立了检测距离模型；最后对建立的超声波雷达模型进行了测试验证。结果表明，所建立的超声波雷达模型可以精确模拟超声波雷达在自动泊车场景中的检测范围与检测距离。
针对现有的毫米波雷达与视觉融合的碰撞预警算法误警率与漏警率较高等问题，提出了一种基于毫米波雷达与视觉融合的碰撞预警方法。首先基于距离速度阈值与生命周期方法对毫米波雷达数据进行预处理，并提出基于遗忘因子的自适应拓展卡尔曼滤波算法对目标进行追踪；利用加入改进的CBAM双通道注意力机制YOLOv5算法提高视觉识别的准确率。然后运用交并比的思想实现毫米波雷达与视觉的决策级融合。最后基于最小安全距离模型提出前碰撞预警策略。通过不同场景下的实车验证结果表明：该算法比单传感器算法更加准确，具有更好的鲁棒性。
智能网联汽车技术专题-感知&HMI&测评2023年
