智能网联汽车技术专题-感知&HMI&测评2024年
为克服网络延迟对协同感知准确率的影响，同时提高点云特征表达能力，本文提出了一种基于时空特征补偿网络的智能网联车辆点云协同感知方法。首先，采用点-体柱特征提取方法对点云原始数据进行处理，将扫描点局部邻域特征与体柱特征图进行拼接；然后，设计基于PredRNN算法的时间延迟补偿模块，对接收到的来自周围网联车辆的历史帧点云特征进行预测，实现两车点云特征同步；其次，利用空间特征融合补偿模块聚合跨车辆点云特征，通过双向多尺度特征金字塔网络融合多分辨率特征，输出车辆目标几何尺寸和航向角等信息；最后，在V2V4real数据集和自制数据集上的测试结果表明，该方法的检测精度优于经典协同感知算法，且对不同网络延迟时间具有较好的适应性，推理时间满足实时性要求。
针对复杂交通监控场景中视频车辆检测模型难以提取丰富的目标特征的问题，本文从充分利用视频图像时空特征信息的角度，新建时空特征融合模块SF-Module，运用Transformer模型中的多头自注意力机制实现视频车辆图像当前帧和历史帧时空特征信息的提取和融合，丰富目标的特征信息；在此基础上，基于YOLOv8网络，在其颈部网络融合新建的时空特征融合模块SF-Module，挖掘视频图像序列的时空特征信息；同时，引入WIoU损失函数作为预测框回归损失，减少低质量标注框产生的有害梯度，设计SFW-YOLOv8视频车辆检测模型。最后，新建的SFW-YOLOv8复杂场景视频车辆检测模型在UA-DETRAC数据集上进行实验，对数据集中的部分图片进行了模拟雨天和雾天的数据增强，提高车辆检测模型的泛化性。实验结果表明，SFW-YOLOv8视频车辆检测模型的MAP50和MAP50：5：95值为79.1%和63.6%，较YOLOv8模型分别提高了1.7%和3.3%，推理速度为11 ms/帧，具有较为优秀的检测性能。
车载雷达的虚警和漏报是影响自动驾驶系统安全可靠的关键因素之一，因此需要大量带标签的测试数据开展针对性的研究。但虚警和漏报的发生概率较低，且雷达目标状态不稳定导致雷达目标难以标记。对此，本文首先根据雷达虚警和漏报的产生机制设计能高效获取雷达关键数据的测试方案。然后通过构建关联度函数，以量化雷达目标与场景目标之间的关联并使用遗传算法优化该函数，在此基础上建立雷达目标的自动标记方法。最后通过实采数据验证本文方法的有效性。实验结果表明所提出的方法能高效获取关键的虚警和漏报数据，本文的标记方法也能准确识别出场景目标对应的雷达目标，并区分出虚警目标和真实目标。
针对现有的激光SLAM算法在动态场景下鲁棒性差、定位与建图精度易受动态物体干扰的问题，提出了一种融合语义信息与物体级几何特征的实时动态激光SLAM算法Object-SuMa。首先通过地面滤波、物体分割、方向包围盒解算等过程，生成物体级几何特征并表示为纹理，用于并行计算和修正物体内部错误的语义分割结果；然后在配准过程中分解计算方向包围盒间的IOU，并基于包围盒IOU和语义分割结果引入物体级几何加权和语义加权，减少误匹配和动态点匹配；借助图形渲染管线构建并行计算过程，进行地面点配准和非地面点配准两步优化，降低计算复杂度和耗时；最后在KITTI里程计数据集测试表明，Object-SuMa算法相比SuMa++算法的相对位姿估计精度提升15%，ICP平均耗时下降17%，改善了动态场景下的激光SLAM定位精度和鲁棒性。
自动驾驶汽车与人类驾驶汽车的交互能力对未来新型混合交通的运行安全和效率至关重要。为测试高等级自动驾驶汽车的交互能力，测试场景中的背景车须具备自然驾驶交互特征并反映人类驾驶员异质性交互策略。本文基于博弈论框架，建立了驾驶交互策略模型（game-theoretical strategic interaction model， GSIM）。GSIM通过在个体效用函数中引入可差异化取值的交互社会性表征参量，实现背景车交互策略的定向调控。十字路口无保护左转场景的测试实验表明，GSIM可保留自然驾驶逐步规划、双向交互的可解释性，保障交互行为的仿真精度；同时，可有效复现高风险场景中人类驾驶的交互策略，有助于提供具有挑战性的高测试价值场景。对比传统智能驾驶人模型，GSIM模型在无保护左转场景中轨迹仿真精度平均提升42.8%，严重冲突事件复现率提升25.8%。
地下矿道可行驶区域检测是地下矿山自动驾驶系统的关键感知技术，然而地下矿道光照强度低、工况复杂的特点给该任务带来极大挑战。鉴于此，本文提出一种地下矿道可行驶区域检测算法。首先，为解决地下矿道细节退化导致图像特征难以提取的问题，提出一种双分支特征提取骨干网络；然后，针对地下矿道可行驶区域检测不完整问题，提出一种自适应多尺度空间空洞池化金字塔特征增强模块；最后，为解决地下矿道边界提取不准确的问题，设计一种双分支通道注意力机制融合模块。在自制矿道可行驶区域数据集上进行实验，相较于Deeplabv3+、UNet、DDRNet-23、PIDNet，本文算法取得最佳效果，在MIoU分数上分别提升2.07、2.39、1.87、1.92个百分点，在mAcc分数上分别提升1.78、2.45、1.84、1.86。本文算法已成功应用于地下无人驾驶矿车，验证了其在真实矿道场景下的有效性。
随着自动驾驶技术的不断发展，准确预测行人的未来轨迹已经成为确保系统安全和可靠的关键要素。然而，现有行人轨迹预测研究多数依赖于固定摄像头视角，进而限制了对行人运动的全面观测，因此难以直接应用于自动驾驶车辆自车视角（ego-vehicle）下的行人轨迹预测。针对该问题，本文提出了一种基于多行人信息融合网络（MPIFN）的自车视角行人轨迹预测方法。该方法通过融合社会信息、局部环境信息和行人时间信息，实现了对行人未来轨迹的准确预测。本文构建了一个局部环境信息提取模块，结合了可形变卷积与传统卷积和池化操作，旨在更有效地提取复杂环境中的局部信息。该模块通过动态调整卷积核的位置，增强了模型对不规则和复杂形状的适应能力。同时，构建了行人时空信息提取模块和多模态特征融合模块，以实现对社会信息与环境信息的充分融合。实验结果表明，该方法在JAAD和PSI两个自车视角下驾驶数据集上均取得了先进的性能。在JAAD数据集上，累积均方误差（CF_MSE）为4 063，累积平均均方误差（C_MSE）为829。在PSI数据集上平均相对偏差（ARB）和最终相对偏差（FRB）也分别在预测时间为0.5、1.0、1.5 s时取得了18.08、29.21、44.98和25.27、54.62、93.09的优异表现。
自动驾驶感知系统须对目标车辆运动进行感知，以制定合理交互决策。针对行为感知在时间上的滞后性和数据中可能存在的波动和异常值导致感知准确率差的问题，本文提出一种在线半监督混合方法。首先，采用自回归积分移动平均和在线梯度下降优化器设计基于数据驱动的车辆运动状态在线预测算法。然后，构建基于微簇的初始模型，并以K近邻为基分类器建立集成学习策略，设计错误驱动代表性学习和指数衰减策略实现对初始模型的迭代更新。最后，基于驾驶模拟平台采集了验证所提算法有效性的实验数据。结果表明，所提出的方法对于车辆行为波动具有快速适应性，在线预测算法可准确预测车辆运动趋势，行为感知算法对于不同预测时间下的车辆行为均有较强适应能力。
提出一种面向智能驾驶测试的可变跟驰特性交通车建模方法。首先，通过对自然驾驶数据聚类分析，建立高真实交互个性化的跟驰模型，并利用模型输出耦合赋予多元权值，构建可用于智能驾驶测试的可变跟驰特性交通车模型；然后，通过建立交通车轨迹评价方法验证模型输出轨迹的合理性、多样性及真实性；最后，搭建联合仿真平台进行了所构建交通车模型对自动紧急制动（autonomous emergency braking， AEB）算法的应用测试。结果表明，本文构建的交通车模型可以输出不同跟驰特性下合理、多样且真实的轨迹，当轨迹数量达到60 000条时与真实自然驾驶速度轨迹匹配的平均均方根误差为0.427 m/s，且在不同交通车轨迹特性下待测系统行为响应不尽相同，通过权值系数的变化可以揭示待测系统响应的演化规律，并可实现待测系统性能的针对性测试。
自动驾驶车辆在实际道路行驶的安全性与外部交通要素、驾驶员状态以及本车状态密切相关。自动驾驶面临的一大难题是实际交通环境具有道路形态、自然环境、交通参与者及事件等在时间和空间维度的随机性特征，测试场景复杂度存在的差异造成了自动驾驶测试过程的不可复现性和测试结果的不可对比性，导致自动驾驶评价缺乏统一量化的测试环境基准。本文提出了一种基于设计运行条件的实际道路测试场景复杂度计算模型，系统考虑了网联功能、驾驶员感知能力、本车执行能力对自动驾驶车辆在实际道路中面临相关场景时的复杂度影响，建立了以道路等级、交通设施、临时交通变化、交通参与者、自然环境、网联信息、驾驶员状态和本车状态等8个要素大类为基础的自动驾驶实际道路测试场景复杂度计算模型要素库，建立了基于设计运行条件和层次分析法的自动驾驶功能实际道路测试场景复杂度计算模型。采用基于智能化网联化的技术逻辑影响传递机制计算场景要素权重系数，并在实际道路测试中验证了本文方法的可行性和合理性。
路面附着系数是影响自动驾驶系统决策控制策略的重要因素。为实现对道路附着系数前瞻性的高精度感知，本文基于车载激光雷达设计了一种新的路面附着系数估计方法。首先采集了干燥柏油路面、混凝土路面、湿滑柏油路面、结冰路面和积雪路面构建道路数据集；基于使用布料模拟滤波和RANSAC算法进行了道路点云提取、基于高斯滤波去除反射率异常噪点；根据点云反射率随距离和入射角变化的规律将路面划分为不同区域分别提取特征；基于深度神经网络构建了道路识别模型，并基于采集数据集进行了训练，最后基于路面材质和峰值附着系数的统计经验确定了前方道路的附着系数。测试结果表明，本文提出的算法道路类型辨识精度超过99.3%，算法平均运行周期55 ms，可实现实时高精度的路面峰值附着系数估计。
基于场景的仿真测试方法是自动驾驶汽车安全性验证的重要手段，然而当前测试场景生成方法多输出独立场景片段，如何模拟真实人类驾驶过程生成具有一定挑战的连续交互测试场景已成为自动驾驶测试评价亟须攻克的难题。本文提出了一种自动驾驶拟人连续交互测试场景生成方法。首先建立自动驾驶拟人连续交互测试场景生成架构，并基于HighD数据集进行车辆运动行为分析；在此基础上，基于轨迹相似性特征分析被测自动驾驶汽车当前行为，并通过状态转移矩阵预测其未来轨迹；基于轨迹交互规则确定测试场景中交通车未来行为类型，通过Transform网络架构生成交通车拟人连续交互轨迹；最后，在仿真环境中对生成测试场景的危险性、拟人性等关键性能进行评估，证明了本文方法的有效性。
针对智能座舱驾驶员表情识别深度学习模型准确率和实时性难以兼顾的问题，提出一种基于注意力融合与特征增强网络的表情识别模型EmotionNet。模型以GhostNet为基础，在特征提取模块内利用两个检测分支融合坐标注意力和通道注意力机制，实现注意力机制互补与对重要特征的全方位关注；建立特征增强颈部网络以融合不同尺度特征信息；最终通过头部网络实现不同尺度特征信息决策级融合。在训练中则引入迁移学习思想和中心损失函数以进一步提高模型的识别准确性。在RAF-DB和KMU-FED数据集实验中，模型分别取得85.23%和99.95%识别准确率，并达到59.89 FPS的识别速度。EmotionNet平衡了识别准确率和实时性，达到了较为先进的水平并具备一定的智能座舱表情识别任务的适用性。
有效预测驾驶员视野下的多交通参与者未来风险指标是为人类驾驶员提供风险预警，规避潜在碰撞风险的关键。大多数现有对风险的研究仅考虑场景中单一个体与本车之间的成对交互关系，并从评估而非预测的角度展开研究，而忽略异构交通参与者之间不同的交互关系及未来风险状态。本文提出了一种基于时空图卷积神经网络的异构多目标风险预测方法Risk-STGCN，通过图卷积及时间卷积分别对单帧场景图信息与时序信息进行学习，结合多层时序预测网络对多目标风险指标TTC进行预测。在开源BLVD与实车自采数据集上进行了训练验证，并与常用序列预测模型进行对比。实验结果表明，所提模型在不同数据集上的平均TTC误差均在0.95 s以下，多实验指标均优于文中所提到的其他模型，具有良好的鲁棒性，同时提升了复杂交通场景下风险预测的可解释性。
场景复杂度的评估对于提升自动驾驶车辆应对多变环境的能力以及增强算法的适用性至关重要。本文中设计了基于图模型的复杂度评估算法，充分考虑场景中的交互拓扑，将场景划分为3类不同复杂度。在匝道汇流场景下，验证了该算法的合理性与有效性。为说明复杂度评估算法的拓展性，将其应用于自动驾驶的轨迹预测与决策算法开发中。通过结合自然驾驶数据集和实车在环试验，对提出算法进行测试，结果表明：场景复杂度评估可预先估计预测的不确定性，显著提升自动驾驶决策算法的实时性与最优性。在数据回放测试中，复杂度评估模块可帮助降低并道失败率、并道剐蹭率分别为38%、92%，具有潜在的应用前景。
随着自动驾驶技术的快速发展，乘坐舒适性已成为影响自动驾驶车辆用户接受度和体验感的关键因素。本文针对自动驾驶车辆乘坐舒适性评价的研究现状进行系统性综述。首先，阐述了舒适性的含义，并分析了影响乘坐舒适性的主要因素。其次，对自动驾驶车辆的量化指标和评价模型进行了分类与详细阐述。其中，量化指标分为主观量化指标、基于车辆参数的量化指标、基于生理信号的量化指标以及基于驾驶员行为的量化指标；评价模型包括心理物理学模型、生物力学模型、统计学模型以及基于学习的评价模型。最后，提出了自动驾驶车辆舒适性研究的未来发展趋势，为进一步研究自动驾驶车系统设计与用户体验提升提供了技术参考。
在自动驾驶场景理解任务中进行准确的可行驶区域以及动静态物体分割对于后续的局部运动规划和运动控制至关重要。然而当前基于激光雷达点云的通用语义分割方法并不能在车端边缘计算设备上实现实时且鲁棒的预测，且不能预测当前时刻的物体运动状态。为解决该问题本文提出一种可行驶区域及动静态物体多任务分割网络MultiSegNet。该网络利用激光雷达输出的深度图及处理后得到的残差图像作为编码空间特征和运动特征的表征输入到网络用于特征学习，从而避免直接处理无序高密度点云。针对深度图在不同方向视角内目标分布数量差异较大的特点，本文提出了变分辨率分组输入策略。该方法能在降低网络计算量的同时提高网络的分割精度。为适配不同尺度目标所需要的卷积感受野尺寸本文提出了深度值引导的分层空洞卷积模块。同时本文为有效关联并融合不同时域下物体的空间位置和姿态信息提出了时空运动特征增强网络。为验证所提出MultiSegNet的有效性，本文在大规模点云驾驶场景数据集SemanticKITTI及nuScenes上进行验证。结果表明：可行驶区域、静态物体和动态物体的分割IoU分别达到98%、97%和70%，性能优于主流网络，且在边缘计算设备上实现实时推理。
为解决车路图协同仿真环境下的单机式测试平台效率低下、系统可扩展性不足的问题，本文提出了一种面向车-路-图协同的分布式自动驾驶仿真平台架构，并将该平台命名为VIMS（vehicle-infrastructure-map system）。VIMS平台以CARLA作为虚拟仿真引擎，通过引入真实高精地图，接入驾驶模拟器、信号机等硬件在环设备，形成了虚实结合的交通场景；考虑功能的交互作用，VIMS平台分为主世界、智能车、智能路侧和高精地图4个模块，采用ROS分布式架构实现模块内部的相对独立和模块间的互联互通；考虑到平台的计算可靠性与可用性，采用分布式计算实现4个模块间的独立计算。通过车道保持和车路图协同定位算法为例进行应用验证，通过平台实现了数据采集、传输和算法的验证测试与评价，结果表明，本文所提出的平台可以实现车、路、图协作的实时仿真，保证模块的有机运行，系统架构可扩展性高。
基于点云的三维目标检测算法是自动驾驶系统中关键技术之一。目前基于体素的无锚框检测算法是学术界的研究热点，但是大多数研究都侧重于设计复杂的二阶段修正模块，在牺牲巨大的算法延迟的情况下带来有限的算法性能提升。而单阶段无锚框点云检测算法虽然具有更加精简的检测流程，但其检测性能难以满足自动驾驶场景的需求。对此，本文基于无锚框检测算法CenterPoint，提出了一种面向自动驾驶场景的单阶段无锚框点云目标检测算法。具体来说，本文通过引入编码解码稀疏模块，极大地促进了三维特征提取器对于空间非连通区域的信息交互，保证了三维特征提取器能够提取到满足各类目标检测的特征。此外，考虑到现有的二维特征融合主干与基于中心点的无锚框检测头的适配存在挑战性，本文通过引入自校正卷积和大核注意力模块，能够有效提取到目标区域的点云特征，并将目标区域的点云特征聚集到中心点区域，从而提升算法对于目标的召回率和检测精度。本文所提出的算法在大规模公开数据集nuScenes上进行模型训练和实验验证，与基准算法相比，mAP和NDS分别提升了5.97%和3.62%。同时，本文将所提出的算法在基于自主搭建的实车平台上进行实际道路实验，进一步证明了所提出算法的有效性。
多传感器融合是提高智能车辆感知效果的有效途径，针对激光雷达、毫米波雷达和相机3种传感器数据匹配问题，传统匹配方法（如二分图匹配）无法获得高的精度，同时匹配鲁棒性差。为此，本文提出一种基于三分图匹配的智能车辆多传感器数据融合算法，将3种传感器数据匹配问题抽象为有权三分图匹配问题，通过拉格朗日松弛将原问题空间分解为子空间，进而利用代价矩阵模型确定子空间内的顶点和边的权重，结合感知误差模型和似然估计确定感知误差后验分布，最终利用拉格朗日乘子（Lagrange Multiplier，LM）模型完成数据匹配。最后利用nuScenes训练集和实车实验对本文所提匹配算法的效果进行了验证，在数据集上本文算法比常用算法在F1得分方面提升了7.2%，而在多种实车场景测试中，本文算法也同样具有较好的感知精度和鲁棒性。
智能网联汽车技术专题-感知&HMI&测评2024年
