智能网联汽车技术专题-感知&HMI&测评2024年
识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题，本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型（skeleton-image based behavior recognition network，SIBBR-Net）。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络，充分提取运动和外观特征，较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失，使运动和外观特征间互相引导更新并实现自适应融合。最终在 Drive&Act 数据集进行算法测试，SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为 61.78%和 80.42%，每秒浮点运算次数为 25.92G，较最优方法降低了76.96%。
地下矿道可行驶区域检测是地下矿山自动驾驶系统的关键感知技术，然而地下矿道光照强度低、工况复杂的特点给该任务带来极大挑战。鉴于此，本文提出一种地下矿道可行驶区域检测算法。首先，为解决地下矿道细节退化导致图像特征难以提取的问题，提出一种双分支特征提取骨干网络；然后，针对地下矿道可行驶区域检测不完整问题，提出一种自适应多尺度空间空洞池化金字塔特征增强模块；最后，为解决地下矿道边界提取不准确的问题，设计一种双分支通道注意力机制融合模块。在自制矿道可行驶区域数据集上进行实验，相较于Deeplabv3+、UNet、DDRNet-23、PIDNet，本文算法取得最佳效果，在MIoU分数上分别提升2.07、2.39、1.87、1.92个百分点，在mAcc分数上分别提升1.78、2.45、1.84、1.86。本文算法已成功应用于地下无人驾驶矿车，验证了其在真实矿道场景下的有效性。
针对智能车辆在实际交通环境中面临的目标密集、边缘严重遮挡和前景背景模糊的问题，本文提出了一种融合图像显著性特征的轻量级目标检测算法。首先基于灰度图像提取出显著性特征图，和彩色图像分别输入卷积神经网络。其次采用轻量化模块（ghost model）搭建轻量级融合网络，并使用EIoU优化模型的边框定位损失。在网络后端将非极大值抑制算法进行改进，以此提高网络对同类别遮挡目标的检测准确率。最后在KITTI数据集上进行训练和测试。实验表明，改进后的网络mAP达到92.7%，相比原始网络YOLOv5平均精度提高3.8%，精确率和召回率分别提高3%和6.2%。
针对点云的稀疏性和无序性对目标检测准确率的影响，本文提出了一种基于虚拟点云的二阶段多模态融合网络VPC-VoxelNet。首先，利用图像检测目标信息构造虚拟点云，增加点云的密集程度，从而提高目标特征的表现；其次，增加点云特征维度以区分真实和虚拟点云，并使用含置信度编码的体素，增强点云的相关性；最后，采用虚拟点云的比例系数设计损失函数，增加图像检测有监督训练，提高二阶段网络训练效率，避免二阶段端到端网络模型存在的模型误差累计问题。该目标检测网络VPC-VoxelNet在KITTI数据集上进行了测试，检测精度优于经典三维点云检测网络和某些多传感器信息融合网络，车辆检测精度达到了86.9%。
预期功能安全问题制约着自动驾驶汽车的落地。自动驾驶感知系统面临的各种极端行驶环境等极易引起预期功能安全问题。因此，须按照现有预期功能安全标准，在安全分析阶段识别并评估种类多且数量大的触发条件，筛选高价值触发条件为后续测试验证提供测试场景输入。本文中首先基于对触发条件在自动驾驶系统中的风险演化过程的分析，提出一套包括暴露率、穿透率和危害率的三维感知系统触发条件评估体系。随后，基于层次分析法构建了触发条件穿透率量化评估方法。最后，针对某量产车型的融合感知系统分析并选取15个触发条件，构建测试用例并开展封闭场地测试，评估上述触发条件的穿透率。最终经计算筛选得到3个高风险触发条件，验证了触发条件穿透率量化评估方法的可行性。
在复杂和极限工况下，路面附着系数是进行轮胎受力分析和车辆动力学控制的重要状态参数。相对于模型估计的方法，智能轮胎技术能够将轮胎与路面的交互信息反馈给车辆控制系统。本文提出了一种将智能轮胎系统和机器学习相结合的车辆路面附着系数获取方法。首先，考虑行驶工况环境进行传感器选型，开发基于MEMS三轴加速度传感器的智能轮胎硬件采集系统，并采用简化硬件结构的无线传输模式。其次，通过采集不同路面上的实车实验数据进行车辆实验收集机器学习训练的数据集，并分析轮地关系及信号特征。最后，将CNN与LSTM两者的优势相结合实现了对加速度时序信号的特征学习。通过与其它神经网络模型训练结果的比较，验证了所提CNN-LSTM双通道融合神经网络模型的有效性和准确性。本文提出的路面辨识方案实现了实时道路识别的目标，硬件与软件架构和神经网络模型更适合车辆系统搭载，为车辆运动控制提供了实时准确的路面信息。
近年来一些解决动态场景下的SLAM技术被提出，其中SLAM与MOT结合的技术路线不仅可解决动态场景问题，还可以提高系统对周围场景的理解，获得了更大关注。本文介绍了一种高效的实时在线视觉SLAMMOT融合系统，以双目视觉或RGBD作为输入，只须借助2D目标检测网络，便能高效、准确、鲁棒地跟踪相机以及动态目标的位姿，并生成稀疏点云地图。为提高多动态目标追踪的精度与准确度，引入了级联匹配与IOU匹配结合的策略；利用阿克曼转向模型来简化追踪目标的运动，减少求解动态目标位姿所需匹配点的数量；利用因子图将相机与动态目标的追踪结果进行联合优化，同时提高相机、追踪目标的位姿和地图点的精度。最后在KITTI跟踪数据集上与其他方法进行比较。结果表明，在满足实时性要求的前提下，该方法仍能准确地追踪相机以及动态目标位姿。
自动驾驶车辆常常利用多传感器对周围目标进行检测和跟踪，但受限于传感器多源异构特性和复杂多变的驾驶环境，准确的多目标检测和跟踪仍是实现自动驾驶的一大困难和挑战。本文面向高级驾驶辅助系统（ADAS）的多目标检测与跟踪任务，采用了基于1个视觉传感器和5个毫米波雷达（1V5R）的传感器配置方案，且设计了基于分布式抗差卡尔曼滤波器的多传感器信息融合算法以实现对周围目标的准确感知。首先，针对不同传感器数据特征，采用不同的线性卡尔曼滤波器和扩展卡尔曼滤波器进行数据融合，并基于分布式卡尔曼滤波建立了1V5R多传感器信息融合框架。其次，为降低传感器动态误差对于融合精度的影响，在卡尔曼加权观测融合的基础上，引入抗差估计方法，实现了对传感器动态误差的实时估计和修正。最后，通过离线仿真和实车道路试验对所提出的基于分布式抗差卡尔曼滤波的多传感器融合算法进行了验证。试验结果表明，与单一传感器的测量值相比，所提出的算法能有效融合多个传感器的信息以提升目标的检测与跟踪精度，且鲁棒性较好。
驾驶员危险感知能力对于预防和减少道路交通事故具有重要作用。针对目前研究中危险感知的特征向量表征不统一、算法对实际问题可解释性不足的弊端，通过人为控制的方式，设计了基于危险源、显隐性、强弱危险感知状态3个维度的3×2×2实验方案，实现对危险感知的预定分级；设计配对T检验和Wilcoxon符号秩检验结合的方式实现强弱感知状态下特征差异性的量化比较；建立基于十倍交叉参数调优SVM算法的危险感知状态二分类模型。研究结果表明：驾驶员在强危险感知状态下对危险的反应更主动，倾向于避免危险，而非紧急避险，并保持更低的车速，更倾向油门控制而非制动控制，注视和眼跳行为增加；驾驶员在隐性危险源场景中的操纵力度和频次更强，危险感知与显隐性影响程度及危险源类型有关，摩托车类危险源差异最大，行人类危险源差异最小；在C=1，γ=0.1，选择车头时距、车速标准差、最大制动踏板力、加速度标准差、预减速时间、车速均值、油门开度标准差、跳视次数、注视次数作为特征时，SVM模型具有最好的性能，准确率为89.2%，精准率为90.6%，召回率为87.8%，F1值为0.888。XGBoost模型对弱感知的识别能力低于SVM模型。该研究对于驾驶员危险感知状态的量化评估具有显著的指导意义。
稳定的点云特征提取对激光雷达三维目标检测至关重要。针对现有深度学习算法仅能处理机械旋转式激光雷达点云数据，而对混合固态激光雷达数据支持不足的问题，本文基于IA-SSD搭建了适用于混合固态激光雷达的目标检测模型。首先，在点云编码前端添加了Cloth Simulation Filtering （CSF）用于地面次优点过滤；其次，利用局部特征融合和全局双线性正则化层组成的注意力机制，从局部和全局共同推动点云几何信息与特征信息融合；再次，利用GhostGConv替换原有低效的逐点卷积，通过通道混洗机制加强点云的特征交互，构建了增强型特征提取网络。最后，在点检测器IA-SSD中整合了上述模块完成模型构建。在混合固态激光雷达数据集SimoSet开展的验证结果表明，所提出的方法显著优于SimoSet数据集支持的其他算法精度指标；在KITTI数据集中等难度检测中，所提方法将IA-SSD三分类平均检测精度分别提升了1.17、1.47、0.5百分点。
基于深度学习的视觉感知技术的发展有利于自动驾驶系统中环境感知技术的进步。然而，对于自动驾驶场景中的异常案例，目前的感知模型还存在一些问题。这是因为基于深度学习的感知模型的能力取决于训练数据集的分布。尤其是驾驶场景中的类别从未出现在训练集中，感知系统也往往很脆弱。因此识别未知类别和极端场景仍然是自动驾驶感知技术安全性的挑战。本文从处理数据集的角度出发，提出了一种新颖的多模态异常案例自动挖掘流程（corner case mining pipeline， CCMP）。为验证CCMP的有效性，在Waymo开放数据集的基础上构建了异常案例子集“Waymo-Anomaly”，该子集共有3 200个图像，每个图像都将包含文本中定义的异常案例场景。并且基于私有数据集Waymo-Anomaly，证明了CCMP针对异常案例场景挖掘的召回率可以达到91.7%。此外，还通过实验验证了目标检测器在包含异常案例的数据集中针对长尾分布的有效性。最终，希望从处理数据集的角度来提高自动驾驶感知模型在现实世界中的真实性。
有效预测驾驶员视野下的多交通参与者未来风险指标是为人类驾驶员提供风险预警，规避潜在碰撞风险的关键。大多数现有对风险的研究仅考虑场景中单一个体与本车之间的成对交互关系，并从评估而非预测的角度展开研究，而忽略异构交通参与者之间不同的交互关系及未来风险状态。本文提出了一种基于时空图卷积神经网络的异构多目标风险预测方法Risk-STGCN，通过图卷积及时间卷积分别对单帧场景图信息与时序信息进行学习，结合多层时序预测网络对多目标风险指标TTC进行预测。在开源BLVD与实车自采数据集上进行了训练验证，并与常用序列预测模型进行对比。实验结果表明，所提模型在不同数据集上的平均TTC误差均在0.95 s以下，多实验指标均优于文中所提到的其他模型，具有良好的鲁棒性，同时提升了复杂交通场景下风险预测的可解释性。
场景复杂度的评估对于提升自动驾驶车辆应对多变环境的能力以及增强算法的适用性至关重要。本文中设计了基于图模型的复杂度评估算法，充分考虑场景中的交互拓扑，将场景划分为3类不同复杂度。在匝道汇流场景下，验证了该算法的合理性与有效性。为说明复杂度评估算法的拓展性，将其应用于自动驾驶的轨迹预测与决策算法开发中。通过结合自然驾驶数据集和实车在环试验，对提出算法进行测试，结果表明：场景复杂度评估可预先估计预测的不确定性，显著提升自动驾驶决策算法的实时性与最优性。在数据回放测试中，复杂度评估模块可帮助降低并道失败率、并道剐蹭率分别为38%、92%，具有潜在的应用前景。
为解决现有算法难以准确估计前方道路侧向坡度的问题，提出了一种基于扩展卡尔曼滤波（EKF）与机器视觉（VB）融合的道路侧向坡度估计方法。首先，建立含有侧向坡度的车辆2自由度模型，通过EKF估计出侧向坡度与车辆侧倾角的叠加态，由侧向加速度乘以适当增益解耦出车辆侧倾角，得到EKF道路侧向坡度估计值；其次，通过视觉成像原理分析二维图像中道路侧向坡度与图像中相关参数的几何关系，得到VB道路侧向坡度估计值；最后，通过数据融合得到最终的道路侧向坡度估计值，使估计结果冗余互补。仿真和实车试验结果表明，该融合算法能够适用于道路侧向坡度变化的坡道，并显著提高了估计精度。
针对智能座舱驾驶员表情识别深度学习模型准确率和实时性难以兼顾的问题，提出一种基于注意力融合与特征增强网络的表情识别模型EmotionNet。模型以GhostNet为基础，在特征提取模块内利用两个检测分支融合坐标注意力和通道注意力机制，实现注意力机制互补与对重要特征的全方位关注；建立特征增强颈部网络以融合不同尺度特征信息；最终通过头部网络实现不同尺度特征信息决策级融合。在训练中则引入迁移学习思想和中心损失函数以进一步提高模型的识别准确性。在RAF-DB和KMU-FED数据集实验中，模型分别取得85.23%和99.95%识别准确率，并达到59.89 FPS的识别速度。EmotionNet平衡了识别准确率和实时性，达到了较为先进的水平并具备一定的智能座舱表情识别任务的适用性。
随着自动驾驶技术的不断发展，准确预测行人的未来轨迹已经成为确保系统安全和可靠的关键要素。然而，现有行人轨迹预测研究多数依赖于固定摄像头视角，进而限制了对行人运动的全面观测，因此难以直接应用于自动驾驶车辆自车视角（ego-vehicle）下的行人轨迹预测。针对该问题，本文提出了一种基于多行人信息融合网络（MPIFN）的自车视角行人轨迹预测方法。该方法通过融合社会信息、局部环境信息和行人时间信息，实现了对行人未来轨迹的准确预测。本文构建了一个局部环境信息提取模块，结合了可形变卷积与传统卷积和池化操作，旨在更有效地提取复杂环境中的局部信息。该模块通过动态调整卷积核的位置，增强了模型对不规则和复杂形状的适应能力。同时，构建了行人时空信息提取模块和多模态特征融合模块，以实现对社会信息与环境信息的充分融合。实验结果表明，该方法在JAAD和PSI两个自车视角下驾驶数据集上均取得了先进的性能。在JAAD数据集上，累积均方误差（CF_MSE）为4 063，累积平均均方误差（C_MSE）为829。在PSI数据集上平均相对偏差（ARB）和最终相对偏差（FRB）也分别在预测时间为0.5、1.0、1.5 s时取得了18.08、29.21、44.98和25.27、54.62、93.09的优异表现。
自动驾驶感知系统须对目标车辆运动进行感知，以制定合理交互决策。针对行为感知在时间上的滞后性和数据中可能存在的波动和异常值导致感知准确率差的问题，本文提出一种在线半监督混合方法。首先，采用自回归积分移动平均和在线梯度下降优化器设计基于数据驱动的车辆运动状态在线预测算法。然后，构建基于微簇的初始模型，并以K近邻为基分类器建立集成学习策略，设计错误驱动代表性学习和指数衰减策略实现对初始模型的迭代更新。最后，基于驾驶模拟平台采集了验证所提算法有效性的实验数据。结果表明，所提出的方法对于车辆行为波动具有快速适应性，在线预测算法可准确预测车辆运动趋势，行为感知算法对于不同预测时间下的车辆行为均有较强适应能力。
为克服网络延迟对协同感知准确率的影响，同时提高点云特征表达能力，本文提出了一种基于时空特征补偿网络的智能网联车辆点云协同感知方法。首先，采用点-体柱特征提取方法对点云原始数据进行处理，将扫描点局部邻域特征与体柱特征图进行拼接；然后，设计基于PredRNN算法的时间延迟补偿模块，对接收到的来自周围网联车辆的历史帧点云特征进行预测，实现两车点云特征同步；其次，利用空间特征融合补偿模块聚合跨车辆点云特征，通过双向多尺度特征金字塔网络融合多分辨率特征，输出车辆目标几何尺寸和航向角等信息；最后，在V2V4real数据集和自制数据集上的测试结果表明，该方法的检测精度优于经典协同感知算法，且对不同网络延迟时间具有较好的适应性，推理时间满足实时性要求。
针对复杂交通监控场景中视频车辆检测模型难以提取丰富的目标特征的问题，本文从充分利用视频图像时空特征信息的角度，新建时空特征融合模块SF-Module，运用Transformer模型中的多头自注意力机制实现视频车辆图像当前帧和历史帧时空特征信息的提取和融合，丰富目标的特征信息；在此基础上，基于YOLOv8网络，在其颈部网络融合新建的时空特征融合模块SF-Module，挖掘视频图像序列的时空特征信息；同时，引入WIoU损失函数作为预测框回归损失，减少低质量标注框产生的有害梯度，设计SFW-YOLOv8视频车辆检测模型。最后，新建的SFW-YOLOv8复杂场景视频车辆检测模型在UA-DETRAC数据集上进行实验，对数据集中的部分图片进行了模拟雨天和雾天的数据增强，提高车辆检测模型的泛化性。实验结果表明，SFW-YOLOv8视频车辆检测模型的MAP50和MAP50：5：95值为79.1%和63.6%，较YOLOv8模型分别提高了1.7%和3.3%，推理速度为11 ms/帧，具有较为优秀的检测性能。
基于相机传感器的多目标跟踪算法是自动驾驶的重要组成部分。驾驶场景下，基于交并比进行前后帧关联的方案一直存在大量的身份切换，此现象在对向来车以及自车转弯时更加明显。本文将目标在二维平面上的运动速度作为扩展匹配空间的变量，设计了基于目标速度变化的交并比算法：Velocity IoU，从而优化前后帧目标关联。同时，使用自监督的外观模型提取不同目标的外观特征编码。基于上述的运动模型以及外观模型，提出了一种互补的关联策略，最终实现驾驶场景下多类别多目标跟踪。在BDD100K上验证了该方法，对应mMOTA为45.2，mIDF1为55.2，IDs为8 793，优于大部分跟踪算法。
智能网联汽车技术专题-感知&HMI&测评2024年
