智能网联汽车技术专题-感知&HMI&测评2023年
本文将知识图谱引入汽车故障诊断领域，以某公司的售后业务数据为来源，根据文本特点，设计了一种知识图谱构建流程：在传统构建流程的基础上，加入文本预分类和实体重组流程。基于DPCNN模型的文本预分类用于处理目标字段存在信息冗余的问题；基于BERT-BiLSTM-MUL-CRF模型的实体抽取与基于语法规则的实体重组的组合形式可以有效解决文本中的嵌套实体问题和非连续实体问题；采用结合术语相似度和结构相似度的方法完成知识融合；最后，选用Neo4j图数据库进行存储，完成汽车故障知识图谱的构建。
行人行为预测是城市环境智能汽车决策规划系统面临的主要挑战之一，提升行人穿越意图的预测准确率对于行车安全意义重大。针对现有方法过度依赖行人的边界框位置信息，且很少考虑交通场景中环境信息及交通对象间的交互关系等问题，本文提出一种基于多模态特征融合的行人过街意图预测方法。首先结合多种注意力机制构建了一种新型全局场景上下文信息提取模块和局部场景时空特征提取模块来增强其提取车辆周边场景时空特征的能力，并依赖场景的语义解析结果来捕获行人与其周围环境之间的交互关系，解决了交通环境上下文信息与交通对象之间的交互信息应用不充分的问题。此外，本文设计了一种基于混合融合策略的多模态特征融合模块，根据不同信息源的复杂程度实现了对视觉特征和运动特征的联合推理，为行人穿越意图预测模块提供可靠信息。基于JAAD数据集的测试表明，所提出方法的预测Accuracy为0.84，较基线方法提升了10.5%，相比于现有的同类型模型，所提出方法的综合性能最佳，且具有更广泛的应用场景。
针对图像和原始点云三维目标检测方法中存在特征信息残缺及点云搜索量过大的问题，以截体点网（frustum PointNet， F-PointNet）结构为基础，融合自动驾驶周围场景RGB图像信息与点云信息，提出一种基于级联YOLOv7的三维目标检测算法。首先构建基于YOLOv7的截体估计模型，将RGB图像目标感兴趣区域（region of interest， RoI）纵向扩展到三维空间，然后采用PointNet++对截体内目标点云与背景点云进行分割。最终利用非模态边界估计网络输出目标长宽高、航向等信息，对目标间的自然位置关系进行解释。在KITTI公开数据集上测试结果与消融实验表明，级联YOLOv7模型相较基准网络，推理耗时缩短40 ms/帧，对于在遮挡程度为中等、困难级别的目标检测平均精度值提升了8.77%、9.81%。
为加快自动驾驶功能的开发与验证，提出了一种基于数字孪生的智能汽车测试与评价方法。通过数字孪生测试技术，即真实车辆行驶在真实测试场地中，同时与虚拟的测试环境进行有效映射与结合，从而大大丰富智能汽车的测试验证环境、提高测试效率和减小测试成本。本文将真实测试车辆和仿真测试工具相结合，搭建起数字孪生自动驾驶测试平台，实现算法的验证测试与评价，并给出了相应的案例分析。智能汽车数字孪生测试与评价技术的快速应用，对于加快自动驾驶车辆开发和推广有着积极的推动作用。
提出了基于预测轨迹的行车风险评估方法，首先建立了沿预测轨迹两侧具有渐变高斯截面特征的驾驶风险域DRF以表征驾驶员行为的不确定性，然后考虑车辆与周围静态、动态障碍物处于特定状态的风险后果建立环境事件成本，得到适应复杂行车场景不确定性的量化感知风险，并基于贝叶斯理论融合预测区间内的量化感知风险时间序列，实现了对于未来行车潜在碰撞风险的预测。实车轨迹和仿真实验结果表明，相比于经典TTC指标方法，基于融合未来一段时间内自车与周边环境交互信息的DRF的风险评估方法可以更快、更准确地辨识复杂交通场景的行车风险变化，为研究周边多车复杂场景下车辆碰撞风险问题提供了参考。
为解决跨平台实时仿真测试过程中数据通信方式不通用、系统架构多样且难拓展、缺乏跨平台多软件数据同步方式的问题，本文中提出了一种面向智能网联汽车的跨平台实时仿真系统架构。首先借鉴车载以太网传输层通信协议设计多仿真平台间数据通信，构建通用数据通信交互方式；其次，根据智能网联汽车系统测试需求，确定所需的实时测试平台、车辆动力学仿真平台、传感器测试平台及以太网测试平台，参考汽车总线的分布式架构，设计通用且可拓展的跨平台实时仿真系统架构；最后，建立数据中转平台作为系统数据通信中枢，实现多软件、多平台运行同步。以前方侧翻智能避障算法为例进行应用验证，结果表明，基于跨平台实时仿真系统架构所设计的仿真测试系统，可通过数据中转模块调节被测算法及多平台、多软件的仿真速度，低时延的通信方式及实时硬件仿真平台，保证多平台、多软件实时同步运行，数据交互通信方式统一，系统架构具备通用性、拓展性。
为提高未来自动驾驶车辆对弱势道路使用群体的感知和决策融合的可靠性，本文提出一种基于目标检测算法（YOLOv5）、多目标跟踪算法（Deep-Sort）和社交长短时记忆神经网络（social-long short-term memory， Social-LSTM）的行人未来运动轨迹预测方法。结合YOLOv5检测和Deep-Sort跟踪算法，有效解决行人检测跟踪过程中目标丢失问题。提取特定行人目标历史轨迹作为预测框架的输入边界条件，并采用Social-LSTM预测行人未来运动轨迹。并对未来运动轨迹进行透视变换和直接线性变换，转换为世界坐标系中的位置信息，预测车辆与行人的可能未来碰撞位置。结果显示目标检测精度达到93.889%，平均精度均值达96.753%，基于高精度的检测模型最终轨迹预测算法结果显示，预测损失随着训练步长的增加呈递减趋势，最终损失值均小于1%，其中平均位移误差降低了18.30%，最终位移误差降低了51.90%，本研究可为智能车辆避撞策略开发提供理论依据和参考。
预期功能安全作为道路运行安全的重要组成，是智能网联汽车的核心挑战。全面高效的预期功能安全测试验证方法能够有效支撑系统安全开发流程。本文提出一种以关键场景为载体、由封闭验证和开放论证双闭环构建的测试验证框架，并综合论述关键场景构建技术，进一步建立接受准则的量化方法。最后，本文展望在预期功能安全测试验证领域亟待推进的关键研究。本文旨在为智能网联汽车预期功能安全测试验证的工程实践提供兼具可操作性和理论充分性的参考依据。
针对基于端到端深度卷积神经网络的驾驶行为检测模型缺乏全局特征提取能力以及视觉Transformer（vision transformer，ViT）模型不擅长捕捉底层特征和模型参数量较大的问题，本文提出一种基于深度卷积和Tokens降维的ViT模型用于驾驶人分心驾驶行为实时检测，并通过开展与其他模型的对比试验、所提模型的消融试验和模型注意力区域的可视化试验充分验证了所提模型的优越性。本文所提模型的平均分类准确率和精确率分别为96.93%和96.95%，模型参数量为21.22 M，基于真实车辆平台在线推理速度为23.32 fps，表明所提模型能够实现实时分心驾驶行为检测。研究结果有利于人机共驾系统的控制策略制定和分心预警。
现有两轮车事故场景研究由于不区分事发地点，故对路口两轮车事故场景的提取还远远不足。据此，本文对来自CIDAS数据库的1 239起路口乘用车-两轮车事故案例进行了聚类分析，提取10个典型路口两轮车事故场景。针对强相关变量组，对比了单层聚类和双层聚类两种方法，发现双层聚类在样本划分和结果可解释性方面性能更优。从场景频率和致伤风险两个角度分析了聚类结果，进一步挖掘了速度与场景致伤风险指数之间的相关性。通过事故致因分析，发现了一些特色场景，例如未让行、两轮车逆行、交通灯冲突（包括闯红灯和交通灯切换间隙）以及视觉障碍。提取的路口两轮车事故场景能为智能车及主动安全系统测试提供场景参考依据。
基于深度学习的实例分割算法在大规模通用场景中取得了良好的分割性能，然而面向复杂交通场景的多目标实例分割仍然极具挑战性，尤其在算法的高精度和较快推理速度的权衡方面，而这对于智能汽车的行驶安全性至关重要。鉴于此，本文以实时性算法Orienmask为基础，提出了一种基于单阶段检测算法的多头实例分割框架。具体来说，所提框架由骨干网络、特征融合模块和多头掩码构建模块组成。首先，本文通过在骨干网络中加入残差结构获取更加完整的高维表征信息。其次，为了产生更具判别性的特征表达，本文通过引入自校正卷积重构特征金字塔，并使用全局注意力机制改善信息传播以进一步优化所提框架的特征融合模块。最后，提出的多头掩码构建机制通过细化场景目标尺寸分布显著提高不同目标的分割性能。本文算法在开源数据集BDD100k上进行大量测试与验证，分别在边界框和掩码上获得了23.3% 和19.4%的均交并比（mAP@0.5：0.95），与基线方法相比，平均指标提高了5.2%和2.2%。同时在基于自主搭建的实车平台上进行的道路实验也证明本算法能够较好地适应真实驾驶环境，且满足实时性分割需求。
协同感知技术增强了智能网联汽车的感知性能，但协同网络中出现的异常车辆和恶意攻击信息会影响协同感知结果的真实性与有效性。针对该问题，本文结合车辆协同网络中的检测结果提出一种基于遮挡状态判别与检测有效性识别策略的智能网联汽车信任度动态聚合评价方法。仿真结果表明，本文提出的协同感知信任评价方法提升了协同感知车辆对检测结果的可信度，增强了智能网联汽车协同感知过程的鲁棒性，并实现了信任管理模型面对高信任车辆突发恶意攻击的动态识别。
针对现有的毫米波雷达与视觉融合的碰撞预警算法误警率与漏警率较高等问题，提出了一种基于毫米波雷达与视觉融合的碰撞预警方法。首先基于距离速度阈值与生命周期方法对毫米波雷达数据进行预处理，并提出基于遗忘因子的自适应拓展卡尔曼滤波算法对目标进行追踪；利用加入改进的CBAM双通道注意力机制YOLOv5算法提高视觉识别的准确率。然后运用交并比的思想实现毫米波雷达与视觉的决策级融合。最后基于最小安全距离模型提出前碰撞预警策略。通过不同场景下的实车验证结果表明：该算法比单传感器算法更加准确，具有更好的鲁棒性。
在高级自动化驾驶中，准确预测驾驶接管绩效对于提高自动驾驶接管安全水平意义重大。文中设计了不同认知负荷非驾驶任务下驾驶接管场景，分析不同认知负荷非驾驶任务下驾驶接管绩效指标与脑电指标的显著性，采用驾驶人eSense数值和脑电波数据作为输入特征，构建了基于随机森林的驾驶接管绩效预测模型，分析了模型在3、5、7、9 s 4种时间窗下的预测性能，并开展了模型的有效性验证。结果表明，不同认知负荷非驾驶任务下的接管时间、最大横向加速度、最小TTC及驾驶人eSense等存在显著性差异；随机森林在9 s时间窗下的预测性能最佳，其准确率达到了0.94；随机森林的预测准确率和micro-AUC面积高于支持向量机、朴素贝叶斯和逻辑回归。研究方法可有效预测驾驶员自动驾驶接管绩效，并为驾驶员与自动驾驶车辆之间的交互设计提供理论依据。
为实现智能车辆危险预警辅助功能，精确建立个体驾驶员的个性化辅助系统，提出一种数据驱动的智能车个性化场景风险图构建方法。构建复杂交通场景中动静态要素属性与要素之间隐含交互关系的图表征，使用图核方法对图表征数据进行相似性度量，处理分析驾驶员操作数据并获取驾驶员个性化场景危险程度评价标签。基于支持向量机训练识别模型，建立驾驶员个性化危险评价机理与场景特征之间的映射关系，以模型输出的危险程度评价标签与真实值进行实验对比。结果表明，基于场景风险图构建的驾驶员个性化危险场景识别模型识别准确率可达95.8%，比特征向量表示法提高了38.2%，能够有效地做出基于驾驶员驾驶风格的个性化场景危险程度评价。
为实现在自动驾驶复杂场景下检测数量变化的车道线，提出一种基于实例分割的车道线检测算法。首先以ResNet18网络作为主干网络提取图像特征，采用特征金字塔网络进行特征融合。同时设计一种扩张卷积残差模块来提高检测的精度；然后基于车道线的位置进行实例分割，利用语义分割出的车道线点位置预测对应的聚类点位置，通过对聚类点采用DBSCAN聚类算法实现车道线实例区分。结果表明，该算法能够在复杂的自动驾驶场景下有效地进行多车道线检测，在CULane数据集和TuSimple数据集上的调和平均值分别达到75.2%和97.0%。
针对V2X中的路侧感知单元在检测过程中，模型部署困难的问题、被测目标所呈现的多尺度问题及目标之间遮挡问题，提出了一种基于YOLOv7算法的轻量级检测算法YOLOv7-R。首先使用改进的EfficientNetv2-s重新构建YOLOv7的主干网络，减小模型参数量，提高模型的推理速度。其次，采用CA坐标注意力机制，保留精确的位置信息，加强模型对多尺度目标的检测性能；同时采用Focal-EIoU损失函数，提升算法精度。最后，在预处理阶段使用GridMask数据增强，提升算法对被遮挡目标的学习能力。实验结果表明：相较于基线算法YOLOv7，该算法在DAIR-V2X-I数据集上的map@0.5和map@0.5：0.95分别提高了3%与4.8%，检测速率达到了96.3 f/s，从而在满足轻量化要求的同时得到更优的检测精度，有效地实现了路侧单元对交通参与者的检测任务。
多模态融合感知是自动驾驶的研究热点之一，然而在复杂交通环境下由于天气、光照等外部因素干扰，目标识别可能出现错误，融合时会不可避免地出现分类冲突问题。为此，本文提出一种基于D-S证据理论的多模态结果级融合框架，将深度神经网络的置信度得分输出并作为D-S证据理论的概率密度函数，通过证据组合修正冲突的分类结果，该框架可以解决任意模态之间融合的分类冲突问题。基于KITTI数据集对该框架进行实验验证，实验测试的结果表明，框架输出的融合结果较单一感知网络mAP值均能提高8％左右，其中Yolov3与Pointpillar的融合结果相较于Pointpillar单一网络感知结果mAP值提高32％，且在复杂交通环境下能够有效解决多模态融合后的分类冲突问题。
为减少主观因素干扰，满足用户多样化感性需求，提出基于BP神经网络优化遗传算法的智能座舱感性意象设计方法。从用户角度出发，获取用户感性意象并划分强度，应用因子分析法降维得到目标意象，获取新能源汽车座舱样本，应用聚类分析法筛选得到优势样本，并结合形态分析法提取智能座舱中控造型特征因子。基于BP神经网络构建特定目标意象与造型特征因子的映射模型，得到两者函数关系后将其作为适应度函数展开遗传算法分析，优选特定意象下造型因子的最优组合，完成评估方法与优选方法的结合。根据优势因子组合进行设计实践以验证方法实用性，结果表明该方法能有效满足用户多维感性需求，为智能座舱造型设计多样化提供新的思路和参考。
类人驾驶是提升汽车智能化程度的重要途径之一，识别和定位驾驶人的感兴趣目标和区域，进而快速、精确地感知驾驶场景中潜在风险或提供决策所需关键信息，能够有效增强智能汽车的功能可理解性和鲁棒性。本文基于层次化编码器-解码器架构设计轻量化多层时空融合网络，建立轻量化驾驶人注意力预测模型。首先，以MobileNetV2作为编码器的骨干网络，提取当前帧4个尺度上的多层次空间特征，将其存入记忆模块并与在历史帧上提取的多层次特征在时间维度叠加，得到连续帧间的时空特征后传输至解码器。其次，基于层次化解码结构设计解码器，采用逆瓶颈3D卷积模块设计时空融合层，融合每个独立分支上的时空特征。最后，融合4个独立分支上捕获不同尺度信息的预测结果，获得驾驶人注意力预测值作为模型预测输出结果。结果表明：本文提出的驾驶人注意力预测模型，通过在多个特征尺度上的编码与解码，能够有效利用动态场景当前帧和历史帧间的时间、空间、尺度信息；在DADA-2000和TDV数据集上的测试实验表明，在多个指标上优于当前同类优秀模型；模型尺寸为19 MB，单帧运算速度为0.02 s，实现了优秀的模型轻量化与实时性效果。综上所述，本研究解决了当前复杂交通环境下的动态驾驶场景驾驶人注意力预测模型体积庞大、实时性较差的问题，对智能汽车类人感知、决策等研究有一定的理论支持和应用价值。
智能网联汽车技术专题-感知&HMI&测评2023年
