基于改进长短时记忆网络的驾驶行为检测方法研究

doi:10.19562/j.chinasae.qcgc.2021.08.011

摘要/Abstract

摘要：

疲劳驾驶和不安全驾驶行为是引起交通事故的主要原因，随着智能交通技术的发展，利用深度学习算法进行驾驶行为检测已成为研究的热点之一。在卷积神经网络和长短时记忆神经网络的基础上，结合注意力机制改进网络结构，提出一种混合双流卷积神经网络算法，空间流通道采用卷积神经网络提取视频图像的空间特征值，以空间金字塔池化代替均值池化，统一了特征图的尺度变换，时间流通道采用SSD算法计算视频序列相邻两帧光流图像，用于人眼等脸部小目标的检测，再进行图像特征融合与分类，在LFW数据集和自建数据集中进行了实验，结果表明本方法的人脸识别和疲劳驾驶的检测准确率分别高于其他方法1.36和2.58个百分点以上。

关键词: 安全驾驶, 卷积神经网络, 长短时记忆, 单步检测, 人脸识别, 疲劳驾驶检测

Abstract:

Fatigue driving and unsafe driving behavior are the main causes of traffic accidents. With the progress of intelligent transportation technology， using deep learning algorithm to detect driving behavior has become one of the hotspots of research. On the basis of convolution neural network （CNN） and long?term memory neural network， a hybrid dual stream convolution neural network algorithm is proposed by combining attention mechanism to improve network structure. In spatial flow channel， CNN is used to extract the spatial feature values of video image and the traditional mean pooling is replaced by spatial pyramid pooling is used to replace mean pooling， with the transformation of feature map unified. In time stream channel， single shot detection algorithm is adopted to calculate two adjacent frames of optical flow images of video sequence for detecting small facial targets such as human eyes. Then the fusion and classification of image features are carried out. Finally， experiments are performed on LFW dataset and self?built dataset. The results show that with the method adopted the accuracy of face recognition and fatigue driving detection is 1.36 and 2.5 percentage points higher than other methods respectively.

Key words: safe driving, CNN, LSTM, SSD, face recognition, fatigue driving detection

施冬梅,肖锋. 基于改进长短时记忆网络的驾驶行为检测方法研究[J]. 汽车工程, 2021, 43(8): 1203-1209.

Dongmei Shi,Feng Xiao. Study on Driving Behavior Detection Method Based on Improved Long and Short⁃term Memory Network[J]. Automotive Engineering, 2021, 43(8): 1203-1209.

图/表 13

图1

图2

图3

图4

表1

图5

图6

表2

表3

表4

图7

图8

图9

参考文献 18

1	张丽霞，刘涛，潘福全，等.驾驶员因素对道路交通事故指标的影响分析［J］.中国安全科学学报，2014，24（5）：79-84.
	ZHANG L X， LIU T， PAN F Q， et al. Analysis of effects of driver factors on road traffic accident indexes［J］.China Safety Science Journal，2014，24（5）：79-84.
2	LIU L F， WU S Q， XU W M. Real⁃time fatigue driving detection based on analysis of facial landmarks ［J］.Video Engineering， 2018，42（ 12）： 27-30.
3	陈骥驰，王宏，王翘秀，等. 基于脑电信号的疲劳驾驶状态研究［J］. 汽车工程， 2018， 40（5）：515-520.
	CHEN J C， WANG H， WANG Q X， et al. A study on drowsy driving state based on EEG signals［J］. Automotive Engineering， 2018， 40（5）：515-520.
4	KURIAN N K， RISHIKESH D. Real time based driver's safeguard system by analyzing human physiological signals ［J］. International Journal of Engineering Trends and Technology， 2013， 4（1）： 41-45.
5	LI F， WANG X W， LU B L. Detection of driving fatigue based on grip force on steering wheel with wavelet transformation and support vector machine［C］. International Conference on Neural Information Processing. Springer Berlin Heidelberg， 2013.
6	GUO M， LI S. Online detection of driver fatigue based on reaction time： designing a monitoring and early⁃warning system［C］.20th COTA International Conference of Transportation Professionals， 2020.
7	TRAVIESO⁃GONZALEZ C M ， ALONSO⁃HEMANDEZ J B ， CANINO⁃RODRIGUEZ J M ， et al. Robust detection of fatigue parameters based on infrared information［J］. IEEE Access， 2021， 9：18209-18221.
8	LI Z J， LI S B， LI R J， et al. Online detection of driver fatigue using steering wheel angles for real driving conditions ［J］. Sensors， 2017， 17（3）： 495-507.
9	FENG Y， ZHAO D L. Research on driver fatigue monitoring algorithm based on deep learning ［J］. Journal of Wuhan University of Technology （Transportation Science & Engineering）， 2018，42（3）： 417-422.
10	HAO F F， LIU J， CHEN X D. A review of human behavior recognition based on deep learning［C］. 2020 International Conference on Artificial Intelligence and Education （ICAIE）， 2020.
11	巩晓倩，蒲亦非，杨智勇，等.基于有限状态自动机的人眼开度PERCLOS实现算法［J］.计算机应用研究，2014，31（1）：307-310.
	GONG X Q， PU Y F， YANG Z Y，et al. Perclos implementation computing method of eye open degree based on finite state machine［J］， Application Research of Computers，2014，31（1）：307-310.
12	MANDAI B， LI L， GANG S W， et al. Towards detection of bus driver fatigue based on robust visual analysis of eye state ［J］. IEEE Transactions on Intelligent Transportation Systems， 2017， 3（3）：1-13.
13	CHEN P. Research on driver fatigue detection strategy based on human eye state［C］. 2017 Chinese Automation Congress （CAC）. IEEE， 2017.
14	LI Y L， HU B， WANG S J， et al. Real⁃time eye locating and tracking for driver fatigue detection［J］. Applied Mechanics & Materials， 2010， 20-23：1359-1364.
17	宗长富，陈双，冯刚，等.基于频率加权滤波的汽车平顺性评价［J］.吉林大学学报（工学版）， 2011，41（6）：517-521.
	ZONG C F， CHEN S， FENG G， et al. Evaluation of vehicle ride comfort based on frequency weighted filtering ［J］. Journal of Jilin University （Engineering and Technology Edition）， 2011，41（6）：517-521.
18	兰凤崇，李诗成，陈吉清，等.考虑操纵稳定性的自动驾驶汽车轨迹综合优化方法［J］.湖南大学学报（自然科学版）， 2019（10）：36-45.
	LAN F C， LI S C， CHEN J Q， et al. Comprehensive approach for trajectory optimization of autopilot vehicles considering handling stability ［J］. Journal of Hunan University （Natural Sciences）， 2019（10）：36-45.

疲劳状态	PERCLOS值	E_open	FE_open
正常	≤0.15	≥0.8	≤0.2
轻度	0.15~0.4	0.65~0.8	0.2~0.3
中度	0.4~0.6	0.45~0.65	0.3~0.5
严重	≥0.6	≤0.45	≥0.5

方法	训练时间/s	参数/MB	FLOPS	准确率/%
CNN	24.3	1.185	2.112	78.52
LRCN	27.7	1.377	2.101	80.16
SSD	26.1	1.265	2.057	81.23
LSTM	28.8	1.436	1.995	81.92
本文	30.2	1.581	1.863	83.28

视频编号	FE_open	识别状态	实际状态	测试样本数	准确率/%
S16	0.35	轻度疲劳	轻度疲劳	763	78.38
S17	0.75	重度疲劳	重度疲劳	755	77.38
S18	0.31	轻度疲劳	轻度疲劳	762	78.25
S19	0.42	中度疲劳	中度疲劳	720	74.00
S20	0.12	正常	正常	726	74.75
S21	0.87	重度疲劳	重度疲劳	730	75.25

方法	网络架构	准确率%
方法	网络架构	疲劳	用手机	吃东西	扭头	说话
CNN	VGG16	60.56	90.32	96.65	98.88	91.55
LRCN	VGG16	66.78	94.53	97.55	98.92	92.11
SSD	Inception Net	68.75	93.82	97.35	99.05	94.26
LSTM	ResNet50	70.78	95.76	97.93	98.82	93.51
本文	VGG16+Inception Net	73.36	96.45	98.22	99.31	95.15

[1]	管欣,仲昭辉,詹军,奚腾龙,叶昊,高深圳,成健,廖世辉,蔡均. 基于卷积神经网络的汽车操纵稳定性试验类型识别方法[J]. 汽车工程, 2023, 45(9): 1765-1771.
[2]	王明,唐小林,杨凯,李国法,胡晓松. 考虑预测风险的自动驾驶车辆运动规划方法[J]. 汽车工程, 2023, 45(8): 1362-1372.
[3]	张雷, 关可人, 丁晓林, 郭鹏宇, 王震坡, 孙逢春. 基于图像识别与动力学融合的路面附着系数估计方法[J]. 汽车工程, 2023, 45(7): 1222-1234.
[4]	韩勇,林旭洁,黄红武,蔡鸿瑜,罗金镕,李燕婷. 典型汽车碰撞事故场景中行人运动轨迹预测方法[J]. 汽车工程, 2023, 45(6): 1022-1030.
[5]	赵霞,李朝,付锐,葛振振,王畅. 基于深度卷积-Tokens降维优化视觉Transformer的分心驾驶行为实时检测[J]. 汽车工程, 2023, 45(6): 974-988.
[6]	毕贵红,谢旭,蔡子龙,骆钊,陈臣鹏,赵鑫. 动态条件下基于深度学习的锂电池容量估计[J]. 汽车工程, 2022, 44(6): 868-878.
[7]	冯润泽,江昆,于伟光,杨殿阁. 基于两阶段分类算法的中国交通标志牌识别[J]. 汽车工程, 2022, 44(3): 434-441.
[8]	于海,邓钧君,王震坡,孙逢春. 基于卷积神经网络的逆变器故障诊断方法[J]. 汽车工程, 2022, 44(1): 142-152.
[9]	夏祥腾,王大方,曹江,赵刚,张京明. 基于稀疏卷积神经网络的车载激光雷达点云语义分割方法[J]. 汽车工程, 2022, 44(1): 26-35.
[10]	李达, 张照生, 刘鹏, 王震坡, 董昊天. 基于改进长短时记忆神经网络自适应增强算法的多天气车辆分类方法^*[J]. 汽车工程, 2020, 42(9): 1248-1255.
[11]	王海, 王宽, 蔡英凤, 刘泽, 陈龙. 基于改进级联卷积神经网络的交通标志识别^*[J]. 汽车工程, 2020, 42(9): 1256-1262.
[12]	代金坤, 罗玉涛, 梁伟强. 无人车行驶环境图像的几何测距^*[J]. 汽车工程, 2020, 42(8): 1034-1039.
[13]	蔡英凤, 邰康盛, 王海, 李祎承, 陈龙. 无人驾驶汽车周边车辆行为识别算法研究^*[J]. 汽车工程, 2020, 42(11): 1464-1472.
[14]	彭运赛, 夏飞, 袁博, 王志成, 罗志疆. 基于改进CNN和信息融合的动力电池组故障诊断方法^*[J]. 汽车工程, 2020, 42(11): 1529-1536.