1.一种基于面部和行为识别融合的工程车安全驾驶监测系统,其特征在于,包括:面部感知模块,用于获取驾驶员面部实时图像并构建双分支感知模型,其中视线监测分支通过全局注意力机制分析面部整体特征,得到全局特征;所述全局特征包括面部轮廓特征和面部转向特征;疲劳监测分支通过局部注意力机制聚焦面部五官特征,得到局部特征,包括眼部特征和嘴部特征;所述全局特征和所述局部特征通过自注意力加权算法进行融合,得到面部感知结果;所述视线监测分支包括依次相连的一个下采样层和四个非局部残差块,所述非局部残差块包括依次相连的三个残差块、一个最大池化层和一个非局部注意力模块;所述疲劳监测分支包括依次相连的五个局部直连卷积块,所述局部直连卷积块包括依次相连的三个3×3卷积层、一个最大池化层和一个局部注意力模块;所述自注意力加权算法公式为:F fused =F global +α·V local ;其中,F fused 表示面部综合特征,F global 表示全局特征,α表示注意力权重,V local 表示局部特征值;所述非局部注意力模块为non-local自注意模块,所述局部注意力模块为SE注意力模块;行为感知模块,用于获取驾驶员躯干实时图像和环境实时图像,通过动作识别模型获取驾驶员当前执行动作,通过目标检测模型获取驾驶员周边物体,基于多模态识别词向量分析方法将所述执行动作和所述周边物体进行关联性分析,得到行为感知结果;面部和行为融合模块,用于融合所述面部感知结果和所述行为感知结果,得到驾驶状态数据;所述面部和行为融合模块采用加权投票机制进行融合,所述加权投票机制的计算公式为:C combined =W face ×C face +W behavior ×C behavior ;其中,C combined 表示感知融合得分,W face 表示面部感知权重,C face 表示面部感知置信度,W behavior 表示行为感知权重,C behavior 表示行为感知置信度;信号灯识别模块,用于获取外部道路的信号灯实时图像,并对所述信号灯实时图像的信号灯状态进行分类,得到交通信号数据;启停感知模块,用于获取当前车辆行驶状况,得到车辆启停数据;算法解析模块,用于连接所述面部和行为融合模块、信号灯识别模块和启停感知模块,基于Q-Learning算法结合所述驾驶状态数据、所述交通信号数据和所述车辆启停数据生成辅助驾驶指令。
2.根据权利要求1所述的一种基于面部和行为识别融合的工程车安全驾驶监测系统,其特征在于,所述面部感知结果包括正常驾驶、分心驾驶和疲劳驾驶,所述行为感知结果包括规范驾驶和不规范驾驶,所述不规范驾驶至少包括抽烟、喝水或接打电话中的一种。
3.根据权利要求1所述的一种基于面部和行为识别融合的工程车安全驾驶监测系统,其特征在于,所述面部感知模块包括:视线监测单元,用于监测驾驶员的视线是否偏离前方道路;疲劳监测单元,用于监测驾驶员的疲劳状态;得到所述面部感知结果包括:使用第一摄像机获取驾驶员的面部实时图像;基于视线监测单元识别所述面部实时图像是否为面部转向状态,若是,记录面部转向角度和转向时间;若面部转向角度大于转向角度阈值,且转向时间大于转向时间阈值,则判定为分心驾驶;基于疲劳监测单元识别所述面部实时图像是否为闭眼状态或者打哈欠状态,若为闭眼状态,记录闭眼时间和闭眼频率,若闭眼时间大于闭眼时间阈值或闭眼频率大于闭眼频率阈值,则判定为疲劳驾驶;若为打哈欠状态,记录打哈欠频率,若打哈欠频率大于打哈欠频率阈值,则判定为疲劳驾驶。
4.根据权利要求1所述的一种基于面部和行为识别融合的工程车安全驾驶监测系统,其特征在于,所述行为感知模块包括行为识别单元、目标检测单元和修正单元;得到所述行为感知结果包括:使用第二摄像机获取驾驶员的躯干实时图像,使用第三摄像机获取驾驶员周围的环境实时图像;行为识别单元对所述躯干实时图像进行处理,通过提取驾驶员的关键点位,识别驾驶员的行为动作,并将识别结果转化为行为词向量;目标检测单元对环境实时图像进行分析,识别出图像中存在的物体,并将识别结果转化为物体词向量;通过本体库扩展所述行为词向量的5个相关词向量,并与所述物体词向量进行比对,获得对比结果;修正单元判断对比结果是否正确,若所述对比结果正确,确认行为识别为不规范操作;若所述对比结果不正确,修正行为识别结果。
5.根据权利要求1所述的一种基于面部和行为识别融合的工程车安全驾驶监测系统,其特征在于,所述信号灯状态包括:红灯状态,提醒驾驶员停止前进;黄灯状态,提醒驾驶员减速或准备停车;绿灯状态,提醒驾驶员安全通过;未检测到信号灯状态,提醒驾驶员谨慎行驶并根据道路实际情况作出判断。
6.根据权利要求1所述的一种基于面部和行为识别融合的工程车安全驾驶监测系统,其特征在于,所述车辆启停数据由加速度传感器获取,所述车辆启停数据包括启停状态、转向状态、加速状态和当前速度。
7.根据权利要求1所述的一种基于面部和行为识别融合的工程车安全驾驶监测系统,其特征在于,所述算法解析模块包括:数据处理单元,用于对所述面部和行为融合模块、所述信号灯识别模块和所述启停感知模块传输的数据进行预处理,得到预处理数据;决策算法单元,用于根据预设的驾驶安全规则和道路交通法规,使用Q-Learning算法对所述预处理数据进行强化学习,并生成辅助驾驶指令;生成所述辅助驾驶指令包括:确定状态空间、动作空间和奖励函数,定义驾驶行为、交通信号和车辆状态的组合,根据所述组合设置驾驶指令和奖励机制;构建驾驶仿真环境,根据实时反馈的当前状态和执行动作提供奖励信息;初始化Q表并通过ε-greedy策略选择动作,观察环境反馈更新Q值,并将Q值存入Q表;在实际驾驶中监测状态,利用Q表查询最佳动作并生成对应驾驶指令;定期评估模型性能,通过测试监测安全性和效率,调整参数以优化学习效果。
8.根据权利要求1所述的一种基于面部和行为识别融合的工程车安全驾驶监测系统,其特征在于,所述驾驶监测系统还包括:语音播报模块,用于连接所述算法解析模块,根据所述算法解析模块生成的所述辅助驾驶指令进行语音提示或警告;通讯模块,用于与远程服务器或外部设备通信,将监测到的所述驾驶状态数据、所述交通信号数据和所述车辆启停数据上传,并接收来自远程服务器的控制指令,所述通讯模块支持无线通讯协议,至少包括4G、5G、Wi-Fi无线通信技术中的一种或多种,用于与远程服务器实现双向数据传输。