有效
基于深度学习的监控视频数据异常行为检测方法
赖冬寅、王旭东、刘霖
电子科技大学
摘要
本发明涉及数据异常检测技术领域,尤其涉及一种基于深度学习的监控视频数据异常行为检测方法。该方法实时获取任一人物的人物视频图像,并对其进行检测,当检测不到人物正面位置信息时,将人物视频图像标记为目标图像,获取连续多帧目标图像,得到目标图像集合;根据目标图像集合中的每帧目标图像中任一人物的头部位置信息和手部位置信息,获取运动系数,识别任一人物是否存在疑似异常行为;若任一人物存在疑似异常行为,则根据目标场所内的烟雾浓度数据以及目标图像集合中的每帧目标图像中像素点的像素值差异,确定任一人物的异常行为检测结果。本发明能够准确的识别出目标场所内员工的异常行为。
1.基于深度学习的监控视频数据异常行为检测方法,其特征在于,所述方法包括:针对化工厂内的监控视频中出现的任一人物,实时获取所述任一人物的人物视频图像,并对所述人物视频图像中的人物正面位置信息进行检测,当检测不到人物正面位置信息时,将所述人物视频图像标记为目标图像,获取连续多帧所述目标图像,直至目标图像的数量达到预设数量阈值,得到目标图像集合;获取所述目标图像集合中的每帧目标图像中所述任一人物的头部位置信息和手部位置信息,根据所述目标图像集合中的每帧目标图像中所述任一人物的头部位置信息和手部位置信息,获取用于表征所述任一人物的头部和手部的整体运动状态的运动系数,根据所述运动系数,识别所述任一人物在所述目标图像集合中是否存在疑似异常行为;若所述任一人物在所述目标图像集合中存在疑似异常行为,则获取所述化工厂内的烟雾浓度数据以及所述目标图像集合中的每帧目标图像中像素点的像素值,根据所述化工厂内的烟雾浓度数据以及所述目标图像集合中的每帧目标图像中像素点的像素值差异,确定所述任一人物的异常行为检测结果;所述根据所述目标图像集合中的每帧目标图像中所述任一人物的头部位置信息和手部位置信息,获取用于表征所述任一人物的头部和手部的整体运动状态的运动系数,包括:针对所述目标图像集合中任一目标图像,根据所述任一目标图像中所述任一人物的头部位置信息和手部位置信息,获取所述任一目标图像中所述任一人物的头部与手部之间的相对角度和相对距离,分别获取所述目标图像集合的每帧目标图像中所述任一人物的头部与手部之间的相对角度和相对距离,对应得到相对角度数据序列和相对距离数据序列;对所述相对角度数据序列进行二阶差分处理,对应得到二阶差分数据序列,获取所述二阶差分数据序列的均值,记为第一均值,分别计算所述二阶差分数据序列中每个二阶差分数据与所述第一均值的完全平方差,对应得到完全平方差的均值,记为第二均值,获取所述第二均值与预设平稳性参数的第一比值,将所述第一比值的相反数代入以自然常数为底数的指数函数中,得到第一指数函数结果;针对所述相对距离数据序列中除第一个相对距离之外的任一相对距离,获取所述任一相对距离与其上一相对距离的第一差值,获取所述第一差值与预设距离缩放参数的第一乘积,对所述第一乘积进行余弦处理,得到余弦值,获取所述任一相对距离的高斯函数值,对所述余弦值和所述高斯函数值进行加权求和处理,得到所述任一相对距离的加权求和结果,分别获取所述相对距离数据序列中每个相对距离的加权求和结果,对应得到加权求和结果的均值,记为第三均值;对所述第一指数函数结果和所述第三均值进行加权求和,得到用于表征所述任一人物的头部和手部的整体运动状态的运动系数。
2.根据权利要求1所述的基于深度学习的监控视频数据异常行为检测方法,其特征在于,所述实时获取所述任一人物的人物视频图像,并对所述人物视频图像中的人物正面位置信息进行检测之后,还包括:当检测到人物正面位置信息时,使用目标检测模型对所述人物视频图像中所述任一人物的抽烟异常行为进行识别。
3.根据权利要求1所述的基于深度学习的监控视频数据异常行为检测方法,其特征在于,所述根据所述运动系数,识别所述任一人物在所述目标图像集合中是否存在疑似异常行为,包括:设置第一运动系数阈值和第二运动系数阈值,所述第一运动系数阈值小于所述第二运动系数阈值;若所述运动系数大于或等于所述第一运动系数阈值,且小于或等于所述第二运动系数阈值,则确认所述任一人物在所述目标图像集合中存在疑似异常行为。
4.根据权利要求1所述的基于深度学习的监控视频数据异常行为检测方法,其特征在于,所述获取所述化工厂内的烟雾浓度数据以及所述目标图像集合中的每帧目标图像中像素点的像素值,包括:获取所述目标图像集合对应的采样时段,记为目标采样时段,获取所述化工厂内在所述目标采样时段的烟雾浓度数据序列;利用预设的烟雾检测算法,获取所述目标图像集合中的每帧目标图像中所述任一人物的头部烟雾区域,对应得到每个头部烟雾区域中像素点的像素值。
5.根据权利要求4所述的基于深度学习的监控视频数据异常行为检测方法,其特征在于,所述根据所述化工厂内的烟雾浓度数据以及所述目标图像集合中的每帧目标图像中像素点的像素值差异,确定所述任一人物的异常行为检测结果,包括:根据所述烟雾浓度数据序列中烟雾浓度数据的差异,获取所述目标采样时段内的烟雾显著性评分;根据所述目标图像集合中的每个头部烟雾区域中像素点的像素值差异,统计所述目标图像集合中存在烟雾扩散特征的目标图像的数量;若所述烟雾显著性评分大于或等于预设的烟雾显著性评分阈值,且所述数量大于或等于第一预设数量,则确定所述任一人物存在抽烟异常行为。
6.根据权利要求5所述的基于深度学习的监控视频数据异常行为检测方法,其特征在于,所述根据所述烟雾浓度数据序列中烟雾浓度数据的差异,获取所述目标采样时段内的烟雾显著性评分,包括:对所述烟雾浓度数据序列进行一阶差分处理,对应得到一阶差分数据序列,获取所述一阶差分数据序列的均值,记为第四均值,针对所述一阶差分数据序列中任意一阶差分数据,获取所述任意一阶差分数据与所述第四均值的完全平方差,获取常数1与第一预设倍数的所述完全平方差的相加结果,对应得到所述相加结果的倒数,记为所述任意一阶差分数据对应的烟雾数据评分,获取所述一阶差分数据序列中每个一阶差分数据对应的烟雾数据评分,对应得到烟雾数据评分均值,将所述烟雾数据评分均值作为所述目标采样时段内的烟雾显著性评分。
7.根据权利要求5所述的基于深度学习的监控视频数据异常行为检测方法,其特征在于,所述根据所述目标图像集合中的每个头部烟雾区域中像素点的像素值差异,统计所述目标图像集合中存在烟雾扩散特征的目标图像的数量,包括:针对所述目标图像集合中除第一帧目标图像之外的任一目标图像,获取所述任一目标图像中的头部烟雾区域与所述任一目标图像的上一目标图像中的头部烟雾区域的重叠区域,分别计算所述重叠区域中每一像素点在所述任一目标图像中和其上一目标图像中对应像素值的差值,对应得到所述重叠区域的差值均值,记为第五均值,对所述第五均值进行归一化处理,得到所述任一目标图像的烟雾扩散程度;获取所述任一目标图像中的头部烟雾区域的像素点的数量,记为第一数量,获取所述任一目标图像的上一目标图像中的头部烟雾区域中像素点的数量,记为第二数量,计算所述第一数量与所述第二数量的第二差值,将所述第二预设倍数的第二差值的相反数代入以自然常数为底数的指数函数中,得到第二指数函数结果,计算常数1与所述第二指数函数结果的差值,得到所述任一目标图像的烟雾扩散面积;对所述任一目标图像的烟雾扩散程度和烟雾扩散面积进行加权求和,得到所述任一目标图像的烟雾扩散系数;获取所述目标图像集合中除第一帧目标图像之外的每帧目标图像的烟雾扩散程度、烟雾扩散面积和烟雾扩散系数,根据所述目标图像集合中除第一帧目标图像之外的每帧目标图像的烟雾扩散程度、烟雾扩散面积和烟雾扩散系数,统计所述目标图像集合中存在烟雾扩散特征的目标图像的数量。
8.根据权利要求7所述的基于深度学习的监控视频数据异常行为检测方法,其特征在于,所述根据所述目标图像集合中除第一帧目标图像之外的每帧目标图像的烟雾扩散程度、烟雾扩散面积和烟雾扩散系数,统计所述目标图像集合中存在烟雾扩散特征的目标图像的数量,包括:若所述任一目标图像的烟雾扩散程度和烟雾扩散面积都大于常数0,且所述任一目标图像的烟雾扩散系数大于预设的烟雾扩散系数阈值,确定所述任一目标图像存在烟雾扩散特征,筛选所述目标图像集合中存在烟雾扩散特征的目标图像,得到所述目标图像集合中存在烟雾扩散特征的目标图像的数量。
9.根据权利要求1所述的基于深度学习的监控视频数据异常行为检测方法,其特征在于,所述根据所述化工厂内的烟雾浓度数据以及所述目标图像集合中的每帧目标图像中像素点的像素值差异,确定所述任一人物的异常行为检测结果之后,还包括:实时获取所述目标图像集合之后连续的第二预设数量帧的新人物视频图像,若所述第二预设数量帧的新人物视频图像都为目标图像,则将所述第二预设数量帧的新人物视频图像加入所述目标图像集合,将所述目标图像集合中前第二预设数量帧的目标图像去除,得到新目标图像集合。




