有效
异常行为检测装置和方法
赵自然、顾建平、袁绍明、焦义涛、谢璐
清华大学
赵
赵自然机构 暂无
技术领域 暂无
顾
顾建平机构 暂无
技术领域 暂无
袁
袁绍明机构 暂无
技术领域 暂无
焦
焦义涛机构 暂无
技术领域 暂无
谢
谢璐机构 暂无
技术领域 暂无
摘要
本发明提供异常行为检测装置和方法。该异常行为检测装置,包括:可疑姿态检测模块,针对视频中的一帧的图像,检测可疑姿态,根据可疑姿态来确定可疑姿态检测框;以及异常行为检测模块,从视频中截取一帧前后的连续的预定帧的可疑姿态检测框内的图像,根据截取的预定帧的图像,判断是否为异常行为。
1.一种异常行为检测装置,包括:可疑姿态检测模块,针对视频中的一帧的图像,检测可疑姿态,根据所述可疑姿态来确定可疑姿态检测框,并检测作出所述可疑姿态的可疑人员,根据所检测出的可疑人员,确定可疑人员跟踪框;以及异常行为检测模块,从所述视频中截取所述一帧前后的连续的预定帧的所述可疑姿态检测框内的图像,根据截取的预定帧的图像,判断是否为异常行为,针对所述预定帧的图像,利用跟踪算法,对所述可疑人员跟踪框进行跟踪,并输出所述异常行为的类型、所述可疑姿态检测框的图像、所述可疑人员跟踪框的图像,所述可疑人员跟踪框的图像包含由所述预定帧中的每一帧的所述可疑人员跟踪框的图像来构成的运动图像。
2.如权利要求1所述的异常行为检测装置,其中,所述可疑姿态检测模块利用可疑姿态检测模型来检测可疑姿态和作出所述可疑姿态的可疑人员,所述可疑姿态检测模型是目标检测卷积神经网络模型,所述异常行为检测模块利用异常行为判断模型来判断是否为异常行为,所述异常行为判断模型是3D卷积神经网络模型。
3.如权利要求2所述的异常行为检测装置,其中,所述可疑姿态检测模块包括:一帧图像提取部,从视频中提取所述一帧的图像;可疑姿态检测部,将所述一帧的图像输入到可疑姿态检测模型,判断是否为可疑姿态;可疑姿态检测框确定部,当所述可疑姿态检测部检测到可疑姿态时,在所述图像中确定出可疑姿态检测框;以及跟踪框确定部,根据所检测出的可疑人员,确定可疑人员跟踪框。
4.如权利要求3所述的异常行为检测装置,其中,所述可疑姿态检测模型是YOLOV3目标检测网络模型。
5.如权利要求2所述的异常行为检测装置,其中,所述异常行为检测模块包括:预定帧图像截取部,截取所述预定帧的图像;以及异常行为判断部,将所述预定帧的图像输入到异常行为判断模型,判断是否为异常行为;可疑人员跟踪部,针对预定帧的图像,利用跟踪算法,对所述可疑人员跟踪框进行跟踪;以及结果输出部,作为结果,输出所述异常行为的类型、所述可疑姿态检测框的图像以及所述可疑人员跟踪框的图像。
6.如权利要求5所述的异常行为检测装置,其中,所述异常行为判断模型是基于vgg16框架的3D神经网络模型。
7.如权利要求5所述的异常行为检测装置,其中,将标注好的可疑姿态训练数据导入到可疑姿态检测模型中,对可疑姿态检测模型进行训练;使用训练完成的可疑姿态检测模型对采集的视频数据进行检测,生成异常行为训练数据;以及使用所述异常行为训练数据,对异常行为判断模型进行训练。
8.一种异常行为检测方法,包括:可疑姿态检测步骤,针对视频中的一帧的图像,检测可疑姿态,根据所述可疑姿态来确定可疑姿态检测框,并检测作出所述可疑姿态的可疑人员,根据所检测出的可疑人员,确定可疑人员跟踪框;以及异常行为检测步骤,从所述视频中截取所述一帧前后的连续的预定帧的所述可疑姿态检测框内的图像,根据截取的预定帧的图像,判断是否为异常行为,针对所述预定帧的图像,利用跟踪算法,对所述可疑人员跟踪框进行跟踪,并输出所述异常行为的类型、所述可疑姿态检测框的图像、所述可疑人员跟踪框的图像,所述可疑人员跟踪框的图像包含由所述预定帧中的每一帧的所述可疑人员跟踪框的图像来构成的运动图像。
9.如权利要求8所述的异常行为检测方法,其中,在所述可疑姿态检测步骤中,利用可疑姿态检测模型来检测可疑姿态和作出所述可疑姿态的可疑人员,所述可疑姿态检测模型是目标检测卷积神经网络模型,在所述异常行为检测步骤中,利用异常行为判断模型来判断是否为异常行为,所述异常行为判断模型是3D卷积神经网络模型。
10.如权利要求9所述的异常行为检测方法,其中,所述可疑姿态检测步骤包括:从视频中提取所述一帧的图像;将所述一帧的图像输入到可疑姿态检测模型,判断是否为可疑姿态;当在所述可疑姿态检测步骤中检测到可疑姿态时,在所述图像中确定出可疑姿态检测框;以及根据所检测出的可疑人员,确定可疑人员跟踪框。
11.如权利要求10所述的异常行为检测方法,其中,所述可疑姿态检测模型是YOLOV3目标检测网络模型。
12.如权利要求9所述的异常行为检测方法,其中,所述异常行为检测步骤包括:截取所述预定帧的图像;以及将所述预定帧的图像输入到异常行为判断模型,判断是否为异常行为;针对预定帧的图像,利用跟踪算法,对所述可疑人员跟踪框进行跟踪;以及结果输出步骤,作为结果,输出所述异常行为的类型、所述可疑姿态检测框的图像以及所述可疑人员跟踪框的图像。
13.如权利要求12所述的异常行为检测方法,其中,所述异常行为判断模型是基于vgg16框架的3D神经网络模型。
14.如权利要求12所述的异常行为检测方法,其中,将标注好的可疑姿态训练数据导入到可疑姿态检测模型中,对可疑姿态检测模型进行训练;使用训练完成的可疑姿态检测模型对采集的视频数据进行检测,生成异常行为训练数据;以及使用所述异常行为训练数据,对异常行为判断模型进行训练。
15.一种异常行为检测装置,包括:存储器:以及处理器,执行存储在所述存储器中的程序,使得计算机执行以下处理:针对视频中的一帧的图像,检测可疑姿态,根据所述可疑姿态来确定可疑姿态检测框,并检测作出所述可疑姿态的可疑人员,根据所检测出的可疑人员,确定可疑人员跟踪框;以及从所述视频中截取所述一帧前后的连续的预定帧的所述可疑姿态检测框内的图像,根据截取的预定帧的图像,判断是否为异常行为,针对所述预定帧的图像,利用跟踪算法,对所述可疑人员跟踪框进行跟踪,并输出所述异常行为的类型、所述可疑姿态检测框的图像、所述可疑人员跟踪框的图像,所述可疑人员跟踪框的图像包含由所述预定帧中的每一帧的所述可疑人员跟踪框的图像来构成的运动图像。
16. 一种计算机可读存储介质,存储有异常行为检测程序,所述异常行为检测程序使得计算机执行以下处理:针对视频中的一帧的图像,检测可疑姿态,根据所述可疑姿态来确定可疑姿态检测框,并检测作出所述可疑姿态的可疑人员,根据所检测出的可疑人员,确定可疑人员跟踪框;以及从所述视频中截取所述一帧前后的连续的预定帧的所述可疑姿态检测框内的图像,根据截取的预定帧的图像,判断是否为异常行为,针对所述预定帧的图像,利用跟踪算法,对所述可疑人员跟踪框进行跟踪,并输出所述异常行为的类型、所述可疑姿态检测框的图像、所述可疑人员跟踪框的图像,所述可疑人员跟踪框的图像包含由所述预定帧中的每一帧的所述可疑人员跟踪框的图像来构成的运动图像。



