行为识别方法和行为识别装置

1.一种行为识别方法，其特征在于，包括：对监控视频进行人体和带有包带标识的箱包的检测和跟踪，以获得人体和箱包对图片序列、人体图片序列、人体和箱包对坐标序列；对人体和箱包对图片序列进行处理，通过对人体和箱包对图片序列的各个人体和箱包对图片的视觉特征进行平均池化处理，以确定表征人体对箱包时空交互特征的第一特征；对人体图片序列进行处理，通过对人体图片序列的各个人体图片相应的人体空间姿态特征进行时间平均池化处理，以确定表征人体时空姿态特征的第二特征；对人体和箱包对坐标序列进行处理，通过对人体和箱包对坐标序列的各个人体和箱包对坐标相应的空间掩码特征进行时间平均池化处理，以确定表征人体和箱包时空掩码特征的第三特征；对第一特征、第二特征和第三特征进行融合并分类，得到人体对箱包的包带标识的破拆行为的识别结果。 2.根据权利要求1所述的行为识别方法，其特征在于，对监控视频进行人体和带有包带标识的箱包的检测包括：对监控视频的每帧图像进行目标检测，输出一帧图像中同时检测到人体和带有包带标识的箱包的检测结果。 3.根据权利要求2所述的行为识别方法，其特征在于，对监控视频进行人体和带有包带标识的箱包的跟踪包括：对检测结果中人体与带有包带标识的箱包有交集的图像进行跟踪。 4.根据权利要求3所述的行为识别方法，其特征在于，获得人体和箱包对图片序列、人体图片序列、人体和箱包对坐标序列包括：根据检测和跟踪获得的具有同一人体和箱包对的多帧图像，结合每帧图像中人体的检测框信息和箱包的检测框信息，确定人体和箱包对图片序列、人体和箱包对坐标序列，结合每帧图像中人体的检测框信息，确定人体图片序列。 5.根据权利要求1所述的行为识别方法，其特征在于，对人体和箱包对图片序列进行处理包括：提取人体和箱包对图片序列中每个人体和箱包对图片的视觉特征；对各个人体和箱包对图片的视觉特征进行平均池化处理，得到所述第一特征。 6.根据权利要求1所述的行为识别方法，其特征在于，对人体图片序列进行处理包括：检测人体图片序列中每个人体图片的各个人体关键点，并连接各个人体关键点，得到人体姿态图；基于每个人体图片的人体姿态图，对每个人体图片进行编码，得到人体姿态特征图；对每个人体姿态特征图进行卷积处理和空间最大池化处理，以提取人体空间姿态特征；对各个人体空间姿态特征进行时间平均池化处理，得到所述第二特征。 7.根据权利要求6所述的行为识别方法，其特征在于，基于每个人体图片的人体姿态图，对每个人体图片进行编码包括：将每个人体图片的人体姿态图中不同部位的连线上的像素值编码为第一组值中的不同值；将每个人体图片的人体姿态图中各个部位的连线之外的像素值编码为第二值。 8.根据权利要求1所述的行为识别方法，其特征在于，对人体和箱包对坐标序列进行处理包括：在人体和箱包对坐标序列中每个人体和箱包对的外接矩形框中，生成人体、箱包、人体和箱包交集的空间掩码；基于每个人体和箱包对的外接矩形框中的空间掩码，对每个人体和箱包对的外接矩形框进行编码，得到空间掩码编码；将每个空间掩码编码进行卷积处理和空间最大池化处理，以提取空间掩码特征；对各个空间掩码特征进行时间平均池化处理，得到所述第三特征。 9.根据权利要求8所述的行为识别方法，其特征在于，对每个人体和箱包对的外接矩形框进行编码包括：将每个人体和箱包对的外接矩形框中空间掩码内的值编码为第三值；将每个人体和箱包对的外接矩形框中空间掩码外的值编码为第四值。 10.根据权利要求1所述的行为识别方法，其特征在于，对第一特征、第二特征和第三特征进行融合并分类，得到人体对箱包的包带标识的破拆行为的识别结果包括：将第一特征和第二特征拼接后，通过全连接网络进行特征融合，将融合特征输入分类函数，得到第一分类结果；将第三特征依次通过全连接网络和分类函数处理，得到第二分类结果；融合第一分类结果和第二分类结果，得到人体对箱包的包带标识的破拆行为的识别结果。 11.根据权利要求1所述的行为识别方法，其特征在于，还包括：在实现行为识别方法的行为识别模型的训练过程中，根据行为识别模型输出的破拆行为的识别结果的预测值与参考值之间的差距信息，更新行为识别模型的参数。 12.一种行为识别装置，包括：存储器；以及耦接至所述存储器的处理器，其特征在于，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-11中任一项所述的行为识别方法。 13.一种行为识别装置，其特征在于，包括：检测和跟踪单元，被配置为对监控视频进行人体和带有包带标识的箱包的检测和跟踪，以获得人体和箱包对图片序列、人体图片序列、人体和箱包对坐标序列；行为识别单元，被配置为对人体和箱包对图片序列进行处理，通过对人体和箱包对图片序列的各个人体和箱包对图片的视觉特征进行平均池化处理，以确定表征人体对箱包时空交互特征的第一特征；对人体图片序列进行处理，通过对人体图片序列的各个人体图片相应的人体空间姿态特征进行时间平均池化处理，以确定表征人体时空姿态特征的第二特征；对人体和箱包对坐标序列进行处理，通过对人体和箱包对坐标序列的各个人体和箱包对坐标相应的空间掩码特征进行时间平均池化处理，以确定表征人体和箱包时空掩码特征的第三特征；对第一特征、第二特征和第三特征进行融合并分类，得到人体对箱包的包带标识的破拆行为的识别结果。 14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-11中任一项所述的行为识别方法的步骤。 15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-11中任一项所述的行为识别方法的步骤。