有效
人体姿态识别方法、装置、计算机设备及可读存储介质
林宏彬、蒋冬梅、刘子鑫、熊雪菲
鹏城实验室
摘要
本申请实施例提供了一种人体姿态识别方法、装置、计算机设备及可读存储介质。方法包括:获取图像帧序列,并从中获取第一图像帧以及位于第一图像帧前序的第二图像帧、后序的第三图像帧;将第一图像帧、第二图像帧和第三图像帧输入至目标模型中,得到第一热图、第二热图和第三热图;根据各图像帧的帧距离,确定热图之间的融合权重比例;通过目标模型的姿态融合残差模块,对各热图进行融合修正,得到第一特征张量;通过目标模型的差分融合残差模块,对第一热图、第一差异热图和第二差异热图进行融合修正,得到第二特征张量;根据第一特征张量和第二特征张量对第一热图进行修正,生成人体姿态识别结果。以此,提高了对人体姿态识别的准确性和稳定性。
1.一种人体姿态识别方法,其特征在于,所述方法包括:获取目标视频对应的图像帧序列,并从图像帧序列中获取当前时序的第一图像帧以及位于所述第一图像帧前序的第二图像帧、后序的第三图像帧;所述第二图像帧和所述第三图像帧基于所述第一图像帧与所述图像帧序列中的各个图像帧的均方误差确定得到;将所述第一图像帧、所述第二图像帧和所述第三图像帧输入至目标模型中的初始姿态预测模块进行关键点识别,得到所述第一图像帧对应的第一热图、所述第二图像帧对应的第二热图和所述第三图像帧对应的第三热图;根据所述第二图像帧和所述第三图像帧相对于所述第一图像帧的帧距离,确定所述第一热图、所述第二热图和所述第三热图之间的融合权重比例;通过所述目标模型的姿态融合残差模块,基于所述融合权重比例对所述第一热图、所述第二热图和所述第三热图进行融合修正,得到第一特征张量;通过所述目标模型的差分融合残差模块,确定所述第二热图相对于所述第一热图的第一差异热图以及所述第三热图相对于所述第一热图的第二差异热图,并基于所述融合权重比例对所述第一热图、所述第一差异热图和所述第二差异热图进行融合修正,得到第二特征张量;根据所述第一特征张量和所述第二特征张量对所述第一热图进行修正,并基于修正后的第一热图生成人体姿态识别结果。
2.根据权利要求1所述的人体姿态识别方法,其特征在于,所述获取目标视频对应的图像帧序列,包括:从目标视频中确定至少一个目标关节点;针对每个所述目标关节点,确定在所述目标视频中的任意相邻两个图像帧之间的帧间位移;根据所述帧间位移,确定所述目标关节点的帧间速度;基于所述帧间速度,确定所述目标视频对应的图像帧序列。
3.根据权利要求2所述的人体姿态识别方法,其特征在于,所述从图像帧序列中获取当前时序的第一图像帧以及位于所述第一图像帧前序的第二图像帧、后序的第三图像帧,包括:从图像帧序列中获取当前时序的第一图像帧,并计算所述图像帧序列中各图像帧与所述第一图像帧的均方误差;从所述图像帧序列中,确定位于所述第一图像帧前序的前序序列和位于所述第一图像帧后序的后序序列;基于各图像帧与所述第一图像帧的均方误差,从所述前序序列中确定第二图像帧,以及从所述后序序列中确定第三图像帧。
4.根据权利要求3所述的人体姿态识别方法,其特征在于,所述基于各图像帧与所述第一图像帧的均方误差,从所述前序序列中确定第二图像帧,以及从所述后序序列中确定第三图像帧,包括:将所述前序序列中每个图像帧对应的均方误差按照所述前序序列中各图像帧的时间顺序进行排列,得到第一均方误差序列;将所述前序序列中每个图像帧对应的均方误差进行递增排列,得到第二均方误差序列;针对所述第二均方误差序列,确定位于中位数的第一目标均方误差,并确定所述第一目标均方误差在所述第一均方误差序列的位置,以根据所述第一目标均方误差在所述第一均方误差序列的位置,确定与所述第一目标均方误差对应的图像帧,并将所述图像帧作为第二图像帧;将所述后序序列中每个图像帧对应的均方误差按照所述后序序列中各图像帧的时间顺序进行排列,得到第三均方误差序列;将所述后序序列中每个图像帧对应的均方误差进行递增排列,得到第四均方误差序列;针对所述第四均方误差序列,确定位于中位数的第二目标均方误差,并确定所述第二目标均方误差在所述第三均方误差序列的位置,以根据所述第二目标均方误差在所述第三均方误差序列的位置,确定与所述第二目标均方误差对应的图像帧,并将所述图像帧作为第三图像帧。
5.根据权利要求1所述的人体姿态识别方法,其特征在于,所述通过所述目标模型的姿态融合残差模块,基于所述融合权重比例对所述第一热图、所述第二热图和所述第三热图进行融合修正,得到第一特征张量,包括:基于所述融合权重比例,确定所述第一热图对应的第一调整权重、所述第二热图对应的第二调整权重和所述第三热图对应的第三调整权重;通过所述目标模型的姿态融合残差模块,基于所述第二调整权重对所述第二热图进行调整,得到调整后的第二热图,以及基于所述第三调整权重对所述第三热图进行调整,得到调整后的第三热图;将所述第一热图、第二热图和第三热图进行堆叠修正,得到第一初始特征张量;对所述第一初始特征张量输入至所述目标模型的分组卷积层进行分组卷积后,输入至残差块中进行特征融合,得到第一特征张量。
6.根据权利要求5所述的人体姿态识别方法,其特征在于,所述通过所述目标模型的差分融合残差模块,确定所述第二热图相对于所述第一热图的第一差异热图以及所述第三热图相对于所述第一热图的第二差异热图,并基于所述融合权重比例对所述第一热图、所述第一差异热图和所述第二差异热图进行融合修正,得到第二特征张量,包括:根据所述第二热图和所述第三热图分别与所述第一热图之间的差异值,确定所述第二热图对应的第二差异热图,以及所述第三热图对应的第三差异热图;通过所述目标模型的差分融合残差模块,基于所述第二调整权重对所述第二差异热图进行调整,得到调整后的第二差异热图,以及基于所述第三调整权重对所述第三差异热图进行调整,得到调整后的第三差异热图;将所述第一热图、第二差异热图和第三差异热图进行堆叠修正,得到第二初始特征张量;对所述第二初始特征张量输入至所述目标模型的分组卷积层进行分组卷积后,输入至残差块中进行特征融合,得到第二特征张量。
7.根据权利要求1所述的人体姿态识别方法,其特征在于,所述根据所述第一特征张量和所述第二特征张量对所述第一热图进行修正,包括:将所述第一特征张量和所述第二特征张量按照通道维度进行拼接,得到修正特征张量;将所述修正特征张量输入至所述目标模型的姿态修正模块中,以对所述第一热图中的各个关键点进行修正。
8.根据权利要求1所述的人体姿态识别方法,其特征在于,所述初始姿态预测模块包括第一姿态预测子模块和第二姿态预测子模块;所述将所述第一图像帧、所述第二图像帧和所述第三图像帧输入至目标模型中的初始姿态预测模块进行关键点识别,得到所述第一图像帧对应的第一热图、所述第二图像帧对应的第二热图和所述第三图像帧对应的第三热图,包括:将所述第一图像帧、所述第二图像帧和所述第三图像帧输入至所述第一姿态预测子模块中进行均等权重分配,并根据已进行均等权重分配的所述第一图像帧进行关键点的位置预测和各位置的概率映射,得到所述第一图像帧对应的第一热图;将所述第二图像帧和所述第三图像帧依次输入至所述第二姿态预测子模块中进行关键点的定位和识别,依次得到所述第二图像帧对应的第二热图和所述第三图像帧对应的第三热图。
9.根据权利要求8所述的人体姿态识别方法,其特征在于,所述将所述第一图像帧、所述第二图像帧和所述第三图像帧输入至所述第一姿态预测子模块中进行均等权重分配,并根据已进行均等权重分配的所述第一图像帧进行关键点的位置预测和各位置的概率映射,得到所述第一图像帧对应的第一热图,包括:将所述第二图像帧和所述第三图像帧输入至所述第一姿态预测子模块中进行特征融合,得到所述第二图像帧和所述第三图像帧的中间图像帧;在所述第一姿态预测子模块中对所述中间图像帧和所述第一图像帧分配均等的权重,并根据均等分配的权重对所述中间图像帧和所述第一图像帧进行权重调整,得到新的中间图像帧和第一图像帧;将所述中间图像帧和所述第一图像帧进行融合,得到新的第一图像帧,并对所述第一图像帧进行关键点的位置预测和各位置的概率映射,生成所述第一图像帧对应的第一热图。
10.根据权利要求1所述的人体姿态识别方法,其特征在于,所述将所述第一图像帧、所述第二图像帧和所述第三图像帧输入至目标模型中的初始姿态预测模块进行关键点识别,得到所述第一图像帧对应的第一热图、所述第二图像帧对应的第二热图和所述第三图像帧对应的第三热图之前,还包括:分别根据所述第一图像帧、所述第二图像帧和所述第三图像帧中目标人体区域对应的内容信息,生成第一目标图像帧、第二目标图像帧和第三目标图像帧;则所述将所述第一图像帧、所述第二图像帧和所述第三图像帧输入至目标模型中的初始姿态预测模块进行关键点识别,得到所述第一图像帧对应的第一热图、所述第二图像帧对应的第二热图和所述第三图像帧对应的第三热图,包括:将所述第一目标图像帧、所述第二目标图像帧和所述第三目标图像帧输入至目标模型中的初始姿态预测模块进行关键点识别,得到所述第一目标图像帧对应的第一热图、所述第二目标图像帧对应的第二热图和所述第三目标图像帧对应的第三热图。
11.一种人体姿态识别装置,其特征在于,所述装置包括:获取模块,用于获取目标视频对应的图像帧序列,并从图像帧序列中获取当前时序的第一图像帧以及位于所述第一图像帧前序的第二图像帧、后序的第三图像帧;所述第二图像帧和所述第三图像帧基于所述第一图像帧与所述图像帧序列中的各个图像帧的均方误差确定得到;识别模块,用于将所述第一图像帧、所述第二图像帧和所述第三图像帧输入至目标模型中的初始姿态预测模块进行关键点识别,得到所述第一图像帧对应的第一热图、所述第二图像帧对应的第二热图和所述第三图像帧对应的第三热图;确定模块,用于根据所述第二图像帧和所述第三图像帧相对于所述第一图像帧的帧距离,确定所述第一热图、所述第二热图和所述第三热图之间的融合权重比例;第一修正模块,用于通过所述目标模型的姿态融合残差模块,基于所述融合权重比例对所述第一热图、所述第二热图和所述第三热图进行融合修正,得到第一特征张量;第二修正模块,用于通过所述目标模型的差分融合残差模块,确定所述第二热图相对于所述第一热图的第一差异热图以及所述第三热图相对于所述第一热图的第二差异热图,并基于所述融合权重比例对所述第一热图、所述第一差异热图和所述第二差异热图进行融合修正,得到第二特征张量;第一生成模块,用于根据所述第一特征张量和所述第二特征张量对所述第一热图进行修正,并基于修正后的第一热图生成人体姿态识别结果。
12.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至10任一项所述的人体姿态识别方法。
13.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10任一项所述的人体姿态识别方法。



