基于多普勒雷达时频图像序列与交叉卷积神经网络人体动作重构方法及系统

1.基于多普勒雷达时频图像序列与交叉卷积神经网络的人体动作重构方法，其特征在于：包括以下步骤：获取人体运动的多普勒雷达数据；获取人体运动的人体目标运动数据；对多普勒雷达数据进行时频分析处理得到相应的时频谱图；将多普勒雷达数据的时频谱图划分为数段的子多普勒雷达数据；将各子多普勒雷达数据输入到现实图像神经网路；将人体目标运动数据划分为数段的子人体目标运动数据；通过子人体目标运动数据得到人体各肢体的运动增量，并制作运动增量的标签集；将各子人体目标运动数据输入到运动估计神经网络进行网络训练处理；将运动估计神经网络输出的结果与现实图像神经网络的运算结果进行对比，得到单位时长中人体目标的增量值；根据初始人体动作与人体目标的增量值计算得到人体目标的动作坐标；所述人体运动的人体目标运动数据是通过Kinect摄像头采集得到的Kinect人体运动数据，所述人体目标运动数据包括人体关节的运动数据；所述子多普勒雷达数据为等时子多普勒雷达数据，所述子人体目标运动数据为等时子人体目标运动数据，所述时子多普勒雷达数据和等时子人体目标运动数据按照以下步骤进行分割处理：设置时长t p ，并按照时长t p 分割人体目标运动数据和多普勒雷达数据；所述各子多普勒雷达数据转化为RGB三通道后输入现实图像神经网路的输入层；所述运动估计神经网络进行网络训练处理完成后按照以下步骤计算人体目标的动作坐标：将运动估计神经网络处理后输出的运动增量和人体目标运动数据的按照输出顺序进行组合得到每个关节的组合数据；并与人体目标运动数据进行比较验证；所述组合数据按照以下公式得到：其中，v pred 是神经网络输出的预测速度，A是各个部位旋转的最大幅度， 是各个部位旋转的角度， 是神经网络需要预测的总增量值，Loc是各个部位的原始坐标，Loc i 是经过第i次迭代后得到的各个部位的坐标，L是具体某个肢体的长度，里 是神经网络需要预测的总增量值。 2.如权利要求1所述的方法，其特征在于：所述时频谱图按照以下步骤得到：合成多普勒雷达数据；对合成后的多普勒雷达数据使用短时傅里叶变换；并对处理中的数据进行加窗处理得到时频谱图。 3.如权利要求1所述的方法，其特征在于：所述运动估计神经网络采用交叉卷积神经网络，所述交叉卷积神经网络按照以下方式进行网络训练处理：设置交叉卷积神经网络；所述交叉卷积神经网络的中间层并采用Sigmoid函数作为激活函数，设置交叉卷积神经网络的卷积层和池化层，所述卷积层的卷积核和池化层的池化核均采用等步长移动；将人体各肢体的运动增量输入到输入层；计算人体运动增量作和神经网络的实际输出值的均方误差；将均方误差作为损失函数进行训练，并更新交叉卷积神经网络的权重；交叉卷积神经网络输出单位时长的增量值。 4.基于多普勒雷达时频图像序列与交叉卷积神经网络的人体动作重构系统，其特征在于：包括多普勒雷达数据采集装置、Kinect数据采集装置、数据预处理单元、数据划分单元、运动增量生成单元、交叉卷积神经网络训练单元和交叉卷积神经网络测试单元；所述多普勒雷达数据采集装置用于获取多普勒雷达数据，以及获取人体运动的人体目标运动数据；所述Kinect数据采集装置用于获取人体关节坐标数据；所述数据预处理单元用于对多普勒雷达数据进行时频分析处理得到相应的时频谱图；所述数据划分单元用于将多普勒雷达数据的时频谱图划分为数段的子多普勒雷达数据，以及将人体关节坐标数据划分为数段的子人体关节坐标数据；所述运动增量生成单元用于根据不同人体部位相对于原始人体的坐标和运动速度计算得到的对应人体部位的增量；所述交叉卷积神经网络训练单元用于根据人体关节坐标数据进行训练，并得到网络权重和数据标签集；所述交叉卷积神经网络测试单元用于根据训练后的神经网络和子多普勒雷达数据计算人体关节坐标；所述人体运动的人体目标运动数据是通过Kinect摄像头采集得到的Kinect人体运动数据，所述人体目标运动数据包括人体关节的运动数据；所述人体目标运动数据划分为数段的子人体目标运动数据；并将各子人体目标运动数据输入到运动估计神经网络进行网络训练处理；所述子多普勒雷达数据为等时子多普勒雷达数据，所述子人体目标运动数据为等时子人体目标运动数据，所述时子多普勒雷达数据和等时子人体目标运动数据按照以下步骤进行分割处理：设置时长t p ，并按照时长t p 分割人体目标运动数据和多普勒雷达数据；所述各子多普勒雷达数据转化为RGB三通道后输入现实图像神经网路的输入层；所述运动估计神经网络进行网络训练处理完成后按照以下步骤计算人体目标的动作坐标：将运动估计神经网络处理后输出的运动增量和人体目标运动数据的按照输出顺序进行组合得到每个关节的组合数据；并与人体目标运动数据进行比较验证；所述组合数据按照以下公式得到：其中，v pred 是神经网络输出的预测速度，A是各个部位旋转的最大幅度， 是各个部位旋转的角度， 是神经网络需要预测的总增量值，Loc是各个部位的原始坐标，Loc i 是经过第i次迭代后得到的各个部位的坐标，L是具体某个肢体的长度，里 是神经网络需要预测的总增量值。 5.如权利要求4所述的系统，其特征在于：所述交叉卷积神经网络训练单元中的权重按照以下步骤进行：将神经网络的每段数据的运算结果与实际的Kinect采样得到的数据进行对比，并作为权重的损失来源，以此训练神经网络，此时的神经网络输出在此记作y i ；使用神经网络的预计输出和标签的均方差作为损失，具体如下：Loss＝E[(y i -K i ) 2 ]其中，K i 是已经处理好的Kinect数据，是单位时长的人体运动增量；Loss表示实际标签集与神经网络输出值的损失；E[ ]表示求均值函数；y i 表示神经网络在第i个时刻的输出值；K i 表示Kinect在第i个时刻的标签集；得到损失后，本方法将神经网络的权重记作W ij ，即神经网络的梯度权重更新公式为：其中，learning rate 是神经网络预先设置好的学习率；W ij * 是神经网络更新后的权重；W ij 表示神经网络待更新的权重。