基于协同深度神经网络的运动边界指导的光流滤波方法

1.基于协同深度神经网络的运动边界指导的光流滤波方法，其特征在于：包括以下步骤：步骤一：构建运动边界指导的光流滤波数据集，包括训练集和测试集两部分；步骤二：构建协同深度神经网络，输入为初始光流估计结果和运动边界，输出为滤波后的光流估计结果，包括四个子网络：初始光流特征提取子网络、运动边界特征提取子网络、光流滤波第一子网络和光流滤波第二子网络；步骤三：利用步骤一中的训练集对协同深度神经网络进行训练，得到训练完成的协同深度神经网络；步骤四：利用训练完成的协同深度神经网络，对初始光流估计结果进行滤波，快速生成更高精度的光流估计结果；所述步骤二中初始光流特征提取子网络用于提取初始光流的特征，输入为初始光流，输出为初始光流特征；运动边界特征提取子网络用于提取运动边界的特征，输入为运动边界，输出为运动边界特征；光流滤波第一子网络和第二子网络对光流进行两阶段滤波，其中，光流滤波第一子网络输入为初始光流特征和运动边界特征，输出为第一阶段光流滤波特征；光流滤波第二子网络输入为初始光流特征、运动边界特征和第一阶段光流滤波特征，输出为最终的光流滤波结果。 2.根据权利要求1所述的基于协同深度神经网络的运动边界指导的光流滤波方法，其特征在于：所述步骤二中初始光流特征提取子网络和运动边界特征提取子网络具有相同的网络结构，均包括3个卷积层，每个卷积层的输出特征图尺寸表示为高×宽×通道数，3个卷积层输出特征图尺寸依次为h×w×32，h×w×64，h×w×64。 3.根据权利要求1所述的基于协同深度神经网络的运动边界指导的光流滤波方法，其特征在于：所述步骤二中光流滤波第一子网络和光流滤波第二子网络具有相同的网络结构，均包括12个网络层，其中前6层为编码部分，为6个卷积层，后6层是解码部分，解码部分包括3个反卷积层和3个卷积层，每个反卷积层在具体计算时需要调用编码部分对应卷积层的图像特征，12个网络层输出特征图尺寸表示为高×宽×通道数，12个网络层输出特征图尺寸依次为h×w×32，h/2×w/2×64，h/2×w/2×64，h/4×w/4×128，h/4×w/4×128，h/8×w/8×256，h/8×w/8×256，h/4×w/4×128，h/4×w/4×128，h/2×w/2×64，h/2×w/2×64，h×w×32。 4.根据权利要求1所述的基于协同深度神经网络的运动边界指导的光流滤波方法，其特征在于：所述初始光流的尺寸为H×W×2，运动边界尺寸为H×W，其中H和W分别表示光流/运动边界的高和宽。 5.根据权利要求1所述的基于协同深度神经网络的运动边界指导的光流滤波方法，其特征在于：所述步骤一中运动边界指导的光流滤波数据集的样本数量为22000，其中每个样本包含初始光流估计结果和运动边界，所述训练集和测试集的样本数量比为10:1。 6.根据权利要求1所述的基于协同深度神经网络的运动边界指导的光流滤波方法，其特征在于：所述步骤二中初始光流结果可通过FlowNet算法获取，运动边界可通过LDMB算法获取。 7.根据权利要求1所述的基于协同深度神经网络的运动边界指导的光流滤波方法，其特征在于：所述步骤三中协同深度神经网络的训练过程可使用Caffe、Tensorflow或PyTorch深度学习框架。