基于稀疏光流运动补偿的两阶段多目标追踪方法及产品

1.一种基于稀疏光流运动补偿的两阶段多目标追踪方法，其特征在于，所述方法包括：步骤1，采用追踪序列中的第一帧图片进行多目标追踪的轨迹集合与卡尔曼滤波参数初始化；步骤2，采用追踪序列的第n帧图片开始两阶段的多目标追踪匹配过程，n是大于等于2的正整数；步骤3，采用检测器获取步骤2中的第n帧图片的候选目标信息，基于候选目标的置信度将所述候选目标划分为高置信度候选目标集合和低置信度候选目标集合；步骤4，在第一阶段，基于步骤3中的所述高置信度候选目标集合，计算所述候选目标与轨迹目标的运动相似度和外观相似度并融合，得到所述候选目标与所述轨迹目标的追踪相似度，采用匈牙利算法优化匹配；步骤5，在第二阶段，基于步骤3中的所述低置信度候选目标集合，计算所述候选目标与所述轨迹目标的运动相似度，采用匈牙利算法优化匹配；步骤6，尚未匹配到的高置信度目标在中途连续出现两帧以上，视为中途新出现的目标，加入到当前轨迹集合中，并将轨迹集合中同一目标的相同轨迹删除；步骤7，重复步骤3至步骤6，直至追踪序列的最后一帧图片，输出轨迹集合。 2.根据权利要求1所述的方法，其特征在于，所述步骤4包括：步骤401，采用卷积网络提取所述候选目标的外观特征，并计算所述候选目标的外观特征与所述轨迹目标的外观特征的余弦距离，其中，所述余弦距离为所述候选目标与所述轨迹目标的外观相似度；步骤402，计算所述轨迹目标角点的稀疏光流；步骤403，计算所述轨迹目标在当前帧图片的卡尔曼滤波的预测结果；步骤404，对所述轨迹目标在前后帧图片中的运动建模；步骤405，计算所述候选目标与所述轨迹目标的交并比距离；步骤406，融合所述候选目标与所述轨迹目标的外观相似度与交并比距离；步骤407，更新所述轨迹目标的外观特征与轨迹的运动噪声公式。 3.根据权利要求2所述的方法，其特征在于，步骤401中的所述余弦距离 定义如下：式中， 表示在第k帧图片中候选目标外观特征 与第i个轨迹目标的外观特征 的余弦距离， 表示第k帧中检测出的第j个候选目标的外观特征，‖表示向量的L2范数， 表示第k帧图片中第i个轨迹目标的外观特征列举，一共有σ个特征，w表示第w个外观特征，σ表示外观特征的个数。 4.根据权利要求2所述的方法，其特征在于，在步骤402中，计算所述目标轨迹角点的稀疏光流，包括：基于轨迹目标角点的稀疏光流一致，即，假设前一帧图片与当前帧图片的亮度一致进行建模；计算所述轨迹目标角点的最优稀疏光流值；其中，所述建模定义如下：I(x,y,t)＝I(x+u,y+v,t+1)，式中，I(·)表示在点(x,y)的亮度，(u,v)表示所述轨迹目标角点在x和y方向上的移动距离的集合，t表示当前帧的时间；其中，所述稀疏光流值的计算定义如下：I x u x +I y v y +I t ＝0，式中，I x 和I y 表示I(x,y)在空间上的导数，即图像的梯度，I t 表示时间上的导数，u x 和u y 表示角点在x和y方向上的移动距离，u x 和u y 表示轨迹目标角点的稀疏光流值。 5.根据权利要求2所述的方法，其特征在于，在步骤404中，对所述轨迹目标在前后帧图片中的运动建模，包括：将步骤402中的轨迹目标角点的运动建模的移动距离和步骤403中的所述当前帧图片的卡尔曼滤波的预测结果以加权和的方式进行融合，得到轨迹目标当前帧图片的运动建模；其中，所述运动建模定义如下：式中，M k 表示基于上一帧估计的第k帧的所有轨迹目标的边界框的集合，λ为权重因子， 为当前帧的最优状态估计，(u,v)表示轨迹目标角点的移动距离的集合。 6.根据权利要求2所述的方法，其特征在于，在步骤406中，融合所述候选目标与所述轨迹目标的外观相似度与交并比距离，定义如下：式中， 为所述候选目标与所述轨迹目标的外观相似度与交并比距离的融合结果，ω为权重因子， 为所述候选目标与所述轨迹目标的交并比距离， 在第k帧的 表示第i个轨迹目标与第j个候选目标的目标框之间的交并比距离， 表示第i个轨迹目标的边界框位置， 表示第j个候选目标的边界框位置。 7.根据权利要求2所述的方法，其特征在于，在步骤407中，所述更新所述轨迹目标的外观特征与轨迹的运动噪声公式，包括：更新轨迹集合中所述轨迹目标的外观特征，定义如下：式中， 表示轨迹目标在前一帧的外观特征，f i k 是匹配上该轨迹的当前帧候选目标的外观特征，α为权重因子；更新所述轨迹目标的轨迹运动噪声公式，定义如下：P k|k ＝(1-K k H k )P k|k-1 ，式中，P k|k 更新后的当前帧的轨迹目标状态的噪声估计，H k 表示观测矩阵，K k 表示当前帧的卡尔曼系数, P k|k-1 表示从离散时间的第k-1帧到第k帧的轨迹目标状态不确定性的传递关系， F k 表示从离散时间的第k-1帧到第k帧的目标状态转移矩阵，R k 表示测量噪声协方差，T表示矩阵转置，协方差矩阵Q k 表示预测模型本身的噪声。 8.一种基于稀疏光流运动补偿的两阶段多目标追踪系统，其特征在于，所述系统包括：初始化模块，用于步骤1，采用追踪序列中的第一帧图片进行多目标追踪的轨迹集合与卡尔曼滤波参数初始化；多目标追踪匹配模块，用于步骤2，采用追踪序列的第n帧图片开始两阶段的多目标追踪匹配过程，n是大于等于2的整数；目标集合划分模块，用于步骤3，采用检测器获取步骤2中的第n帧图片的候选目标信息，基于候选目标的置信度将所述候选目标划分为高置信度候选目标集合和低置信度候选目标集合；第一阶段匹配模块，用于步骤4，在第一阶段，基于步骤3中的高置信度候选目标集合，计算候选目标与轨迹目标的运动相似度和外观相似度并融合，得到候选目标与轨迹目标的追踪相似度，采用匈牙利算法优化匹配；第二阶段匹配模块，用于步骤5，在第二阶段，基于步骤3中的低置信度候选目标集合，计算候选目标与轨迹目标的运动相似度，采用匈牙利算法优化匹配；未匹配目标查找模块，用于步骤6，尚未匹配到的高置信度目标在中途连续出现两帧以上，视为中途新出现的目标，加入到当前轨迹集合中，并将轨迹集合中同一目标的相同轨迹删除；轨迹集合输出模块，用于步骤7，重复步骤3至步骤6，直至追踪序列的最后一帧图片，输出轨迹集合。 9.一种电子设备，其特征在于，包括：存储器，用于存储一个或多个程序；处理器；当所述一个或多个程序被所述处理器执行时，实现如权利要求1-7中任一项所述的基于稀疏光流运动补偿的两阶段多目标追踪方法。 10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于稀疏光流运动补偿的两阶段多目标追踪方法。