1.一种基于时空并行稀疏记忆网络的高效视频目标分割方法,其特征在于:包括时空并行记忆构建组件和并行稀疏记忆读取器;所述的时空并行记忆构建组件包括时间记忆构建模块和空间记忆构建模块;所述的并行稀疏记忆读取器包括时间记忆采样读取器和空间记忆采样读取器;所述的时空并行记忆构建组件从过去的多个历史帧中同时挖掘时间和空间记忆值,全面捕获具有区分性的视频目标信息,各个记忆帧的时间和空间映射沿时间维度堆叠形成时间记忆库和空间记忆库;所述的并行稀疏记忆读取器用于从时间记忆库和空间记忆库中均匀并行采样稀疏的记忆帧;所述的时间记忆构建模块通过捕获帧间变化,对视频目标的长期运动进行建模;所述的时间记忆构建模块包括全局注意力增强单元和运动感知记忆增强单元;所述的全局注意力增强单元GEA包括全局平均池化层GAP、卷积层 、sigmoid层S 0 ;所述的全局平均池化层GAP聚合过去帧 的记忆值 以获得整张图像的全局嵌入,然后再传递到卷积层 f 0 和sigmoid层S 0 以计算全局注意力掩码 ,所述的全局注意力掩码 选择性地增强编码器 中的各种特征,将完整的图像信息合并到记忆值;所述的运动感知记忆增强单元包括卷积层 f 1 、sigmoid层S 1 和一个全局注意力增强单元GEA;所述的运动感知记忆增强单元首先计算过去帧 和查询帧 之间的变化,并与先前预测的掩码 拼接起来然后输入给编码器 ;然后将拼接特征的帧变化信息输入到卷积层 f 1 和sigmoid层S 1 生成运动感知注意掩码;然后再将运动感知注意掩码与全局注意力掩码 相乘后输入全局注意力增强单元GEA计算实例增强运动感知记忆值 ;所述的空间记忆构建模块通过在一个局部区域上聚合具有可辨别性的空间上下文信息,所述的空间记忆构建模块包括卷积层 f 2 、sigmoid层S 2 和一个全局注意力增强单元GEA。
2.根据权利要求1所述的一种基于时空并行稀疏记忆网络的高效视频目标分割方法,其特征在于:所述的全局注意力增强单元计算全局注意力掩码 的计算式为: ;式中, 为全局注意力掩码; 、 分别表示逐元素求和、逐元素乘法运算; 表示全局注意力增强操作, 为过去帧 的记忆值; 表示卷积层操作; 表示全局平均池化层聚合操作; 为Sigmoid激活函数。
3.根据权利要求1所述的一种基于时空并行稀疏记忆网络的高效视频目标分割方法,其特征在于:所述的运动感知记忆值 的计算式为: ; 表示全局注意力增强操作, 为运动感知记忆值; 为全局注意力掩码; 为Sigmoid激活函数; 为增强编码器; 、 分别为查询帧和过去帧; 为逐元素乘法运算, 为卷积层操作。
4.根据权利要求3所述的一种基于时空并行稀疏记忆网络的高效视频目标分割方法,其特征在于: 所述的空间记忆构建模块将前一帧 的预测掩码 与查询帧 拼接以生成空间关系图,然后输入编码器 ;并通过卷积层 f 2 和sigmoid层S 2 生成空间注意掩码;然后再将空间注意掩码与运动感知记忆值 输入全局注意力增强单元GEA生成全局上下文嵌入值 ;式中, 为全局上下文嵌入值; 为全局注意力增强操作, 为运动感知记忆值; 为逐元素乘法运算; 为Sigmoid激活函数; 为卷积层操作; 为增强编码器; 为前一帧 的预测掩码; 为查询帧。
5.根据权利要求1所述的一种基于时空并行稀疏记忆网络的高效视频目标分割方法,其特征在于:所述的时间记忆采样读取器和空间记忆采样读取器分别从时间记忆库 和空间记忆库 中沿时间维度均匀采样一组稀疏的记忆帧;并通过查询帧和均匀采样的记忆帧之间的稀疏匹配相似度来计算软权重,所述的相似度的计算公式为:式中, 为相似性计算函数, 表示对记忆帧的均匀采样, 表示记忆库的键映射, 表示查询帧的键映射, i 、 j 表示索引。
6.根据权利要求5所述的一种基于时空并行稀疏记忆网络的高效视频目标分割方法,其特征在于:所述的时间记忆采样读取器根据软权重加权求和的相似性得分,从均匀采样的稀疏时间记忆库中检索相关的时间运动信息,并采用top-k策略过滤相似性得分,所述的时间记忆采样读取器定义为:式中, 表示读取到的相关时序运动信息, 为查询帧的值映射; 表示选择最头部的 k 个元素; 为时间记忆库的值映射; 为记忆库的键映射; 为归一化因子; 表示串联操作; 表示对记忆帧的均匀采样。
7.根据权利要求6所述的一种基于时空并行稀疏记忆网络的高效视频目标分割方法,其特征在于:所述的空间记忆采样读取器根据相似性得分从均匀采样的空间稀疏记忆库中高效地检索目标的空间上下文信息,所述的空间记忆采样读取器定义为:式中, 为读取到的相关空间上下文信息, 为查询帧的值映射; 为选择最头部的 k 个元素; 为空间记忆库的值映射; 为记忆库的键映射; 是归一化因子; 表示串联操作; 表示对记忆帧的均匀采样;最后将得到的空间上下文信息 、时序运动信息 和查询帧的值映射 进行连接,从而获得充足的目标表征的预测掩码 m t 。