小样本分割方法、装置、电子设备、存储介质及程序产品

1.一种小样本分割方法，其特征在于，所述方法包括：利用预先训练得到的骨干网络，分别根据预先获取到的支持样本图像和查询样本图像提取得到支持特征和查询特征；基于层次特征表示法，分别根据所述支持特征和所述查询特征生成多尺度支持特征和多尺度查询特征；利用自聚合块和层次化跨聚合块聚合所述多尺度支持特征和所述多尺度查询特征，以得到增强支持特征和增强查询特征；其中，所述层次化跨聚合块包括将三个基础块以层次化方式构造得到；对所述增强查询特征执行多层感知机操作和上采样操作以得到多级相同分辨率的多层的单一特征，并对全部所述单一特征进行拼接以得到融合特征；根据所述多层的单一特征和所述融合特征进行分割预测得到分割预测结果；所述利用自聚合块和层次化跨聚合块聚合所述多尺度支持特征和所述多尺度查询特征，以得到增强支持特征和增强查询特征，包括：利用所述自聚合块基于多头注意力机制，根据所述多尺度支持特征计算得到聚合支持特征；其中，所述聚合支持特征表示为其中， 、 、 分别表示多头注意力机制中不同头对应的所述多尺度支持特征， 表示多头注意力机制；利用所述自聚合块基于多头注意力机制，根据所述多尺度查询特征计算得到聚合查询特征；其中，所述聚合查询特征表示为其中， 、 、 分别表示多头注意力机制中不同头对应的所述多尺度查询特征；根据第一基础块、第二基础块和第三基础块以层次化方式构造得到层次化跨聚合块；其中，所述基础块表示为其中， 表示键， 表示值， 表示查询， 表示临时变量， 表示前馈神经网络；将所述聚合支持特征和所述聚合查询特征输入所述第一基础块以得到第一输出，并将所述第一输出输入至所述第二基础块以得到第二输出，将所述第一输出和所述第二输出输入至所述第三基础块以得到第三输出；利用所述层次化跨聚合块根据所述第一输出、第二输出和第三输出得到所述增强支持特征和增强查询特征。 2. 根据权利要求1所述的方法，其特征在于，所述利用预先训练得到的骨干网络，分别根据预先获取到的支持样本图像和查询样本图像提取得到支持特征和查询特征之后，还包括：根据支持掩码对所述支持特征进行过滤，以滤除所述支持特征中的不相关背景特征，并得到与前景对象像素对应的支持特征估计值；其中，所述支持特征估计值表示为其中， 表示所述支持特征， 表示Hadamard积， 表示 下采样到与支持特征 相同大小的函数， 表示所述支持样本图像的高， 表示所述支持样本图像的宽， 表示支持掩码。 3.根据权利要求1所述的方法，其特征在于，所述利用预先训练得到的骨干网络，分别根据预先获取到的支持样本图像和查询样本图像提取得到支持特征和查询特征之前，还包括：获取互无交集的第一类别集和第二类别集，并将所述第一类别集作为训练集，将所述第二类别集作为测试集；利用所述训练集基于训练场景训练得到小样本分割模型，并利用所述测试集基于测试场景调整所述小样本分割模型；其中，所述训练场景或测试场景，包括：存在标注掩膜的支持图像集以及查询图像集；所述支持图像集包括多个语义类别，每个语义类别包括多个图像样本与标注掩膜相互对应的第一数据对，所述查询图像集包括多个与所述第一数据对相对应的第二数据对。 4.根据权利要求1所述的方法，其特征在于，所述支持特征，包括：根据所述骨干网络的中间层确定的中级支持特征，所述查询特征，包括：根据所述骨干网络的中间层确定的中级查询特征；所述基于层次特征表示法，分别根据所述支持特征和所述查询特征生成多尺度支持特征和多尺度查询特征，包括：基于层次特征表示法，分别根据所述中级支持特征和所述中级查询特征生成多尺度支持特征和多尺度查询特征。 5.根据权利要求1所述的方法，其特征在于，所述支持特征，包括：根据所述骨干网络的高层确定的高级支持特征，所述查询特征，包括：根据所述骨干网络的高层确定的高级查询特征；所述方法，还包括：根据所述高级支持特征和所述高级查询特征生成先验亲和力图，并根据余弦相似函数确定所述高级支持特征和所述高级查询特征之间的像素级对应关系；基于多头注意机制，根据所述先验亲和力图和所述对应关系确定注意力图，并根据所述注意力图剔除所述支持特征和所述查询特征中的干扰语义。 6.一种小样本分割装置，其特征在于，所述装置包括：提取模块，被配置为利用预先训练得到的骨干网络，分别根据预先获取到的支持样本图像和查询样本图像提取得到支持特征和查询特征；生成模块，被配置为基于层次特征表示法，分别根据所述支持特征和所述查询特征生成多尺度支持特征和多尺度查询特征；确定模块，被配置为利用自聚合块和层次化跨聚合块聚合所述多尺度支持特征和所述多尺度查询特征，以得到增强支持特征和增强查询特征；其中，所述层次化跨聚合块包括将三个基础块以层次化方式构造得到；拼接模块，被配置为对所述增强查询特征执行多层感知机操作和上采样操作以得到多级相同分辨率的多层的单一特征，并对全部所述单一特征进行拼接以得到融合特征；预测模块，被配置为根据所述多层的单一特征和所述融合特征进行分割预测得到分割预测结果；所述利用自聚合块和层次化跨聚合块聚合所述多尺度支持特征和所述多尺度查询特征，以得到增强支持特征和增强查询特征，包括：利用所述自聚合块基于多头注意力机制，根据所述多尺度支持特征计算得到聚合支持特征；其中，所述聚合支持特征表示为其中， 、 、 分别表示多头注意力机制中不同头对应的所述多尺度支持特征， 表示多头注意力机制；利用所述自聚合块基于多头注意力机制，根据所述多尺度查询特征计算得到聚合查询特征；其中，所述聚合查询特征表示为其中， 、 、 分别表示多头注意力机制中不同头对应的所述多尺度查询特征；根据第一基础块、第二基础块和第三基础块以层次化方式构造得到层次化跨聚合块；其中，所述基础块表示为其中， 表示键， 表示值， 表示查询， 表示临时变量， 表示前馈神经网络；将所述聚合支持特征和所述聚合查询特征输入所述第一基础块以得到第一输出，并将所述第一输出输入至所述第二基础块以得到第二输出，将所述第一输出和所述第二输出输入至所述第三基础块以得到第三输出；利用所述层次化跨聚合块根据所述第一输出、第二输出和第三输出得到所述增强支持特征和增强查询特征。 7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任意一项所述的方法。 8.一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令用于使所述计算机实现权利要求1至5任一项所述的方法。 9.一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如权利要求1至5中任一项所述的方法。