1. 一种基于Transformer的端到端细胞分割和追踪方法,其特征在于,包括采用基于Mask DINO模型的改进模型实现细胞分割和追踪,所述基于Mask DINO模型的改进模型与Mask DINO模型同样均包括CNN主干网络、Transformer编码器、Transformer解码器和分类头,所述改进模型实现细胞分割和追踪包括:S1,使用CNN主干网络对当前帧t的图像I提取多尺度特征图;S2,使用Transformer编码器对多尺度特征图进行细化提取输出特征图;S3,使用top- K查询选择策略在输出特征图中选择概率最高的K特征点以用作对象查询,将来自前一帧t-1的轨迹作为当前帧t中的跟踪查询;计算对象查询、跟踪查询的质心之间的距离,若质心之间的距离可能导致细胞分裂则额外生成表示有丝分裂的分裂查询;所述对象查询、跟踪查询以及分裂查询都包含一个特征嵌入表示的内容查询嵌入和一个锚框表示的位置查询嵌入;S4,使用Transformer解码器将对象查询、跟踪查询和分裂查询解码;S5,使用分类头根据Transformer解码器输出的解码结果预测得到当前帧t的图像I中细胞的分类标签、旋转边界框和分割掩码。
2.根据权利要求1所述的基于Transformer的端到端细胞分割和追踪方法,其特征在于,所述锚框的格式定义为 ,其中 表示锚框, 表示锚框的中心位置, 分别表示锚框的宽度和高度, 表示锚框的旋转角度;所述锚框表示的位置查询嵌入的函数表达式为: ,上式中, 为锚框表示的位置查询嵌入, 为连接函数, 为余弦位置编码, 为多层感知机。
3. 根据权利要求2所述的基于Transformer的端到端细胞分割和追踪方法,其特征在于,所述基于Mask DINO模型的改进模型包括针对Mask DINO模型的Transformer解码器层中的互注意力层采用的位置注意力: ,将编码器特征图的参考点 改进为下式改进后的参考点 : , ,其中, 为位置注意力, 表示锚框的中心位置, 为编码器特征图的参考点, 为余弦位置编码, 为缩放结果值。
4. 根据权利要求3所述的基于Transformer的端到端细胞分割和追踪方法,其特征在于,所述基于Mask DINO模型的改进模型包括针对Mask DINO模型的Transformer解码器层中的互注意力层中采用的交叉注意力: ,将其中相对于中心位置学习到的采样位置偏移 改进为下式改进后的采样位置偏移 : , ,其中, 为具有位置先验的查询 的交叉注意力, 为查询 的锚框的中心位置, 为Transformer编码器输出的特征图, 为选择的特征点的数量, 为归一化的注意权重, 为变换矩阵用于获取注意力值, 为特征图 上点 处的特征编码, 表示相对于中心位置学习到的采样位置偏移, 为标准化操作, 和 为原始的X、Y轴方向的采样位置偏移, 分别表示锚框的宽度和高度。
5. 根据权利要求4所述的基于Transformer的端到端细胞分割和追踪方法,其特征在于,所述基于Mask DINO模型的改进模型包括针对Mask DINO模型的分类头中用于生成分割掩码的分割分支改进为: ,上式中, 为特征嵌入表示的内容查询嵌入, 为锚框表示的位置查询嵌入, 为逐元素乘法, 为分割分支的分割头, 为卷积层, 为两倍上采样操作, 为来自CNN主干网络的1/4原始分辨率特征图, 为来自Transformer编码器的上采样到1/8原始分辨率的输出特征图, 为像素嵌入图的余弦位置嵌入,所述像素嵌入图为由来自CNN主干网络的1/4原始分辨率特征图 和来自Transformer编码器的上采样到1/8原始分辨率的输出特征图 相加得到。
6.根据权利要求1所述的基于Transformer的端到端细胞分割和追踪方法,其特征在于,步骤S3中质心之间的距离可能导致细胞分裂是指判断质心之间的距离是否小于预设阈值t d ,如果小于预设阈值t d 则判定可能导致细胞分裂,否则判定不会导致细胞分裂。
7. 根据权利要求1所述的基于Transformer的端到端细胞分割和追踪方法,其特征在于,所述采用基于Mask DINO模型的改进模型实现细胞分割和追踪之前,还包括训练基于Transformer的端到端细胞分割和追踪模型,且训练基于Transformer的端到端细胞分割和追踪模型时采用的损失函数的函数表达式为: ,上式中, 为损失函数, 为查询的数量,每一个查询负责检测当前帧t中的一个细胞,所述查询包括对象查询Q object 、跟踪查询Q track 和分裂查询 Q mitosis 三种类型, 为分类损失, 为框损失, 为分割损失, 为是否与当前帧t的真实标签数据GT中的标签 相匹配的查询, 表示该查询在匈牙利算法匹配中成功与真实标签数据GT中的标签 相匹配, 为分类概率, 为旋转边界框, 为分割掩码, 为旋转边界框的标签索引, 为分割掩码的标签索引, 为第i个查询 对应的预测输出,且有: ,上式中, 和 为权重参数, 为指数参数; ,上式中, 和 为权重参数, 为 之间的L1 损失, 为 之间的KFIoU 损失; ,上式中, 和 为权重参数, 为 之间的交叉熵损失, 为 之间的骰子损失。
8.一种基于Transformer的端到端细胞分割和追踪系统,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~7中任意一项所述基于Transformer的端到端细胞分割和追踪方法。
9.一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~7中任意一项所述基于Transformer的端到端细胞分割和追踪方法。
10.一种计算机程序产品,包括计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~7中任意一项所述基于Transformer的端到端细胞分割和追踪方法。