有效
稀疏样本显微成像的自动对焦方法、装置和计算机设备
翟永平、苏强、胡佳、付笑溪、张超凡、颜深、张亚珂、杨盈超
中国人民解放军国防科技大学
摘要
本申请涉及一种稀疏样本显微成像的自动对焦方法、装置和计算机设备,包括:将采集到的显微图像均匀划分为不重叠的图像块,并对图像块进行内容稀疏度和离焦距离的标签标注,用于分别训练离焦距离预测和内容稀疏度分类网络;进而能够采用训练好的内容稀疏度分类网络对目标图像块进行筛选,得到预设数量的稠密图像块,然后将其输入训练好的离焦距离预测网络。采用本方法能够实现精准的离焦距离预测,尤其适用于内容稀疏的显微图像。
1.一种稀疏样本显微成像的自动对焦方法,其特征在于,所述方法包括:将采集到的显微图像均匀划分为不重叠的图像块,并对图像块进行内容稀疏度和离焦距离的标签标注;其中,图像块的内容稀疏度通过图像块中前景目标区域的大小与图像块的大小的比值来确定;具体包括:对图像块进行前后景分割处理,并计算图像块中前景目标区域的大小;若图像块中前景目标区域的大小与图像块的大小之比大于设定的阈值,则将图像块标注为内容稠密图像块,否则标注为内容稀疏图像块;根据采用内容稀疏度进行标签标注的图像块训练内容稀疏度分类网络,得到训练好的内容稀疏度分类网络,根据采用离焦距离进行标签标注的图像块训练离焦距离预测网络,得到训练好的离焦距离预测网络;所述内容稀疏度分类网络采用改进的MobileNetV3-small网络来构建;输入的图像块先经过一个卷积核大小为3×3的二维卷积操作,然后依次经过3个卷积核大小为3×3的bneck模块,8个卷积核大小为5×5的bneck模块,再经过一个卷积核大小为1×1的二维卷积操作以及一个卷积核大小为7×7的池化操作,最后经过一个卷积核大小为2×2的没有批归一化层的二维卷积操作以及一个卷积核大小为1×1的没有批归一化层的二维卷积操作;所述离焦距离预测网络采用改进的ConvNeXt-T网络来构建;首先,输入图像经过一个卷积核大小为4×4、步长为4的二维卷积操作并进行批归一化操作;然后,依次经过3个输入通道数为96的ConvNeXt Block模块,下采样后依次经过3个输入通道数为192的ConvNeXtBlock模块,下采样后依次经过9个输入通道数为384的ConvNeXt Block模块,下采样后依次经过3个输入通道数为768的ConvNeXt Block模块;最后,经过一个全局平均池化层操作、两个卷积核大小为1×1的没有批归一化层的二维卷积操作以及一个全连接层操作,网络的输出为预测的离焦距离值;采用训练好的内容稀疏度分类网络对目标图像块进行筛选,仅保留稠密图像块,并将预设数量的稠密图像块输入训练好的离焦距离预测网络进行离焦距离预测;其中,内容稀疏度分类网络的输出为预测类别的概率值。
2.根据权利要求1所述的方法,其特征在于,对图像块进行离焦距离的标签标注,包括:将分块位置相对应的图像块进行组合,得到多个局部显微图像栈;其中,一个显微图像栈对应的局部显微图像栈的数量等于一个显微图像分块的数量;对于一个局部显微图像栈,使用图像清晰度评价函数计算其中的每个图像块的清晰度值,得到最大清晰度值,并将最大清晰度值对应的图像块的离焦距离标签标注为零;对于其中的其它图像块的离焦距离,根据其到标签为零的图像块的物理距离进行标签标注。
3.根据权利要求1所述的方法,其特征在于,在训练内容稀疏度分类网络时,采用二分类交叉熵损失 来更新模型的参数,对于包含N个样本的Batch数据, 的计算公式如下: ;其中, 是超参数, 表示第i个样本的真实内容稀疏度标签, 表示内容稀疏度分类网络对第i个样本预测的内容稀疏度类别概率值。
4.根据权利要求1所述的方法,其特征在于,采用训练好的内容稀疏度分类网络对目标图像块进行筛选,仅保留稠密图像块,将预设数量的稠密图像块输入训练好的离焦距离预测网络进行离焦距离预测,包括:将目标显微图像进行分块,得到目标图像块;将目标图像块输入训练好的内容稀疏度分类网络,输出图像块的内容稀疏度类别的概率值;将内容稀疏度类别为稠密且概率值大于预设值的目标图像块作为候选稠密图像块;将候选稠密图像块按照概率值进行降序排列,选择前k个候选稠密图像块输入训练好的离焦距离预测网络进行离焦距离预测。
5.根据权利要求1所述的方法,其特征在于,在训练离焦距离预测网络时,使用L1损失 来更新模型的参数,对于包含N个样本的Batch数据, 的计算公式如下: ;其中, 表示第n个样本的真实离焦距离标签, 表示离焦距离预测网络对第n个样本的预测离焦距离值。
6.一种稀疏样本显微成像的自动对焦装置,其特征在于,所述装置包括:图像块标注模块,用于将采集到的显微图像均匀划分为不重叠的图像块,并对图像块进行内容稀疏度和离焦距离的标签标注;其中,图像块的内容稀疏度通过图像块中前景目标区域的大小与图像块的大小的比值来确定;具体包括:对图像块进行前后景分割处理,并计算图像块中前景目标区域的大小;若图像块中前景目标区域的大小与图像块的大小之比大于设定的阈值,则将图像块标注为内容稠密图像块,否则标注为内容稀疏图像块;网络训练模块,用于根据采用内容稀疏度进行标签标注的图像块训练内容稀疏度分类网络,得到训练好的内容稀疏度分类网络,根据采用离焦距离进行标签标注的图像块训练离焦距离预测网络,得到训练好的离焦距离预测网络;所述内容稀疏度分类网络采用改进的MobileNetV3-small网络来构建;输入的图像块先经过一个卷积核大小为3×3的二维卷积操作,然后依次经过3个卷积核大小为3×3的bneck模块,8个卷积核大小为5×5的bneck模块,再经过一个卷积核大小为1×1的二维卷积操作以及一个卷积核大小为7×7的池化操作,最后经过一个卷积核大小为2×2的没有批归一化层的二维卷积操作以及一个卷积核大小为1×1的没有批归一化层的二维卷积操作;所述离焦距离预测网络采用改进的ConvNeXt-T网络来构建;首先,输入图像经过一个卷积核大小为4×4、步长为4的二维卷积操作并进行批归一化操作;然后,依次经过3个输入通道数为96的ConvNeXt Block模块,下采样后依次经过3个输入通道数为192的ConvNeXt Block模块,下采样后依次经过9个输入通道数为384的ConvNeXt Block模块,下采样后依次经过3个输入通道数为768的ConvNeXtBlock模块;最后,经过一个全局平均池化层操作、两个卷积核大小为1×1的没有批归一化层的二维卷积操作以及一个全连接层操作,网络的输出为预测的离焦距离值;离焦距离预测模块,用于采用训练好的内容稀疏度分类网络对目标图像块进行筛选,仅保留稠密图像块,并将预设数量的稠密图像块输入训练好的离焦距离预测网络进行离焦距离预测;其中,内容稀疏度分类网络的输出为预测类别的概率值。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。



