一种面向宫颈细胞学不平衡数据的图像语言融合预测学习方法

1.一种面向宫颈细胞学不平衡数据的图像语言融合预测学习方法，其特征在于，所述方法包括：获取宫颈细胞学全切片图像，并将所述宫颈细胞学全切片图像切割为多个贴片图像；将所述多个贴片图像进行检测，以从所述多个贴片图像中筛选出多个可疑阳性细胞图像；所述将所述多个贴片图像进行检测，以从所述多个贴片图像中筛选出多个可疑阳性细胞图像，包括：将所述多个贴片图像输入至已训练的细胞检测模型，以通过所述细胞检测模型确定所述多个贴片图像中的阳性细胞的检测框及其置信度；从所述多个贴片图像检出的阳性细胞的检测框中，选取预设数量的置信度靠前的所述阳性细胞的检测框所对应区域作为多个可疑阳性细胞图像；获取所述宫颈细胞学全切片图像对应的临床文本；从所述多个可疑阳性细胞图像的第一图像特征中，提取与所述临床文本相关的多个第二图像特征；将所述多个第二图像特征和所述临床文本的文本特征进行融合，获得图像语言融合特征，并基于所述图像语言融合特征预测所述宫颈细胞学全切片图像所属的宫颈病变类别；所述宫颈病变类别是通过已训练的宫颈病变预测模型预测得到的；所述宫颈病变预测模型包含已训练的视觉网络、已训练的图像文本对齐网络和已训练的预测网络；所述第一图像特征是通过所述宫颈病变预测模型中的所述视觉网络提取得到的；所述第二图像特征是通过所述宫颈病变预测模型中的所述图像文本对齐网络提取得到的；所述宫颈病变类别是通过所述宫颈病变预测模型中的所述预测网络预测得到的；所述图像文本对齐网络包含图像处理单元和文本处理单元；所述图像处理单元和所述文本处理单元共享前馈层参数；所述方法还包括图像文本对齐网络训练步骤；所述图像文本对齐网络训练步骤，包括：获取多个第一图文样本对；每个所述第一图文样本对中包含多个第一样本可疑阳性细胞图像、以及对应的第一样本临床文本；针对每个所述第一图文样本对，将所述第一图文样本对其中的所述多个第一样本可疑阳性细胞图像的第一样本图像特征和所述第一样本临床文本，输入至待训练的图像文本对齐网络，以通过所述待训练的图像文本对齐网络中的所述图像处理单元从所述多个第一样本可疑阳性细胞图像的第一样本图像特征中，提取与所述第一样本临床文本相关的多个图像特征，获得所述第一图文样本对对应的第二样本图像特征，通过所述待训练的图像文本对齐网络中的所述文本处理单元提取所述第一样本临床文本的特征，获得所述第一图文样本对对应的样本文本特征；根据所述多个第一图文样本对各自对应的所述第二样本图像特征和所述样本文本特征，确定第一损失值；根据所述第一损失值对所述待训练的图像文本对齐网络进行训练，获得已训练的图像文本对齐网络；所述已训练的图像文本对齐网络为初步已训练的图像文本对齐网络；所述方法还包括宫颈病变预测模型训练步骤；所述宫颈病变预测模型训练步骤，包括：获取多个第二图文样本对；每个所述第二图文样本对中包含多个第二样本可疑阳性细胞图像、以及对应的第二样本临床文本；所述第二样本可疑阳性细胞图像，是在所述第一图文样本对的第一样本可疑阳性细胞图像的中心区域覆盖掩码得到的；所述第二样本临床文本为相应第一图文样本对中的第一样本临床文本；针对每个所述第二图文样本对，将所述第二图文样本对中的所述多个第二样本可疑阳性细胞图像和所述第二样本临床文本，输入至待训练的宫颈病变预测模型，以通过所述待训练的宫颈病变预测模型中待训练的视觉网络，提取所述多个第二样本可疑阳性细胞图像的第三样本图像特征，通过所述待训练的宫颈病变预测模型中待训练的所述初步已训练的图像文本对齐网络，从所述多个第二样本可疑阳性细胞图像的第三样本图像特征中，提取与所述第二样本临床文本相关的多个图像特征，获得所述第二图文样本对对应的第四样本图像特征，通过所述待训练的宫颈病变预测模型中的预测网络基于所述第四样本图像特征和所述第二样本临床文本的样本文本特征，预测所述第二图文样本对对应的第二宫颈病变类别概率；根据所述多个第二图文样本对各自对应的第二宫颈病变类别概率，确定第三损失值；所述第三损失值通过以下公式计算得到： ；其中， 表示n个第二图文样本对中第i个第二图文样本对对应的第二宫颈病变类别概率， 表示所述第三损失值；针对每个所述第一图文样本对，将所述第一图文样本对中的所述多个第一样本可疑阳性细胞图像和所述第一样本临床文本，输入至待训练的宫颈病变预测模型，以通过所述待训练的宫颈病变预测模型中待训练的视觉网络，提取所述多个第一样本可疑阳性细胞图像的第五样本图像特征，通过所述待训练的宫颈病变预测模型中待训练的所述初步已训练的图像文本对齐网络，从所述多个第一样本可疑阳性细胞图像的第五样本图像特征中，提取与所述第一样本临床文本相关的多个图像特征，获得所述第一图文样本对对应的第六样本图像特征，通过所述待训练的宫颈病变预测模型中的预测网络基于所述第六样本图像特征和所述第一样本临床文本的样本文本特征，预测所述第一图文样本对对应的第三宫颈病变类别概率；根据所述多个第一图文样本对各自对应的第三宫颈病变类别概率，确定第四损失值；根据所述第三损失值和所述第四损失值对所述待训练的宫颈病变预测模型进行训练，获得已训练的宫颈病变预测模型。 2.根据权利要求1所述的方法，其特征在于，所述根据所述第一损失值对所述待训练的图像文本对齐网络进行训练，获得已训练的图像文本对齐网络，包括：获取类别词元特征；针对每个所述第一图文样本对，将所述类别词元特征与所述第一图文样本对中第一样本可疑阳性细胞图像的第一样本图像特征、以及对应第一样本临床文本的样本文本特征进行交互，获得宫颈病变预测任务特征，将所述宫颈病变预测任务特征输入至一层全连接的分类器，以预测所述第一图文样本对对应的第一宫颈病变类别概率；根据所述多个第一图文样本对各自对应的第一宫颈病变类别概率，确定第二损失值；根据所述第一损失值和所述第二损失值对所述待训练的图像文本对齐网络进行训练，获得已训练的图像文本对齐网络。 3.一种面向宫颈细胞学不平衡数据的图像语言融合预测学习装置，其特征在于，所述装置包括：获取模块，用于获取宫颈细胞学全切片图像，并将所述宫颈细胞学全切片图像切割为多个贴片图像；检测模块，用于将所述多个贴片图像进行检测，以从所述多个贴片图像中筛选出多个可疑阳性细胞图像；所述检测模块还用于将所述多个贴片图像输入至已训练的细胞检测模型，以通过所述细胞检测模型确定所述多个贴片图像中的阳性细胞的检测框及其置信度；从所述多个贴片图像检出的阳性细胞的检测框中，选取预设数量的置信度靠前的所述阳性细胞的检测框所对应区域作为多个可疑阳性细胞图像；所述获取模块还用于获取所述宫颈细胞学全切片图像对应的临床文本；提取模块，用于从所述多个可疑阳性细胞图像的第一图像特征中，提取与所述临床文本相关的多个第二图像特征；预测模块，用于将所述多个第二图像特征和所述临床文本的文本特征进行融合，获得图像语言融合特征，并基于所述图像语言融合特征预测所述宫颈细胞学全切片图像所属的宫颈病变类别；所述宫颈病变类别是通过已训练的宫颈病变预测模型预测得到的；所述宫颈病变预测模型包含已训练的视觉网络、已训练的图像文本对齐网络和已训练的预测网络；所述第一图像特征是通过所述宫颈病变预测模型中的所述视觉网络提取得到的；所述第二图像特征是通过所述宫颈病变预测模型中的所述图像文本对齐网络提取得到的；所述宫颈病变类别是通过所述宫颈病变预测模型中的所述预测网络预测得到的；所述图像文本对齐网络包含图像处理单元和文本处理单元；所述图像处理单元和所述文本处理单元共享前馈层参数；所述装置还包括训练模块，用于获取多个第一图文样本对；每个所述第一图文样本对中包含多个第一样本可疑阳性细胞图像、以及对应的第一样本临床文本；针对每个所述第一图文样本对，将所述第一图文样本对其中的所述多个第一样本可疑阳性细胞图像的第一样本图像特征和所述第一样本临床文本，输入至待训练的图像文本对齐网络，以通过所述待训练的图像文本对齐网络中的所述图像处理单元从所述多个第一样本可疑阳性细胞图像的第一样本图像特征中，提取与所述第一样本临床文本相关的多个图像特征，获得所述第一图文样本对对应的第二样本图像特征，通过所述待训练的图像文本对齐网络中的所述文本处理单元提取所述第一样本临床文本的特征，获得所述第一图文样本对对应的样本文本特征；根据所述多个第一图文样本对各自对应的所述第二样本图像特征和所述样本文本特征，确定第一损失值；根据所述第一损失值对所述待训练的图像文本对齐网络进行训练，获得已训练的图像文本对齐网络；所述已训练的图像文本对齐网络为初步已训练的图像文本对齐网络；所述训练模块还用于获取多个第二图文样本对；每个所述第二图文样本对中包含多个第二样本可疑阳性细胞图像、以及对应的第二样本临床文本；所述第二样本可疑阳性细胞图像，是在所述第一图文样本对的第一样本可疑阳性细胞图像的中心区域覆盖掩码得到的；所述第二样本临床文本为相应第一图文样本对中的第一样本临床文本；针对每个所述第二图文样本对，将所述第二图文样本对中的所述多个第二样本可疑阳性细胞图像和所述第二样本临床文本，输入至待训练的宫颈病变预测模型，以通过所述待训练的宫颈病变预测模型中待训练的视觉网络，提取所述多个第二样本可疑阳性细胞图像的第三样本图像特征，通过所述待训练的宫颈病变预测模型中待训练的所述初步已训练的图像文本对齐网络，从所述多个第二样本可疑阳性细胞图像的第三样本图像特征中，提取与所述第二样本临床文本相关的多个图像特征，获得所述第二图文样本对对应的第四样本图像特征，通过所述待训练的宫颈病变预测模型中的预测网络基于所述第四样本图像特征和所述第二样本临床文本的样本文本特征，预测所述第二图文样本对对应的第二宫颈病变类别概率；根据所述多个第二图文样本对各自对应的第二宫颈病变类别概率，确定第三损失值；所述第三损失值通过以下公式计算得到： ；其中， 表示n个第二图文样本对中第i个第二图文样本对对应的第二宫颈病变类别概率， 表示所述第三损失值；针对每个所述第一图文样本对，将所述第一图文样本对中的所述多个第一样本可疑阳性细胞图像和所述第一样本临床文本，输入至待训练的宫颈病变预测模型，以通过所述待训练的宫颈病变预测模型中待训练的视觉网络，提取所述多个第一样本可疑阳性细胞图像的第五样本图像特征，通过所述待训练的宫颈病变预测模型中待训练的所述初步已训练的图像文本对齐网络，从所述多个第一样本可疑阳性细胞图像的第五样本图像特征中，提取与所述第一样本临床文本相关的多个图像特征，获得所述第一图文样本对对应的第六样本图像特征，通过所述待训练的宫颈病变预测模型中的预测网络基于所述第六样本图像特征和所述第一样本临床文本的样本文本特征，预测所述第一图文样本对对应的第三宫颈病变类别概率；根据所述多个第一图文样本对各自对应的第三宫颈病变类别概率，确定第四损失值；根据所述第三损失值和所述第四损失值对所述待训练的宫颈病变预测模型进行训练，获得已训练的宫颈病变预测模型。 4.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1或2所述的方法的步骤。 5.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1或2所述的方法的步骤。 6.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1或2所述的方法的步骤。