1.一种开放词汇输电线路设备图像分割方法,其特征在于,包括:获取待分割图像以及文本类别标签,将所述待分割图像输入至预设输电线路设备视觉语言大模型中的图像编码器,提取图像特征;将所述图像特征输入至预训练好的适配器,获取文本隐式特征;将所述文本隐式特征以及所述待分割图像输入至预训练好的文本图像扩散模型,获取图像内部特征;将所述图像内部特征输入至预训练好的分割结果预测器中,获取分割结果以及预测结果嵌入表征;通过结合所述分割结果、所述预测结果嵌入表征、所述文本类别标签以及所述图像特征,获取最终分割结果,并根据所述最终分割结果分割所述待分割图像;所述通过结合所述分割结果、所述预测结果嵌入表征、所述文本类别标签以及所述图像特征,获取最终分割结果,包括:通过所述预设输电线路设备视觉语言大模型中的文本编码器,提取所述文本类别标签中的文本显示特征;通过点积运算,将所述分割结果、所述预测结果嵌入表征、所述文本显示特征以及所述图像特征融合,获取所述最终分割结果;所述通过点积运算,将所述分割结果、所述预测结果嵌入表征、所述文本显示特征以及所述图像特征融合,获取所述最终分割结果,包括:通过以下公式,对所述分割结果、所述预测结果嵌入表征、所述文本显示特征以及所述图像特征进行融合:其中, 表示最终分割结果; 代表第 种分割类别的分割结果融合特征, 为第 种分割类别的预测结果嵌入表征; 为第 种分割类别的分割结果; 为图像特征; 表示将图像内部特征和预测的分割结果进行融合; 代表文本类别标签; 代表通过所述预设输电线路设备视觉语言大模型中文本编码器提取到的文本显示特征; 为归一化函数。
2.如权利要求1所述的一种开放词汇输电线路设备图像分割方法,其特征在于,包括:在对所述适配器以及所述分割结果预测器训练时,通过交叉熵损失函数,迭代训练所述分割结果与所述文本类别标签的对应程度、所述分割结果。
3.如权利要求2所述的一种开放词汇输电线路设备图像分割方法,其特征在于,所述通过交叉熵损失函数,迭代训练所述分割结果与所述文本类别标签的对应程度、所述分割结果,包括:所述交叉熵损失函数具体为:其中, 为文本类别标签损失函数,用于迭代训练所述分割结果与所述文本类别标签的对应程度; 为图像类别标签损失函数,用于迭代训练所述分割结果; 为交叉熵损失函数; 为归一化函数; 为第 种分割类别的预测结果嵌入表征; 为第 种分割类别的分割结果; 为第 种分割类别的真实的文本类别标签; 为第 种分割类别的真实的分割图像; 为文本显示特征; 为分割类别数。
4.如权利要求1所述的一种开放词汇输电线路设备图像分割方法,其特征在于,所述将所述文本隐式特征以及所述待分割图像输入至预训练好的文本图像扩散模型,获取图像内部特征,包括:通过所述扩散模型的前向过程,提取所述待分割图像的噪声图像;将所述噪声图像以及所述文本隐式特征输入至所述扩散模型的后向过程中的去噪模块,获取图像内部特征。
5.如权利要求4所述的一种开放词汇输电线路设备图像分割方法,其特征在于,所述通过所述扩散模型的前向过程,提取所述待分割图像的噪声图像,包括:所述噪声图像的获取方式,具体为:其中, 为噪声图像; 为步长; 为待分割图像; 为模型中控制噪声大小的超参数; 为从标准正态分布中采样得到的噪声; 为标准正态分布。
6.如权利要求1所述的一种开放词汇输电线路设备图像分割方法,其特征在于,包括:所述适配器,由多层感知机组成;且所述适配器与所述输电线路设备视觉语言大模型中的文本编码器为残差连接。
7.如权利要求1所述的一种开放词汇输电线路设备图像分割方法,其特征在于,包括:所述扩散模型,为通过预设的输电线路设备文本图像数据集训练获取。
8.一种开放词汇输电线路设备图像分割设备,其特征在于,包括:图像特征提取模块、文本隐式特征提取模块、图像内部特征提取模块、图像分割模块以及特征融合模块;其中,所述图像特征提取模块,用于获取待分割图像以及文本类别标签,将所述待分割图像输入至预设输电线路设备视觉语言大模型中的图像编码器,提取图像特征;所述文本隐式特征提取模块,用于将所述图像特征输入至预训练好的适配器,获取文本隐式特征;所述图像内部特征提取模块,用于将所述文本隐式特征以及所述待分割图像输入至预训练好的文本图像扩散模型,获取图像内部特征;所述图像分割模块,用于将所述图像内部特征输入至预训练好的分割结果预测器中,获取分割结果以及预测结果嵌入表征;所述特征融合模块,用于通过结合所述分割结果、所述预测结果嵌入表征、所述文本类别标签以及所述图像特征,获取最终分割结果,并根据所述最终分割结果分割所述待分割图像;所述特征融合模块,用于通过结合所述分割结果、所述预测结果嵌入表征、所述文本类别标签以及所述图像特征,获取最终分割结果,包括:通过所述预设输电线路设备视觉语言大模型中的文本编码器,提取所述文本类别标签中的文本显示特征;通过点积运算,将所述分割结果、所述预测结果嵌入表征、所述文本显示特征以及所述图像特征融合,获取所述最终分割结果;所述通过点积运算,将所述分割结果、所述预测结果嵌入表征、所述文本显示特征以及所述图像特征融合,获取所述最终分割结果,包括:通过以下公式,对所述分割结果、所述预测结果嵌入表征、所述文本显示特征以及所述图像特征进行融合:其中, 表示最终分割结果; 代表第 种分割类别的分割结果融合特征, 为第 种分割类别的预测结果嵌入表征; 为第 种分割类别的分割结果; 为图像特征; 表示将图像内部特征和预测的分割结果进行融合; 代表文本类别标签; 代表通过所述预设输电线路设备视觉语言大模型中文本编码器提取到的文本显示特征; 为归一化函数。