1.一种基于融合模态对比学习的电力设备分割方法,其特征在于,包括:获取待分割的电力设备的红外图像与可见光图像对;基于获取的图像对及训练好的电力设备分割网络,得到电力设备分割结果;其中,在训练过程中,所述电力设备分割网络由融合模态特征编码器、语义分割解码器和对比学习模块组成;在训练完成后,所述电力设备分割网络由融合模态特征编码器和语义分割解码器组成;所述融合模态特征编码器用于提取红外图像与可见光图像对的融合模态特征,所述语义分割解码器用于解码融合模态特征;在训练过程中,所述语义分割解码器和对比学习模块用于分别计算融合模态分割损失和融合模态对比损失,进而得到融合模态总损失来训练电力设备分割网络;所述对比学习模块包括投影模块、特征存储单元和计算模块;所述投影模块用于将融合特征编码器输出的融合模态特征投影成多个融合模态像素特征;所述特征存储单元用于存储融合模态中心像素特征并在每个批次进行更新;所述计算模块用于从当前批次的融合模态像素特征中采样获得锚点样本集合并输出,从特征存储单元存储的融合模态中心像素特征中采样获得正负难样本集合,并通过对比负难样本集合和锚点样本集合来计算融合模态对比损失;基于融合模态像素特征,计算当前批次各个类别下的融合模态中心像素特征,并更新特征存储单元;利用语义感知的锚点样本采样方法对当前批次的多个融合模态像素特征进行锚点样本选择,获得当前批次的锚点样本集合;根据当前批次的锚点样本集合,对于每一个锚点样本,利用难样本挖掘的正负样本采样方法对特征存储单元中存储的融合模态中心像素特征进行正负样本选择,获得该锚点样本对应的正负难样本集合,并计算该锚点样本的融合模态对比损失。
2.如权利要求1所述的基于融合模态对比学习的电力设备分割方法,其特征在于,所述融合模态特征编码器包括红外特征编码器、可见光特征编码器和多个融合模块,所述融合模态特征编码器设置有若干层级,每个层级模块均一个融合模块,所述融合模块用于融合对应层级的红外特征编码器和可见光特征编码器所编码的特征。
3.如权利要求2所述的基于融合模态对比学习的电力设备分割方法,其特征在于,所述红外特征编码器与可见光特征编码器的结构相同。
4.如权利要求1所述的基于融合模态对比学习的电力设备分割方法,其特征在于,对于当前批次的各个红外与可见光图像对,通过池化该红外与可见光图像对所对应的属于同一个类别的多个融合模态像素特征得到该红外与可见光图像对各个类别下的融合模态中心像素特征。
5.如权利要求1所述的基于融合模态对比学习的电力设备分割方法,其特征在于,所述计算模块利用语义感知的锚点样本采样方法对当前批次的多个融合模态像素特征进行锚点样本选择,获得当前批次的锚点样本集合。
6.一种基于融合模态对比学习的电力设备分割系统,其特征在于,包括:图像对获取模块,其用于获取待分割的电力设备的红外图像与可见光图像对;电力设备分割模块,其用于基于获取的图像对及训练好的电力设备分割网络,得到电力设备分割结果;其中,在训练过程中,所述电力设备分割网络由融合模态特征编码器、语义分割解码器和对比学习模块组成;在训练完成后,所述电力设备分割网络由融合模态特征编码器和语义分割解码器组成;所述融合模态特征编码器用于提取红外图像与可见光图像对的融合模态特征,所述语义分割解码器用于解码融合模态特征;在训练过程中,所述语义分割解码器和对比学习模块用于分别计算融合模态分割损失和融合模态对比损失,进而得到融合模态总损失来训练电力设备分割网络;所述对比学习模块包括投影模块、特征存储单元和计算模块;所述投影模块用于将融合特征编码器输出的融合模态特征投影成多个融合模态像素特征;所述特征存储单元用于存储融合模态中心像素特征并在每个批次进行更新;所述计算模块用于从当前批次的融合模态像素特征中采样获得锚点样本集合并输出,从特征存储单元存储的融合模态中心像素特征中采样获得正负难样本集合,并通过对比负难样本集合和锚点样本集合来计算融合模态对比损失;基于融合模态像素特征,计算当前批次各个类别下的融合模态中心像素特征,并更新特征存储单元;利用语义感知的锚点样本采样方法对当前批次的多个融合模态像素特征进行锚点样本选择,获得当前批次的锚点样本集合;根据当前批次的锚点样本集合,对于每一个锚点样本,利用难样本挖掘的正负样本采样方法对特征存储单元中存储的融合模态中心像素特征进行正负样本选择,获得该锚点样本对应的正负难样本集合,并计算该锚点样本的融合模态对比损失。
7.如权利要求6所述的基于融合模态对比学习的电力设备分割系统,其特征在于,所述融合模态特征编码器包括红外特征编码器、可见光特征编码器和多个融合模块,所述融合模态特征编码器设置有若干层级,每个层级模块均一个融合模块,所述融合模块用于融合对应层级的红外特征编码器和可见光特征编码器所编码的特征。
8.如权利要求7所述的基于融合模态对比学习的电力设备分割系统,其特征在于,所述红外特征编码器与可见光特征编码器的结构相同。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的基于融合模态对比学习的电力设备分割方法中的步骤。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于融合模态对比学习的电力设备分割方法中的步骤。