有效

一种基于融合模态对比学习的电力设备分割方法及系统

林颖、刘萌、白德盟、郑文杰、李杰、杨祎、李程启、刘辉、周超、乔木、李龙龙、李君、李壮壮、张峰达
国网山东省电力公司电力科学研究院

摘要

本发明属于图像分割技术领域,提供了一种基于融合模态对比学习的电力设备分割方法及系统。其中,该方法包括获取待分割的电力设备的红外图像与可见光图像对;基于获取的图像对及训练好的电力设备分割网络,得到电力设备分割结果;在训练过程中,所述电力设备分割网络由融合模态特征提取器、语义分割解码器和对比学习模块组成;在训练完成后,电力设备分割网络由融合模态特征提取器和语义分割解码器组成;融合模态特征提取器用于提取红外图像与可见光图像对的融合模态特征,语义分割解码器用于解码融合模态特征;在训练过程中,语义分割解码器和对比学习模块用于分别计算融合模态分割损失和融合模态对比损失,进而得到融合模态总损失来训练电力设备分割网络。