在审

面向多模态数据的电力设备运检知识抽取方法及相关装置

张强、王剑、张峰达、吴鹏、王晓慧、贾全烨、刘同阳
中国电力科学研究院有限公司

摘要

本发明属于电力设备运检技术领域,公开了一种面向多模态数据的电力设备运检知识抽取方法及相关装置;其中,所述电力设备运检知识抽取方法包括:获取待知识抽取的电力设备运检多模态数据;将电力设备运检多模态数据输入电力设备多模态抽取网络模型进行知识抽取,获得电力设备运检知识;其中,电力设备运检多模态数据包括电力设备运检记录中指定实体和关系类型的文本记录信息和图像记录信息;电力设备多模态抽取网络模型包括预训练语言模型、视觉自注意力模型、多模态特征融合模块以及实体关系抽取网络。本发明技术方案,实现了图像信息与文本信息的相互补充,能够提高电力设备运检知识抽取的准确性。

暂无引用专利