有效

一种适于多模态知识图谱的实体对齐方法及设备

赵翔、唐九阳、郭浩、曾维新、谭真、徐浩、张鑫
中国人民解放军国防科技大学

摘要

本发明公开了一种适于多模态知识图谱的实体对齐方法及设备,所述方法包括以下步骤:获取两个多模态知识图谱的数据;将各个模态的数据投影到双曲空间;使用双曲图卷积神经网络学习实体的结构特征和视觉特征;融合多模态特征;以双曲空间中距离表示实体相似度;根据相似度进行实体识别对齐。本发明方法将欧几里得表示扩展到双曲面流形,并采用双曲图卷积网络学习实体的结构表示;关于视觉信息,使用densenet模型生成图像嵌入,并使用双曲图卷积网络将其嵌入到双曲线空间中;最后,在双曲空间中合并结构嵌入和图像嵌入以预测潜在的对齐方式,特别适用于多模态知识图谱的实体对齐和融合中。