1.一种适于多模态知识图谱的实体对齐方法,其特征在于,包括以下步骤:步骤1,获取两个多模态知识图谱 和 的数据;步骤2,将各个模态的数据投影到双曲空间;步骤3,使用双曲图卷积神经网络学习实体的结构特征和视觉特征;步骤4,融合多模态特征;步骤5,以双曲空间中距离表示实体相似度;步骤6,根据相似度进行实体识别对齐;步骤2中所述的各个模态的数据由预先训练好的神经网络产生的,存在于欧氏空间中,通过从切平面到流形空间的投影,获得投影到双曲空间的特征: , 为欧氏空间的特征表示, 为双曲空间的特征表示,其中指数映射 的定义为: , 是切空间 的特征向量, 为双曲空间的曲率, 是双曲空间 中的一个点, 表示双曲空间的原点,切空间 上的向量通过指数映射到 ;步骤3中所述的实体的结构特征的学习是通过双曲空间中的特征转换、信息传递和非线性激活获得的;首先使用对数映射log(·)将双曲空间的节点 的特征向量投影到切空间 ,在切空间中,节点 的特征变换和传递规则为: ,其中 表示切平面上的特征表示, 表示双曲平面上的特征表示, 表示对称归一化邻接矩阵, 是 可训练权重矩阵,d’和d分别表示输入和输出的向量表示的维度,对数映射 的定义为: ,在得到切线空间中的特征表示后,使用非线性激活函数来学习非线性变换;基于双曲特征变换和非线性激活,双曲空间的卷积计算被重新定义为: ,其中 , 分别表示在 层和 层学得的双曲空间中的节点表示,且 , 为激活函数;所述的非线性激活为欧式非线性激活,在 层的切线空间 中,将其映射到下一层的流形上: ,其中 , 分别是 层和 层的曲率,激活函数 选择 ;步骤4中所述的多模态特征的融合是将结构信息和视觉信息相结合,结合的公式表示为:其中 , 分别是双曲图卷积网络模型学得的结构向量表示和视觉向量表示; 是平衡两种特征向量权重的超参数;两种不同的特征在融合过程中需要保持维度的相同, 表示Mobius加法;所述的Mobius加法提供了一种适用于双曲空间的加法形式,在欧几里得空间中的定义为: 。
2.根据权利要求1所述的实体对齐方法,其特征在于,步骤3中所述的视觉特征的学习过程包括:采用densenet模型来学习图像嵌入,移除densenet模型中的softmax层,densenet模型是在ImageNet数据集上预先训练的,并为多模态知识图谱中的所有图像获取1920维向量嵌入;使用双曲图卷积网络将视觉特征向量投影投射到双曲空间中。
3.根据权利要求1所述的实体对齐方法,其特征在于,步骤5中所述的双曲空间中距离表示为: ,对于 中的实体 和 中的实体 ,其中 , 表示实体 和 融合结构信息和视觉信息而生成的双曲空间中的向量表示; 是 范数; 表示操作表示Mobius加法。
4.根据权利要求1所述的实体对齐方法,其特征在于,步骤6中, 中特定的一个实体,计算 中所有实体与其双曲空间中的距离,并返回按照距离从小到大排名的候选实体,距离越小的实体越匹配。
5.根据权利要求3所述的实体对齐方法,其特征在于,模型的训练目标是最小化下列的基于边缘的评分损失函数:其中, , 表示已知实体对, 表示种子实体对的集合; 表示负例实体对集合;负例通过破坏正例,即随机选取知识图谱中的一个实体取代e或者v, 表示边缘超参数,用来分离正例和负例,基于边缘的损失函数需要正例实体对之间的距离尽可能小,负例实体对之间的距离尽可能大。
6.一种适于多模态知识图谱的实体对齐设备,其特征在于,包括:处理器;以及,存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行权利要求1至5任一所述可执行指令来执行上述的实体对齐方法。