1.一种面向链接预测的交互式多模态融合方法，其特征在于，包括：获取待预测知识图谱，所述待预测知识图谱包括结构化模态、可视化模态和文本模态；分别提取所述结构化模态、所述可视化模态和所述文本模态的高层次特征信息，得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示；其中，所述结构化模态、所述可视化模态和所述文本模态中各个模态的原始特征至少包括：描述性文本、图像；所述高层次特征信息至少包括：BERT的特征、VGG的特征；对所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示进行聚合，通过双线性矩阵计算得到多模态嵌入表示；分别通过所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示预测目标实体，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果；具体包括：通过关系为所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示提供上下文变换矩阵；通过所述上下文变换矩阵分别与所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示相乘，预测候选实体的相似性，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果；调整所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重，得到目标预测结果。
2.根据权利要求1所述的面向链接预测的交互式多模态融合方法，其特征在于，所述分别提取所述结构化模态、所述可视化模态和所述文本模态的高层次特征信息，得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示，包括：通过结构化编码器提取结构化模态的高层次特征信息，得到结构化嵌入表示；通过可视化编码器提取可视化模态的高层次特征信息，得到可视化嵌入表示；通过文本编码器提取文本模态的高层次特征信息，得到文本嵌入表示。
3.根据权利要求1所述的面向链接预测的交互式多模态融合方法，其特征在于，所述对所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示进行聚合，通过双线性矩阵计算得到多模态嵌入表示，包括：转化所述结构化模态、所述可视化模态和所述文本模态为张量；通过双线性矩阵对所述张量进行分解，得到核心张量；将所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示与所述核心张量进行融合，得到多模态嵌入表示。
4.根据权利要求1所述的面向链接预测的交互式多模态融合方法，其特征在于，所述调整所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重，得到目标预测结果，包括：基于联合损失函数，分别确定所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重；基于预设权重调整规则，对所述权重进行调整，得到目标预测结果。
5.一种面向链接预测的交互式多模态融合装置，其特征在于，包括：获取模块，用于获取待预测知识图谱，所述待预测知识图谱包括结构化模态、可视化模态和文本模态；模态编码器模块，用于分别提取所述结构化模态、所述可视化模态和所述文本模态的高层次特征信息，得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示；其中，所述结构化模态、所述可视化模态和所述文本模态中各个模态的原始特征至少包括：描述性文本、图像；所述高层次特征信息至少包括：BERT的特征、VGG的特征；多模态融合模块，用于对所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示进行聚合，通过双线性矩阵计算得到多模态嵌入表示；上下文关系模块，用于分别通过所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示预测目标实体，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果；所述上下文关系模块，具体用于：通过关系为所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示提供上下文变换矩阵；通过所述上下文变换矩阵分别与所述结构化模态嵌入表示、所述可视化模态嵌入表示、所述文本模态嵌入表示和所述多模态嵌入表示相乘，预测候选实体的相似性，得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果；决策融合模块，用于调整所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重，得到目标预测结果。
6.根据权利要求5所述的面向链接预测的交互式多模态融合装置，其特征在于，所述模态编码器模块，具体用于：通过结构化编码器提取结构化模态的高层次特征信息，得到结构化嵌入表示；通过可视化编码器提取可视化模态的高层次特征信息，得到可视化嵌入表示；通过文本编码器提取文本模态的高层次特征信息，得到文本嵌入表示。
7.根据权利要求5所述的面向链接预测的交互式多模态融合装置，其特征在于，所述多模态融合模块，具体用于：转化所述结构化模态、所述可视化模态和所述文本模态为张量；通过双线性矩阵对所述张量进行分解，得到核心张量；将所述结构化模态嵌入表示、所述可视化模态嵌入表示和所述文本模态嵌入表示与所述核心张量进行融合，得到多模态嵌入表示。
8.根据权利要求5所述的面向链接预测的交互式多模态融合装置，其特征在于，所述决策融合模块，具体用于：基于联合损失函数，分别确定所述结构化预测结果、所述可视化预测结果、所述文本预测结果和所述多模态预测结果的权重；基于预设权重调整规则，对所述权重进行调整，得到目标预测结果。
