用于知识图谱未知实体推理的模型蒸馏方法、装置、设备及介质

1.一种用于知识图谱未知实体推理的模型蒸馏方法，所述方法应用于智能问答应用场景，其特征在于，所述方法包括：接收知识图谱查询请求，将所述知识图谱查询请求转换为对应的文本提示和结构化查询；调用大语言模型对所述文本提示中的主语实体和谓语关系进行语义编码，生成语义实体嵌入和语义关系嵌入；将所述语义实体嵌入和所述语义关系嵌入和所述结构化查询中的结构化嵌入进行融合，得到融合后的查询表示；利用学生模型对所述融合后的查询表示进行预测，得到初始候选实体集合和对应的预测分数；将所述文本提示、所述初始候选实体集合和对应的预测分数构造为推理指令，并将所述推理指令发送至所述大语言模型，以使所述大语言模型对所述初始候选实体集合进行合理性评估，并反馈新增候选实体和对应的置信度，其中所述新增候选实体为未出现在知识图谱已知实体集中，且与所述知识图谱查询请求的语义逻辑一致的未知候选实体；将所述初始候选实体集合、所述预测分数、所述新增候选实体和所述置信度进行合并，形成软标签分布；基于所述软标签分布和预设损失函数联合优化所述学生模型，得到优化后的知识图谱蒸馏模型；所述基于所述软标签分布和预设损失函数联合优化所述学生模型，得到优化后的知识图谱蒸馏模型的步骤之后，包括；将所述融合后的查询表示输入所述优化后的知识图谱蒸馏模型，经嵌入层非线性变换、推理层关联计算、输出层概率转换后，得到候选实体集合及对应预测分数，按预测分数从高到低排序并筛选前预设数量的实体作为答案反馈给用户；所述将所述初始候选实体集合、所述预测分数、所述新增候选实体和所述置信度进行合并，形成软标签分布的步骤包括：将所述初始候选实体集合中的每个实体与其对应的预测分数进行关联，形成已知实体-分数键值对；将所述新增候选实体中的每个实体与其对应的置信度进行关联，形成新增实体-置信度键值对；合并所述已知实体-分数键值对和所述新增实体-置信度键值对，统一整合为包含所有候选实体及其对应权重的集合，该集合为软标签分布。 2.如权利要求1所述的方法，其特征在于，所述接收知识图谱查询请求，将所述知识图谱查询请求转换为对应的文本提示和结构化查询的步骤，包括：对所述知识图谱查询请求进行解析，提取主语实体和谓词关系；根据所述主语实体和所述谓词关系构建第一结构化查询，其中所述第一结构化查询为三元组形式；若所述知识图谱查询请求中存在时间戳，则构建第二结构化查询，其中所述第二结构化查询为包括所述时间戳的四元组形式；将所述主语实体、所述谓词关系和或所述时间戳按照自然语言语序组织，形成文本提示。 3.如权利要求1所述的方法，其特征在于，所述调用大语言模型对所述文本提示中的主语实体和谓语关系进行语义编码，生成语义实体嵌入和语义关系嵌入的步骤，包括：从所述文本提示中提取主语实体片段和谓语关系片段；将所述主语实体片段和谓语关系片段分别封装为实体编码请求和关系编码请求，并发送至大语言模型进行处理以使所述大语言模型反馈原始实体编码向量和原始关系编码向量；通过预设投影矩阵对所述原始实体编码向量和原始关系编码向量进行维度对齐，得到维度对齐后的编码向量；对所述维度对齐后的编码向量进行归一化处理，得到语义实体嵌入和语义关系嵌入。 4.如权利要求1所述的方法，其特征在于，所述将所述语义实体嵌入和所述语义关系嵌入和所述结构化查询中的结构化嵌入进行融合，得到融合后的查询表示的步骤，包括：提取所述结构化查询对应的结构化嵌入，其中所述结构化嵌入基于知识图谱的历史事实集合生成；通过预设可学习投影矩阵分别对所述语义实体嵌入、所述语义关系嵌入和所述结构化嵌入进行维度统一处理，得到第一嵌入、第二嵌入和第三嵌入，其中所述第一嵌入对应所述语义实体嵌入，所述第二嵌入对应所述语义关系嵌入，所述第三嵌入对应所述结构化嵌入；基于所述语义实体嵌入、所述语义关系嵌入和所述结构化嵌入进行计算得到第一相似度和第二相似度，其中所述第一相似度为所述语义实体嵌入和所述结构化嵌入的语义结构相似度，所述第二相似度为所述语义关系嵌入和所述结构化嵌入的关系结构相似度；根据所述第一相似度和所述第二相似度分配动态权重；根据所述动态权重对所述第一嵌入、第二嵌入和第三嵌入进行元素级加权融合，得到融合后的查询表示。 5.如权利要求1所述的方法，其特征在于，所述利用学生模型对所述融合后的查询表示进行预测，得到初始候选实体集合和对应的预测分数的步骤，包括：将所述融合后的查询表示输入学生模型的嵌入层，生成高维特征向量；将所述高维特征向量输入学生模型的推理层，结合知识图谱的已知事实关系进行关联计算，得到相似度得分；基于所述相似度得分通过学生模型的输出层采用Softmax函数，计算知识图谱中所有候选实体的预测概率；按预设规则对候选实体排序，选取排名前预设数量的实体组成初始候选实体集合；提取所述初始候选实体集合中每个实体对应的预测概率，并将所述预测概率作为对应实体的预测分数。 6.如权利要求1所述的方法，其特征在于，所述将所述文本提示、所述初始候选实体集合和对应的预测分数构造为推理指令，并将所述推理指令发送至所述大语言模型，以使所述大语言模型对所述初始候选实体集合进行合理性评估，并反馈新增候选实体和对应的置信度的步骤，包括：提取所述文本提示中的核心查询要素，并和所述初始候选实体集合与对应的预测分数进行关联绑定，得到关联绑定后的信息，其中所述核心查询要素包括主语实体、关系类型和查询缺口；基于所述关联绑定后的信息按预设逻辑构造推理指令；对所述推理指令进行语法规范化处理，得到规范化后的推理指令；通过预设数据传输通道将所述规范化后的推理指令发送至所述大语言模型以使所述大语言模型反馈响应结果；从所述响应结果分离出初始候选实体的合理性评估列表和初始新增候选实体集合；将所述大语言模型返回的所述初始新增候选实体集合输入学生模型，获得对应的预测分数，并将所述预测分数反馈至大语言模型以触发第二轮推理更新，得到更新新增候选实体集合；对所述合理性评估列表进行解析，得到筛选后的初始候选实体；对所述更新新增候选实体集合中的置信度进行有效性校验，得到新增候选实体和对应的置信度。 7.如权利要求1所述的方法，其特征在于，所述基于所述软标签分布和预设损失函数联合优化所述学生模型，得到优化后的知识图谱蒸馏模型的步骤，包括：确定预设损失函数的组成，其中所述预设损失函数包括蒸馏损失、结构损失和语义匹配损失；采用胡贝尔损失函计算所述学生模型当前预测结果与所述软标签分布之间的蒸馏损失；采用二元交叉熵损失函数计算所述学生模型基于知识图谱结构化知识推理的结构损失；通过余弦相似度计算所述语义实体嵌入、所述语义关系嵌入与学生模型初始嵌入之间的语义匹配损失；引入预设加权系数对所述蒸馏损失、所述结构损失和所述语义匹配损失进行加权求和，得到总损失函数；采用Adam优化器最小化所述总损失函数，按预设学习率迭代更新学生模型的参数，直至达到最大迭代次数，得到优化后的知识图谱蒸馏模型。 8.一种用于知识图谱未知实体推理的模型蒸馏装置，其特征在于，所述装置包括：转换模块，用于接收知识图谱查询请求，将所述知识图谱查询请求转换为对应的文本提示和结构化查询；编码模块，用于调用大语言模型对所述文本提示中的主语实体和谓语关系进行语义编码，生成语义实体嵌入和语义关系嵌入；融合模块，用于将所述语义实体嵌入和所述语义关系嵌入和所述结构化查询中的结构化嵌入进行融合，得到融合后的查询表示；预测模块，用于利用学生模型对所述融合后的查询表示进行预测，得到初始候选实体集合和对应的预测分数；接收模块，用于将所述文本提示、所述初始候选实体集合和对应的预测分数构造为推理指令，并将所述推理指令发送至所述大语言模型，以使所述大语言模型对所述初始候选实体集合进行合理性评估，并反馈新增候选实体和对应的置信度，其中所述新增候选实体为未出现在知识图谱已知实体集中，且与所述知识图谱查询请求的语义逻辑一致的未知候选实体；合并模块，用于将所述初始候选实体集合、所述预测分数、所述新增候选实体和所述置信度进行合并，形成软标签分布；还用于将所述初始候选实体集合中的每个实体与其对应的预测分数进行关联，形成已知实体-分数键值对；将所述新增候选实体中的每个实体与其对应的置信度进行关联，形成新增实体-置信度键值对；合并所述已知实体-分数键值对和所述新增实体-置信度键值对，统一整合为包含所有候选实体及其对应权重的集合，该集合为软标签分布；优化模块，用于基于所述软标签分布和预设损失函数联合优化所述学生模型，得到优化后的知识图谱蒸馏模型；还用于将所述融合后的查询表示输入所述优化后的知识图谱蒸馏模型，经嵌入层非线性变换、推理层关联计算、输出层概率转换后，得到候选实体集合及对应预测分数，按预测分数从高到低排序并筛选前预设数量的实体作为答案反馈给用户。 9.一种用于知识图谱未知实体推理的模型蒸馏设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的用于知识图谱未知实体推理的模型蒸馏程序，所述用于知识图谱未知实体推理的模型蒸馏程序配置为实现如权利要求1-7中任一项所述的用于知识图谱未知实体推理的模型蒸馏方法的步骤。 10.一种存储介质，其特征在于，所述存储介质上存储有用于知识图谱未知实体推理的模型蒸馏程序，所述用于知识图谱未知实体推理的模型蒸馏程序被处理器执行时实现如权利要求1-7任一项所述的用于知识图谱未知实体推理的模型蒸馏方法的步骤。