有效
文本处理、模型训练方法、装置、计算机设备和存储介质
刘知远、苏裕胜、韩旭、张正彦、林衍凯、李鹏、孙茂松、周杰
清华大学
摘要
本申请涉及一种文本处理、模型训练方法、装置、计算机设备和存储介质。文本处理方法包括:获取待处理的目标文本,对目标文本进行编码,得到目标文本编码向量;获取目标文本中的目标实体,确定目标实体对应的第一关联实体;根据第一关联实体的实体表示向量以及对应的注意力权重,确定目标实体对应的目标知识表示向量;将目标文本编码向量与目标实体对应的目标知识表示向量进行融合处理,得到目标融合结果;根据目标融合结果确定目标文本对应的文本处理结果。本申请实施例的文本处理结果可以是基于人工智能的文本处理模型处理得到的,采用本方法能够提高得到的文本处理结果的准确度。
1.一种文本处理方法,其特征在于,所述方法包括:获取待处理的目标文本,对所述目标文本进行编码,得到目标文本编码向量,所述目标文本编码向量包括所述目标文本对应的目标语义向量;获取所述目标文本中的目标实体,确定所述目标实体对应的第一关联实体;根据所述第一关联实体的实体表示向量以及对应的注意力权重,确定所述目标实体对应的目标知识表示向量,其中,所述注意力权重根据所述目标语义向量与关联关系表示向量之间的关联度得到,所述关联关系表示向量为表示实体关联关系的向量;将所述目标文本编码向量与所述目标实体对应的目标知识表示向量进行融合处理,得到目标融合结果;根据所述目标融合结果确定所述目标文本对应的文本处理结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一关联实体的实体表示向量以及对应的注意力权重,确定所述目标实体对应的目标知识表示向量包括:获取所述第一关联实体与所述目标实体组成的关系网络图;对于所述关系网络图中的网络图实体,获取表示所述网络图实体与邻接实体的关联关系的关联关系表示向量;根据所述关联关系表示向量与所述目标语义向量得到向量关联度,根据所述向量关联度确定所述邻接实体对应的注意力权重;根据所述邻接实体对应的注意力权重以及所述邻接实体的实体表示向量,确定所述网络图实体对应的目标知识表示向量;从所述关系网络图的各个网络图实体对应的目标知识表示向量中,提取所述目标实体对应的目标知识表示向量。
3.根据权利要求2所述的方法,其特征在于,所述网络图实体对应的目标知识表示向量是知识向量确定模型输出的,所述知识向量确定模型包括至少一个目标隐层,所述根据所述邻接实体对应的注意力权重以及所述邻接实体的实体表示向量,确定所述网络图实体对应的目标知识表示向量包括:将所述邻接实体的实体表示向量以及所述关联关系表示向量输入到所述目标隐层中进行处理,得到所述网络图实体对应的第一知识表示向量;根据所述网络图实体对应的第一知识表示向量以及对应的所述邻接实体对应的注意力权重,确定所述网络图实体对应的目标知识表示向量。
4.根据权利要求3所述的方法,其特征在于,所述将所述邻接实体的实体表示向量以及所述关联关系表示向量输入到所述目标隐层中进行处理,得到所述网络图实体对应的第一知识表示向量包括:根据所述网络图实体与所述邻接实体之间的实体关联关系确定目标计算方向,所述目标计算方向为相加或者相减;根据所述目标计算方向对所述邻接实体的实体表示向量以及所述关联关系表示向量进行计算,得到所述网络图实体对应的计算表示向量;利用所述目标隐层中的隐层参数对所述计算表示向量进行处理,得到所述网络图实体对应的第一知识表示向量。
5.根据权利要求4所述的方法,其特征在于,所述利用所述目标隐层中的隐层参数对所述计算表示向量进行处理,得到所述网络图实体对应的第一知识表示向量包括:获取所述知识向量确定模型中,所述目标隐层对应的上一隐层输出的,所述邻接实体对应的输出表示向量;所述目标隐层利用第一隐层参数对所述计算表示向量以及所述输出表示向量进行处理,得到所述网络图实体对应的第一知识表示向量。
6.根据权利要求2所述的方法,其特征在于,所述网络图实体对应的目标知识表示向量是知识向量确定模型输出的,所述知识向量确定模型包括至少一个目标隐层,所述根据所述关联关系表示向量与所述目标语义向量得到向量关联度,根据所述向量关联度确定所述邻接实体对应的注意力权重包括:利用所述目标隐层中的第二隐层参数对所述关联关系表示向量进行处理,得到关键向量;利用所述目标隐层中的第三隐层参数对所述目标语义向量进行处理,得到查询向量;根据所述关键向量与所述查询向量计算得到向量关联度;根据所述向量关联度确定所述邻接实体对应的注意力权重,所述向量关联度与所述邻接实体对应的注意力权重成正相关关系。
7.根据权利要求1所述的方法,其特征在于,所述目标文本包括多个分词,所述目标文本编码向量包括分词编码向量序列,所述分词编码向量序列包括各个分词对应的分词编码向量;所述将所述目标文本编码向量与所述目标实体对应的目标知识表示向量进行融合处理,得到目标融合结果包括:根据所述目标实体对应的目标知识表示向量对目标分词对应的分词编码向量进行知识融入处理,得到所述目标分词对应的知识融入编码向量;利用所述目标分词对应的知识融入编码向量,更新所述分词编码向量序列中,所述目标分词对应的分词编码向量,得到更新后的分词编码向量序列;利用融合模型对所述更新后的分词编码向量序列以及所述目标语义向量进行融合处理,得到融合处理后的分词编码向量序列以及融合处理后的目标语义向量。
8.根据权利要求7所述的方法,其特征在于,所述根据所述目标融合结果确定所述目标文本对应的文本处理结果包括:将融合处理后的目标语义向量输入到已训练的文本分类模型中,得到所述目标文本对应的文本分类结果。
9.根据权利要求7所述的方法,其特征在于,所述根据所述目标实体对应的目标知识表示向量对目标分词对应的分词编码向量进行知识融入处理,得到所述目标分词对应的知识融入编码向量包括:根据所述目标实体对应的目标知识表示向量与目标分词对应的分词编码向量进行向量拼接处理,得到所述目标分词对应的知识融入编码向量。
10.一种文本处理模型训练方法,其特征在于,所述方法包括:获取训练文本以及所述训练文本对应的标准文本处理结果;将所述训练文本输入到文本编码模型中,得到训练文本编码向量,所述训练文本编码向量包括所述训练文本对应的训练语义向量;获取所述训练文本对应的训练实体,确定所述训练实体对应的第二关联实体;将所述第二关联实体对应的实体表示向量输入到知识向量确定模型中,根据所述实体表示向量以及对应的注意力权重,确定所述训练实体对应的训练知识表示向量,所述注意力权重根据所述训练语义向量与关联关系表示向量之间的关联度得到,所述关联关系表示向量为表示实体关联关系的向量;将所述训练文本编码向量与所述训练实体对应的训练知识表示向量输入到融合模型中进行融合处理,得到训练融合结果;根据任务处理模型对所述训练融合结果进行处理,得到训练处理结果;根据所述训练处理结果与所述标准文本处理结果调整所述任务处理模型的参数,或者调整所述任务处理模型以及语言模型的参数,所述语言模型包括所述文本编码模型、所述知识向量确定模型以及所述融合模型。
11.一种文本处理装置,其特征在于,所述装置包括:目标文本编码模块,用于获取待处理的目标文本,对所述目标文本进行编码,得到目标文本编码向量,所述目标文本编码向量包括所述目标文本对应的目标语义向量;第一实体获取模块,用于获取所述目标文本中的目标实体,确定所述目标实体对应的第一关联实体;目标知识表示向量确定模块,用于根据所述第一关联实体的实体表示向量以及对应的注意力权重,确定所述目标实体对应的目标知识表示向量,其中,所述注意力权重根据所述目标语义向量与关联关系表示向量之间的关联度得到,所述关联关系表示向量为表示实体关联关系的向量;第一融合模块,用于将所述目标文本编码向量与所述目标实体对应的目标知识表示向量进行融合处理,得到目标融合结果;文本处理结果确定模块,用于根据所述目标融合结果确定所述目标文本对应的文本处理结果。
12.根据权利要求11所述的装置,其特征在于,所述目标知识表示向量确定模块包括:关系网络图获取单元,用于获取所述第一关联实体与所述目标实体组成的关系网络图;关联关系表示向量获取单元,用于对于所述关系网络图中的网络图实体,获取表示所述网络图实体与邻接实体的关联关系的关联关系表示向量;注意力权重确定单元,用于根据所述关联关系表示向量与所述目标语义向量得到向量关联度,根据所述向量关联度确定所述邻接实体对应的注意力权重;目标知识表示向量确定单元,用于根据所述邻接实体对应的注意力权重以及所述邻接实体的实体表示向量,确定所述网络图实体对应的目标知识表示向量;提取单元,用于从所述关系网络图的各个网络图实体对应的目标知识表示向量中,提取所述目标实体对应的目标知识表示向量。
13.一种文本处理模型训练装置,其特征在于,所述装置包括:训练文本获取模块,用于获取训练文本以及所述训练文本对应的标准文本处理结果;训练文本编码向量得到模块,用于将所述训练文本输入到文本编码模型中,得到训练文本编码向量,所述训练文本编码向量包括所述训练文本对应的训练语义向量;第二实体获取模块,用于获取所述训练文本对应的训练实体,确定所述训练实体对应的第二关联实体;训练知识表示向量确定模块,用于将所述第二关联实体对应的实体表示向量输入到知识向量确定模型中,根据所述实体表示向量以及对应的注意力权重,确定所述训练实体对应的训练知识表示向量,所述注意力权重根据所述训练语义向量与关联关系表示向量之间的关联度得到,所述关联关系表示向量为表示实体关联关系的向量;训练融合结果得到模块,用于将所述训练文本编码向量与所述训练实体对应的训练知识表示向量输入到融合模型中进行融合处理,得到训练融合结果;训练处理结果得到模块,用于根据任务处理模型对所述训练融合结果进行处理,得到训练处理结果;调整模块,用于根据所述训练处理结果与所述标准文本处理结果调整所述任务处理模型的参数,或者调整所述任务处理模型以及语言模型的参数,所述语言模型包括所述文本编码模型、所述知识向量确定模型以及所述融合模型。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
暂无引用专利



