有效
文本中事件角色的处理方法、装置、设备及存储介质
刘知远、王晓智、王子奇、韩旭、李涓子、李鹏、孙茂松、周杰、任翔
清华大学
摘要
本发明提供了一种文本中事件角色的处理方法、装置、电子设备及存储介质;方法包括:通过角色处理模型中的编码器对文本中的单词进行编码,得到文本中单词的编码信息;通过编码器对文本中单词的编码信息进行特征聚合,得到所述文本的聚合特征;通过所述角色处理模型中的注意力模型,将至少一个事件角色的多个上层概念、以及所述文本中单词的编码信息进行关联,得到所述文本面向所述事件角色的语义向量;通过所述角色处理模型中的分类器对至少一个所述文本面向所述事件角色的语义向量、以及所述文本的聚合特征进行分类,得到对应所述文本的事件角色。通过本发明,能够根据事件角色的上层概念,自动并准确地抽取文本中的事件角色。
1.一种文本中事件角色的处理方法,其特征在于,所述方法包括:通过角色处理模型中的编码器对文本中的单词进行编码,得到所述文本中单词的编码信息;通过所述编码器对所述文本中单词的编码信息进行特征聚合,得到所述文本的聚合特征;通过所述角色处理模型中的注意力模型,将至少一个事件角色的多个上层概念以及所述文本中单词的编码信息进行编码,得到所述文本中单词相对于所述上层概念的隐藏状态;根据所述文本中单词相对于所述上层概念的隐藏状态、以及所述注意力模型中的参数可学习矩阵,确定所述文本中单词与所述上层概念的相关度;根据所述文本中单词与所述上层概念的相关度以及所述文本的编码信息,确定所述文本面向所述事件角色的语义向量;通过所述角色处理模型中的分类器对至少一个所述文本面向所述事件角色的语义向量、以及所述文本的聚合特征进行分类,得到对应所述文本的事件角色。
2.根据权利要求1所述的方法,其特征在于,所述通过角色处理模型中的编码器对文本中的单词进行编码,得到所述文本中单词的编码信息,包括:获取所述文本的词向量以及位置向量;通过所述编码器对所述文本的词向量以及位置向量进行编码,得到所述文本中每个单词的隐藏向量;其中,所述位置向量包括所述文本中触发词与实体词的位置信息。
3.根据权利要求2所述的方法,其特征在于,所述通过所述编码器对所述文本的词向量以及位置向量进行编码,得到所述文本中每个单词的隐藏向量,包括:将所述文本的词向量以及位置向量进行相加,得到和向量;通过所述编码器对所述和向量进行编码,得到所述文本中每个单词的隐藏向量。
4.根据权利要求1所述的方法,其特征在于,所述通过角色处理模型中的编码器对文本中的单词进行编码,得到所述文本中单词的编码信息,包括:获取所述文本的词嵌入向量、位置向量以及事件类型向量;通过所述编码器对所述词嵌入向量、位置向量以及事件类型向量进行编码,得到所述文本中每个单词的隐藏向量。
5.根据权利要求1所述的方法,其特征在于,所述通过所述编码器对所述文本中单词的编码信息进行特征聚合,得到所述文本的聚合特征,包括:获取所述文本的编码信息中触发词和实体词的位置;根据所述触发词和实体词的位置,对所述文本的编码信息中第一个向量至第m个向量进行融合,得到第一融合向量;对所述第m个向量至第k个向量进行融合,得到第二融合向量;对所述第k个向量至第n个向量进行融合,得到第三融合向量;对所述第一融合向量、所述第二融合向量以及所述第三融合向量进行拼接,得到所述文本的聚合特征;其中,所述第m个向量和第k个向量为所述触发词或实体词,1<m<k<n,且n小于或者等于所述文本的向量总数,m、k、n为自然数。
6.根据权利要求1所述的方法,其特征在于,所述通过所述角色处理模型中的注意力模型,将至少一个事件角色的多个上层概念以及所述文本中单词的编码信息进行编码,得到所述文本中单词相对于所述上层概念的隐藏状态,包括:对所述文本中单词的编码信息以及所述上层概念进行拼接,得到拼接向量;对所述角色处理模型中的注意力模型中的参数可学习矩阵、所述拼接向量进行编码,得到所述文本中单词相对于所述上层概念的隐藏状态。
7.根据权利要求1所述的方法,其特征在于,所述根据所述文本中单词相对于所述上层概念的隐藏状态、以及所述注意力模型中的参数可学习矩阵,确定所述文本中单词与所述上层概念的相关度,包括:将所述单词与所述上层概念的相关度与所述参数可学习矩阵的乘积确定为第一乘积;基于所述参数可学习矩阵,对各单词与所述上层概念的相关度进行加权求和,得到第二乘积;将所述第一乘积与所述第二乘积的比值确定为所述文本中单词与所述上层概念的相关度。
8.根据权利要求1所述的方法,其特征在于,所述根据所述文本中单词与所述上层概念的相关度以及所述文本的编码信息,确定所述文本面向所述事件角色的语义向量,包括:根据多个所述文本中单词与所述上层概念的相关度,确定所述文本中单词面向所述事件角色的相关度;根据所述文本中单词面向所述事件角色的相关度以及所述文本中单词的编码信息,确定所述文本面向所述事件角色的语义向量。
9.根据权利要求8所述的方法,其特征在于,所述根据多个所述文本中单词与所述上层概念的相关度,确定所述文本中单词面向所述事件角色的相关度,包括:获取多个所述文本中单词与所述上层概念的相关度的平均值,将所述平均值确定为所述文本中单词面向所述事件角色的相关度;所述根据所述文本中单词面向所述事件角色的相关度以及所述文本中单词的编码信息,确定所述文本面向所述事件角色的语义向量,包括:基于所述文本中单词的编码信息,对所述文本中单词面向所述事件角色的相关度进行加权求和,得到所述文本面向所述事件角色的语义向量。
10.根据权利要求1所述的方法,其特征在于,所述通过所述角色处理模型中的分类器对至少一个所述文本面向所述事件角色的语义向量、以及所述文本的聚合特征进行分类,得到对应所述文本的事件角色,包括:对所述文本面向所述事件角色的语义向量、以及所述文本的聚合特征进行拼接,得到拼接特征;通过所述分类器对所述拼接特征、以及所述事件角色进行分类处理,得到对应所述文本的事件角色概率;根据所述对应所述文本的事件角色概率,得到对应所述文本的事件角色。
11.根据权利要求1至10任一项所述的方法,其特征在于,所述方法还包括:通过所述分类器对至少一个文本样本面向所述事件角色的语义向量、以及文本样本的聚合特征进行分类,得到对应所述文本样本的事件角色概率;根据所述对应所述文本样本的事件角色概率,构建所述角色处理模型的损失函数;更新所述角色处理模型的参数直至所述损失函数收敛。
12.一种文本中事件角色的处理装置,其特征在于,所述装置包括:编码模块,用于通过角色处理模型中的编码器对文本中的单词进行编码,得到所述文本中单词的编码信息;通过所述编码器对所述文本中单词的编码信息进行特征聚合,得到所述文本的聚合特征;注意力模块,用于通过所述角色处理模型中的注意力模型,将至少一个事件角色的多个上层概念以及所述文本中单词的编码信息进行编码,得到所述文本中单词相对于所述上层概念的隐藏状态;根据所述文本中单词相对于所述上层概念的隐藏状态、以及所述注意力模型中的参数可学习矩阵,确定所述文本中单词与所述上层概念的相关度;根据所述文本中单词与所述上层概念的相关度以及所述文本的编码信息,确定所述文本面向所述事件角色的语义向量;分类模块,用于通过所述角色处理模型中的分类器对至少一个所述文本面向所述事件角色的语义向量、以及所述文本的聚合特征进行分类,得到对应所述文本的事件角色。
13.一种文本中事件角色的处理设备,其特征在于,所述设备包括:存储器,用于存储可执行指令;处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至11任一项所述的文本中事件角色的处理方法。
14.一种存储介质,其特征在于,存储有可执行指令,用于引起处理器执行时,实现权利要求1至11任一项所述的文本中事件角色的处理方法。
暂无引用专利



