有效
一种基于迭代图神经网络的事件因果识别方法、装置、设备及介质
成清、曾泽凡、刘忠、范长俊、胡星辰、黄魁华、罗志浩、梁星星
中国人民解放军国防科技大学
摘要
本申请公开了一种基于迭代图神经网络的事件因果识别方法、装置、设备及介质,涉及人工智能与机器学习技术领域,包括:对输入文本进行句子编码与事件提取,得到句子嵌入和事件提及结果。接着,利用多粒度语境感知机制生成事件的句子级嵌入和文档级嵌入。然后,构建初始事件因果图结构,并对其进行编码得到图嵌入。最后,通过迭代图优化机制结合句子级嵌入、文档级嵌入和图嵌入,动态更新事件因果图结构,实现事件因果关系的精准识别。通过多粒度语境感知机制和迭代图优化机制,有效整合了局部和全局语境信息,提高了文档级事件因果关系识别的准确性和鲁棒性,尤其在处理长文本和跨句子因果关系时表现出色,能够更好地适应复杂文档结构。
1.一种基于迭代图神经网络的事件因果识别方法,其特征在于,包括:对输入文本进行句子编码与事件提取,得到句子嵌入结果和事件提及结果;将所述句子嵌入结果和所述事件提及结果输入预设事件因果识别模型中,得到事件因果关系识别结果,其中所述预设事件因果识别模型包括多粒度语境感知编码模块、事件因果图编码模块和迭代图优化模块;所述将所述句子嵌入结果和所述事件提及结果输入预设事件因果识别模型中,得到事件因果关系识别结果的步骤,包括:通过所述多粒度语境感知编码模块对所述句子嵌入结果和所述事件提及结果进行编码处理,得到事件的句子级嵌入结果和文档级嵌入结果,其中所述多粒度语境感知编码模块采用句子内自注意力聚合与文档级跨句注意力加权的双层级编码方式,分别捕捉事件的局部句子语境和全局文档语境;构建初始事件因果图结构;通过所述事件因果图编码模块对所述初始事件因果图结构进行编码处理,得到图嵌入结果;通过所述迭代图优化模块对所述句子级嵌入结果、所述文档级嵌入结果和所述图嵌入结果进行处理,得到事件因果关系识别结果。
2.如权利要求1所述的方法,其特征在于,所述对输入文本进行句子编码与事件提取,得到句子嵌入结果和事件提及结果的步骤,包括:对输入文本进行分词处理,划分得到多个文本片段;基于标点符号和语义停顿规则将所述文本片段进行分割,得到多个独立句子;在每个所述独立句子中识别包括动作、状态变化或事件触发特征的文本片段,标记为潜在事件;在每个潜在事件对应的文本片段两侧插入事件标记,得到标记后的句子;将每个所述标记后的句子输入预设语言模型的编码器对每个句子的令牌进行语义编码,得到每个句子中各令牌的向量表示,并整合形成句子嵌入结果;提取每个所述标记后的句子中起始事件标记和结束事件标记之间的文本内容,作为事件提及结果,并记录每个所述事件提及结果在对应句子中的位置索引和字符长度。
3.如权利要求1所述的方法,其特征在于,所述通过所述多粒度语境感知编码模块对所述句子嵌入结果和所述事件提及结果进行编码处理,得到事件的句子级嵌入结果和文档级嵌入结果的步骤,包括:通过所述多粒度语境感知编码模块提取每个所述事件提及结果对应的令牌向量;将所述令牌向量作为查询向量,对应句子的所述句子嵌入结果作为键向量和值向量,通过自注意力机制计算事件与对应句子内各令牌的语义关联权重;基于所述语义关联权重对对应句子的所述句子嵌入结果进行加权聚合,得到事件特定句子语义向量;对所述事件特定句子语义向量和所述事件提及结果的令牌向量进行拼接和映射,得到事件的句子级嵌入结果;将所有所述句子级嵌入结果输入双向长短期记忆网络,获取每个句子的全局语义隐状态,并作为全局句子嵌入;构建跨句子注意力掩码矩阵;通过所述跨句子注意力掩码矩阵计算每个句子和其他句子之间的有效注意力权重;基于所述有效注意力权重对所有所述全局句子嵌入进行加权求和,得到句子的文档级上下文向量;对所述全局句子嵌入和所述文档级上下文向量进行拼接和转换,得到事件的文档级嵌入结果。
4.如权利要求1所述的方法,其特征在于,所述构建初始事件因果图结构的步骤,包括:对每个所述句子进行语义解析,生成语义图,其中所述语义图包括节点、边和边类型,所述节点包括事件节点和非事件节点;从所述语义图中筛选出标记为事件类型的节点作为事件节点,并提取每个所述事件节点的语义描述信息和关联边信息;对所述事件节点之间连接路径按照预设有效边类型集合进行筛选,得到候选路径,其中预设有效边类型集合包括手段类、修饰类、运算符类、介词类、核心角色类和情境角色类对应的边类型;当所述候选路径的长度不超过第一预设跳数阈值,或当所述候选路径的长度不超过第二预设跳数阈值且路径中包括显式因果线索词或因果相关边类型时,在对应事件节点间添加有向边,所述因果相关边类型包括原因、因果关系、条件、目的、结果及效果,所述有向边包括单向有向边或双向有向边;基于所述有向边和对应事件节点构建句子级事件因果子图;对所有所述句子级事件因果子图进行合并,生成初始事件因果图结构。
5.如权利要求1所述的方法,其特征在于,所述通过所述事件因果图编码模块对所述初始事件因果图结构进行编码处理,得到图嵌入结果的步骤,包括:通过所述事件因果图编码模块读取所述初始事件因果图结构的节点与边信息,生成邻接矩阵并确定每个事件节点的邻居节点集合;按预设维度生成每个事件节点的初始嵌入向量;初始化图注意力网络的注意力头数量、可学习权重矩阵和激活函数;将所述初始嵌入向量和所述邻接矩阵输入所述图注意力网络中进行计算,得到每个事件节点和邻居节点间的原始注意力系数;通过softmax函数对所述原始注意力系数进行归一化,得到归一化注意力权重;基于所述归一化注意力权重对邻居节点的初始嵌入向量进行加权聚合,得到节点聚合特征向量;对所有注意力头的所述节点聚合特征向量进行拼接并线性变换,得到每个事件节点的图嵌入结果。
6.如权利要求1所述的方法,其特征在于,所述通过所述迭代图优化模块对所述句子级嵌入结果、所述文档级嵌入结果和所述图嵌入结果进行处理,得到事件因果关系识别结果的步骤,包括:通过所述迭代图优化模块对每个事件的所述句子级嵌入结果、所述文档级嵌入结果和所述图嵌入结果进行加权求和,得到初始事件增强表示结果;将任意两个事件的所述初始事件增强表示结果拼接为事件对联合表示;将所述事件对联合表示输入多层感知机模型,输出对应事件对的前向因果概率、反向因果概率和无因果概率;将所述前向因果概率、反向因果概率和无因果概率和预设概率阈值进行对比,确定有效因果关系类型;将所述有效因果关系类型输入初始事件因果图结构进行更新,得到更新事件因果图结构;将所述更新事件因果图结构输入图注意力网络重新编码,得到更新图嵌入结果;融合所述句子级嵌入结果、所述文档级嵌入结果和所述更新图嵌入结果通过线性变换统一维度,得到更新事件表示结果;直至满足所述更新事件表示结果小于预设误差阈值,输出目标事件因果图结构;基于所述目标事件因果图结构,提取所有事件对的因果关系类型,输出事件因果关系识别结果。
7.如权利要求6所述的方法,其特征在于,所述将所述事件对联合表示输入多层感知机模型,输出对应事件对的前向因果概率、反向因果概率和无因果概率的步骤,包括:将所述事件对联合表示输入第一全连接层通过线性变换,得到中间特征向量;对所述中间特征向量通过非线性激活函数,得到激活后的特征向量;将所述激活后的特征向量输入第二全连接层,输出三类关系原始分数,所述三类关系包括正向因果关系、反向因果关系和无因果关系;对所述三类关系原始分数应用softmax函数,得到对应事件对的前向因果概率、反向因果概率和无因果概率。
8.一种基于迭代图神经网络的事件因果识别装置,其特征在于,所述装置包括:文本处理模块,用于对输入文本进行句子编码与事件提取,得到句子嵌入结果和事件提及结果;识别模块,用于将所述句子嵌入结果和所述事件提及结果输入预设事件因果识别模型中,得到事件因果关系识别结果,其中所述预设事件因果识别模型包括多粒度语境感知编码模块、事件因果图编码模块和迭代图优化模块;还用于通过所述多粒度语境感知编码模块对所述句子嵌入结果和所述事件提及结果进行编码处理,得到事件的句子级嵌入结果和文档级嵌入结果,其中所述多粒度语境感知编码模块采用句子内自注意力聚合与文档级跨句注意力加权的双层级编码方式,分别捕捉事件的局部句子语境和全局文档语境;构建初始事件因果图结构;通过所述事件因果图编码模块对所述初始事件因果图结构进行编码处理,得到图嵌入结果;通过所述迭代图优化模块对所述句子级嵌入结果、所述文档级嵌入结果和所述图嵌入结果进行处理,得到事件因果关系识别结果。
9.一种基于迭代图神经网络的事件因果识别设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行的基于迭代图神经网络的事件因果识别程序,所述基于迭代图神经网络的事件因果识别程序配置为实现如权利要求1-7中任一项所述的基于迭代图神经网络的事件因果识别方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有基于迭代图神经网络的事件因果识别程序,所述基于迭代图神经网络的事件因果识别程序被处理器执行时实现如权利要求1-7任一项所述的基于迭代图神经网络的事件因果识别方法的步骤。



