1.一种基于端到端机器阅读理解的联合事件检测抽取方法,其特征在于:S1:数据预处理,对数据集进行分析,遍历其中所包含的所有论元角色,构成论元角色集合;针对不同的论元,设计不同的问题模板;S2:问答对的生成,将事件抽取转化为机器阅读理解,根据S1步骤中设计好的模板生成问题;S3:将给定的句子和生成的问题输入到基于端到端机器阅读理解的联合事件检测抽取的模型中;所述模型包括四个部分:编码、事件分类器、机器阅读器和联合训练;S4:启发式后处理;所述步骤S3具体包括以下步骤:S3.1:将输入到模型中的句子、问题进行拼接,并进行嵌入式编码;S3.2:通过事件分类器预测给定句子的事件类型;S3.3:在机器阅读器中,利用由粗粒度到细粒度的注意力机制计算事件类型和论元角色之间的关联关系,基于关联关系的计算结果对答案进行预测,之后将答案转化为抽取出的论元;S3.4:状态感知的联合训练,即将事件分类器和机器阅读器进行联合训练;所述步骤S3.3具体包含以下步骤:S3.3.1:利用由粗到细的注意力机制来抽取事件类型和论元角色之间的关联关系;其中,粗粒度的注意力机制作用于步骤S3.2中事件分类器输出的结果,以使模型能够关注特定的事件类型,粗粒度的注意力机制通过一个线性层实现, 作为事件分类器的输出,粗粒度的注意力计算如下:式中, 和 是可训练参数;接着,将粗粒度的注意力的输出结果 和BERT编码的语义表示 ,输入到细粒度的注意力机制中,计算事件类型和输入句子中每个词向量的相似度:其中, 是可训练参数, 是由注意力机制计算的权重参数, 是句子中词的数量, 是激活函数, 是通过BERT编码器编码的第 个词的词向量所述步骤S3.3还包含以下步骤:S3.3.2:将事件抽取转化为机器阅读理解任务后,通过回答问题的方式来抽取句子中的论元,机器阅读理解模型的答案预测方式为预测答案开始和结束位置的概率,其中,答案预测器采用Softmax来计算最终输出,选用交叉熵损失作为机器阅读器的损失函数,机器阅读理解的损失计算如下:其中, N 是训练样本的数量, 和 分别代表样本正确的开始和结束位置, 表示开始位置的概率, 表示结束位置的概率。
2.根据权利要求1所述的基于端到端机器阅读理解的联合事件检测抽取方法,其特征在于:所述步骤S2还包括,针对数据集中出现的所有论元进行遍历提问,具体为:给定一句话后,首先判断它是否描述事件;如果描述事件,对数据集中的所有论元进行遍历提问,依据问题模板生成问题;如果给定句子中包含该论元,则将论元提及标注为问题的答案,否则答案为空;如果句子不描述事件,随机选择预先定义好数量的论元生成问题,这些问题的答案标注为空的列表。
3.根据权利要求2所述的基于端到端机器阅读理解的联合事件检测抽取方法,其特征在于:所述步骤S3.1中,编码是指将高维离散空间的词映射到低维连续空间向量的嵌入编码,步骤S3.1具体为:给定问题 Q 和句子S,用特殊符号[CLS]和[SEP]拼接,输入形式为[CLS] Q [SEP] S [SEP];将序列[CLS] Q [SEP] S [SEP]中每一个字的字向量、片段向量和位置向量的和作为嵌入编码输入到BERT的Transformer编码块中得到语义表示:其中, 是指隐藏层层数, T 是指Transformer编码块的数量。
4.根据权利要求3所述的基于端到端机器阅读理解的联合事件检测抽取方法,其特征在于:所述步骤S3.2具体为:将编码器的输出依次输入到最大池化层和dropout层中,接着利用一个线性分类器和Softmax层来计算事件类型 的概率:其中, 和 是可训练参数, 是线性层的输出结果, 是事件类型的数量;利用负对数概率作为损失函数,其中 代表事件分类模块中的参数集合:其中, N 是训练样本的数量, 是标注的事件类型, y i 是预测的事件类型。
5.根据权利要求4所述的基于端到端机器阅读理解的联合事件检测抽取方法,其特征在于:所述步骤S3.4中,在事件分类器和机器阅读器中分别设置状态感知权重,具体如下:当计算事件分类损失时,对数据集中的以下三种情况赋予了不同的权重:当句子不描述事件时权重为1;当句子描述事件,但是对应论元的问题没有答案时权重为2;当句子描述事件且对应论元的问题有答案时权重为3;在计算机器阅读器的损失时,交叉熵损失函数的权重参数设置为 ;用 表示事件分类的损失, 表示机器阅读理解的损失,则联合损失计算如下:其中, 用于控制机器阅读理解损失的权重。
6.一种基于端到端机器阅读理解的联合事件检测抽取装置,用于执行如权利要求1~5任意一项所述的基于端到端机器阅读理解的联合事件检测抽取方法,其特征在于,包括:数据预处理模块,用于对数据集进行分析,遍历其中所包含的所有论元角色,构成论元角色集合,针对不同的论元设计不同的问题模板;问答对生成模块,用于将时间抽取转化为机器阅读理解,根据设计好的问题模板生成问题;输入模块,用于将给定的句子和生成的问题输入到基于端到端机器阅读理解的联合事件检测抽取的模型中;分析模块,用于进行启发式后处理。
7.根据权利要求6所述的基于端到端机器阅读理解的联合事件检测抽取装置,其特征在于:所述基于端到端机器阅读理解的联合事件检测抽取的模型包括:编码器:将输入到模型中的句子、问题进行拼接,并进行嵌入式编码;事件分类器:预测给定句子的事件类型;机器阅读器:利用由粗粒度到细粒度的注意力机制计算事件类型和论元角色之间的关联关系,基于关联关系的计算结果对答案进行预测,之后将答案转化为抽取出的论元;联合训练模块:对事件分类器和机器阅读器进行联合训练。