1.一种事件抽取中融合语言信息微调预训练语言模型的方法,其特征在于,步骤包括:步骤S1. 语言信息获取:获取当前事件抽取任务所需融合的语言信息并进行编码,得到语言特征编码集合;步骤S2. 信息初始融合:获取待输入的初始词向量,将获取的所述初始词向量与所述语言特征编码集合进行初始融合,得到融合后词向量;步骤S3. 双模型编码:将所述初始词向量、融合后词向量分别输入一个预训练语言模型中以进行编码,其中将所述初始词向量输入第一预训练语言模型中,得到第一组单词表示,以及将所述融合后词向量输入至第二预训练语言模型中,得到第二组单词表示输出,所述第一预训练语言模型与所述第二预训练语言模型相互独立;步骤S4. 信息二次融合:将所述第一组单词表示、第二组单词表示进行二次融合,得到最终的单词表示,完成微调。
2.根据权利要求1所述的事件抽取中融合语言信息微调预训练语言模型的方法,其特征在于,所述步骤S1的步骤包括:步骤S101.预先获取各类型所需融合的语言信息,并对获取的语言信息进行统计、编码,构建形成特征编码字典;步骤S102.按照当前事件抽取任务所需融合的语言信息,从所述特征编码字典中获取对应的语言特征编码集合输出。
3.根据权利要求1所述的事件抽取中融合语言信息微调预训练语言模型的方法,其特征在于,所述步骤S2的步骤包括:步骤S201. 获取所述预训练语言模型中隐藏层的维度d model ;步骤S202. 在所述预训练语言模型的初始编码阶段,对于所述语言特征编码集合中各语言特征编码,分别使用具有所述d model 维度的向量计算用于表示所述语言特征编码的向量表示,即将所述语言特征编码投影到目标向量空间,得到语言特征向量集合;步骤S203. 将所述语言特征向量集合融入所述初始词向量中,得到所述融合后词向量。
4.根据权利要求3所述的事件抽取中融合语言信息微调预训练语言模型的方法,其特征在于,所述步骤S202中,所述语言特征向量的具体计算公式为:或所述步骤S202中,使用正弦和余弦函数交替生成所述向量表示中的维度信息,具体计算公式为:其中, i 为所述语言特征向量的维度, L_index 为需要表示的所述语言特征编码, n 为语言特征编码集合的长度, E i L-index 表示语言特征编码 L _ inde x 的向量表示的第 i 维信息。
5.根据权利要求3所述的事件抽取中融合语言信息微调预训练语言模型的方法,其特征在于,所述步骤S202中,使用极坐标方程表示所述语言特征向量的每一个维度的值,具体计算公式为:其中, i 为所述语言特征向量的维度, L _ index 为需要表示的所述语言特征编码, n 为语言特征编码集合的长度, E i L-index 表示语言特征编码 L _ index 的向量表示的第 i 维信息。
6.根据权利要求1~5中任意一项所述的事件抽取中融合语言信息微调预训练语言模型的方法,其特征在于:所述第一预训练语言模型、第二预训练语言模型为同一种预训练语言模型,或所述第一预训练语言模型、第二预训练语言模型采用不同的预训练语言模型。
7.根据权利要求1~5中任意一项所述的事件抽取中融合语言信息微调预训练语言模型的方法,其特征在于:所述步骤S4中进行二次融合时,具体将所述第一组单词表示、第二组单词表示进行拼接,得到最终的单词表示。
8.根据权利要求1~5中任意一项所述的事件抽取中融合语言信息微调预训练语言模型的方法,其特征在于:在事件检测阶段,按照步骤S1~步骤S4在所述预训练语言模型中融合第一语言信息,得到第一单词分布式表示,对所述第一单词分布式表示进行分类后得到触发词事件类型;在事件元素抽取阶段,按照步骤S1~步骤S4在所述预训练语言模型中融入第二语言信息,得到第二单词分布式表示,对所述第二单词分布式表示进行分类后得到事件元素以及元素角色。
9.一种事件抽取中融合语言信息微调预训练语言模型的系统,其特征在于,步骤包括:语言信息获取模块,用于获取当前事件抽取任务所需融合的语言信息并进行编码,得到语言特征编码集合;信息初始融合模块,用于获取待输入的初始词向量,将获取的所述初始词向量与所述语言特征编码集合进行初始融合,得到融合后词向量;双模型编码模块,用于将所述初始词向量、融合后词向量分别输入一个预训练语言模型中以进行编码,其中将所述初始词向量输入第一预训练语言模型中,得到第一组单词表示,以及将所述融合后词向量输入至第二预训练语言模型中,得到第二组单词表示输出,所述第一预训练语言模型与所述第二预训练语言模型相互独立;信息二次融合模块,用于将所述第一组单词表示、第二组单词表示进行二次融合,得到最终的单词表示以完成微调。
10.一种事件抽取中融合语言信息微调预训练语言模型的系统,包括处理器以及存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,其特征在于,所述处理器用于执行所述计算机程序以执行如权利要求1~8中任意一项所述方法。