有效

事件抽取中融合语言信息微调预训练语言模型的方法及系统

阚志刚、李东升、乔林波、陈易欣、赖志权、彭丽雯、韩毅、唐宇、高翊夫、冯琳慧、翟琪、戴蓓亚
中国人民解放军国防科技大学

摘要

本发明公开一种事件抽取中融合语言信息微调预训练语言模型的方法及系统,该方法步骤包括:S1.获取当前事件抽取任务所需融合的语言信息并进行编码,得到语言特征编码集合;S2.获取待输入的初始词向量,将初始词向量与特征编码集合进行初始融合,得到融合后词向量;S3.将初始词向量、融合后词向量分别输入一个预训练语言模型中,其中将初始词向量输入第一预训练语言模型中,得到第一组单词表示输出,以及将融合后词向量输入至第二预训练语言模型中,得到第二组单词表示输出;S4.将第一组单词表示、第二组单词表示进行二次融合,得到最终的单词表示,完成微调。本发明具有实现方法简单、信息融合充分且能够同时保留原始模型信息等优点。