失效

一种基于BERT和BiGRU融合注意力机制的实体关系抽取方法

周焕来、李嘉豪、乔磊崖、曾靓、李金润、刘桐、贾海涛、王俊
一拓通信集团股份有限公司

摘要

本发明提出采用BERT模型和BiGRU网络并融入注意力机制的实体关系抽取方法。该方法使用BERT作为神经网络模型嵌入层,使用动态词向量对中文进行编码,弥补了word2vec在解决多义词问题上的不足;基于GRU更好地处理序列化任务的能力和CNN提取局部特征的突出性能,改善了单个神经网络模型特征提取不足的问题;结合了注意力机制,输出特征通过注意力机制加权,使得对关系分类影响较大的词通过注意力机制加权,从而提高分类精度。

暂无引用专利