一种电力标准知识抽取系统

1.一种电力标准知识抽取系统，其特征在于，包括特征标注模块、模型训练模块、规则分割模块、文本格式识别模块以及文本转化模块；所述文本格式识别模块用于识别电力标准文本，当文本格式识别模块识别出电力标准文本的格式为PDF数据格式时，文本格式识别模块连接文本转化模块，所述文本转化模块采取文本转化的方式将PDF数据格式转化为文本格式，并将转化后的文本格式文件标记为处理文本文件；当文本格式识别模块识别出电力标准文本为非PDF的数据格式时，文本格式识别模块会连接能对该数据格式的电力标准文本进行转化的转化工具，将非PDF的数据格式的电力标准文本转化为文本格式；文本转化模块将转化后的文本格式进行专家审核，将转化后的文本进行整理，最终输出整洁文本，将整洁文本标记为处理文本文件；所述规则分割模块用于对接收的处理文本文件进行规则分割，将处理文本文件分割为若干个单位文本数据，其中，单位文本数据包括正文+标题；然后将单位文本数据发送至特征标注模块；所述特征标注模块包括显式标注单元、隐式标注单元以及显隐识别单元；所述特征标注模块用于接收单位文本数据，并通过显隐识别单元识别单位文本数据的显隐性，根据显隐性进行不同方式的标注得到知识元组；所述知识元组为单位文本数据通过特征标注模块进行标注后的数据组；所述模型训练模块用于从电力标准领域数据库内获取电力标准领域数据，并经过预训练得到BERT预训练模型，将标注后的数据组输入到BERT预训练模型进而得到知识元组的文本嵌入式表示；利用改进的Transformer对文本嵌入式表示进行编码，并通过Attention机制计算结果，将结果输入到片段指针网络继续进行计算得到抽取结果；其中，利用改进的Transformer对文本嵌入式表示进行编码的过程包括以下步骤：对原始的文本通过不同的线性变换对原文的文本进行编码,然后通过Attention机制计算结果： ； ；其中， 表示模型包含的一个头实体的计算方法，i代表头实体的索引编号，i为正整数，且i=1,2……h；其中 、 、 表示原始序列特征维度为 的序列Q、K、V映射为head的三个输入；MultiHead表示将所有头实体的计算结果进行拼接操作，再乘以一个 的矩阵，最终作为当前层的最终输出结果，再输入到片段指针网络继续进行计算得到抽取结果；在对每一个中文字符进行编码时，利用滑窗的方法进行局部建模，对于每一个中文字符，对相邻的m个中文字符计算Attention，计算复杂度与文本序列长度n成线性关系，获取相邻中文字符之间存在的宽度w，当改进的Transformer的层数为L时，则视野范围为L*m*w；还包括参数修改模块，所述参数修改模块用于修改BERT预训练模型中的下一个句子预测任务，让输入的单位文本数据更长，使得BERT预训练模型能够学习更长的依赖，同时参数修改模块将原始BERT预训练模型中的单字符的MASK操作改为连续字符的MASK操作, 在BERT预训练模型中融合更多的实体语义信息。