电力审计文本实体识别方法、装置、设备及存储介质

1.电力审计文本实体识别方法，其特征在于，所述方法包括：将原始电力审计语料进行数据预处理，获得待标记的电力审计文本字符序列；将待标记的电力审计文本字符序列输入命名实体识别模型的输入层中，输入层将文本数据转化为实数向量数据，得到句子的词向量；句子的词向量经过命名实体识别模型的卷积层和池化层提取特征向量，得到组合特征向量；对组合特征向量进行非线性降维；将组合特征向量通过堆叠的Transformer层得到的结果输入到命名实体识别模型的输出层进行识别，识别得到标注好的电力审计文本字符序列作为最终结果；原始电力审计语料进行数据预处理，包括：将原始电力审计语料进行数据抽取、数据清洗、数据规约与数据脱敏预处理；原始电力审计语料进行数据预处理，还包括：对原始电力审计语料的数据集进行大数据可视化分析，确定并设置最优的文本字符序列长度；句子的词向量经过命名实体识别模型的卷积层和池化层提取特征向量，得到组合特征向量，包括：对句子的词向量，卷积层采用若干不同大小的卷积核分别提取文本特征，池化层对卷积的输出分别进行最大池化操作，将不同卷积核经最大池化后的结果拼接起来，得到组合特征向量；卷积层采用若干不同大小的卷积核分别提取文本特征，包括：卷积层利用不同大小卷积核对宽度为 的连续窗口进行卷积运算，卷积核为 的矩阵，每种尺寸的卷积核有 个，权值矩阵 为 的实数矩阵，对 个字的文本块进行特征提取，由 提取的一个特征 表示如下： 是非线性的激活函数， 为偏置项；卷积操作应用于一个完整电力审计文本的词向量 会到以下特征图：公式中 是大小为 的实数向量，a 1 为一个特征；电力审计文本实体识别模型包括依次连接的输入层、卷积层、池化层、堆叠的Transformer层和输出层；输入层将文本数据转化为实数向量数据，得到句子的词向量；句子的词向量经过命名实体识别模型的卷积层和池化层提取特征向量，得到组合特征向量；将组合特征向量通过堆叠的Transformer层得到的结果输入到命名实体识别模型的输出层进行识别，识别得到标注好的电力审计文本字符序列作为最终结果。 2.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，原始电力审计语料，包括：中国电力审计文本数据集、网页中获取的电力审计文本和电力公司的每日审计记录中电力审计文本组成的数据集。 3.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，数据抽取，包括：将不同来源的电力审计文本数据采用统一数据格式集成到同一个数据库中。 4.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，数据清洗，包括：对重复数据进行去重；对缺失数据进行删除样本或均值填补；对噪声数据采取平滑处理或异常值分析；对语法错误、格式错误、前后数据不一致或不统一采用人工或者算法修正。 5.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，数据规约，包括：对原始语料进行选择与降维，以筛选出适合电力审计目标的数据。 6.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，数据脱敏，包括：对原始电力审计语料中涉及安全信息进行隐藏。 7.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，输入层将文本数据转化为实数向量数据，得到句子的词向量，包括：输入层采用word2vec将文本数据的词汇表语义映射成实数向量数据，并对实数向量数据标准化的内容做词嵌入，获得句子的词向量。 8.根据权利要求7所述的电力审计文本实体识别方法，其特征在于，句子的词向量，表示为一个 维的词向量 ，长度为 的句子用下式表示：其中 表示连接操作， 是词向量 的第 个字的向量表示， 表示字的序号，b 1:k 表示输入的第1到第k个窗口内的词向量矩阵。 9.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，池化层对卷积的输出分别进行最大池化操作，包括：采用最大池化方法取每个特征图中的最大值,作为该卷积核在文本向量上提取到的特征，得到一个维度为 的特征向量， 为卷积核数量； 表示最大池化运算后的结果，池化操作如下： 。 10.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，将不同卷积核经最大池化后的结果拼接起来，得到组合特征向量，包括：将不同卷积核经最大池化后的结果拼接起来，得到大小为 的实数特征向量 ，公式如下：其中 、 、 分别表示高度为5、7、9的卷积核经最大池化后输出的特征向量， 为卷积核数量。 11.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，将组合特征向量通过堆叠的Transformer层得到的结果输入到命名实体识别模型的输出层进行识别，包括：组合特征向量通过堆叠的Transformer层得到的结果输入到输出层，输出层采用全连接层，采用ReLU 作为激活函数，并采用Softmax对堆叠的Transformer层得到的结果进行命名实体识别。 12.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，采用Softmax对堆叠的Transformer层得到的结果进行命名实体识别，包括：通过Softmax层输出若干类别标签的概率分布，取最大概率对应的类别，得到预测类别的标签值 ，公式如下：公式中 是一个 的实数矩阵， 为类别数， 为偏置项，y表示实数特征向量，大小为1xe，e表示隐藏层神经元结点数。 13.根据权利要求11所述的电力审计文本实体识别方法，其特征在于，输出层在全连接层中使用Dropout 层。 14.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，电力审计文本实体识别模型训练数据采用随机划分，划分为训练集、验证集和测试集。 15.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，电力审计文本实体识别模型训练数据采用BIO和BIOES标注。 16.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，电力审计文本实体识别模型使用准确率、召回率和F1-Measure值进行评价。 17.根据权利要求1所述的电力审计文本实体识别方法，其特征在于，电力审计文本实体识别模型使用准确率、召回率和F1-Measure值进行评价；其中，准确率衡量命名实体识别模型正确识别实体的能力，召回率衡量命名实体识别模型识别整个语料库中全部实体的能力，F1取两者的调和平均值。 18.根据权利要求17所述的电力审计文本实体识别方法，其特征在于，准确率Prec使用下式计算得到：其中C e 为模型正确识别的相关实体数，W e 为错误识别的不相关实体数。 19.根据权利要求17所述的电力审计文本实体识别方法，其特征在于，召回率Rec使用下式计算得到：其中C e 为模型正确识别的相关实体数，Ue为模型未识别的相关实体数。 20.根据权利要求17所述的电力审计文本实体识别方法，其特征在于，F1-Measure值F 1 使用下式计算得到：其中Prec为准确率，Rec为召回率。 21.电力审计文本实体识别装置，其特征在于，包括：数据处理单元和识别单元；数据处理单元，用于将原始电力审计语料进行数据预处理，获得待标记的电力审计文本字符序列；识别单元，用于将待标记的电力审计文本字符序列输入命名实体识别模型的输入层中，输入层将文本数据转化为实数向量数据，得到句子的词向量；句子的词向量经过命名实体识别模型的卷积层和池化层提取特征向量，得到组合特征向量；对组合特征向量进行非线性降维；将组合特征向量通过堆叠的Transformer层得到的结果输入到命名实体识别模型的输出层进行识别，识别得到标注好的电力审计文本字符序列作为最终结果；原始电力审计语料进行数据预处理，包括：将原始电力审计语料进行数据抽取、数据清洗、数据规约与数据脱敏预处理；原始电力审计语料进行数据预处理，还包括：对原始电力审计语料的数据集进行大数据可视化分析，确定并设置最优的文本字符序列长度；句子的词向量经过命名实体识别模型的卷积层和池化层提取特征向量，得到组合特征向量，包括：对句子的词向量，卷积层采用若干不同大小的卷积核分别提取文本特征，池化层对卷积的输出分别进行最大池化操作，将不同卷积核经最大池化后的结果拼接起来，得到组合特征向量；卷积层采用若干不同大小的卷积核分别提取文本特征，包括：卷积层利用不同大小卷积核对宽度为 的连续窗口进行卷积运算，卷积核为 的矩阵，每种尺寸的卷积核有 个，权值矩阵 为 的实数矩阵，对 个字的文本块进行特征提取，由 提取的一个特征 表示如下： 是非线性的激活函数， 为偏置项；卷积操作应用于一个完整电力审计文本的词向量 会到以下特征图：公式中 是大小为 的实数向量，a 1 为一个特征；电力审计文本实体识别模型包括依次连接的输入层、卷积层、池化层、堆叠的Transformer层和输出层；输入层将文本数据转化为实数向量数据，得到句子的词向量；句子的词向量经过命名实体识别模型的卷积层和池化层提取特征向量，得到组合特征向量；将组合特征向量通过堆叠的Transformer层得到的结果输入到命名实体识别模型的输出层进行识别，识别得到标注好的电力审计文本字符序列作为最终结果。 22.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-20中任一项所述的方法。 23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-20中任一项所述的方法。