有效
一种面向试验数据的文本语义特征提取方法及系统
周晓磊、王芳潇、范强、张骁雄、严浩、江春
中国人民解放军国防科技大学
摘要
本发明公开一种面向试验数据的文本语义特征提取方法及系统,所述方法包括如下步骤:利用文本预处理技术对试验数据生语料库进行处理和加工,将所述生语料库转换为熟语料库;构建基于条件随机场的抽取模型,在初始标注语料基础上训练模型;熟语料输入词向量表示模型得到词向量信息,将词向量信息输入DHNN深度混合神经网络模型训练;将注意力机制与SE‑LSTM神经网络模型相结合获得训练模型,把初始训练语料输入所述训练模型训练;将训练好的装备实体识别模型、装备文本深层语义建模方法和装备实体关系抽取模型分别输入,得到装备文本语义特征提取系统;基于训练好的文本语义特征提取系统,得到语义理解结果。
1.一种面向试验数据的文本语义特征提取方法,其特征在于,包括如下步骤:步骤101),装备熟语料库生成步骤,包括:利用文本预处理技术对试验数据生语料库进行处理和加工,将所述生语料库转换为熟语料库;步骤102),装备实体识别模型训练步骤,包括:利用装备实体的命名规则对语料进行回标,构建初始标注语料;设计特征模板,构建基于条件随机场的抽取模型,在初始标注语料基础上训练模型,获得装备实体识别模型;步骤103),装备文本深层语义建模方法步骤,包括:熟语料输入词向量表示模型得到词向量信息,将词向量信息输入DHNN深度混合神经网络模型训练,获得装备文本深层语义建模方法;步骤104),装备实体关系抽取模型训练步骤,包括:利用远监督学习算法在现有熟语料库的基础上构建大规模初始训练语料,将注意力机制与SE-LSTM神经网络模型相结合获得训练模型,把初始训练语料输入所述训练模型训练,获得装备实体关系抽取模型;步骤105),装备文本语义特征提取系统搭建步骤,包括:将训练好的装备实体识别模型、装备文本深层语义建模方法和装备实体关系抽取模型分别输入,得到装备文本语义特征提取系统;步骤106),语义特征提取输入步骤,包括:输入搭建好的文本语义特征提取系统,输入待提取特征的装备文本数据;步骤107),语义特征提取输出步骤,包括:基于训练好的文本语义特征提取系统,得到语义理解结果,将处理结果分别存储至装备实体数据库、装备语义数据库和装备实体关系模式库。
2.根据权利要求1所述的一种面向试验数据的文本语义特征提取方法,其特征在于,所述步骤101)中的装备熟语料库生成步骤具体包括:对生语料库中的装备文本数据进行格式处理、中文分词和词性标注,将所述生语料库转换为熟语料库。
3.根据权利要求1所述的一种面向试验数据的文本语义特征提取方法,其特征在于,所述步骤102)中的装备实体识别模型训练步骤具体包括:在得到初始标注语料后,根据词特征、词性特征、左右边界词特性以及中心词特性建立特征模板,即在条件随机场的参数化形式中确定转移特征t k (y i-1 ,y i ,x,i)和状态特征s l (y i ,x,i)的取值,当满足条件时取值为1,否则为0;再将构建好的特征模板代入条件随机场的参数化形式中,设P(Y|X)为条件随机场,则在随机变量X取值为x的条件下,随机变量Y取值为y的条件概率具有如下形式:其中,其中,λ k 和μ l 是对应的权值,Z(x)是规范化因子,求和是在所有可能的输出序列上进行的;再将初始标注语料输入得到的条件随机场模型中训练,最后获得相应的装备实体识别模型。
4.根据权利要求1所述的一种面向试验数据的文本语义特征提取方法,其特征在于,所述步骤103)中的装备文本深层语义建模方法步骤具体包括:所述深度混合神经网络模型DHNN包括位于底层的双向LSTM神经网络模块、位于顶层的动态卷积神经网络模型模块DCNN;所述双向LSTM神经网络模块,执行获取长距离上下文信息,抽取输入文本的初级语义特征;所述动态卷积神经网络模型模块DCNN,通过一维宽卷积操作和动态k-Max采样算子进一步抽取文本的高级语义特征,通过获取文本中长距离相关性信息,实现对不同粒度文本单元的语义建模。
5.根据权利要求2所述的一种面向试验数据的文本语义特征提取方法,其特征在于,所述步骤104)中装备实体关系抽取模型训练步骤具体包括:所述远监督学习算法通过将文本与大规模知识图谱进行实体对齐,利用知识图谱已有的实体间关系对文本进行标注,如果从知识图谱中能获取三元组R(E 1 ,E 2 ),且E 1 和E 2 共现于句子S中,则S表达了E 1 和E 2 间的关系R,标注为训练正例;其中,R代表关系,E 1 、E 2 代表两个实体;所述注意力机制与SE-LSTM神经网络模型相结合获得的训练模型如下:M=tanh(H)α=softmax(w T M)r=Hα TH是SE-LSTM神经网络模型的输出,size为v×T,v是词向量的维度,T是序列的长度,H首先通过tanh函数激活得到M,再通过全连接层+softmax层得到,w的size是v×1,所以α的size是1×T;最后H乘以权重,得到的输出r,size为v×1;最后经过tanh函数激活得到最后输出 size为v×1;得到输出后,直接作为softmax层的输入,就能得到相应预测标签的输出。
6.一种面向试验数据的文本语义特征提取系统,其特征在于,包括:模型训练装置、模型训练电子设备、文本语义特征提取执行装置、文本语义特征提取执行电子设备。
7.根据权利要求6所述的一种面向试验数据的文本语义特征提取系统,其特征在于,所述模型训练装置包括:文本预处理模块,具体执行:将装备生语料库中的装备文本数据进行格式处理、中文分词和词性标注,将所述生语料库转换为模型训练可用的装备文本熟语料库;条件随机场抽取模型训练模块,具体执行:将输入的装备文本熟语料库利用装备实体的命名规则对语料进行回标,构建初始标注语料;再通过针对装备实体特征设计的特征模板,构建出基于条件随机场的抽取模型,并在初始标注语料上进行模型训练;深度混合神经网络训练模块,具体执行:将输入的装备文本熟语料输入词向量表示模型得到词向量信息,将词向量信息输入深度混合神经网络DHNN模型进行训练;注意力改进LSTM神经网络训练模块,具体执行:将输入的装备文本熟语料输入远监督学习算法构建出大规模初始训练语料,将初始训练预料输入注意力机制改进LSTM神经网络模型进行训练。
8.根据权利要求6所述的一种面向试验数据的文本语义特征提取系统,其特征在于,所述模型训练电子设备包括:训练文本语料库存储器;模型训练算法处理器;模型输出接口;以及模型训练算法存储器,用于存储模型训练的程序;所述模型训练电子设备具体执行:将训练文本语料库存储器中存储的装备文本熟语料利用装备实体的命名规则对语料进行回标,构建初始标注语料;将初始标注语料输入构建好的基于条件随机场的抽取模型中训练,得到装备实体识别模型;将训练文本语料库存储器中存储的装备文本熟语料输入词向量表示模型得到词向量信息;将词向量信息输入DHNN深度混合神经网络模型训练得到装备文本深层语义提取模型;将训练文本语料库存储器中存储的装备文本熟语料输入远监督学习算法构建大规模初始训练语料;将初始训练语料输入注意力机制改进LSTM神经网络模型中训练,得到装备实体关系抽取模型;将所有模型及其模型参数输出到模型输出接口。
9.根据权利要求6所述的一种面向试验数据的文本语义特征提取系统,其特征在于,所述文本语义特征提取执行装置具体执行:输入训练好的模型、输入待提取特征的装备文本数据、输入所有模型参数;基于训练好的装备文本语义特征提取系统,得到所输入的装备文本数据的语义特征提取结果。
10.根据权利要求6所述的一种面向试验数据的文本语义特征提取系统,其特征在于,所述文本语义特征提取执行电子设备包括:装备文本语料库;模型输入接口;文本语义特征提取算法处理器;数据存储器;显示器;以及文本语义特征提取算法存储器,用于存储文本语义特征提取算法的程序;所述文本语义特征提取执行电子设备具体执行:从装备文本语料库中提取待语义特征提取的装备文本生语料;从模型输入接口获取已训练好的模型、将这些模型连同所述装备文本生语料和所有模型参数到所述文本语义特征提取算法处理器;所述文本语义特征提取算法处理器基于训练好的装备实体识别模型、装备文本深层语义提取模型和装备实体关系抽取模型进行文本语义特征提取;所述文本语义特征提取算法处理器输出所述装备文本的特征提取结果到数据存储器;所述数据存储器输出输入装备文本生语料的语义实体、深层语义和实体关系到显示器。



