1.一种数据不均衡条件下的联邦关系抽取方法,其特征在于,包括以下步骤:步骤1,在终端输入层,输入终端本地训练数据;步骤2,在终端编码层,利用预训练语言模型,对关系所涉及的头尾实体进行符号标记,并将标记所对应的隐藏层向量串联作为句子编码向量;终端编码层对于将输入的文本句子在头尾实体前后加入标志符[E 1 ],[/E 1 ],[E 2 ],[/E 2 ],分别表示头实体的开始与结束和尾实体的开始与结束,句子表示为:s′={[CLS],w 1 ,…,w i-2 ,[E 1 ],w i ,…,w j ,[/E 1 ],...,[E 2 ],w k ,...,w l ,[/E 2 ],…,w n ,[SEP]}其中,符号[CLS]和[SEP]表示句子的开始与结束,w i 表示文本的第i个词,将句子输入到预训练语言模型中,得到句子的隐藏层向量序列:将标识符[E 1 ]和[E 2 ]对应的隐藏层向量串联输入到一个全连接层中,h [CLS] ,h [SEP] 表示字符[CLS]和[SEP]所对应的隐藏层状态,h i 表示词w i 所对应的隐藏层状态, 表示头尾实体开始与结束标志符对应的隐藏层状态,获得最终的句子特征向量:其中,W和b是可训练的参数,[:]表示一个拼接操作,设定特征向量s的向量维度为d步骤3,在终端输出层,根据终端编码层输出的特征向量进行关系分类,并通过交叉熵损失进行模型优化;步骤4,在终端可信度计算层,终端首先从服务器下载公用验证集,将步骤3优化训练后的模型参数固定,在验证集上计算各类关系的预测可信度;步骤5,在终端预测层,终端从服务器下载无标注数据集,并对无标注数据进行预测,预测结果与预测可信度相乘,得到最终预测结果并上传服务器;步骤6,服务器收到所有终端的预测结果后,将终端预测结果相加,得到无标注数据集的弱标注结果,将带有弱标签的数据集下发至各终端,进行本地训练。
2.根据权利要求1所述的一种数据不均衡条件下的联邦关系抽取方法,其特征在于,在步骤3中,所述终端输出层根据所述句子特征向量s,通过一个多分类器,确定其所述关系类别:p(r|s,Θ)=softmax(W o s+b o )其中,W o 和b o 是可训练的参数,Θ为所有训练参数的集合,p(r|s,Θ)表示s属于类别r的概率,r∈R,R为所有关系类别的集合,包含N个关系类别。
3.根据权利要求2所述的一种数据不均衡条件下的联邦关系抽取方法,其特征在于,在输出层定义损失函数为交叉熵损失函数:其中,I(r=r * )表示一个指示函数,当r为 的真实类别r * 时为1,否则为0,D表示整个本地训练集。
4.根据权利要求2所述的一种数据不均衡条件下的联邦关系抽取方法,其特征在于,在步骤4中,终端在进行本地数据训练后,需要对本地模型的在各关系类别上的表现性能进行评测,获得终端模型在不同关系类别上的可信度,终端首先从服务上下载公用验证集;对于某一个关系r i ,其验证数据表示为 用交叉熵损失表示其可信度,损失越小表示其可信度越高,损失表示为:模型参数在计算过程中固定,根据损失可以获得终端模型在各关系上的置信度分布: 的第i个元素c i 表示终端在关系r i 上的预测可信度。
5.根据权利要求4所述的一种数据不均衡条件下的联邦关系抽取方法,其特征在于,在步骤5中,终端预测层首先从服务器下载无标注数据集U,对于无标注数据集中的每条数据,所述终端模型在固定参数情况下进行预测,预测过程表示为:f(s;Θ)=softmax(W o s+b o )其中,s为无标注数据集U中的数据经过终端编码层得到的句子特征向量, 为终端模型在所有关系类别集合R上的概率分布,根据所述终端可信度,重新对无标注数据的预测结果进行更新,得到:终端得到预测结果后,将预测结果上传到服务器, 表示经过置信度矫正后预测概率分布,⊙表示元素按位相乘运算。
6.根据权利要求5所述的一种数据不均衡条件下的联邦关系抽取方法,其特征在于,在步骤6中,服务器收到所有终端的预测结果后,对所有终端的预测结果进行汇聚,设定共有M个终端,对于第j个终端,预测结果表示 则汇聚后的预测结果表示为:将全部终端的关系概率分布加和后,选取概率值最大的索引作为其弱标注的关系标签,为无标注数据集打上弱标签后,下发至所有终端,并按照步骤2至步骤4进行本地的模型训练;通过预测结果的汇聚与下发,令终端向其他终端学习。
7.根据权利要求1所述的一种数据不均衡条件下的联邦关系抽取方法,其特征在于,步骤1至步骤6迭代多次,直到所有终端模型收敛至最佳关系抽取性能。