1.一种基于乘子交替方向法的BERT模型训练方法,其特征在于,步骤包括:步骤S1.数据输入:从训练集中取出待训练语句并提取出词向量后输入至BERT模型中;步骤S2.乘子交替方向法求解:在BERT模型对输入词向量进行训练时,使用乘子交替方向法对目标函数进行求解,其中使用Transformer模型中Encoder模块对BERT模型的表示确定出所述目标函数,并对输入词向量加入限制条件,采用增强拉格朗日算法将所述目标函数变换为增强拉格朗日函数,通过求解所述增强拉格朗日函数求解出所述目标函数中各变量参数以及BERT模型的输出结果;步骤S3.参数更新:对所述目标函数中求解的变量参数进行更新,直至完成训练,得到最终的BERT模型训练结果输出以用于事件抽取。
2.根据权利要求1所述的基于乘子交替方向法的BERT模型训练方法,其特征在于,所述步骤S2中使用Transformer模型中Encoder模块对BERT模型的表示的步骤包括:S201.利用Encoder模块对BERT模型进行表示,得到BERT模型的数学表达式为:m eo =MultiHead(X n-1 ,X n-1 ,X n-1 )l eo =LayerNorm(X n-1 +m eo )f eo =FeedForward(l eo )X n =LayerNorm(l eo +f eo )其中,X n 、X n-1 分别为第n、n-1个Encoder模块的计算输出结果,MultiHead表示多头机制模块,LayerNorm表示深度学习中正则化计算模块,FeedForward表示为线性变换模块,f eo 、m eo 、l eo 分别表示经过FeedForward模块、多头机制模块和正则化计算模块之后对应的计算输出结果;S202.对LayerNorm模块的操作执行ReZero近似计算:将Transformer模型中的LN层进行简化,并对每个LN层定义一个残差参数α,得到使用Encoder模块对BERT模型进行表示的数学表达式为:m eo =MultiHead(X n-1 ,X n-1 ,X n-1 )l eo =X n-1 +α n1 m eof eo =FeedForward(l eo )X n =l eo +α n2 f eo其中,α n1 、α n2 分别表示m eo 和f eo 对应的残差参数。
3.根据权利要求2所述的基于乘子交替方向法的BERT模型训练方法,其特征在于,所述步骤S2中,按照下式确定出目标函数:其中,Φ表示求解的最终目标函数,L表示损失函数,Ω E 、Ω D 分别为针对E、D的正则化函数,E、D分别表示Transformer模块中的Encoder和Decoder模块,W Ei 、W Di 、X i-1 分别表示E i 、D i 的权重和第i-1次对应的输入数据,FF表示FeedForward,FF(l eo )表示为输入l eo 的FeedForward的计算输出,ν表示为超参数。
4.根据权利要求3所述的基于乘子交替方向法的BERT模型训练方法,其特征在于,所述步骤S2中使用Encoder模块对BERT模型进行表示的数学表达式设置所述限制条件,即为:m eo =Multihead(X n-1 ,X n-1 ,X n-1 )l eo =X n-1 +α n1 m eof eo =FF(l eo )X n =l eo +α n2 f eo 。
5.根据权利要求2所述的基于乘子交替方向法的BERT模型训练方法,其特征在于,所述步骤S2中,变换得到的所述增强拉格朗日函数具体为:其中,λ 1 ,λ 2 ,λ 3 ,λ 4 分别为拉格朗日算子,ρ 1 ,ρ 2 ,ρ 3 ,ρ 4 分别为超参数;通过求解出变量m eo ,X n-1 ,α n1 ,l eo ,f eo ,α n2 ,X n ,以完成对所述目标函数的求解。
6.根据权利要求1~5中任意一项所述的基于乘子交替方向法的BERT模型训练方法,其特征在于,所述步骤S3中,采用backward-forward的参数更新顺序对所述目标函数中求解的变量参数进行更新,即前向过程按照先更新权重后更新偏差的规则更新、后向过程按照先更新偏差后执行更新权重的规则更新。
7.根据权利要求6所述的基于乘子交替方向法的BERT模型训练方法,其特征在于,对所述目标函数中求解的变量参数,具体按照X n →α n2 →f eo →l eo →α n1 →m eo →X n-1 →X n-1 →m eo →α n1 →l eo →f eo →α n2 →X n 的顺序进行更新,其中X n 、X n-1 分别为第n、n-1个Encoder模块的计算输出结果,f eo 、m eo 、l eo 分别表示经过FeedForward模块、多头机制模块和正则化计算模块之后对应的计算输出结果,α n1 、α n2 分别表示m eo 和f eo 对应的残差参数。
8.根据权利要求1~5中任意一项所述的基于乘子交替方向法的BERT模型训练方法,其特征在于,所述步骤S3中,当目标参数更新完成之后,立即释放已经更新完成的参数所占据的内存。
9.一种基于乘子交替方向法的BERT模型训练系统,包括处理器以及存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,其特征在于,所述处理器用于执行所述计算机程序以执行如权利要求1~8中任意一项所述方法。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序执行时实现如权利要求1~8中任意一项所述的方法。