有效

基于乘子交替方向法的BERT模型训练方法及系统

唐宇、乔林波、阚志刚、梁鹏、高翊夫、韩毅、李东升
中国人民解放军国防科技大学

摘要

本发明公开一种基于乘子交替方向法的BERT模型训练方法及系统,该方法步骤包括:步骤S1.从训练集中取出待训练语句并提取出词向量后输入至BERT模型中;步骤S2.在BERT模型对输入词向量进行训练时,使用乘子交替方向法对目标函数进行求解,其中确定出目标函数,并对输入词向量加入限制条件,将确定的目标函数变换为增强拉格朗日函数,通过求解增强拉格朗日函数求解出目标函数中各变量参数以及BERT模型的输出结果;步骤S3.对目标函数中求解的变量参数进行更新,直至完成训练,得到最终的BERT模型训练结果输出。本发明具有能够避免训练过程中的梯度消失和爆炸问题,且易于并行实现、训练效率高以及训练性能好等优点。