一种课程引导式多任务学习大语言模型微调方法

本发明提供了一种课程引导式多任务学习大语言模型微调方法，包括：将被单语语料输入至大语言模型中，通过最小化预测误差进行还原干净文本训练，得到第一模型；将平行语料输入至第一模型中，通过交叉熵损失进行指定术语生成训练，得到第二模型；将双语平行语料输入至第二模型中，通过正则化项损失函数进行跨语言输出训练，得到大语言微调模型。该方法通过去噪自编码器任务增强了语义建模，通过词汇表限制的翻译任务整合了术语对齐知识，通过机器翻译任务加强了跨语言格式对齐，并引入了多阶段排班培训策略，有效减少了多任务学习中的任务干扰和灾难性遗忘，并显著提升了sacreBLEU和术语覆盖率。