1.一种模型参数调整方法,其特征在于,所述方法包括:获取训练好的预训练模型和所述训练好的预训练模型的待调整参数的第一参数维度;获取训练好的第一网络模型和预训练好的参数调整向量;其中,所述训练好的第一网络模型的第二参数维度是基于所述预训练好的参数调整向量的第三参数维度和所述第一参数维度确定的,且所述参数调整向量的参数个数小于所述待调整参数的参数个数;基于目标任务和所述训练好的第一网络模型对所述预训练好的参数调整向量继续训练,得到训练好的参数调整向量;基于所述训练好的第一网络模型和所述训练好的参数调整向量确定所述待调整参数的调整值;基于所述待调整参数的调整值对所述训练好的预训练模型的参数进行调整,得到所述目标任务对应的训练好的目标模型。
2.根据权利要求1中所述的方法,其特征在于,所述方法还包括:获取针对所述训练好的预训练模型采用的参数微调算法;基于所述参数微调算法,确定所述训练好的预训练模型的待调整参数和所述待调整参数的第一参数维度,所述第一参数维度为M*N,M和N为正整数。
3.根据权利要求2中所述的方法,其特征在于,所述方法还包括:获取预设的参数调整向量,其中,所述参数调整向量的第三参数维度为R维向量,R为正整数,R小于M且R小于N;基于所述第一参数维度和所述第三参数维度确定所述第二参数维度,所述第二参数维度为M*N*R。
4.根据权利要求3中所述的方法,其特征在于,所述方法还包括:基于所述第二参数维度构建第一网络模型;获取源任务,并获取所述源任务对应的第一训练数据和第一损失函数;利用所述第一训练数据和所述第一损失函数对第一网络模型和参数调整向量进行训练,得到训练好的第一网络模型和预训练好的参数调整向量。
5.根据权利要求1中所述的方法,其特征在于,所述基于目标任务和所述训练好的第一网络模型对所述预训练好的参数调整向量继续训练,得到训练好的参数调整向量,包括:获取目标任务,并获取所述目标任务对应的第二训练数据和第二损失函数;保持所述训练好的第一网络模型中的参数不变,利用所述第二训练数据和所述第二损失函数,对所述预训练好的参数调整向量继续进行训练,得到训练好的参数调整向量。
6.根据权利要求1中所述的方法,其特征在于,所述基于所述训练好的第一网络模型和所述训练好的参数调整向量确定所述待调整参数的调整值,包括:获取所述训练好的第一网络模型的第一参数信息,获取所述训练好的参数调整向量的第二参数信息,其中,所述第一参数信息为M*N*R的矩阵参数值;所述第二参数信息为R维的向量参数值;将所述第一参数信息和所述第二参数信息进行乘法计算,得到所述待调整参数的调整值。
7.根据权利要求6中所述的方法,其特征在于,所述基于所述待调整参数的调整值对所述训练好的预训练模型的参数进行调整,得到所述目标任务对应的训练好的目标模型,包括:获取所述训练好的预训练模型中各个待调整参数的当前参数值;基于所述各个待调整参数的当前参数值和所述各个待调整参数的调整值,确定所述各个待调整参数的更新参数值;基于所述各个待调整参数的更新参数值和所述训练好的预训练模型的除所述待调整参数之外的其他参数的当前参数值,确定所述目标任务对应的训练好的目标模型。
8.根据权利要1至7任一项所述的方法,其特征在于,所述方法还包括:获取所述目标模型对应的测试数据,所述测试数据包括多个测试文本和各个测试文本对应的标签信息;利用所述目标模型对所述各个测试文本进行预测处理,得到所述各个测试文本对应的预测信息;基于所述各个测试文本对应的标签信息和预测信息确定所述目标模型的评估信息;当确定所述评估信息未达到预设的评估阈值时,基于调整所述参数调整向量的参数直至所述目标模型的评估信息达到评估阈值。
9.根据权利要求1至7任一项所述的方法,其特征在于,所述方法还包括:获取所述目标任务对应的预测文本;利用所述训练好的目标模型对所述预测文本进行预测处理,得到所述预测文本的预测结果;输出所述预测文本的预测结果。
10.一种参数模型调整装置,其特征在于,所述装置包括:第一获取模块,用于获取训练好的预训练模型和所述训练好的预训练模型的待调整参数的第一参数维度;第二获取模块,用于获取训练好的第一网络模型和预训练好的参数调整向量;其中,所述训练好的第一网络模型的第二参数维度是基于所述预训练好的参数调整向量的第三参数维度和所述第一参数维度确定的,且所述预训练好的参数调整向量的参数个数小于所述待调整参数的参数个数;第一训练模块,用于基于目标任务和所述训练好的第一网络模型对所述预训练好的参数调整向量继续训练,得到训练好的参数调整向量;第一确定模块,用于基于所述训练好的第一网络模型和所述训练好的参数调整向量确定所述待调整参数的调整值;参数调整模块,用于基于所述待调整参数的调整值对所述训练好的预训练模型的参数进行调整,得到所述目标任务对应的训练好的目标模型。
11.一种计算机设备,其特征在于,所述计算机设备包括:存储器,用于存储可执行指令;处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质,存储有可执行指令,其特征在于,所述可执行指令被处理器执行时实现权利要求1至9任一项所述的方法。
13.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现权利要求1至9任一项所述的方法。