有效
小样本持续学习模型的训练方法、介质、装置和计算设备
朱军、钟毅、王立元、李乾
清华大学
摘要
本发明的实施方式提供了一种小样本持续学习模型的训练方法、介质、装置和计算设备。该方法包括:所述小样本持续学习模型中包含慢权重和快权重,基于当前任务对应的训练数据集,计算所述慢权重对应的当前活动标记;基于所述当前活动标记与由在先任务存储的累积活动标记,计算得到映射值;将所述慢权重复制至所述快权重,通过分类损失函数对所述快权重进行更新;通过更新后的快权重对所述慢权重中的参数进行更新,并基于更新后的所述快权重和所述慢权重,实现对所述小样本持续学习模型的训练。本发明能够平衡在同一模型中小样本学习的泛化能力以及持续学习的拟合能力,提升了小样本持续学习模型对整个任务序列的处理性能。
1.一种小样本持续学习模型的训练方法,所述小样本持续学习模型中包含慢权重和快权重,所述小样本持续学习模型为图像分类模型,所述方法包括:基于当前任务对应的训练数据集,计算所述慢权重对应的当前活动标记;所述当前任务为图像分类任务,所述训练数据集包含图像样本的训练数据;基于所述当前活动标记与由在先任务存储的累积活动标记,计算得到映射值,所述映射值用于约束所述快权重的更新;将所述慢权重复制至所述快权重,通过分类损失函数对所述快权重进行更新;通过更新后的快权重对所述慢权重中的参数进行更新,并基于更新后的所述快权重和所述慢权重,实现对所述图像分类模型的训练;所述图像分类模型包括特征嵌入层和输出层,所述慢权重由所述特征嵌入层中的参数以及所述输出层中的参数组成,所述快权重由所述特征嵌入层中的参数以及所述输出层中的参数组成;基于当前任务对应的图像样本的训练数据,计算所述慢权重对应的当前活动标记,包括:获取当前任务对应的图像样本的训练数据;对所述图像样本的训练数据进行计算,得到所述慢权重的特征嵌入层各层中各参数梯度期望的模长;确定所述模长为所述慢权重对应的当前活动标记。
2.根据权利要求1所述的小样本持续学习模型的训练方法,基于当前任务对应的训练数据集,计算所述慢权重对应的当前活动标记之前,所述方法还包括:获取预先设置的支持数据集;基于所述支持数据集进行预训练,得到慢权重。
3.根据权利要求1所述的小样本持续学习模型的训练方法,基于所述当前活动标记与由在先任务存储的累积活动标记,计算得到映射值,包括:获取在先存储的历史任务对应的累积活动标记;通过所述当前活动标记更新所述累积活动标记;计算得到更新后的所述累积活动标记与所述当前活动标记的均值的差;通过Sigmoid函数将所述均值的差进行映射,得到映射值。
4.根据权利要求1~3任一项所述的小样本持续学习模型的训练方法,将所述慢权重复制至所述快权重,通过分类损失函数对所述快权重进行更新,包括:获取历史任务对应的历史训练数据集;将所述历史训练数据集添加至所述当前任务对应的训练数据集,得到重放数据集;将所述慢权重复制至所述快权重;以所述重放数据集、所述慢权重以及所述映射值为依据,通过分类损失函数对所述快权重进行更新,所述分类损失函数为所述小样本持续学习模型中的损失函数。
5.根据权利要求4所述的小样本持续学习模型的训练方法,通过更新后的快权重对所述慢权重中的参数进行更新,并基于更新后的所述快权重和所述慢权重,实现对所述小样本持续学习模型的训练之后,所述方法还包括:当检测到所述当前任务存在对应的下一任务时,将所述下一任务确定为当前任务,并执行所述的获取当前任务对应的训练数据集;当检测到所述当前任务不存在对应的下一任务时,确定所述小样本持续学习模型训练完成,并通过各个任务对应的验证数据集对所述小样本持续学习模型的性能进行验证,得到所述小样本持续学习模型的性能验证结果。
6.一种小样本持续学习模型的训练装置,所述小样本持续学习模型中包含慢权重和快权重,所述小样本持续学习模型为图像分类模型,所述装置包括:第一计算单元,用于基于当前任务对应的训练数据集,计算所述慢权重对应的当前活动标记;所述当前任务为图像分类任务,所述训练数据集包含图像样本的训练数据;第二计算单元,用于基于所述当前活动标记与由在先任务存储的累积活动标记,计算得到映射值,所述映射值用于约束所述快权重的更新;复制单元,用于将所述慢权重复制至所述快权重,通过分类损失函数对所述快权重进行更新;更新单元,用于通过更新后的快权重对所述慢权重中的参数进行更新,并基于更新后的所述快权重和所述慢权重,实现对所述图像分类模型的训练;所述图像分类模型包括特征嵌入层和输出层,所述慢权重由所述特征嵌入层中的参数以及所述输出层中的参数组成,所述快权重由所述特征嵌入层中的参数以及所述输出层中的参数组成;所述第一计算单元包括:第一获取子单元,用于获取当前任务对应的图像样本的训练数据;第一计算子单元,用于对所述图像样本的训练数据进行计算,得到所述慢权重的特征嵌入层各层中各参数梯度期望的模长;确定子单元,用于确定所述模长为所述慢权重对应的当前活动标记。
7.根据权利要求6所述的小样本持续学习模型的训练装置,所述装置还包括:获取单元,用于在所述第一计算单元基于当前任务对应的图像样本的训练数据,计算所述慢权重对应的当前活动标记之前,获取预先设置的支持数据集;训练单元,用于基于所述支持数据集进行预训练,得到慢权重。
8.根据权利要求6所述的小样本持续学习模型的训练装置,所述第二计算单元包括:第二获取子单元,用于获取在先存储的历史任务对应的累积活动标记;第一更新子单元,用于通过所述当前活动标记更新所述累积活动标记;第二计算子单元,用于计算得到更新后的所述累积活动标记与所述当前活动标记的均值的差;映射子单元,用于通过Sigmoid函数将所述均值的差进行映射,得到映射值。
9.根据权利要求6~8任一项所述的小样本持续学习模型的训练装置,所述复制单元包括:第三获取子单元,用于获取历史任务对应的历史训练数据集;添加子单元,用于将所述历史训练数据集添加至所述当前任务对应的训练数据集,得到重放数据集;复制子单元,用于将所述慢权重复制至所述快权重;第二更新子单元,用于以所述重放数据集、所述慢权重以及所述映射值为依据,通过分类损失函数对所述快权重进行更新,所述分类损失函数为所述小样本持续学习模型中的损失函数。
10.根据权利要求9所述的小样本持续学习模型的训练装置,所述装置还包括:确定单元,用于在所述更新单元通过更新后的快权重对所述慢权重中的参数进行更新,并基于更新后的所述快权重和所述慢权重,实现对所述小样本持续学习模型的训练之后,以及当检测到所述当前任务存在对应的下一任务时,将所述下一任务确定为当前任务,并控制所述第一获取子单元获取当前任务对应的训练数据集;验证单元,用于当检测到所述当前任务不存在对应的下一任务时,确定所述小样本持续学习模型训练完成,并通过各个任务对应的验证数据集对所述小样本持续学习模型的性能进行验证,得到所述小样本持续学习模型的性能验证结果。
11.一种存储有程序的存储介质,其中,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-5中的任一项所述的小样本持续学习模型的训练方法。
12.一种计算设备,包括如权利要求11所述的存储介质。




