一种参数高效的大规模预训练模型迁移方法

一种参数高效的大规模预训练模型迁移方法，涉及深度学习自然语言处理领域。1)模型预训练，计算每一个模块的得分；2)依据每一个模块的得分，采样一个模型结构；3)基于若干个采样得到的结构，通过比较动量地更新每一个模块的冗余度；4)短接具有最大冗余度的m个模块作为最终的网络。通过训练和比较过程，在给定短接m个模块的前提下，获得具有最佳性能的模型，并使模型可以在下游任务中发挥良好的性能。主要面向跨模态大规模预训练模型，通过强化学习方法，评估大规模预训练模型中每一个模块的冗余程度。通过对所有被认为是冗余的多模态预训练模块短接一个轻量级适应器，实现在训练阶段的效率提升，也提高模型在部署阶段的推理效率。