一种参数高效的大规模预训练模型迁移方法

一种参数高效的大规模预训练模型迁移方法，涉及大规模预训练模型。基于Transformer的大规模预训练模型，优化用于建立自注意力机制的提示向量，在注意力模块中插入提示学习逼近模块和经过扩展的自注意力模块，以降低提示学习带来的额外计算开销，提升信息扩散的效率。1)将提示学习逼近模块插入到Transformer模型的注意力机制中，并添加任务关联的分类器；2)在下游任务上进行微调，实现参数高效的大规模预训练模型的迁移。不仅实现更加高效的输入序列间关系建立，同时允许额外的提示向量遵循新的模式建立与输入序列的联系。在低成本地实现迁移的同时，尽可能降低带来的额外开销。