1.基于多头注意力冗余评估的大规模预训练模型迁移方法，所述方法应用于深度学习中自然语言与图像模态处理，所述大规模预训练模型的每一层包括多头注意力模块和前馈神经网络，其特征在于：所述方法包括：步骤1、获取大规模预训练模型，在每个多头注意力模块前插入一个传播信息适配器；步骤2、计算每一个多头注意力模块的偏好得分；步骤3、将偏好得分按照从高到低排序，筛选出偏好得分最低的一定数量的多头注意力模块作为被跳过的模块；步骤4、对于每一个被跳过的模块，用其同层的传播信息适配器替代，执行信息交换和模态路由，得到紧凑的网络模型；步骤5、对所述紧凑的网络模型进行训练；步骤6、训练完成后，将传播信息适配器与网络进行重参数化，得到训练后的模型，通过ScienceQA数据集对训练后的模型验证其问题推理效率；所述步骤1中的传播信息适配器的结构具体为：其中， 表示模型第i层下采样得到的输出， 是模型第i层的输入， 表示模型第i层上采样的输出，f d1 和f d2 分别表示第一下采样线性投影函数、第二下采样线性投影函数，f u1 和f u2 分别表示第一上采样线性投影函数、第二上采样线性投影函数，avg表示平均池化操作， 和 分别表示第一权重值、第二权重值，且权重值 和 通过向量 计算得到：其中， ，W r 表示权重矩阵，b r 表示偏置项， 表示softmax操作的温度系数，router（）表示路径路由函数，softmax（）表示将输入向量转换为概率分布的函数，使得输出向量中的每个元素都在0到1之间，并且所有元素的和为1；所述步骤2具体为：对所述模型中每一个多头注意力模块，使用一个多臂老虎机算法来随机采样和训练子网络，并根据子网络的损失值来计算当前模块的奖励值，反映当前模块对任务性能的贡献，然后根据奖励值来更新模块的偏好得分，表示其被保留的概率，具体计算公式如下：其中， 是模型第i层在第t步的行为策略， 表示a和b之间的均匀分布， 是模型第i层在第t步的偏好得分， 是第h个子网络在第t步的损失值， 表示在第t步时，对于被跳过的第j个模块的子网络的损失值，m是预设的被跳过的模块的数量，n是模型的总层数。
2. 根据权利要求1所述的基于多头注意力冗余评估的大规模预训练模型迁移方法，其特征在于：所述步骤3中的一定数量根据实际需要预先设置。
3.根据权利要求1所述的基于多头注意力冗余评估的大规模预训练模型迁移方法，其特征在于：所述步骤4具体为：对于每一个跳过的多头注意力模块，用其同层的传播信息适配器来代替其输入和输出，实现信息交换和模态路由，即其中， 是模型第i层的输入， 是模型第i层的输出，FFN是一个前馈网络，PIA是一个传播信息适配器。
4.根据权利要求1所述的基于多头注意力冗余评估的大规模预训练模型迁移方法，其特征在于：所述步骤6中具体为：训练完成后，将传播信息适配器与网络进行重参数化，得到训练后的模型，其中，传播信息适配器直接和其后面紧邻的那一个模块重参数，若层中的多头注意力模块被跳过，则将该层中的传播信息适配器重新参数化为前馈网络，具体实现方式如下：其中， 表示重参数化后的传播信息适配器的输出， 表示模型第i层的输入， 和 是重新参数化后的权重矩阵和偏置项。
