一种基于版本差异的流水线并行训练节点权重分配方法

本发明公开一种基于版本差异的流水线并行训练节点权重分配方法，载入初始化深度学习模型；构建流水线并行训练方案，采用异步参数更新方法，并发执行不同批次的训练，记录训练批次在单位流水线执行时间内完成前向和后向传递过程。利用最新的训练节点权重版本，预测出未来训练过程的节点权重，根据节点权重预测进行该批次版本差异计算。待该节点完成所有批次的版本差异计算，则完成该节点的预测权重更新。计算了所有节点的版本差异，即完成流水线并行训练节点权重分配；并将其部署到异构计算节点中，得到针对拟训练目标网络的流水线并行训练节点权重分配方案。本发明方法使节点权重预测更加准确。