基于梯度感知参数冻结的大模型流水线并行训练方法及系统

本发明公开一种基于梯度感知参数冻结的大模型流水线并行训练方法及系统，该方法步骤包括：步骤S01.在模型中各矩阵乘算子处插入矩阵低秩分解节点；步骤S02.模型迭代训练过程中，分别进行节点内参数冻结以及节点间参数冻结，节点内参数冻结时，根据参数梯度控制对分解矩阵中参数进行冻结，节点间参数冻结时，逐节点判断各矩阵低秩分解节点是否收敛以进行冻结；步骤S03.构造计算图，以及构建优化目标，通过求解生成流水线并行策略；步骤S04.在模型训练过程中，在模型参数刷新点插入流水线重划分，以将活跃分区重新划分并分配到对应设备上。本发明具有实现方法简单、模型训练开销小、训练精度以及效率高等优点。