一种面向稀疏模型并行训练的梯度通信方法、系统、设备及介质

本发明所提供的面向稀疏模型并行训练的梯度通信方法、系统、设备及介质，是通过对每个计算节点上的待训练语言模型的稠密参数和训练数据使用数据并行的方式，对每个计算节点上的待训练语言模型的词嵌入表参数使用模型并行的方式，在配置完成后，多个计算节点根据已设置的训练参数同时进行待训练语言模型的迭代训练，在每轮迭代训练过程中进行稠密通信和稀疏通信。基于自然语言处理模型词嵌入表层列数比较多的情况，在词嵌入表层中，不再采用现有技术中的数据并行加稠密通信的方式，而是采用模型并行加稀疏通信的方式，在取得高通信效率的同时，获得较高的可拓展性。