基于全局梯度信息感知与压缩的神经网络训练方法及系统

本发明公开了一种基于全局梯度信息感知与压缩的神经网络训练方法及系统，主要解决现有技术节点间梯度互信息利用不充分、训练过程中数据通信量大、训练速度慢及训练精度降低的问题。其实现方案包括：初始化所有设备各自的训练参数；计算所有设备各自的本迭代轮次的梯度值；计算该梯度值和全局梯度值二者之间的距离评分；根据距离评分计算掩膜率及所有设备各自的梯度掩膜；根据梯度掩膜对梯度值进行压缩，并计算所有设备各自的压缩后梯度；根据梯度掩膜与压缩后梯度，计算所有设备各自的最终梯度值，更新所有设备各自的模型参数；重复上述过程，直到训练轮次达到预先设定的值结束训练。本发明能充分利用节点间梯度互信息，降低训练过程中的数据通信量，提高训练速度与精度，可用于机器学习。