有效

基于自适应聚合稀疏通信的学习方法、装置、设备及介质

邓晓歌、李东升、孙涛
中国人民解放军国防科技大学

摘要

本发明涉及分布式学习领域,公开了一种基于自适应聚合稀疏通信的学习方法、装置、设备及介质,本发明获取自适应聚合规则并根据所述自适应聚合规则确定目标节点;对所述目标节点对应的目标信息进行稀疏处理;根据预设序列结合李雅普诺夫函数计算收敛结果;对深度神经网络模型进行训练以获得学习方法,通过自适应选择规则自适应地跳过一些通信轮次,并通过对传输信息进行稀疏化来进一步减少通信比特数。对于top‑k稀疏化算子的有偏性,算法使用了一种误差反馈格式,实现了充分利用分布式集群的计算能力的技术效果。