有效

一种面向无标签数据的异构联邦学习方法和系统

王吉、包卫东、钟正仪、周文、张雄涛、周敬轩、闫辉、张大宇、梁文谦、张亮、邹明胤、何高宇、陈福旭
中国人民解放军国防科技大学

摘要

本发明提供一种面向无标签数据的异构联邦学习方法和系统,其中方法包括:异构联邦学习子方法:在全局深度模型插入分支构成多分支模型;对多分支模型进行训练得到训练后的多分支模型;根据分支数量将全局深度模型拆分为多个分支子模型;将各分支子模型作为教师模型分配至资源异构的客户端。无标签数据学习子方法:客户端从服务器端下载老师模型;根据得到老师模型对无标签数据进行预测打标;选择伪标签数据用于客户端训练;客户端利用本地数据进行训练得到学生模型;服务器接收客户端学生模型并聚合微调为新的全局模型。本发明的技术方案,充分利用客户端的无标签数据特征,在保证模型精度的同时,降低联邦学习中计算、通信以及存储的资源开销。