有效

结合旋转自监督和CLIP指导的长尾图像分类的联邦学习方法

付晓东、刘海军、丁家满、刘骊、彭玮、代飞
昆明理工大学

摘要

本发明涉及一种结合旋转自监督和CLIP指导的长尾图像分类的联邦学习方法,属于长尾联邦学习领域。首先,本发明通过使用旋转自监督学习来指导本地客户端地训练,减少长尾数据对模型特征提取器造成的影响并使模型更好地学习图像的特征。其次,本发明利用预训练的CLIP对旋转之后的图像进行指导,将CLIP中丰富的知识转移到客户端模型中,进一步提升模型特征提取器的性能。最后,服务器生成一组使用CLIP指导的类别平衡的联邦特征,用于重新训练聚合后的模型的分类层,以提升全局模型的精度。本发明通过利用旋转自监督和CLIP指导模型训练,有效提高了客户端模型特征提取器提取图像中特征的能力,并缓解了长尾数据造成的影响,提升了最终全局模型的识别准确率。