1.一种结合旋转自监督和CLIP指导的长尾图像分类的联邦学习方法,其特征在于,具体步骤为:Step1:客户端使用服务器下发的全局模型在本地数据集上计算分类层的梯度,然后将当前收到的全局模型作为当前本地客户端模型,使用本地数据集对当前本地客户端模型进行训练,并使用旋转自监督和CLIP指导当前本地客户端模型地训练;Step2:服务器聚合Step1训练完成后的客户端模型成为下一轮的全局模型,并利用从客户端收集的分类器梯度生成联邦特征,在生成联邦特征的过程中,使用CLIP指导联邦特征的生成;Step3:服务器复制一份Step2得到的聚合后的全局模型,并使用联邦特征重新训练复制后的全局模型的分类层,最后将Step2得到的聚合后的全局模型分发至客户端;Step4:重复Step1至Step3,直至达到最大通信次数,完成训练;所述步骤Step1具体为:S1.1、对于每个客户端 和每个类别 ,基于其本地数据集 ,使用当前下发的全局模型 计算第 个类别的分类器梯度 ; ;其中, 为第 个通信轮次客户端, 为交叉熵损失函数, 为第 个客户端的第 个类产生的 维真实特征, 为样本标签;S1.2、对于客户端 ,将当前收到的全局模型 作为本地模型 ,其本地数据集 中的每一个样本 ,将样本 分别旋转 ,旋转后的标签为 ;客户端额外创建一个四分类的分类器 ,然后将旋转后的样本以及标签送入客户端的特征提取器 中,然后将特征提取器 的输出输入到四分类分类器 中,以此构造旋转自监督学习,至此,模型训练中的有监督学习和旋转自监督的损失表示为: ;其中, 为客户端正常训练的有监督训练的损失, y 为样本 x 的标签, 为旋转自监督学习的损失, 为控制旋转自监督学习影响的超参数, 为旋转后的样本, 为旋转后的样本所对应的标签;S1.3、对于训练中的每个客户端 ,将其本地数据集 中的每一个样本 以及旋转后的 样本输入到CLIP中,分别得到CLIP输出的 向量,表示为 和 ,使用知识蒸馏对本地客户端模型 进行指导,损失表示为: ;其中, 和 为本地客户端模型输出的样本 和旋转后的 数据集输出的 向量, KL为 KL散度, 和 为控制CLIP指导的程度的超参数;S1.4、本地客户端模型训练的总损失为: 。
2.根据权利要求1所述的结合旋转自监督和CLIP指导的长尾图像分类的联邦学习方法,其特征在于,所述步骤Step2具体为;S2.1、服务器端接收到客户端训练完成后的本地模型,进一步通过以下公式聚合客户端模型,形成下一轮的全局模型: ;其中, 表示第 个客户端的本地数据集, 为聚合后的全局模型, 为上一轮被服务器选中参与训练的客户端集合, 为客户端上传训练完成后的本地模型;S2.2、服务器平均从客户端收集到的真实梯度 ,并通过以下公式计算真实梯度平均值: ;其中, 为第 轮选中的客户端中第 类的梯度;S2.3、服务器先随机生成 个符合真实特征维度的联邦特征 ,然后使用分类器 为随机生成的联邦特征 生成相应的类别梯度 ,并使用梯度匹配损失函数和CLIP指导优化随机生成的联邦特征 ,使生成的联邦特征 更符合真实数据产生的特征,公式如下: ; ; ; ;其中, 为第 轮第 类中第 个随机生成的联邦特征, 为梯度匹配损失函数, 为联邦特征 相应的类别梯度第 行的值, 为真实梯度平均值相应的类别梯度第 行的值, 为对比损失函数, 为第 类中第 个随机生成的联邦特征, 为类别不为 的联邦特征, 为类别总数, 为随机生成的联邦特征 与CLIP中语义信息相乘之后的类内原型, 为温度, 为CLIP指导随机生成的联邦特征 生成的超参数, 为总的损失, 为样本标签。
3.根据权利要求1所述的结合旋转自监督和CLIP指导的长尾图像分类的联邦学习方法,其特征在于,所述步骤Step3具体为;S3.1、将聚合后的全局模型复制一份后,对复制后的全局模型重新训练模型的分类器,首先冻结复制后的全局模型特征提取器的参数,重新训练复制后的全局模型的分类器 ,然后将聚合后的全局模型发送至客户端; ;其中, 为训练后的复制后的全局模型分类器, 为第 轮优化完成的联邦特征, 为重新训练模型分类层的学习率, 为 的梯度, 为交叉熵损失函数, 为样本标签。