1.一种用于数据保护的预训练模型微调方法,其特征在于,所述方法包括:创建用于数据保护的代理模型,所述代理模型是将预训练的扩散模型中除文本编码器和U-Net结构的交叉注意层的参数之外的其他参数禁用之后得到的;根据预设人脸图像集及其描述文本,对所述代理模型进行预设时间步的迭代微调,得到代理个性化生成模型;使用预设对抗样本集与所述描述文本,对所述代理个性化生成模型进行攻击,得到扰动值,其中,所述预设对抗样本集是将所述预设人脸图像集进行预处理得到的,计算所述扰动值时的扰动步长是根据时间步计算得到的;将所述扰动值添加至所述预设对抗样本集中,并继续执行所述对所述代理个性化生成模型进行攻击的步骤,直到攻击次数到达预设次数阈值的情况下,得到目标对抗样本;使用所述目标对抗样本,再次对所述代理模型进行预设时间步的迭代微调,在当前微调次数到达预设扰动阈值的情况下,得到最终的代理个性化生成模型。
2.根据权利要求1所述的方法,其特征在于,所述使用预设对抗样本集与所述描述文本,对所述代理个性化生成模型进行攻击,得到扰动值,包括:将所述预设对抗样本集与所述描述文本输入所述代理个性化生成模型,以计算扰动值;输出所述预设对抗样本集对应的处理结果;获取所述处理结果中包括的扰动值。
3.根据权利要求2所述的方法,其特征在于,所述将所述预设对抗样本集与所述描述文本输入所述代理个性化生成模型,以计算扰动值,包括:所述代理个性化生成模型使用分数蒸馏采样算法,对所述预设对抗样本集与所述描述文本进行计算处理,得到当前梯度;所述代理个性化生成模型获取时间步;所述代理个性化生成模型根据所述时间步,计算扰动步长;所述代理个性化生成模型根据所述当前梯度与所述扰动步长,计算扰动值。
4.根据权利要求3所述的方法,其特征在于,所述扰动步长计算公式为:其中, 为扰动步长, 为超参数,用于调整步长的大小,可以根据模型的需要和训练过程中的表现进行调整, 在时间步 时的加噪强度,加噪强度与扩散模型的噪声方差相关, 为时间步,用于动态调整步长,使得随着时间步的增加,更新幅度逐渐减小;所述扰动值的计算公式为:其中, 为扰动值, 是一个缩放因子,为0.1,用于控制对抗性扰动的强度, 为扰动步长, 为损失函数梯度的符号函数,它返回梯度向量的符号,在对抗性攻击中,使用梯度的符号来确定扰动的方向, 为使用分数蒸馏采样算法得到的当前梯度。
5.根据权利要求4所述的方法,所述当前梯度计算公式为:其中, 表示对 的梯度运算符,用于计算损失函数L相对于输入预设对抗样本集中图像 的梯度; 表示在模型函数 下,图像 经过扰动 后的损失函数; 表示在迭代过程中的第 次迭代的图像, 表示使用分数蒸馏采样算法计算的损失函数, 表示期望值运算符,用于计算在所有可能的 组合下梯度的平均值, 表示原始输入图像,在迭代和扰动之前的状态, 为时间步, 为模型参数的集合, 为时间步 时添加到图像 中的实际噪声, 表示模型根据当前的模型参数集合 、时间步 和所述描述文本 预测的噪声, 表示时间步 时,模型输出 相对于 的梯度, 为时间步 时模型的输出, 为时间步 时模型的输入。
6.根据权利要求1所述的方法,其特征在于,所述代理模型的损失函数为:其中, 为损失函数,用于度量在给定模型参数 和预设人脸图像集 的情况下计算的损失值, 是期望值运算符,用于计算所有可能的 组合下损失函数的平均值, 为时间步, 为模型参数的集合, 为时间步 时添加到图像 中的实际噪声, 表示模型根据当前的模型参数集合 、时间步 和所述描述文本 预测的噪声。
7.根据权利要求1所述的方法,其特征在于,所述预设时间步为3步,预设次数阈值大于6,所述预设扰动阈值为50次,所述代理模型的微调方式采用DreamBooth算法的训练方式。
8.一种模型应用方法,其特征在于,所述方法包括:接收图像处理请求,所述图像处理请求携带用户的人脸图像;将所述人脸图像输入最终的代理个性化生成模型中,输出添加隐私保护信息的目标图像,所述隐私保护信息用于防止扩散模型生成与感兴趣主题相关的图像;所述最终的代理个性化生成模型是通过权利要求1-7任一项所述的用于数据保护的预训练模型微调方法微调得到的;展示所述目标图像。
9.一种用于数据保护的预训练模型微调装置,其特征在于,所述装置包括:创建模块,用于创建用于数据保护的代理模型,所述代理模型是将预训练的扩散模型中除文本编码器和U-Net结构的交叉注意层的参数之外的其他参数禁用之后得到的;第一微调模块,用于根据预设人脸图像集及其描述文本,对所述代理模型进行预设时间步的迭代微调,得到代理个性化生成模型;第一攻击模块,用于使用预设对抗样本集与所述描述文本,对所述代理个性化生成模型进行攻击,得到扰动值,其中,所述预设对抗样本集是将所述预设人脸图像集进行预处理得到的,计算所述扰动值时的扰动步长是根据时间步计算得到的;第二攻击模块,用于将所述扰动值添加至所述预设对抗样本集中,并继续执行所述对所述代理个性化生成模型进行攻击的步骤,直到攻击次数到达预设次数阈值的情况下,得到目标对抗样本;第二微调模块,用于使用所述目标对抗样本,再次对所述代理模型进行预设时间步的迭代微调,在当前微调次数到达预设扰动阈值的情况下,得到最终的代理个性化生成模型。
10.一种模型应用装置,其特征在于,所述装置包括:接收模块,用于接收图像处理请求,所述图像处理请求携带用户的人脸图像;输入模块,用于将所述人脸图像输入最终的代理个性化生成模型中,输出添加隐私保护信息的目标图像,所述隐私保护信息用于防止扩散模型生成与感兴趣主题相关的图像;所述最终的代理个性化生成模型是通过权利要求1-7任一项所述的用于数据保护的预训练模型微调方法微调得到的;展示模块,用于展示所述目标图像。