有效
联邦学习模型的训练方法、装置和电子设备
张芳娟、刘洋、张钧波、郑宇
京东城市(北京)数字科技有限公司
张
张芳娟机构 暂无
技术领域 暂无
刘
刘洋机构 暂无
技术领域 暂无
张
张钧波机构 暂无
技术领域 暂无
郑
郑宇机构 暂无
技术领域 暂无
摘要
本申请提出一种联邦学习模型的训练方法、装置和电子设备,其中训练方法包括:获取数据提供端上多个企业的企业画像和特征信息;基于企业画像和所述特征信息,协同其他数据提供端进行模型的联邦训练,以获取各自本地学习模型的模型中间结果;将模型中间结果发送给第三方平台进行汇总,并接收第三方平台发送的全局模型中间结果;基于全局模型中间结果,调整本地学习模型的模型参数继续进行模型的联邦训练,以生成目标联邦学习模型,其中,目标联邦学习模型用于对企业的征信状态进行预测。由此,该方法可将联邦学习应用于企业征信状态的获取,通过多个数据提供端的企业画像和特征信息进行模型的联邦训练,得到的目标联邦学习模型的准确度更好。
1.一种联邦学习模型的训练方法,其特征在于,包括:获取数据提供端上多个企业的企业画像和特征信息;基于所述企业画像和所述特征信息,协同其他数据提供端进行模型的联邦训练,以获取各自本地学习模型的模型中间结果,所述模型中间结果包括梯度、损失;将所述模型中间结果发送给第三方平台进行汇总,并接收所述第三方平台发送的汇总出的全局模型中间结果;基于所述全局模型中间结果,调整自身的所述本地学习模型的模型参数继续进行所述模型的联邦训练,以生成目标联邦学习模型,其中,所述目标联邦学习模型用于对企业的征信状态进行预测;所述基于所述企业画像和所述特征信息,协同其他数据提供端进行模型的联邦训练,包括:将所述企业画像和所述特征信息进行组合,以生成所述数据提供端的训练样本;协同所述其他数据提供端分别基于自身的所述训练样本,对自身的所述本地学习模型进行联邦训练,其中,每个参与联邦训练的数据提供端的训练样本实现物理隔离;所述将所述企业画像和所述特征信息进行组合,以生成所述数据提供端的训练样本,包括:生成所述企业画像对应的第一矩阵;生成所述特征信息对应的第二矩阵;将所述第一矩阵和所述第二矩阵进行拼接,生成所述训练样本;所述协同所述其他数据提供端分别基于自身的所述训练样本,对自身的所述本地学习模型进行联邦训练之前,还包括:获取所述其他数据提供端的所述训练样本对应的企业标识;获取所述数据提供端的所述训练样本对应的企业标识,并发送给所述其他数据提供端;根据获取到的所述企业标识,将所述数据提供端的所述训练样本与所述其他数据提供端的所述训练样本进行样本对齐;所述根据获取到的所述企业标识,将所述数据提供端的所述训练样本与所述其他数据提供端的所述训练样本进行样本对齐,包括:获取所述数据提供端和所述其他数据提供端共有的企业标识;根据所述共有的企业标识,从所述数据提供端的所述训练样本中,筛除非共有的企业标识所标识的训练样本。
2.根据权利要求1所述的联邦学习模型的训练方法,其特征在于,所述筛除非共有的企业标识所标识的训练样本之后,还包括:获取所述共有的企业标识;基于所述共有的企业标识和所述数据提供端得到各自的所述训练样本。
3.根据权利要求1所述的联邦学习模型的训练方法,其特征在于,所述获取数据提供端上多个企业的企业画像和特征信息,包括:从所述数据提供端上的企业数据库中,按照设定的筛选规则,获取所述多个企业的原始数据;对所述多个企业中每个企业的原始数据进行特征提取和标签提取;利用提取的每个所述企业的所述特征,生成每个所述企业的所述特征信息;利用提取的每个所述企业的所述标签,生成每个所述企业的所述企业画像。
4.根据权利要求3所述的联邦学习模型的训练方法,其特征在于,所述对所述多个企业中每个企业的原始数据进行特征提取和标签提取,还包括:针对所述多个企业中每个企业的所述原始数据,识别所述原始数据中的异常数据;过滤所述异常数据,以得到清洗数据;对所述清洗数据进行预处理,以生成待提取数据;对所述待提取数据进行特征提取和标签提取。
5.根据权利要求4所述的联邦学习模型的训练方法,其特征在于,所述对所述清洗数据进行预处理,以生成待提取数据,包括:对所述清洗数据进行缺失值填充操作;对填充后的所述清洗数据进行数据分箱操作;对分箱结果进行编码,以生成所述待提取数据。
6.根据权利要求4所述的联邦学习模型的训练方法,其特征在于,所述对所述待提取数据进行特征提取,包括:采用提升树模型对所述待提取数据进行特征分裂,以生成提升树的叶子节点,以所述叶子节点的位置信息作为所述特征信息。
7.根据权利要求1所述的联邦学习模型的训练方法,其特征在于,所述生成目标联邦学习模型之后,还包括:获取目标企业在所述数据提供端上的目标企业画像和目标特征信息,其中,所述目标企业为需要预测征信状态的企业;协同所述其他数据提供端,使用所述目标联邦学习模型对所述目标企业画像和所述目标特征信息进行预测,以获取所述目标企业的征信状态信息。
8.一种联邦学习模型的训练装置,其特征在于,包括:获取模块,用于获取数据提供端上多个企业的企业画像和特征信息;第一训练模块,用于基于所述企业画像和所述特征信息,协同其他数据提供端进行模型的联邦训练,以获取各自本地学习模型的模型中间结果;汇总模块,用于将所述模型中间结果发送给第三方平台进行汇总,并接收所述第三方平台发送的汇总出的全局模型中间结果,所述模型中间结果包括梯度、损失;第二训练模块,用于基于所述全局模型中间结果,调整自身的所述本地学习模型的模型参数继续进行所述模型的联邦训练,以生成目标联邦学习模型,其中,所述目标联邦学习模型用于对企业的征信状态进行预测;所述第一训练模块,包括:组合单元,用于将所述企业画像和所述特征信息进行组合,以生成所述数据提供端的训练样本;训练单元,用于协同所述其他数据提供端分别基于自身的所述训练样本,对自身的所述本地学习模型进行联邦训练,其中,每个参与联邦训练的数据提供端的训练样本实现物理隔离;所述组合单元,具体用于:生成所述企业画像对应的第一矩阵;生成所述特征信息对应的第二矩阵;将所述第一矩阵和所述第二矩阵进行拼接,生成所述训练样本;所述第一训练模块,还包括:第一获取单元,获取所述其他数据提供端的所述训练样本对应的企业标识;发送单元,用于获取所述数据提供端的所述训练样本对应的企业标识,并发送给所述其他数据提供端;对齐单元,用于根据获取到的所述企业标识,将所述数据提供端的所述训练样本与所述其他数据提供端的所述训练样本进行样本对齐;所述对齐单元,具体用于:获取所述数据提供端和所述其他数据提供端共有的企业标识;根据所述共有的企业标识,从所述数据提供端的所述训练样本中,筛除非共有的企业标识所标识的训练样本。
9.根据权利要求8所述的联邦学习模型的训练装置,其特征在于,所述对齐单元,还用于:获取所述共有的企业标识;基于所述共有的企业标识和所述数据提供端得到各自的所述训练样本。
10.根据权利要求8所述的联邦学习模型的训练装置,其特征在于,所述获取模块,包括:第二获取单元,用于从所述数据提供端上的企业数据库中,按照设定的筛选规则,获取所述多个企业的原始数据;提取单元,用于对所述多个企业中每个企业的原始数据进行特征提取和标签提取;特征生成单元,用于利用提取的每个所述企业的所述特征,生成每个所述企业的所述特征信息;画像生成单元,用于利用提取的每个所述企业的所述标签,生成每个所述企业的所述企业画像。
11.根据权利要求10所述的联邦学习模型的训练装置,其特征在于,所述提取单元,具体用于:针对所述多个企业中每个企业的所述原始数据,识别所述原始数据中的异常数据;过滤所述异常数据,以得到清洗数据;对所述清洗数据进行预处理,以生成待提取数据;对所述待提取数据进行特征提取和标签提取。
12.根据权利要求11所述的联邦学习模型的训练装置,其特征在于,所述提取单元,还用于:对所述清洗数据进行缺失值填充操作;对填充后的所述清洗数据进行数据分箱操作;对分箱结果进行编码,以生成所述待提取数据。
13.根据权利要求11所述的联邦学习模型的训练装置,其特征在于,所述提取单元,具体用于:采用提升树模型对所述待提取数据进行特征分裂,以生成提升树的叶子节点,以所述叶子节点的位置信息作为所述特征信息。
14.根据权利要求8项所述的联邦学习模型的训练装置,其特征在于,还包括:预测模块,用于:获取目标企业在所述数据提供端上的目标企业画像和目标特征信息,其中,所述目标企业为需要预测征信状态的企业;协同所述其他数据提供端,使用所述目标联邦学习模型对所述目标企业画像和所述目标特征信息进行预测,以获取所述目标企业的征信状态信息。
15.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-7中任一项所述的联邦学习模型的训练方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的联邦学习模型的训练方法。



