1.一种基于层优化差异的梯度导向差分进化方法,其特征在于,包括:获取待训练的神经网络模型;基于预设的评估指标识别所述神经网络模型中的关键层和非关键层;将所述关键层的个体参数以多组个体化形式分别存储在存储器的不同区域,构成一个种群;所述非关键层的参数以单组形式存储在存储器的一个共享区域,供所有个体共享;根据所述关键层的个体参数,通过欧氏距离划分小生境,并评估每个完整个体的适应度值,所述完整个体由关键层个体参数与非关键层共享参数组合构成;基于所述适应度值,将小生境中的个体分类为最优个体、较优个体和较差个体,并采用不同的更新策略对所述关键层参数进行更新;根据当前验证集上的最优个体,对所述非关键层共享参数进行梯度下降更新;当满足预设的迭代终止条件时,输出由关键层最优个体参数与非关键层共享参数组合构成的训练好的神经网络模型。
2.如权利要求1所述的方法,其特征在于,所述基于预设的评估指标识别所述神经网络中的关键层和非关键层,包括:获取所述神经网络的初始化扰动分析指标、参数方差指标和梯度方差指标;对所述初始化扰动分析指标、所述参数方差指标和所述梯度方差指标进行加权计算,得到各层的综合评分;基于所述综合评分对所述各层进行排序,将评分靠前的预定数量的层判定为关键层,其余层判定为非关键层。
3.如权利要求2所述的方法,其特征在于,所述初始化扰动分析指标 通过以下方式计算:冻结其他层,仅对第 层进行K种不同初始化,计算初始化后验证集精度 与原始模型精度 之差的绝对值的平均值;所述参数方差指标 通过计算训练过程中第 层参数L2范数的归一化方差得到;所述梯度方差指标 通过计算训练过程中第l层梯度张量L2范数的归一化方差得到;所述综合评分 通过加权组合 得到,其中 。
4.如权利要求1所述的方法,其特征在于,所述划分小生境包括:以最优个体为中心,计算其他个体与最优个体在关键层参数空间中的欧氏距离,选择距离最近的n个个体形成一个小生境。
5.如权利要求1所述的方法,其特征在于,所述适应度值基于验证集损失计算,所述适应度函数为验证集损失的归一化函数:其中, 、 分别为小生境内的最低适应值和最高适应值。
6.如权利要求1所述的方法,其特征在于,所述采用不同的更新策略对所述关键层参数进行更新,包括:对所述最优个体,采用梯度下降法更新其关键层参数;对所述较优个体,采用其梯度方向与指向最优个体方向的线性组合,更新其关键层参数;对所述较差个体,采用差分变异操作更新其关键层参数。
7.一种基于层优化差异的梯度导向差分进化系统,其特征在于,包括:获取模块,用于获取待训练的神经网络模型;关键层识别模块,用于基于预设的评估指标识别所述神经网络模型中的关键层和非关键层;分层存储模块,用于将所述关键层的个体参数以多组个体化形式分别存储在存储器的不同区域,构成一个种群;所述非关键层的参数以单组形式存储在存储器的一个共享区域,供所有个体共享;小生境管理与适应度评估模块,用于根据所述关键层的个体参数,通过欧氏距离划分小生境,并评估每个完整个体的适应度值,所述完整个体由关键层个体参数与非关键层共享参数组合构成;更新模块,用于基于所述适应度值,将小生境中的个体分类为最优个体、较优个体和较差个体,并采用不同的更新策略对所述关键层参数进行更新;根据当前验证集上的最优个体,对所述非关键层共享参数进行梯度下降更新;模型输出模块,用于当满足预设的迭代终止条件时,输出由关键层最优个体参数与非关键层共享参数组合构成的训练好的神经网络模型。
8.一种电子设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现了如权利要求1至6中任一项所述的基于层优化差异的梯度导向差分进化方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现了如权利要求1至6中任一项所述的基于层优化差异的梯度导向差分进化方法的步骤。
10.一种计算机程序产品,包括软件代码,其特征在于,所述软件代码中的程序执行如权利要求1至6中任一项所述的基于层优化差异的梯度导向差分进化方法的步骤。