1.一种基于联邦学习的大坝缺陷识别模型快速收敛方法,通过N个无人机采集大坝缺陷图像数据,其特征在于,包括以下步骤:步骤1)根据每个无人机保存的大坝缺陷图像数据,通过联邦学习算法训练大坝缺陷识别模型,在每一轮联邦训练之初,参数服务器从无人机群中随机选择K个无人机参与该轮训练,并将全局的大坝缺陷识别模型w t ,全局模型预测参数c t 和修正项权重ε发送给选定的K个无人机;步骤2)无人机接收来自参数服务器的全局大坝缺陷识别模型w t ,全局模型预测参数c t 以及修正项权重ε;然后将本地大坝缺陷识别模型 初始化为w t ,并在本地所拥有的大坝缺陷图像数据集上进行E次本地迭代训练,在每次本地迭代训练过程中,根据全局模型预测参数c t 和本地模型预测参数 计算修正项 并以修正项来衡量客户端漂移程度;结合修正项以及权重控制机制,以 调整本地训练阶段的模型梯度;步骤3)以修正后的模型梯度更新本地大坝缺陷识别模型 和本地模型预测参数 之后每个无人机在完成E次本地迭代训练后,分别将本地模型和本地预测参数的变化量Δw k 和Δc k 上传到参数服务器;步骤4)参数服务器根据全局动量梯度下降技术更新全局模型w t 和全局模型预测参数c t ,并根据权重控制机制,计算出全局模型历史精度变化速率;然后重复步骤1)-4)直到模型收敛或达到指定的通信轮次,最终获得的全局模型即为大坝缺陷识别模型。
2.根据权利要求1所述的基于联邦学习的大坝缺陷识别模型快速收敛方法,其特征在于,所述步骤2)中本地训练阶段的模型梯度调整的具体步骤如下:定义本地损失函数 为:其中 表示无人机k训练的大坝缺陷识别模型在其本地所保存的大坝缺陷图片数据集D k 上的本地损失函数,l d 表示本地大坝缺陷识别模型分类结果与真实标签之间的欧式距离, 为近端项,μ是正则化参数, 为本地模型,w t 是本轮训练之初从参数服务器接收到的全局模型;定义初始模型梯度 为:之后通过梯度方差缩减和修正项权重控制机制调整大坝缺陷识别模型的梯度,修正本地模型梯度的具体计算公式为:其中 是本地模型预测参数,ε是修正项权重控制项,全局模型历史精度变化速率,用于控制 对本地梯度的修正程度, 为修正后的本地模型梯度。
3.根据权利要求2所述的基于联邦学习的大坝缺陷识别模型快速收敛方法,其特征在于,所述步骤3)中无人机上的本地模型更新和本地模型预测参数更新的具体步骤如下:本地模型的更新公式为:其中η l 表示本地学习率, 表示本地模型;在无人机执行完E次本地模型的迭代训练后,更新本地模型预测参数,公式为:其中 表示第t轮通信中,无人机k的本地模型预测参数; 是第t轮通信结束时更新得到的本地模型预测参数,同时作为第t+1轮通信中的本地模型预测参数,参与本地训练;c t 表示第t轮通信中的全局模型预测参数,E是本地迭代次数;无人机在进行e次本地迭代训练后,分别将本地模型和本地预测参数的变化量Δw k 和Δc k 上传到参数服务器,Δw k 和Δc k 计算公式如下:其中w t 表示本轮通信中无人机的初始模型, 表示使用本地数据,经过E次迭代训练后的本地模型, 是本轮通信之初的本地模型预测参数, 是无人机执行完E次迭代后,更新的本地模型预测参数。
4.根据权利要求3所述的基于联邦学习的大坝缺陷识别模型快速收敛方法,其特征在于,所述步骤4)中根据全局动量梯度下降技术更新全局模型和全局预测参数的具体步骤如下:计算第t轮通信中,参与联邦训练过程的客户端,在经过E次本地迭代后的模型参数变化量之和Δω:其中|S t |表示第t轮通信中,参与联邦训练的无人机数量;根据所有无人机模型参数变化量之和,得到初步更新的全局模型ω t :其中N表示所有无人机的数量,利用全局动量梯度下降计算最终更新得到的全局模型:mw=mw+w tw t+1 =ω t -βmw其中mw为动量参数,β为动量衰减因子,控制参数mw对全局模型ω t 的影响程度,ω t+1 为第t轮通信结束后所获得的全局模型,也是第t+1轮通信的初始全局模型;全局模型预测参数的更新方式与全局模型一致:mc=mc+c tc t+1 =c t -βmc修正项权重的具体计算步骤如下:定义前t轮全局模型测试精度的最大值sub(t)为:其中acc(t)为第t轮全局模型的测试精度,对于 当t≥t′,sub(t)≥sub(t′),因此sub(t)是非递减数组;在第t轮通讯中,权重控制项ε由第t-h至第t轮模型测试精度的变化速率决定,具体公式如下:ε=(sub(t)-sub(t-h))/h*10(t≥h)其中h是常数,表示计算权重控制项的窗口大小。
5.一种基于联邦学习的大坝缺陷识别模型快速收敛系统,通过N个无人机采集大坝缺陷图像数据,其特征在于,包括参数服务器和作为客户端的无人机;每个无人机采集并保存的大坝缺陷图像数据,通过联邦学习算法训练大坝缺陷识别模型,在每一轮联邦训练之初,参数服务器从无人机群中随机选择K个无人机参与该轮训练,并将全局的大坝缺陷识别模型w t ,全局模型预测参数c t 和修正项权重ε发送给选定的K个无人机;无人机接收来自参数服务器的全局大坝缺陷识别模型w t ,全局模型预测参数c t 以及修正项权重ε;然后将本地大坝缺陷识别模型 初始化为w t ,并在本地所拥有的大坝缺陷图像数据集上进行E次本地迭代训练,在每次本地迭代训练过程中,根据全局模型预测参数c t 和本地模型预测参数 计算修正项 并以修正项来衡量客户端漂移程度;结合修正项以及权重控制机制,以 调整本地训练阶段的模型梯度;无人机以修正后的模型梯度更新本地大坝缺陷识别模型 和本地模型预测参数 之后每个无人机在完成E次本地迭代训练后,分别将本地模型和本地预测参数的变化量Δw k 和Δc k 上传到参数服务器;参数服务器根据全局动量梯度下降技术更新全局模型w t 和全局模型预测参数c t ,并根据权重控制机制,计算出全局模型历史精度变化速率;直到模型收敛或达到指定的通信轮次,最终获得的全局模型即为大坝缺陷识别模型。
6.一种计算机设备,其特征在于:该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述计算机程序时实现如权利要求1-4中任一项所述的基于联邦学习的大坝缺陷识别模型快速收敛方法。
7.一种计算机可读存储介质,其特征在于:该计算机可读存储介质存储有执行如权利要求1-4中任一项所述的基于联邦学习的大坝缺陷识别模型快速收敛方法的计算机程序。