有效
一种WTA注意力机制神经网络模型的优化方法和装置
曾啸、陈霖、李迪、刘淡冰、黄嘉明、胡欣欣、陈兆炜、蚁殷翔、王亚迪、苗浩、刘锦湖、王强、徐雪丹
广东电网有限责任公司
曾
曾啸机构 暂无
技术领域 暂无
陈
陈霖机构 暂无
技术领域 暂无
李
李迪机构 暂无
技术领域 暂无
刘
刘淡冰机构 暂无
技术领域 暂无
黄
黄嘉明机构 暂无
技术领域 暂无
胡
胡欣欣机构 暂无
技术领域 暂无
陈
陈兆炜机构 暂无
技术领域 暂无
蚁
蚁殷翔机构 暂无
技术领域 暂无
王
王亚迪机构 暂无
技术领域 暂无
苗
苗浩机构 暂无
技术领域 暂无
刘
刘锦湖机构 暂无
技术领域 暂无
王
王强机构 暂无
技术领域 暂无
徐
徐雪丹机构 暂无
技术领域 暂无
摘要
本发明公开了一种WTA注意力机制神经网络模型的优化方法和装置,当接收到图像训练数据集时,对图像训练数据集进行双向生成对抗训练,生成对应的目标训练样本数据,并获取网络构建参数,采用网络构建参数构建初始WTA注意力机制网络模型,并进行训练,生成目标WTA注意力机制网络模型,当接收到目标图像数据时,提取对应的输入特征图,并输入目标WTA注意力机制网络模型,生成WTA路径图,采用WTA路径图反馈优化目标WTA注意力机制网络模型;解决了通过现有的运用全局池化的方法更改神经网络,但是会存在可解释性较差,神经网络性能提升不明显的技术问题。
1.一种WTA注意力机制神经网络模型的优化方法,其特征在于,包括:当接收到图像训练数据集时,对所述图像训练数据集进行双向生成对抗训练,生成对应的目标训练样本数据,并获取网络构建参数;采用所述网络构建参数构建初始WTA注意力机制网络模型;采用所述目标训练样本数据对所述初始WTA注意力机制网络模型进行训练,生成目标WTA注意力机制网络模型;当接收到目标图像数据时,提取所述目标图像数据对应的输入特征图;采用所述输入特征图输入所述目标WTA注意力机制网络模型,生成WTA路径图;采用所述WTA路径图反馈优化所述目标WTA注意力机制网络模型;所述采用所述输入特征图输入所述目标WTA注意力机制网络模型,生成WTA路径图的步骤,包括:采用所述输入特征图输入所述目标WTA注意力机制网络模型,确定对应的赢家状态数据;通过LSTM网络模型记录所述赢家状态数据关联的目标注意力位置数据,并输出WTA路径图。
2.根据权利要求1所述的WTA注意力机制神经网络模型的优化方法,其特征在于,涉及初始GAN网络模型,所述初始GAN网络模型包括生成器和识别器,所述当接收到图像训练数据集时,对所述图像训练数据集进行双向生成对抗训练,生成对应的目标训练样本数据,并获取网络构建参数的步骤,包括:当接收到图像训练数据集时,提取所述图像训练数据集中每个样本训练图像对应的第一特征信息;采用所述第一特征信息输入所述生成器进行学习,生成对应的目标训练图像;提取所述目标训练图像对应的第二特征信息;通过所述识别器对所述第一特征信息与所述第二特征信息进行辨别,生成辨别结果;若所述辨别结果为所述初始GAN网络模型不能辨别出所述第一特征信息与所述第二特征信息,则生成目标GAN网络模型;采用所述图像训练数据集输入所述目标GAN网络模型进行双向生成对抗训练,生成对应的目标训练样本数据,并获取网络构建参数。
3.根据权利要求2所述的WTA注意力机制神经网络模型的优化方法,其特征在于,还包括:若所述辨别结果为所述初始GAN网络模型能辨别出所述第一特征信息与所述第二特征信息,按照预设梯度调整所述生成器和所述识别器的参数,并跳转所述通过所述识别器对所述第一特征信息与所述第二特征信息进行辨别,生成辨别结果的步骤。
4.根据权利要求1所述的WTA注意力机制神经网络模型的优化方法,其特征在于,所述采用所述目标训练样本数据对所述初始WTA注意力机制网络模型进行训练,生成目标WTA注意力机制网络模型的步骤,包括:将所述目标训练样本数据输入所述初始WTA注意力机制网络模型,生成对应的训练样本路径图;计算所述训练样本路径图与关联的标准路径图之间的训练损失值;比较所述训练损失值与预设的训练标准阈值;若所述训练损失值小于或等于所述训练标准阈值,则停止训练,生成目标WTA注意力机制网络模型。
5.一种WTA注意力机制神经网络模型的优化装置,其特征在于,包括:目标训练样本数据获取模块,用于当接收到图像训练数据集时,对所述图像训练数据集进行双向生成对抗训练,生成对应的目标训练样本数据,并获取网络构建参数;初始WTA注意力机制网络模型构建模块,用于采用所述网络构建参数构建初始WTA注意力机制网络模型;目标WTA注意力机制网络模型生成模块,用于采用所述目标训练样本数据对所述初始WTA注意力机制网络模型进行训练,生成目标WTA注意力机制网络模型;输入特征图获取模块,用于当接收到目标图像数据时,提取所述目标图像数据对应的输入特征图;WTA路径图生成模块,用于采用所述输入特征图输入所述目标WTA注意力机制网络模型,生成WTA路径图;优化模块,用于采用所述WTA路径图反馈优化所述目标WTA注意力机制网络模型;所述WTA路径图生成模块包括:赢家状态数据获取子模块,用于采用所述输入特征图输入所述目标WTA注意力机制网络模型,确定对应的赢家状态数据;注意力位置记录子模块,用于通过LSTM网络模型记录所述赢家状态数据关联的目标注意力位置数据,并输出WTA路径图。
6.根据权利要求5所述的WTA注意力机制神经网络模型的优化装置,其特征在于,涉及初始GAN网络模型,所述初始GAN网络模型包括生成器和识别器,所述目标训练样本数据获取模块包括:第一特征信息获取子模块,用于当接收到图像训练数据集时,提取所述图像训练数据集中每个样本训练图像对应的第一特征信息;目标训练图像获取子模块,用于采用所述第一特征信息输入所述生成器进行学习,生成对应的目标训练图像;第二特征信息获取子模块,用于提取所述目标训练图像对应的第二特征信息;比对结果生成子模块,用于通过所述识别器对所述第一特征信息与所述第二特征信息进行辨别,生成辨别结果;图像辨别子模块,用于若所述辨别结果为所述初始GAN网络模型不能辨别出所述第一特征信息与所述第二特征信息,则生成目标GAN网络模型;第一信息处理子模块,用于采用所述图像训练数据集输入所述目标GAN网络模型进行双向生成对抗训练,生成对应的目标训练样本数据,并获取网络构建参数。
7.根据权利要求6所述的WTA注意力机制神经网络模型的优化装置,其特征在于,所述目标训练样本数据获取模块还包括:第二信息处理子模块,用于若所述辨别结果为所述初始GAN网络模型能辨别出所述第一特征信息与所述第二特征信息,按照预设梯度调整所述生成器和所述识别器的参数,并跳转所述通过所述识别器对所述第一特征信息与所述第二特征信息进行辨别,生成辨别结果的步骤。
8.根据权利要求5所述的WTA注意力机制神经网络模型的优化装置,其特征在于,所述目标WTA注意力机制网络模型生成模块包括:训练样本路径图获取子模块,用于将所述目标训练样本数据输入所述初始WTA注意力机制网络模型,生成对应的训练样本路径图;训练损失值获取子模块,用于计算所述训练样本路径图与关联的标准路径图之间的训练损失值;比较子模块,用于比较所述训练损失值与预设的训练标准阈值;第三信息处理子模块,用于若所述训练损失值小于或等于所述训练标准阈值,则停止训练,生成目标WTA注意力机制网络模型。



