注意力融合互信息的图像分类方法、装置及存储介质

1.一种注意力融合互信息的图像分类方法，其特征在于，包括：获取属于同一类别的第一输入图像和第二输入图像，将所述第一输入图像和第二输入图像输入至训练好的注意力融合互信息的图像分类网络中，分别提取所述第一输入图像和第二输入图像的全局特征，并将所述第一输入图像的第一全局特征和所述第二输入图像的第二全局特征转换为与类标签对应的第一语义概率和第二语义概率，提取所述第一输入图像的第一局部特征，并根据所述第一全局特征和所述第一局部特征估计所述第一局部特征的注意力图，并通过所述注意力图对所述第一局部特征进行加权，以获得注意力加权特征，将所述加权特征输入至线性分类器中进行分类，并获取所述线性分类器的交叉熵损失，根据所述第一语义概率和第二语义概率计算所述第一输入图像和第二输入图像的互信息，并根据最大化的所述互信息获取不变信息聚类损失，根据所述交叉熵损失和不变信息聚类损失训练所述注意力融合互信息的图像分类网络，以进行所述第一输入图像的分类预测。 2.根据权利要求1 所述的图像分类方法，其特征在于，还包括构建注意力融合互信息的图像分类网络，所述注意力融合互信息的图像分类网络具有注意力分类网络和聚类网络，根据所述交叉熵损失和不变信息聚类损失训练所述注意力融合互信息的图像分类网络的步骤包括：在获取所述交叉熵损失后，将所述交叉熵损失反向传播至所述注意力分类网络中，以训练所述注意力分类网络，在获取所述不变信息聚类损失后，将所述不变信息聚类损失反向传播至所述聚类网络中，以训练所述聚类网络。 3.根据权利要求1所述图像分类方法，其特征在于，根据所述第一输入图像获取所述第二输入图像，所述第一输入图像为待分类图像，所述第二输入图像为所述第一输入图像通过随机扰动转换后获得的图片，所述随机扰动包括缩放、倾斜、旋转、翻转、更改对比度和、更改颜色饱和度中的一种或多种。 4.根据权利要求1所述的图像分类方法，其特征在于，根据所述第一全局特征和所述第一输入图像的第一局部特征获取所述第一局部特征的注意力图, 并通过所述注意力图对所述第一局部特征进行加权，以获得注意力加权特征的步骤包括：采用加法运算使所述第一局部特征中的每个像素位置的输出激活向量 和全局特征 组合在一起，然后学习从结果描述符到兼容性评分的单个全连接层映射，以定义兼容性评分函数 ，使得 ，其中， ，对所述兼容性评分函数 进行归一化，以获得所述注意力图 ，所述注意力图 中的第 个元素为 ，其中，使所述注意力图 对所述第一局部特征中的每个像素位置的输出激活向量 进行加权，以获得所述注意力加权特征 ，其中，所述全局特征的特征向量为 ，所述第一局部特征的局部特征向量为 ， ，所述 为所述第一局部特征向量中的第 个像素位置的输出激活向量， 为像素位置的数量， 为学习与所述第一输入图象类别相关的权重向量。 5.根据权利要求2所述的图像分类方法，其特征在于，使所述注意力分类网络和聚类网络共享相同的特征提取参数。 6.一种注意力融合互信息的图像分类装置，其特征在于，包括：CNN模块、不变信息聚类模块、注意力估算模块、注意力加权模块、线性分类器，所述CNN 模块为双输入CNN 模块，以分别接收属于同一类别的第一输入图像和第二输入图像，用于提取所述第一输入图像的第一全局特征、第二输入图像的第二全局特征和第一输入图像的第一局部特征，并将所述第一全局特征和第二全局特征转换为与类标签对应的第一语义概率和第二语义概率，所述注意力估算模块用于根据所述第一全局特征和所述第一局部特征获取所述第一局部特征的注意力图，所述注意力加权模块通过所述注意力图对所述第一局部特征进行加权，以获得注意力加权特征，所述线性分类器根据所述注意力加权特征进行所述第一输入图像的分类，并获取交叉熵损失，所述不变信息聚类模块根据所述第一语义概率和第二语义概率计算所述第一输入图像和第二输入图像的互信息，并根据最大化的所述互信息获取聚类网络的不变信息聚类损失，构建注意力融合互信息的图像分类网络，所述注意力融合互信息的图像分类网络具有注意力分类网络和聚类网络，其中，所述注意力融合互信息的图像分类网络根据所述交叉熵损失和所述不变信息聚类损失进行训练，以对所述第一输入图像进行分类预测，所述CNN模块、所述注意力估计模块、所述注意力加权模块和所述线性分类器构成注意力分类网络，所述CNN模块和所述不变信息聚类模块构成所述聚类网络。 7.根据权利要求6所述的图像分类装置，其特征在于，还包括所述第二输入图像获取模块，用于将所述第一输入图像进行随机扰动转换，以获得所述第二输入图像，所述第一输入图像为待分类图像，所述随机扰动包括缩放、倾斜、旋转、翻转、更改对比度和、更改颜色饱和度中的一种或多种。 8.根据权利要求7所述的图像分类装置，其特征在于，所述CNN模块包括第一卷积层、第二卷积层、第三卷积层、第一完全卷积层、第二完全卷积层，所述图像分类网络还包括第三完全卷积层，所述第一卷积层用于接收所述第一输入图像和第二输入图像，以将从所述第一输入图像和第二输入图像中提取的特征输入至所述第二卷积层，所述第二卷积层输出所述第一输入图像的第一局部特征，所述第三卷积层与所述第二卷积层的输出相连，以将所述第二卷积层输出的特征转换后传输至所述第一完全卷积层，所述第一完全卷积层分别输出所述第一全局特征和第二全局特征，所述第二完全卷积根据所述第一全局特征和第二全局特征转换为与类标签对应的第一语义概率和第二语义概率，所述第三完全卷积层用将所述注意力加权特征换成相对于所述注意力加权特征更抽象的特征后再传输至所述线性分类器中分类。 9.根据权利要求8所述的图像分类装置，其特征在于：所述注意力图 的计算公式为：所述注意力加权特征 的计算公式为：所述全局特征的特征向量为 ，所述第一局部特征的局部特征向量为 ， ，所述 为所述第一局部特征向量中的第 个像素位置的输出激活向量， 为像素位置的数量， 为学习与对象类别相关的权重向量， 为兼容性评分函数， ，以及 。 10.一种计算机可读存储介质，其特征在于，所述可读存储介质上存储的计算机程序被处理器执行时实现如权利要求1至5中任意一项所述图像分类方法。