1.基于多注意力多尺度特征学习的遮挡人脸识别方法,其特征在于,该方法首先在卷积神经网络的基础上添加多层次注意力网络,提取人脸图像的通道注意力图和空间注意力图;其次,构建多尺度特征融合器,整合人脸图像的局部与全局信息,获得鲁棒性更强的人脸特征;然后,基于遮挡掩码生成器定位遮挡区域并生成遮挡掩码,削减遮挡区域的影响;最后,通过多任务学习网络同时进行遮挡类别的分类和人脸身份的分类,取得最好的人脸识别泛化效果;该方法具体包括以下步骤:提取人脸图像特征:采用残差神经网络作为人脸图像特征提取模块,提取人脸图像特征;获得人脸图像的通道注意力图:得到人脸图像特征之后,针对各个通道的特征图计算注意力权重,获取各通道与关键信息的相关程度;获得人脸图像的空间注意力图:将通道注意力图细化后的特征图作为输入,计算不同像素点与关键信息的相关程度,得到人脸图像的多层次特征;人脸图像的多尺度特征融合:针对人脸图像的多层次特征,使用三层反卷积结构构建多尺度特征融合器,通过将不同尺度的特征图逐元素相加,得到包含不同分辨率和语义强度的人脸图像多尺度特征信息;遮挡掩码生成:学习对输入图像的遮挡位置高度敏感的特征掩码,计算遮挡区域对应的权重,通过对特征赋予不同权重的方式,消除被损坏特征对人脸识别的影响;遮挡类别分类:将遮挡掩码生成器学习到的特征掩码作为输入,将其分类为遮挡类别,以监督遮挡掩码生成器的学习;人脸类别分类:将遮挡掩码生成器得到的区域权重与人脸图像多尺度特征信息相乘,得到清理后的人脸特征,并将其作为人脸类别分类器的输入,得到人脸类别的分类结果;人脸图像的多尺度特征融合,具体包括:以获取人脸图像特征提取模块作为多尺度特征融合器的主体,使用从上到下的横向连接架构构建金字塔结构模型;金字塔结构模型的输入为预处理的人脸图像,通过卷积操作和上采样操作得到包含不同分辨率和语义强度的人脸图像多尺度特征信息;遮挡掩码生成,具体包括:输入包含不同尺度、全局信息的人脸特征,通过卷积网络并结合PReLu激活函数、批正则化层和Sigmoid函数得到最终的遮挡掩码,用于清理因部分遮挡而受损的原始人脸特征。
2.根据权利要求1所述的基于多注意力多尺度特征学习的遮挡人脸识别方法,其特征在于,获得人脸图像的通道注意力图,具体包括:将提取到的人脸特征分别进行平均池化和最大池化操作聚合空间信息,并将其输入两个共享的全连接层拟合各通道特征之间的相关性,得到两个通道特征图;对两个通道特征图中的对应元素相加,并使用Sigmoid激活函数处理,得到人脸图像的通道注意力图,图中的权重反映了该通道与关键信息的相关程度。
3.根据权利要求1所述的基于多注意力多尺度特征学习的遮挡人脸识别方法,其特征在于,获得人脸图像的空间注意力图,包括:将已提取的人脸特征沿通道方向进行最大池化和平均池化操作,得到两个空间特征图;将两个空间特征图进行拼接,并通过卷积操作拟合空间维度上的特征相关性,得到空间注意力图,图中的权重反应了不同像素点与关键信息的相关程度。
4.根据权利要求1所述的基于多注意力多尺度特征学习的遮挡人脸识别方法,其特征在于,遮挡类别分类,具体包括:对人脸图片划分成若干矩形方格,通过矩形组合模拟遮挡区域并构建新的遮挡类别,基于此得到所有遮挡类别的遮挡字典,其中仍包含无遮挡的情况;选取不同类别的口罩图片作为遮挡物,随机选择遮挡物中心将遮挡物图片整合在人脸图片上;根据每个方格是否被遮挡计算对应的遮挡矩阵,并在已生成遮挡字典中查找对应的遮挡类别作为该遮挡人脸图片的标签;将已标记的遮挡人脸图片送入遮挡掩码生成器,学习与该遮挡类别相关的掩码;将已学习到的掩码送入遮挡类别分类器分类,使用交叉熵作为损失函数监督遮挡掩码生成器的学习过程,以获得更准确的遮挡掩码。
5.根据权利要求1所述的基于多注意力多尺度特征学习的遮挡人脸识别方法,其特征在于,人脸类别分类,具体包括:输入经过遮挡掩码处理后的人脸特征,采用基于边缘的损失函数LMCL监督模型学习与身份相关的人脸特征;最终以人脸识别任务的损失函数与遮挡类别识别任务的损失函数相加作为最终的损失函数,监督模型使其更快收敛,完成人脸类别分类。
6.基于多注意力多尺度特征学习的遮挡人脸识别装置,其特征在于,该装置基于权利要求1所述的基于多注意力多尺度特征学习的遮挡人脸识别方法,包括:人脸图像特征提取模块,采用残差神经网络作为人脸图像特征提取模块,提取人脸图像特征;通道注意力图构建模块,得到人脸图像特征之后,针对各个通道的特征图计算注意力权重,获取各通道与关键信息的相关程度;空间注意力图构建模块,将通道注意力图细化后的特征图作为输入,计算不同像素点与关键信息的相关程度,得到人脸图像的多层次特征;多尺度特征融合模块,针对人脸图像的多层次特征,使用三层反卷积结构构建多尺度特征融合器,通过将不同尺度的特征图逐元素相加,得到包含不同分辨率和语义强度的人脸图像多尺度特征信息;遮挡掩码生成模块,学习对输入图像的遮挡位置高度敏感的特征掩码,计算遮挡区域对应的权重,通过对特征赋予不同权重的方式,消除被损坏特征对人脸识别的影响;遮挡类别分类模块,将遮挡掩码生成器学习到的特征掩码作为输入,将其分类为遮挡类别,以监督遮挡掩码生成器的学习;人脸类别分类模块,将遮挡掩码生成器得到的区域权重与人脸图像多尺度特征信息相乘,得到清理后的人脸特征,并将其作为人脸类别分类器的输入,得到人脸类别的分类结果。