1.一种基于对比学习的多模态人脸识别方法,其特征在于,所述方法包括:获取待识别的人脸图像;所述人脸图像包括人脸平面图像和人脸轮廓图像;构建人脸识别模型;所述人脸识别模型中包括卷积神经网络、残差网络、3D卷积网络、全连接层和SoftMax层;根据卷积神经网络对所述人脸平面图像进行特征提取,得到人脸平面特征图;利用残差网络对所述人脸轮廓图像进行特征提取,得到人脸轮廓特征图;将所述人脸平面特征图和所述人脸轮廓特征图进行交叉组合,得到多模态融合特征;根据对比学习方法对所述多模态融合特征进行增强表示,得到多模态特征表示;利用3D卷积网络对所述多模态特征表示进行特征分析,得到人名对应的概率分布;根据所述人名对应的概率分布和标注的人名标签构建交叉熵损失函数,利用所述交叉熵损失函数和对比学习中的损失函数对预先构建的人脸识别模型进行训练,得到训练好的人脸识别模型;根据所述训练好的人脸识别模型对所述待识别的人脸图像进行人脸识别;根据对比学习方法对所述多模态融合特征进行增强表示,得到多模态特征表示,包括:选择待识别人的其他面部平面图像和轮廓图像作为正例样本,选择其他人的面部平面图像和轮廓图像作为负例样本,对所述正例样本和负例样本进行特征提取,分别得到正例样本的人脸平面特征图和人脸轮廓特征图和负例样本的人脸平面特征图和人脸轮廓特征图;将所述正例样本的人脸平面特征图和人脸轮廓特征图进行交叉组合,得到所述正例样本的多模态融合特征,将所述负例样本的人脸平面特征图和人脸轮廓特征图进行交叉组合,得到所述负例样本的多模态融合特征;根据对比学习方法增加待识别的人脸图像对应的多模态融合特征与所述正例样本的多模态融合特征的相似度,减少与所述负例样本的多模态融合特征的相似度,得到多模态特征表示;利用3D卷积网络对所述多模态特征表示进行特征分析,得到人名对应的概率分布,包括:利用3D卷积网络对所述多模态特征表示进行特征分析,得到人名对应的概率分布为其中,F r =ReLU(FC(f))=max(0,W T f+b),F r 表示多模态特征表示,f为特征向量,W为可训练的参数矩阵,b为偏置项,p j 表示当前所识别人脸是第j个人的概率, 为多模态特征的第j个特征参数, 为多模态特征的第i个特征参数。
2.根据权利要求1所述的方法,其特征在于,根据卷积神经网络对所述人脸平面图像进行特征提取,得到人脸平面特征图,包括:采用2D卷积神经网络设置小于或等于人脸平面图像大小的参数矩阵作为卷积核,通过多层的卷积层、Relu激活函数层以及最大池化层对所述人脸平面图像进行特征提取,得到人脸平面特征图。
3.根据权利要求1所述的方法,其特征在于,所述人脸平面特征图和所述人脸轮廓特征图的数量相等。
4.根据权利要求1所述的方法,其特征在于,所述多模态特征表示的损失函数为其中,S i 表示待识别的人脸图像的多模态融合特征,i表示待识别的人脸图像的样本号,S j 表示正例样本的模态融合特征,j代表正例样本的样本号,S k 指不包括S i 的正例和负例总样本多模态融合特征,k是不包括S i 的正例和负例总样本的样本号,sim表示L2距离函数,τ是调节特征表示水平的参数。
5.根据权利要求1所述的方法,其特征在于,根据所述人名对应的概率分布和标注的人名标签构建交叉熵损失函数,包括:根据所述人名对应的概率分布和标注的人名标签构建交叉熵损失函数为其中,y(x)代表人名对应的真实分布,p(x)表示人名对应的概率分布,x表示人名标签。
6.一种基于对比学习的多模态人脸识别装置,其特征在于,所述装置包括:特征提取模块,用于获取待识别的人脸图像;所述人脸图像包括人脸平面图像和人脸轮廓图像;构建人脸识别模型;所述人脸识别模型中包括卷积神经网络、残差网络、3D卷积网络、全连接层和SoftMax层;根据卷积神经网络对所述人脸平面图像进行特征提取,得到人脸平面特征图;利用残差网络对所述人脸轮廓图像进行特征提取,得到人脸轮廓特征图;交叉组合模块,用于将所述人脸平面特征图和所述人脸轮廓特征图进行交叉组合,得到多模态融合特征;对比学习模块,用于根据对比学习方法对所述多模态融合特征进行增强表示,得到多模态特征表示,包括:选择待识别人的其他面部平面图像和轮廓图像作为正例样本,选择其他人的面部平面图像和轮廓图像作为负例样本,对所述正例样本和负例样本进行特征提取,分别得到正例样本的人脸平面特征图和人脸轮廓特征图和负例样本的人脸平面特征图和人脸轮廓特征图;将所述正例样本的人脸平面特征图和人脸轮廓特征图进行交叉组合,得到所述正例样本的多模态融合特征,将所述负例样本的人脸平面特征图和人脸轮廓特征图进行交叉组合,得到所述负例样本的多模态融合特征;根据对比学习方法增加待识别的人脸图像对应的多模态融合特征与所述正例样本的多模态融合特征的相似度,减少与所述负例样本的多模态融合特征的相似度,得到多模态特征表示;利用3D卷积网络对所述多模态特征表示进行特征分析,得到人名对应的概率分布,包括:利用3D卷积网络对所述多模态特征表示进行特征分析,得到人名对应的概率分布为其中,F r =ReLU(FC(f))=max(0,W T f+b),F r 表示多模态特征表示,f为特征向量,W为可训练的参数矩阵,b为偏置项,p j 表示当前所识别人脸是第j个人的概率, 为多模态特征的第j个特征参数, 为多模态特征的第i个特征参数;人脸识别模块,用于根据所述人名对应的概率分布和标注的人名标签构建交叉熵损失函数,利用所述交叉熵损失函数和对比学习中的损失函数对预先构建的人脸识别模型进行训练,得到训练好的人脸识别模型;根据所述训练好的人脸识别模型对所述待识别的人脸图像进行人脸识别。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。