有效

基于对比学习的多模态人脸识别方法、装置、设备及介质

蒋林承、张俊丰、张维琦、邓劲生、曾道建、谭真、李硕豪、乔凤才、徐博
中国人民解放军国防科技大学

摘要

本申请涉及一种基于对比学习的多模态人脸识别方法、装置、设备及介质。所述方法包括:根据卷积神经网络和残差网络分别对人脸平面图像和人脸轮廓图像进行特征提取,得到人脸平面特征图和人脸轮廓特征图,将人脸平面特征图和人脸轮廓特征图进行交叉组合,得到多模态融合特征;根据对比学习方法对多模态融合特征进行增强表示,得到多模态特征表示;利用3D卷积网络对多模态特征表示进行特征分析,得到人名对应的概率分布;根据人名对应的概率分布和标注的人名标签构建交叉熵损失函数,利用交叉熵损失函数和对比学习中的损失函数对预先构建的人脸识别模型进行训练,根据训练好的人脸识别模型进行人脸识别。采用本方法能够提高人脸识别准确率。