1.一种表情特征提取模型,其特征在于:表情特征提取模型包括两条分支,即纹理分支和几何分支,其中,纹理分支基于注意力机制分别提取人脸图像的全局空间注意力、局部块空间注意力以及每个局部块的自注意力表述,全局空间注意力用于突出输入人脸图像的不同像素点对全局表情识别的影响,局部块空间注意力用于突出各个像素点对所在的局部块的重要性,每个局部块的自注意力表述用于突出将人脸分为多个局部区域时,不同的局部块对全局表情识别的贡献性;几何分支用于描述面部的各个区域随着人眼浏览一张图像的时序变化;将全局空间注意力、局部块表述以及几何分支提取的特征进行特征级融合或者决策级融合,得到表情识别结果,其中,局部块表述包括局部块空间注意力以及每个局部块的自注意力表述。
2.根据权利要求1所述的一种表情特征提取模型,其特征在于:纹理分支的工作过程为,将待识别人脸图像输入预训练后的ResNet18,选取ResNet18任一中后层输出的特征图作为全局特征图,基于全局特征图分别生成全局空间注意力、局部块空间注意力以及每个局部块的自注意力表述;预训练包括两步,首先基于人脸识别数据集对ResNet18进行预训练,用于获取捕捉图像基本特征的能力;接下来迁移学习,迁移到对表情样本集的学习。
3.根据权利要求2所述的一种表情特征提取模型,其特征在于:利用空间注意力模板对全局特征图进行计算,得到全局空间注意力。
4.根据权利要求3所述的一种表情特征提取模型,其特征在于:空间注意力模板采用2D卷积核实现。
5.根据权利要求3或4所述的一种表情特征提取模型,其特征在于:将全局特征图划分为多个局部块,利用与全局相同的空间注意力模板计算各个局部块中每个像素点的空间注意力,然后,再计算不同局部块的权重,得到每个局部块的自注意力表述。
6.根据权利要求5所述的一种表情特征提取模型,其特征在于:利用改进的BERT模型计算不同局部块的权重,改进之处在于:将自注意力机制的mask设计改为排序设计,即对各个局部块空间注意力采用attention_heads为8的Multi-head自注意力机制计算的权重降序排序。
7.根据权利要求1所述的一种表情特征提取模型,其特征在于:几何分支的工作过程为,利用Dense SIFT算子对待识别人脸图像提取关键点及其相应的直方图表述,并将关键点的二维坐标值与直方图表述进行融合,将融合的信息输入到时序模型LSTM中,得到关键点随时间变化的时序信息。
8.根据权利要求1所述的一种表情特征提取模型,其特征在于:结合交叉熵损失函数和用于描述两种分布是否具有一致性的卡方估计来实现端到端的模型训练,将基于全局信息的决策概率值和基于局部块表述的决策概率值分别作为卡方估计的实际值和理论值,并设置系数λ来平衡交叉熵损失函数和卡方估计。
9.一种基于自然场景下的表情识别方法,基于表情特征提取模型,其特征在于:对待识别的人脸图像进行预处理,具体的,将表情样本转化为灰度图像,并基于直方图均衡化算子对灰度图像进行光照归一化;将预处理之后的人脸图像输入表情特征提取模型,得到识别结果。
10.一种基于类脑技术的自然场景下的表情识别方法,其特征在于:将学习好的表情特征提取模型迁移到基于类脑芯片的嵌入式设备上,用于快速精准的表情识别。