1.一种三维人脸视线计算方法,包括以下步骤:步骤一,对每张参考二维人脸图像提取重构系数,根据三维形变模型重构对应的基本三维人脸;步骤二,对每个基本三维重构人脸,优化局部区域细节,得到形状对齐的三维重构人脸;步骤三,对每个形状对齐的三维重构人脸,将其眼部区域纹理与参考二维人脸图像对齐,得到视线对齐的三维重构人脸;步骤四,利用三维重构人脸在各个旋转角度的图片和设计特定的梯度损失函数训练视线接触判别器;步骤五,对每个等待实现视线接触的视线对齐的三维重构人脸,使用视线接触判别器计算其在各个方向旋转后的视线方向相较于视线接触方向偏移的梯度,设计特定的旋转方法,对三维重构人脸不断进行旋转直至完成视线接触。
2.根据权利要求1所述的方法,其中,所述对每张参考二维人脸图像提取重构系数,根据三维形变模型重构对应的基本三维人脸,包括:采用三维形变模型作为重构模型,采用卷积神经网络提取的重构系数作为三维形变模型的输入,完成基本三维人脸M c 的重构。
3.根据权利要求1所述的方法,其中,所述形状对齐的三维重构人脸M f 的构造步骤中,步骤二通过将基本三维人脸与参考二维人脸图像相比较,设计损失函数完成对基本三维人脸局部区域细节的优化。
4.根据权利要求1所述的方法,其中,所述视线对齐的三维重构人脸M o 的构造步骤中,由步骤二得到的形状对齐的三维重构人脸M f ,其眼部区域在二维平面上的投影与参考二维人脸图片的眼部区域是严格对齐的,形状对齐的三维重构人脸M f 眼部区域中的每一个顶点都在参考二维人脸图片眼部区域有像素点相对应,步骤三通过将形状对齐的三维重构人脸M f 眼部区域的纹理完全替换为二维人脸图像眼部区域中的纹理,可完成两者眼部区域的纹理对齐。
5.根据权利要求1所述的方法,其中,所述视线接触判别器D g 由特征提取器和梯度计算器两部分构成,特征提取器用于获取步骤三中所获取的视线对齐的三维重构人脸M o 旋转前后的视觉特征d s 和d e :d s =E s (I s ),d e =E e (I e ),其中,I s 是视线对齐的三维重构人脸M o 旋转前映射到二维平面二维重构人脸图片,I e 是视线对齐的三维重构人脸M o 旋转后映射到二维平面二维重构人脸图片,E s 和E e 为卷积神经网络模块,d s 和d e 为提取的相应的视觉特征,随后将d s 和d e 进行差分操作,将由一系列残差模块构成的梯度计算器E r 输入,最终完成视线对齐的三维重构人脸M o 旋转后视线方向相较于视线接触方向偏移的梯度g(s,e)的计算:g (s,e) =E r (d e -d s ),其中,E r 为梯度计算器,d s 和d e 为提取的相应的视觉特征。
6.根据权利要求1所述的方法,其中,所述利用三维重构人脸在各个旋转角度的图片和设计特定的梯度损失函数训练视线接触判别器,包括:设计特定的梯度损失函数L g 完成视线接触判别器D g 的训练:g (s,e) =F g (∠A(e)-∠A(s))其中, 表示 的范数,I s 是视线对齐的三维重构人脸M o 旋转前映射到二维平面二维重构人脸图片,I e 是视线对齐的三维重构人脸M o 旋转后映射到二维平面二维重构人脸图片,F g 是一个映射函数,负责将角度误差映射为梯度, 是通过D g 直接估计得到的梯度,∠A(s)是视线对齐的三维重构人脸M o 旋转前其视线方向在三维空间中的角度,∠A(e)是视线对齐的三维重构人脸M o 旋转后其视线方向在三维空间中的角度,通过反向传播的方法优化梯度损失函数L g 最终完成对D g 的优化。
7.根据权利要求1所述的方法,其中,所述对每个等待实现视线接触的视线对齐的三维重构人脸,使用视线接触判别器计算其在各个方向旋转后的视线方向相较于视线接触方向偏移的梯度,设计特定的旋转方法,对三维重构人脸不断进行旋转直至完成视线接触,包括:将视线对齐的三维重构人脸M o 随机进行M次预旋转,得到M个方向的梯度 选择梯度最小的预旋转方向作为备选旋转方向,上述过程可用公式表示:其中,arg min为取最小值函数,第C次预旋转的方向对应的梯度最小,当 时进行第一步旋转,选择第c次预旋转的方向作为第一次旋转方向,设s=e c ,在通过多次旋转之后若 中所有方向的梯度值都大于0,终止旋转,此时的视线对齐的三维重构人脸M o 通过不断的旋转完成了视线接触。