1.基于特征解耦的人脸伪造检测方法,其特征是,包括以下步骤:S1、数据预处理,将每个视频样本转换成逐帧的图像集合,再对单帧的图像采用人脸检测任务的神经网络模型进行人脸区域的检测和对齐,然后将检测到的人脸框向外扩展并进行裁切,再将裁切后的人脸图像调整为统一的大小,作为待输入图像X;S2、将输入图像X转换为两个互补的视图,该互补的视图包括自适应频域感知特征图和基于场景转换的视图;对输入图像提取自适应频域感知特征图时,首先将输入图像X使用离散余弦变换由原始RGB域转换到频域中,然后通过结合二进制基础滤波器 和可学习的频率滤波器 来自适应地将它划分为多个频域成分;将输入图像X采用基于场景转换的数据增强时,对于具有Ω像素的输入图像X和一个区域r, 其中0代表非人脸区域,1代表人脸区域,然后在同一训练批次中随机一个与X具有相同标签的图像Y,随后通过以下两种方式生成场景转换后的样本:X r =(1-r)⊙X+r⊙Y (2)X r =r⊙X+(1-r)⊙Y (3)上式中,⊙表示对应元素相乘,公式(2)表示将X的人脸区域替换为图像Y,公式(3)表示将X的除人脸区域之外的背景区域替换为图像为Y,以上两种生成方法在训练过程中是以相同的概率随机执行的,而且生成的图像的标签与输入图像X是相一致的;S3、将生成的两个互补的视图输入到双分支网络中提取特征;S4、将两个分支网络输出的中间层特征输入到HAM模块中进行特征融合,得到融合特征;S5、将中间层特征串联起来得到串联特征,并对其进行通道级特征解耦;S6、将融合特征串联起来得到包含多尺度信息的特征,并对其进行空间级特征解耦;S7、将步骤S5和步骤S6获得的解耦特征分别输入到分类器中,每个分类器包含两个全连接层,然后输出对应的二元决策,对每个特征采用真伪标签进行标记,并进行有监督训练;S8、取输出决策中与伪造相关的特征对应标签的均值作为对输入图像X的最终预测结果。
2.如权利要求1所述的基于特征解耦的人脸伪造检测方法,其特征是,步骤S2中:这四个二进制基础滤波器将频谱大致分为四个子带,分别对应整个频谱的前1/16的低频、频谱的1/16和1/8之间的中频、频谱的最后7/8的高频和整个频谱的全频成分,而四个可学习的频率滤波器用于自适应的调整和选择固定滤波器之外的感兴趣的频率响应;最后,通过应用离散余弦逆变换将划分的频率成分反变换到原始空间域上;该过程表示为:上式中,D(·)和D -1 (·)分别表示离散余弦变换和离散余弦逆变换操作,⊙表示对应元素相乘,函数 用于将t归一化为-1到1之间;随后,将四个频域分量 沿通道维度进行堆叠,得到大小为380×380×12的频率感知特征图X f 。
3.如权利要求2所述的基于特征解耦的人脸伪造检测方法,其特征是,所述双分支网络采用EfficientNet-b4,其包括B1、B2、B3、B4、B5、B6、B7共7个模块;其从B1开始能捕获图像低水平特征,随着网络层数的加深,感受野逐渐变大,到B7层的时候,图像语义信息会被捕获到;双分支网络包括频域分支和场景转换分支,将频域分支和场景转换分支中的第t个模块提取的特征分别表示为F t (X f )和F t (X r ),其中t=1,2,…,7。
4.如权利要求3所述的基于特征解耦的人脸伪造检测方法,其特征是,将两个分支输出的中间层特征输入到HAM模块中进行特征融合时,分别选择两个分支的浅层B3、中层B5和深层B7的输出特征进行HAM操作,以涵盖从低水平的纹理特征到高水平的语义信息的更全面的特征表示,最终分别得到特征 和
5.如权利要求4所述的基于特征解耦的人脸伪造检测方法,其特征是,对于特征 和 其中,t=3,5,7;首先采用元素相加运算将二者进行融合,融合后的特征表示为 接下来输入到两个并行工作的注意力分支中,所述注意力分支分别为通道级自注意力和空间级自注意力,最后二者的输出特征图通过元素相乘的方式再次结合。
6.如权利要求5所述的基于特征解耦的人脸伪造检测方法,其特征是,融合后的特征输入到通道级自注意力分支时,将特征f t 在空间上划分为s×s个不重叠的补丁 其中,n=1,2,...,s 2 ;然后将它们分别平铺成一维的特征向量,分别用三个嵌入函数θ,γ和η生成三个矩阵:接着,将K和V组合起来,生成权重矩阵 上式中,Ct表示嵌入维度,得到的 即描述了当前的局部特征与其他局部特征之间的相关性,将矩阵Q和 进行融合:最后,将所有生成的 空间上串联起来,形成通道级自注意力分支的增强特征图。
7.如权利要求6所述的基于特征解耦的人脸伪造检测方法,其特征是,融合后的特征输入到空间级自注意力分支时,将特征f t 按通道划分为k组子特征图 其中,n=1,2,...,k;然后将其平铺成一维的特征向量,并输入到与通道级自注意力分支结构相同的注意层中,输出注意力图 所有生成的 其中n=1,2,...,K;按通道串联起来,形成空间级自注意力分支的增强特征图。
8.如权利要求7所述的基于特征解耦的人脸伪造检测方法,其特征是,步骤S5包括:将特征F 7 (X f )和F 7 (X r )串联起来,得到特征 并对f c 采用通道级特征解耦方案;首先将f c 送入全局平均池化层以压缩其空间信息,然后输入到一个多层感知器网络和Sigmoid激活函数σ中,计算出的通道级注意力向量被表示为:v c =σ(MLP(GAP(f c )))然后,与源相关的特征f1和与伪造相关的特征f2分别被解耦为:f1=v c ⊙ c f cf2=(1-v c )⊙ c f c上式中,⊙ c 表示通道级相乘。
9.如权利要求8所述的基于特征解耦的人脸伪造检测方法,其特征是,步骤S6包括:将特征 和 串联起来,得到包含多尺度信息的特征 并对f s 进行空间级特征解耦;对特征f s ,首先采用平均池化层来压缩其通道信息,然后经过MLP网络和Sigmoid函数计算出空间注意力图,表示为:v s =σ(MLP(Avg(f s )))与源相关的特征f3和与伪造相关的特征f4最终被分解为:f3=v s ⊙ s f sf4=(1-v s )⊙ s f s上式中,⊙ s 表示对应元素相乘。
10.如权利要求9所述的基于特征解耦的人脸伪造检测方法,其特征是,步骤S7包括:在获得了四个解耦特征f1,f2,f3和f4之后,将它们分别输入到四个分类器C1、C2、C3、C4中,每个分类器包含两个全连接层,最后输出四个二元决策,分别定义为y1,y2,y3和y4;由四个二元交叉熵损失进行有监督训练,分别表示为:其中N表示训练样本数量,整体损失函数是这四个损失项的组合:L cls =αL1+(1-α)L2+βL3+(1-β)L4上式中,α和β表示权衡参数,这里设置为α=β=0.5,即每个损失项的权重相同。