基于人脸时序信息的人脸视频深度伪造检测方法与装置

1.一种基于人脸时序信息的人脸视频深度伪造检测方法，其特征在于，包括：初始步骤，构建包括以特征提取器作为基础网络、特征差分模块、查询模块和自适应融合模块的深度伪造检测模型；获取以标准真伪标签的人脸视频作为训练数据。图像重建步骤，通过该基础网络对该训练数据中多个视频帧提取特征，得到原始特征，以该原始特征进行三维人脸重建，得到重建图像；该基础网络对该重建图像提取特征，得到重建特征；特征差分步骤，该特征差分模块对该原始特征以及重建图进行差分并对差分结果进行降维，得到差分特征；查询加权步骤，将该重建特征和该差分特征作为查询特征，并将该原始特征作为待查询特征，分别输入该查询模块，根据该查询特征与该待查询特征的相似度，对该待查询特征的重新加权，得到加权差分特征和加权重建特征；模型训练步骤，该自适应融合模块将该原始特征、该加权差分特征和该加权重建特征加权融合后进行真伪分类，并根据分类结果和该真伪标签构建损失函数，以更新训练该深度伪造检测模型；深伪检测步骤，采用训练完成后的该深度伪造检测模型执行人脸视频伪造检测人物，得到待检测人脸视频是否属于伪造视频的分类结果。 2.如权利要求1所述的基于人脸时序信息的人脸视频深度伪造检测方法，其特征在于，该图像重建步骤包括：该基础网络基于下式提取人脸相关特征和人脸无关特征：α i ,β i ,δ i ,p i ,γ i ＝RNet(v i )这里v i 代表抽取得到的第i个视频帧,RNet代表人脸三维特征提取模型，α i ,β i ,δ i 属于该人脸相关特征，分别为人脸身份特征、人脸表情特征、人脸纹理特征；p i ,γ i 属于该人脸无关特征，分别为光照特征和姿态特征；该人脸相关特征驱动3DMM模型得到三维重建人脸模型中各个顶点的位置和颜色，结合该人脸无关特征渲染该三维重建人脸模型，得到二维重建人脸图像，将该二维重建人脸图像贴回该视频帧，替换视频帧中人脸图像，得到该重建图像 3.如权利要求1所述的基于人脸时序信息的人脸视频深度伪造检测方法，其特征在于，该查询加权步骤包括：该查询模块包括基于注意力机制的Transformer编码器和Transformer解码器，分别在该重建特征和该差分特征加入一致性标识，得到该查询特征，在该原始特征加入一致性标识，得到该待查询特征；将该查询特征输入该Transformer编码器进行特征编码，该Transformer解码器根据编码结果与该待查询特征的相似度，通过对该待查询特征的重新加权完成解码；该模型训练步骤包括：该自适应融合模块取该加权差分特征和该加权重建特征中的一致性标识，并将其与该分类特征进行加权融合后送入线性分类层进行真伪分类任务。 4.如权利要求1所述的基于人脸时序信息的人脸视频深度伪造检测方法，该深度伪造检测模型还包括用于提取该原始特征的图像信息的线性分类头；该模型训练步骤包括：将该原始特征的图像信息、该加权差分特征和该加权重建特征加权融合后进行真伪分类。 5.一种基于人脸时序信息的人脸视频深度伪造检测装置，其特征在于，包括：初始模块，构建包括以特征提取器作为基础网络、特征差分模块、查询模块和自适应融合模块的深度伪造检测模型；获取以标准真伪标签的人脸视频作为训练数据；图像重建模块，通过该基础网络对该训练数据中多个视频帧提取特征，得到原始特征，以该原始特征进行三维人脸重建，得到重建图像；该基础网络对该重建图像提取特征，得到重建特征；特征差分模块，该特征差分模块对该原始特征以及重建图进行差分并对差分结果进行降维，得到差分特征；查询加权模块，将该重建特征和该差分特征作为查询特征，并将该原始特征作为待查询特征，分别输入该查询模块，根据该查询特征与该待查询特征的相似度，对该待查询特征的重新加权，得到加权差分特征和加权重建特征；模型训练模块，该自适应融合模块将该原始特征、该加权差分特征和该加权重建特征加权融合后进行真伪分类，并根据分类结果和该真伪标签构建损失函数，以更新训练该深度伪造检测模型；深伪检测模块，采用训练完成后的该深度伪造检测模型执行人脸视频伪造检测人物，得到待检测人脸视频是否属于伪造视频的分类结果。 6.如权利要求1所述的基于人脸时序信息的人脸视频深度伪造检测装置，其特征在于，该图像重建模块包括：该基础网络基于下式提取人脸相关特征和人脸无关特征：α i ,β i ,δ i ,p i ,γ i ＝RNet(v i )这里v i 代表抽取得到的第i个视频帧,RNet代表人脸三维特征提取模型，α i ,β i ,δ i 属于该人脸相关特征，分别为人脸身份特征、人脸表情特征、人脸纹理特征；p i ,γ i 属于该人脸无关特征，分别为光照特征和姿态特征；该人脸相关特征驱动3DMM模型得到三维重建人脸模型中各个顶点的位置和颜色，结合该人脸无关特征渲染该三维重建人脸模型，得到二维重建人脸图像，将该二维重建人脸图像贴回该视频帧，替换视频帧中人脸图像，得到该重建图像 7.如权利要求1所述的基于人脸时序信息的人脸视频深度伪造检测装置，其特征在于，该查询加权模块包括：该查询模块包括基于注意力机制的Transformer编码器和Transformer解码器，分别在该重建特征和该差分特征加入一致性标识，得到该查询特征，在该原始特征加入一致性标识，得到该待查询特征；将该查询特征输入该Transformer编码器进行特征编码，该Transformer解码器根据编码结果与该待查询特征的相似度，通过对该待查询特征的重新加权完成解码；该模型训练模块包括：该自适应融合模块取该加权差分特征和该加权重建特征中的一致性标识，并将其与该分类特征进行加权融合后送入线性分类层进行真伪分类任务。 8.如权利要求1所述的基于人脸时序信息的人脸视频深度伪造检测装置，该深度伪造检测模型还包括用于提取该原始特征的图像信息的线性分类头；该模型训练模块包括：将该原始特征的图像信息、该加权差分特征和该加权重建特征加权融合后进行真伪分类。 9.一种服务器，其特征在于，包括权利要求4-8所述的一种人脸视频深度伪造检测装置。 10.一种存储介质，用于存储一种执行权利要求1-4所述人脸视频深度伪造检测装置方法的计算机程序。