社交网络虚假媒体内容检测与识别关键技术

20220128

科学研究和技术服务业

1）基于多尺度深度特征融合的人脸深度篡改图像的检测方法，利用空洞卷积网络在提高网络感受野的同时不丢失特征图信息的优势，提出了一种多尺度深度特征提取和融合方法，最大程度的捕捉到图像/视频上下文信息。结果表明，提取高层特征进行多尺度特融合，可以有效提升低分辨率的人脸深度伪造图像的检测准确率。在公开数据集上的检测准确率可达到95%以上。 2）基于人脸三维形状的换脸伪造检测方法关注针对特定人物换脸伪造的检测，因为对于恶意攻击者来说，伪造关键人物的视频和图像会带来更大的危害。我们尝试对特定人物的人脸交换伪造样本进行鲁棒的、可泛化的、解释性强的检测方法研究。该方法主要验证了伪造样本中，人脸表观与人脸的面部三维形状之间的不一致性，利用三维可形变模型（3DMM）的方法提取人脸面部三维形状特征。考虑到对面部三维形状的估计误差，在注册特定人物的身份信息时，其三维面部形状模板以多个样本的数据分布形式表示。对可疑样本进行伪造鉴别时，对于所提取的面部三维形状，利用马氏距离将之与模板数据相度量，根据预设定阈值得到伪造检测结果，从而实现了鲁棒的、可泛化的、解释性强的伪造样本检测。检测准确率在80%左右。 3）抗JPEG压缩的伪造图像检测方法，采用具有注意机制的DCT网络，能有效防止JPEG压缩对伪造检测识别性能的破坏。通过学习网络权值对输入DCT信道进行权重分配，能够自适应地调整各通道的特征响应值，并对通道之间的内部依赖关系进行建模。在公开数据集上检测准确率可达到90%以上。

本科技成果有望转化为实际生产力，支持互联网深度伪造治理，进而产生更多的经济效益。科技成果从研发阶段到应用再到产业化，需要合作方提供足够的资金支持，主要用于技术人员工作和科研设备选购。图像与视频的伪造与鉴别工作对图像处理与深度学习算法的要求非常高，因此需要高计算力的GPU服务器和工作站及其他研究测试所需要的设备。企业需求往往是复杂多样的，新产品在产业化过程也是漫长的，要考虑到生产，工艺，设备，系统等诸多因素。需要跨专业、跨领域的进行合作，形成跨领域的知识合作网络，加强技术交流沟通，快速、有效的解决企业的切实需求。因此需要合作方对科技成果转化进行深入的整理和提升，做好科技成果信息的收集与整理工作，搭建科技成果发布和需求信息展示平台，组建科技成果转化实施团队，需要具备专业的技术人员进行对接，能够精准地提出需求共同合作，同时需要具备相关研究背景的科研人才以及具有相关研究和开发经验的技术人员协同推进。企业可以与科研院所构建技术创新联盟阵线，成立新的研发机构来促进科技成果转化速度，保证成果转化质量和数量。

可国（境）内外转让

随着人工智能的快速发展，深度伪造音视频技术所产生的风险和隐患越来越大，尤其在当前新媒体快速传播的形式下，图像、音频、视频真假难辨，对社会舆情导向具有很严重的误导性，侵害公民合法利益的同时，影响社会稳定和国家安全。所以如何快速、 有效、准确地鉴别网络伪造音视频成为当前迫切的技术热点。深度伪造音视频除了带来个人隐私泄露和伦理道德问题之外，逼真的虚假新闻和错误消息真伪难辨、传播迅速，对社会舆情具有严重的误导作用；此外，伪造音视频还被应用于网络诈骗、传销等违法犯罪活动，严重危害国家安全和社会稳定、侵犯公民合法权益。对针对特定人群的伪造音视频诈骗能够起到遏制作用，通过本科技成果中的伪造图像视频的检测识别技术，可协助锁定图像视频造假形式和团伙，打击同类违法犯罪活动，保障公民财产安全，减少伪造音视频广泛传播造成的经济损失，产生间接经济效益。2021 年 4 月 23 日，国家七部门联合发布《网络直播营销管理办法（试行）》，其中第十三条规定“直播营销平台应当加强新技术新应用新功能上线和使用管理，对利用人工智能、数字视觉、虚拟现实、语音合成等技术展示的虚拟形象从事网络直播营销的，应当按照有关规定进行安全评估，并以显著方式予以标识”。随着该管理办法的出台，各视听服务网站对伪造音视频内容鉴定需求激增，市场前景广阔，经济效益明显。

北京市自然科学基金面上项目

北京市科学技术委员会;中关村科技园区管理委员会

在北京市自然科学基金面上项目支持下，开展了社交网络虚假媒体内容的检测与识别研究。我们重点针对危害性较高的深度伪造图像视频，深入研究伪造机理，提出了系列取证算法，有效解决了取证线索少、取证难的问题。研究了多维度、多尺度的特征学习优化算法，设计了相应的深度网络结构；在频域分析基础上，提出了抗JPEG压缩的伪造图像视频检测算法；结合人脸结构特征，提出了鲁棒的人脸替换识别算法。基于上述成果，获得了3项国家发明专利授权，有效提升了伪造检测识别技术的准确性、健壮性和可解释性。1）基于多尺度深度特征融合的人脸深度篡改图像的检测方法，利用空洞卷积网络在提高网络感受野的同时不丢失特征图信息的优势，提出了一种多尺度深度特征提取和融合方法，最大程度的捕捉到图像/视频上下文信息。2）基于人脸三维形状的换脸伪造检测方法关注针对特定人物换脸伪造的检测，该方法研究了伪造样本中，人脸表观与人脸的面部三维形状之间的不一致性，从而实现了鲁棒的、可泛化的、解释性强的伪造样本检测。3）抗JPEG压缩的伪造图像检测方法，采用具有注意机制的DCT网络，能有效防止JPEG压缩对伪造检测识别性能的破坏。能够自适应地调整各DCT通道的特征响应值，并对通道之间的内部依赖关系进行建模。