在审

针对多模态视频的检测方法及装置、电子设备

李建民、袁梓齐、朱军
清华大学

摘要

本公开涉及一种针对多模态视频的检测方法及装置、电子设备,检测方法包括从待检测的多模态视频中提取出各目标帧对以及针对各目标帧对的第一音频特征,各目标帧对包括相邻两个视频帧且相邻两个视频帧均包括同一目标对象,第一音频特征包括梅尔频谱信息;将各目标帧对和针对该目标帧对的第一音频特征输入至检测模型中进行计算,得到各目标帧对的分数,分数表示目标帧对的伪造概率;基于所有目标帧对的分数确定出针对多模态视频的检测结果,检测结果表示多模态视频为真实或伪造。本公开能够融合多模态信息进行高精度的帧级别的视频真伪判断。

暂无引用专利