有效

关于虚拟形象的音视频生成方法及相关装置、电子设备

何山、殷兵、殷保才、周良、刘聪、戴礼荣、鲍秉坤
科大讯飞股份有限公司

摘要

本申请公开了一种关于虚拟形象的音视频生成方法及相关装置、电子设备,包括:基于第一扩散生成网络处理视觉特征序列和音频特征序列,得到目标隐层表示;基于第二扩散生成网络处理目标隐层表示,得到音频隐层表示,以及基于第三扩散生成网络处理目标隐层表示,得到视频隐层表示;基于音频隐层表示进行解码,得到目标音频序列,以及基于视频隐层表示进行解码,得到目标视频序列;基于目标音频序列和目标视频序列进行融合,得到关于虚拟形象的目标音视频。上述方案,能够提升虚拟形象音视频的数据质量以及音频与画面之间的协调性和一致性。