1.一种基于中央特征流的双目帧生成方法,其特征在于,包括以下步骤:将从当前帧及历史帧提取的多源特征融合成一致中央特征流;将当前帧的中央特征流与上帧缓存的中央特征流输入神经网络进行时序建模与特征融合,输出当前帧细化后的中央特征流;基于细化后的中央特征流生成高分辨率的左右眼输出帧。
2.根据权利要求1所述的基于中央特征流的双目帧生成方法,其特征在于,所述将从当前帧及历史帧提取的多源特征融合成一致中央特征流,包括:通过居中算子对左右眼生成结果进行视差偏移预测,得到预测的双目视差 ,并获取几何缓冲区预测的逐像素重要性权重 作为眼别标识,计算对齐位移 ,居中算子利用对齐位移 进行前向变形操作,以将多源特征统一对齐映射至中央特征坐标系,形成视差一致化的中央特征流。
3.根据权利要求1或2所述的基于中央特征流的双目帧生成方法,其特征在于,多源特征的提取包括:分别从当前帧单目低分辨率着色图像、当前帧几何缓冲数据、历史预测图像中提取单目特征、几何缓冲特征、历史预测特征,其中,对当前帧单目低分辨率着色图像进行编码,从中提取包括纹理与光照特征的单目特征;对从渲染管线获取的当前帧几何缓冲数据进行编码,从中提取包括空间与几何特征的几何缓冲特征;对上一帧的历史预测图像进行编码,从中提取包括跨帧的纹理残差与时序一致性特征的历史预测特征。
4.根据权利要求1或2所述的基于中央特征流的双目帧生成方法,其特征在于,所述中央特征流,为通过居中算子对左右眼生成结果进行视差一致性处理后形成的、位于中央虚拟视点坐标系下的多通道特征表示,其消除了原始的多源特征因视角差异导致的坐标偏移。
5.根据权利要求1所述的基于中央特征流的双目帧生成方法,其特征在于,所述将当前帧的中央特征流与上帧缓存的中央特征流输入神经网络进行时序建模与特征融合,输出当前帧细化后的中央特征流,包括:将当前帧对齐后的中央特征流与上帧缓存的细化后的中央特征流输入神经网络,通过神经网络在时间维度上递归复用历史中央特征信息即上帧缓存的细化中央特征流,并融合当前帧对齐后的中央特征流,以弥补单目交替采样带来的信息缺失,得到当前帧细化后的中央特征流,从而维持双目输出的稳定性与高频细节完整性。
6.根据权利要求1或5所述的基于中央特征流的双目帧生成方法,其特征在于,神经网络采用包括ConvLSTM单元和ResBlock的循环神经网络结构,以实现对中央特征流的循环复用和跨帧特征的逐步累积与优化。
7.根据权利要求2所述的基于中央特征流的双目帧生成方法,其特征在于,所述基于细化后的中央特征流生成高分辨率的左右眼输出帧,包括:基于对齐位移 ,通过居中算子执行反向变形的逆变换操作,将细化后的中央特征流分别映射回左眼坐标系和右眼坐标系,得到左右眼的细化特征,并通过双路解码器对左右眼的细化特征分别进行上采样与重建,生成最终的高分辨率左眼输出帧和高分辨率右眼输出帧,并缓存当前帧的中央特征流用于下一帧处理。
8.一种基于中央特征流的双目帧生成系统,利用权利要求1~7任一项所述的基于中央特征流的双目帧生成方法实现,其特征在于,包括:中央特征流对齐模块、神经网络融合模块、以及双目帧生成模块;所述中央特征流对齐模块用于将从当前帧及历史帧提取的多源特征融合成一致中央特征流;所述神经网络融合模块用于将当前帧的中央特征流与上帧缓存的中央特征流输入神经网络进行时序建模与特征融合,输出当前帧细化后的中央特征流;所述双目帧生成模块用于基于细化后的中央特征流生成高分辨率的左右眼输出帧。
9.一种电子设备,包括存储器和一种或多种处理器,所述存储器用于存储计算机程序,其特征在于,所述处理器用于当执行计算机程序时,实现权利要求1~7任一项所述的基于中央特征流的双目帧生成方法。
10.一种计算机可读的存储介质,所述存储介质上存储有计算机程序,其特征在于,当所述计算机程序被计算机执行时,实现权利要求1~7任一项所述的基于中央特征流的双目帧生成方法。