1.基于神经辐射场的三维场景重建方法,其特征在于,由多视角三维场景重建网络处理实现,该多视角三维场景重建网络包括图像拼接模块、图像特征提取模块、多视角特征融合模块、三维调制解码模块以及渲染模块;处理步骤如下:由图像拼接模块拼接输入的多视角图像序列,图像特征提取模块提取输入的多视角图像序列中的图像X r 的深层图像特征 深层图像特征 和相机参数r送入多视角特征融合模块,通过单应性变换单元计算对应像素值的匹配特征来构建三维特征 将三维特征 送入特征融合单元,使用特征金字塔网络的结构得到融合特征 由相机参数r计算神经辐射场中的三维点坐标p和三维点的方向编码f v ,为三维点坐标p附加位置编码,获取具有位置编码的三维点特征f l ,将方向编码f v 、深层图像特征 融合特征 和三维点特征f l 共同送入三维调制解码模块获取三维点颜色c和点透明度σ;将三维点颜色c和点透明度σ送入渲染模块,渲染模块基于三维点颜色c和点透明度σ渲染输出相机参数r对应的预设视角图像Y n 。
2.根据权利要求1所述基于神经辐射场的三维场景重建方法,其特征在于,所述图像特征提取模块由卷积神经网络和Transformer编码器顺序布置连接组成,使用卷积神经网络提取图像的不同尺寸的特征,利用Transformer编码器捕获图像特征中的长距离依赖关系,融合了图像的全局特征,卷积神经网络和Transformer网络相结合的方式融合了图像特征中的局部信息和全局信息;所述图像特征提取模块获得深层图像特征 的步骤如下:对输入的多视角图像序列中的图像X r 进行图像编码,获得尺寸为图像X r 尺寸二分之一的浅层图像特征 然后再对该依次浅层图像特征 进行图像编码,对浅层层图像特征 在图像编码后的图像特征再进行Transformer编码,获得尺寸为图像X r 尺寸四分之一的中间层图像特征 最后对中间层图像特征 进行图像编码,对中间层图像特征 在图像编码后的图像特征再进行Transformer编码,获得尺寸为图像X r 尺寸八分之一的深层图像特征 表达式如下:其中,E o (·)表示图像编码器操作,E t (·)表示Transformer编码器操作。
3.根据权利要求2所述基于神经辐射场的三维场景重建方法,其特征在于,所述通过单应性变换单元计算对应像素值的匹配特征来构建三维特征 的步骤如下:将多视角图像序列中的其中一张图像作为源图像,其它图像作为参考图像,由深层图像特征 和相机参数r进行单应性变换,计算源图像在参考图像所在平面的对应像素值p j :p j =K i (R i (K 0 -1 pd j )+t i )其中,K i 与K 0 分别为参考图像和源图像对应的相机内部参数,R i 为相机外部参数中的旋转矩阵,t i 为相机外部参数中的平移向量,p为深层图像特征 中的像素值,d j 为场景中任意一点的深度;将不同图像的对应像素值p j 进行聚合,获取三维特征
4.根据权利要求3所述基于神经辐射场的三维场景重建方法,其特征在于,所述将三维特征 送入特征融合单元,使用特征金字塔网络的结构来得到融合特征 的步骤如下:将三维特征 送入三维卷积编码器,通过三维卷积编码,首先获取尺寸为所处理的特征图的尺寸二分之一的浅层三维特征 然后获取尺寸为所处理的特征图的四分之一的中间层三维特征 最后获取尺寸为所处理的特征图的八分之一的深层三维特征 将深层三维特征 送入三维卷积编码器和三维Transformer编码器,使用三维Transformer编码器捕获深层三维特征 的长距离依赖关系,获取浅层融合特征 送入三维转置卷积层,获取尺寸更大的融合特征并与三维特征相加,最后使用三维转置卷积层将获得的深层融合特征 进行上采样并与浅层三维特征 融合,获取最终的融合特征 其中,E 3 (·)表示三维卷积编码器操作,E t3 (·)表示三维Transformer编码器操作,E c (·)表示三维转置卷积层操作, 表示中间层融合特征、深层融合特征。
5.根据权利要求4所述基于神经辐射场的三维场景重建方法,其特征在于,所述三维调制解码模块使用调制网络单元从深层图像特征 融合特征 和三维点特征f l 中获取调制特征,调制特征与方向编码通过线性层和激活层解码获取三维点颜色c和点透明度σ,具体步骤如下:将深层图像特征 融合特征 和三维点特征f l 共同送入调制网络单元获取调制特征f t ,调制特征f t 与方向编码f v 拼接后依次通过线性层和Sigmoid函数激活层解码获取三维点颜色c,调制特征f t 通过线性层和Relu函数激活层解码获取点透明度σ:其中,F cat (·)表示拼接操作,E t (·)表示调制网络单元操作,E l (·)表示线性层操作,E si (·)表示Sigmoid函数激活层操作,E re (·)表示Relu函数激活层操作。
6.根据权利要求5所述基于神经辐射场的三维场景重建方法,其特征在于,所述渲染模块基于三维点颜色c和点透明度σ渲染输出相机参数r对应的预设视角图像Y n 的表达式如下:Y n =R(c,σ)其中,R(·)表示渲染操作,δ表示相邻采样点之间的距离,N表示采样点分层的层数,i表示的每一层的序号,j表示采样点的序号,exp(·)为指数函数。