1.一种多模型协同的二维高斯泼溅三维重建方法,其特征在于,包括以下步骤:S1、获取多视角RGB图像,利用VGGT模型输出每张图像对应的相机参数和稀疏点云,以及通过单目深度估计网络和图像分割网络,分别生成每张图像对应的深度图和掩码图;S2、基于所述相机参数和掩码图,利用视觉外壳算法对所述稀疏点云进行稠密化处理,得到稠密点云;包括:S21、将三维空间划分为低分辨率体素网格,每个体素单元对应三维空间中的一个固定体积;S22、对于每个掩码图中的每个像素点(u,v),基于针孔相机模型进行反投影运算,得到成像光线;S23、对于掩码值为1的像素,将其光线穿过的体素标记为可能占据,并更新体素置信度;对于掩码值为0的像素,将其光线穿过的体素标记为非占据,并衰减置信度;S24、根据置信度阈值τ确定占据体素,形成粗视觉外壳;S25、在粗视觉外壳的包围盒内划分高分辨率体素网格,并基于RGB图像赋予颜色信息,得到细分辨率视觉外壳;S26、将细分辨率视觉外壳的点云与稀疏点云融合,得到稠密点云;S3、利用所述稠密点云初始化二维高斯基元,每个二维高斯基元包括中心点位置、正切向量、缩放向量、不透明度及球谐系数;S4、基于所述相机参数、深度图和掩码图,对初始化后的二维高斯基元进行训练,通过可微分渲染生成渲染图像,结合相关损失函数优化二维高斯基元参数;S5、训练完成后,利用所述相机参数重新渲染所有视角的深度图,通过截断符号距离函数和等值面提取算法生成三维网格;包括:S51、根据包围盒划分体素网格,体素尺寸为Δ;S52、对于每个体素中心 ,初始化TSDF值F(v)←1;S53、对于每个相机视角,由训练后的二维高斯基元渲染深度图,根据相机内参K和外参(R,t)将体素 投影到图像平面,得到像素坐标(u,v);S54、从深度图中提取深度值 , 表示第i个视角的深度图,计算符号距离 ,其中 为投影点p的z分量;S55、截断并归一化 ,其中,δ为截断带宽;S56、更新TSDF值,并最终提取等值面 生成三角形网格;S6、对所述三维网格进行基于局部双边滤波的网格优化,得到平滑网格;S7、基于相机间的物理距离对所述相机参数进行尺度校正,并将校正后的尺度参数应用于所述平滑网格,获得具有真实尺度的三维模型。
2.根据权利要求1所述的一种多模型协同的二维高斯泼溅三维重建方法,其特征在于,所述S1中,VGGT模型为视觉接地变换器,输出包括相机外参Π、相机内参K及稀疏点云;单目深度估计网络为DepthAnythingV2,输出深度图集合d;图像分割网络为SegmentAnythingV2,输出掩码图集合m。
3.根据权利要求1所述的一种多模型协同的二维高斯泼溅三维重建方法,其特征在于,所述S22中,反投影运算包括:对于对于像素点(u,v),成像光线的方向向量d计算为:其中,R和k分别表示当前视角的相机外参旋转矩阵和内参矩阵;起点o计算为:其中,t表示当前视角的相机外参平移向量;射线参数化形式为:其中,s表示射线长度参数。
4.根据权利要求1所述的一种多模型协同的二维高斯泼溅三维重建方法,其特征在于,所述S23中,置信度 的更新规则为:当第i个视角的射线标记体素 为占据时, ;当标记为非占据时, ;其中, 表示第i个视角的权重,β表示惩罚系数。
5.根据权利要求1所述的一种多模型协同的二维高斯泼溅三维重建方法,其特征在于,所述S3中,初始化二维高斯基元包括:中心点位置p设置为稠密点云的三维坐标;缩放向量 设置为相邻点云之间的距离,其中 和 分别表示两个主方向上的缩放值;正切向量 和 设置为单位向量;不透明度α设置为常数;球谐系数用于表征外观颜色。
6.根据权利要求1所述的一种多模型协同的二维高斯泼溅三维重建方法,其特征在于,所述S4中,可微分渲染包括:渲染RGB图:渲染深度图:渲染累积不透明度图:其中, 、 、 分别表示像素x处的渲染颜色值、渲染深度值、累积不透明度值, 表示第i个二维高斯基元的颜色值, 表示第i个二维高斯基元的深度值, 、 分别表示第i个、第j个二维高斯基元的不透明度, 、 分别表示第i个、第j个二维高斯基元在像素x处的高斯值。
7.根据权利要求1所述的一种多模型协同的二维高斯泼溅三维重建方法,其特征在于,所述S6中,基于局部双边滤波的网格优化包括:对于网格顶点 ,平滑后的顶点位置 表示为:其中, 表示邻域顶点位置, 表示邻域顶点集合, 和 分别表示顶点 和 的法向量; ,表示空间权重项; ,表示法向权重项。
8.根据权利要求1所述的一种多模型协同的二维高斯泼溅三维重建方法,其特征在于,所述S7中,尺度校正基于TOF传感器测量的相机间物理距离 ,计算尺度系 ,其中 和 分别表示相机的平移向量;将校正后的尺度参数应用于平滑网格,更新网格顶点位置 ,p′表示得到的平滑网格的顶点位置。