有效

一种多模型协同的二维高斯泼溅三维重建方法

李樵风、章毅、杨承昀、赖梓豪
浙江大学
李樵风机构 暂无
技术领域 暂无
章毅机构 暂无
技术领域 暂无
杨承昀机构 暂无
技术领域 暂无
赖梓豪机构 暂无
技术领域 暂无

摘要

本发明公开了一种多模型协同的二维高斯泼溅三维重建方法,包括以下步骤:获取多视角RGB图像,利用VGGT模型输出相机参数和稀疏点云,通过单目深度估计网络和图像分割网络,生成深度图和掩码图;利用视觉外壳算法进行稠密化处理;利用稠密点云初始化二维高斯基元;对初始化后的二维高斯基元进行训练;重新渲染所有视角的深度图,通过截断符号距离函数和等值面提取算法生成三维网格;对三维网格进行基于局部双边滤波的网格优化,得到平滑网格;进行尺度校正并用于平滑网格,获得具有真实尺度的三维模型。其通过多模型协同的初始化与优化策略,生成了兼具高保真几何、真实尺度及新视角渲染能力的全方位三维模型。