基于多视图可见性预测与纹理修复的古建筑彩色点云三维重建方法研究

20251102

建筑业

在技术成熟度方面，形成了 “虚拟视点自动选取 - 双阶段深度学习预测 - 表面与纹理融合重建 - 可视化平台集成” 的全流程技术链条。核心算法模块中，虚拟视点选取方法可自适应覆盖古建筑斗拱、飞檐等关键区域，较传统人工选取效率提升 80%；可见性预测网络（VisNet）在古建筑场景的 F1-score 达 97.93%，纹理修复网络（TexNet）的 LPIPS 指标（×10????）低至 17.48，均优于现有主流方法。表面重建在承德传统民居数据集上的倒角距离（CD）较传统 SPSR 方法降低 83.8%，F-score 达 0.9651；纹理重建的 BRISQUE 指标较 SPSR 降低 27.4%，能精准还原古建筑彩绘、木纹等精细纹理。 在性能指标上，支持 “构件级（2 万点）- 建筑单体级（700 万点）” 多尺度古建筑点云重建，显存消耗低于 4GB，百万级点云全流程重建耗时＜30 分钟。开发的可视化平台支持 Windows/Ubuntu 跨平台运行，集成 4 套适配古建筑场景的预训练模型，用户可通过 “点云导入 - 参数设置 - 一键重建” 完成操作，降低技术使用门槛。 在转化阶段上，相关成果已整理为学术论文投稿至《International Journal of Applied Earth Observation and Geoinformation》，完成 2 处真实古建筑的实证验证，生成的三维模型通过文物保护专家评审，可直接用于古建筑数字化归档。同时，算法代码、预训练模型权重及平台安装包已完成封装，具备向文化遗产保护机构、数字文旅企业等进行技术转移的条件。

本成果转化拟在资金、场地、设备、人员方面寻求合作方支持。资金上，需合作方提供不低于 50 万元的转化启动资金，其中 30 万元用于硬件设备升级（含 2 台配备 NVIDIA RTX 6000 Ada 显卡的图形工作站、1 套 SLAM100 手持激光雷达），15 万元用于算法封装与平台迭代，5 万元用于市场调研与示范项目申报。

仅限国内转让

本成果转化后将在经济与社会领域产生显著效益。经济层面，可形成 “技术服务 + 平台销售 + 定制开发” 的盈利模式：面向文博单位提供古建筑数字化归档服务，单项目收费 20-50 万元；可视化重建平台按年度授权模式销售，年费 5-10 万元 / 单位；针对文旅企业的虚拟展陈、AR 修复等定制开发项目，单个合同金额可达 50-100 万元。预计转化后 3 年内实现营收 500 万元以上，带动相关硬件、服务产业链发展，创造 20 个以上就业岗位。 社会层面，成果可助力古建筑保护与文化传承：通过高精度三维重建，为文物修缮提供 “数字孪生” 依据，降低传统测绘对古建筑的物理干预；生成的纹理网格可用于虚拟展陈，让公众通过 VR 设备沉浸式感受古建筑细节，年服务观众预计超 10 万人次；同时为古建筑研究提供精准的三维数据支撑，推动文化遗产保护从 “实物保存” 向 “数字永续” 升级，助力文化自信建设与非遗传承。

北京市自然科学基金本科生“启研”计划

北京市科学技术委员会;中关村科技园区管理委员会

1、主要内容 本研究提出了一种名为 ColorMesh 的新型框架，用于从不包含法向信息的非结构化彩色点云中，实现大规模场景的高质量表面与纹理重建。该方法通过自适应自动选择虚拟视点，生成多视角下的稀疏深度图与RGB图，并结合深度学习网络进行可见性预测与纹理修复，最终基于图割算法完成表面重建，结合纹理映射实现纹理重建。整个流程无需人工干预，适用于城市级大规模场景，兼顾了几何精度与视觉真实感。 2、重要结果 本研究在BlendedMVS、ScanNet、ETH3D、SensatUrban等多个公开数据集上开展大规模实验，涵盖室内外、城市级、古建与街景等复杂场景，系统验证了方法的通用性与稳定性；表面重建精度上，F-score平均提升2.06%，显著优于CONet、NDC、V2M等主流学习方案；纹理重建无需高分辨率图像，仅凭彩色点云即可生成细节丰富、边界清晰的纹理贴图，BRISQUE、IL-NIQE、LPIPS等指标均优于SPSR与DHSP；同时，方法对高斯噪声、离群点及大面积缺失保持鲁棒，可有效恢复激光扫描与摄影测量中常见不完整点云的几何与纹理一致性。 3、创新点 （1）无监督自适应虚拟视点选择机制：提出一种基于点云空间分布与可见性评分的自动视点选择方法，替代传统人工或规则采样方式，提升虚拟视图质量与覆盖度。 （2）两阶段深度学习网络架构： VisNet：用于预测点云在虚拟视图中的可见性，结合全局特征融合（GFF）模块与多尺度残差连接，提升稀疏投影图像中像素级分类精度。 TexNet：用于纹理修复，采用更深层的编码-解码结构，结合多种图像损失函数（感知损失、风格损失、总变差损失等），实现高质量纹理补全。 （3）融合可见性约束的图割表面重建方法：将可见性信息作为硬约束引入图割优化，有效提升重建表面完整性与准确性。 （4）彩色点云直接用于纹理建模：突破传统依赖图像输入的限制，直接利用点云颜色与强度信息进行纹理重建，拓展了点云数据的应用边界。 4、关键技术 本项目的关键技术链条可概括为：首先提出虚拟视点自适应选择策略，依据点云空间分布与可见性评分自动生成覆盖充分、视角合理的稀疏图渲染结果；进而设计可见性预测网络VisNet，并嵌入全局特征融合模块GFF，在稀疏投影图像中实现像素级精准可见性判别；随后构建多损失联合优化的纹理修复网络TexNet，综合重建、感知与风格约束补全缺失纹理；再以图割算法为核心，将预测可见性作为硬约束引入能量方程，完成拓扑正确、细节保持的表面重建；最后通过多视角纹理融合与最优视角选择策略，自动挑选纹理最清晰视角并生成无缝纹理图，实现几何与纹理一致的高保真三维模型。 5、核心数据 本研究的核心数据来源于国际权威的多场景公开数据集，涵盖BlendedMVS、ScanNet、ETH3D、SensatUrban、Matterport3D、Pix4D、RGB-D Scenes v2 与 BigBIRD 等八类典型资源，以及自采的若干非公开 LiDAR 与多视影像数据；其中 BlendedMVS 作为训练集提供 11 万余张高清纹理网格与对应点云，其余数据集用于测试，规模从 2 万点到 700 万点不等，覆盖室内房间、街景、雕塑、城市场景、道路与建筑立面等多种室内外复杂环境，为方法验证与泛化能力评估提供了充足且多样的数据支撑。 6、研究价值 （1）学术价值：提出了一种融合传统几何方法与深度学习优势的新框架，为大规模点云表面与纹理重建提供了新的研究思路与技术路径。 （2）应用价值：可广泛应用于古建筑数字化、文物保护、城市三维建模、虚拟现实等领域，尤其在无图像、仅有点云数据的场景下具有显著优势。 （3）推广潜力：方法具备良好的通用性与扩展性，适用于多种采集设备（如LiDAR、RGB-D相机、多视图摄影测量等），具备工程化与产业化前景。