高逼真多风格三维人体隐式建模与动作编辑技术研究

联系合作
新一代信息技术
智能制造与装备
人形机器人
成果单位: 清华大学
合作方式: 技术许可
所处阶段: 概念
关键词: 三维物体机器人领域动态视角选取稀疏视角重建扭曲一致性策略渐进式训练策略方向海森损失
总得分 (满分100)
0
资本强度 (满分0)
该成果得分:0

核心问题

如何利用稀疏视角RGB图像实现高质量的三维物体表面重建,并解决传统方法在视角选取和重建精度上的不足。

解决方案

本技术提出了一个新颖的框架,包括重建模块和视角选取模块,二者协同工作,在优化三维表面的过程中动态、自适应地补充对重建更有帮助的视角下的图像。具体技术点包括:1)基于图像扭曲一致性的视角选取策略,动态选择对重建最有利的视角;2)渐进式训练策略,结合方向海森损失函数(directional Hessian loss),提升稀疏图像下的三维重建质量。

竞争优势

本技术在稀疏视角图像输入下,重建的三维网格表面精度更高,视角选取策略的重建精度优于机器人领域已有技术,尤其适用于基于SDF的表面重建。其创新性体现在利用扭曲一致性进行动态视角选取,以及通过渐进式训练和方向海森损失函数优化重建效果,具有显著的原始创新优势。

成果公开日期

20250806

所属产业领域

信息传输、软件和信息技术服务业

转化现有基础

在重建精度方面,倒角距离达??0.81mm(6-8个稀疏视角输入),较现有最优算法(Neuralangelo技术??1.15mm)提升30%。 前处于??产业化前期推广阶段,通过普通专利许可模式(合同金额??5万元/项)降低中小企业技术获取门槛,助力其相机设备成本降低??,仅需传统视角数量的??10%。

转化合作需求

资金需求 市场推广基金:需在产品上市前6个月提供??300万元??专项资金(用于行业展会、核心客户试用)。 场地与设备 (1)实验室:≥100㎡独立空间。 (2)数据采集设备:工业级相机。 (3)计算设备:显卡显存≥24GB。 人员配置方面: (1)算法工程师,CUDA编程/多分辨率哈希优化经验,熟练PyTorch框架; (2)三维数据处理团队,熟悉??Unity/Unreal引擎??或??Open3D/PCL点云库。

转化意向范围

可国(境)内外转让

转化预期效益

本技术成果有着广阔的市场应用前景。在稀疏视角图像输入下,与已有的物体三维重建技术相比,本技术重建得到的三维网格表面精度更高。可以应用于与三维物体重建领域相关研发与应用中,通过相应三维重建系统,完成预期技术成果,促进技术成果的迭代更新,同时提升技术成果的质量,围绕典型应用场景开展技术推广应用。比如,在文化遗产保护方面,实现??200处??濒危文物数字化存档(如敦煌壁画)。

项目课题来源

北京市科学技术委员会;中关村科技园区管理委员会

摘要

本技术提供了一种新的利用扭曲一致性进行动态视角选取的方法,可以仅用稀疏视角RGB图像进行高质量的三维物体表面重建。 本技术核心创新点如下: (1)提出了一个新颖的利用稀疏视角RGB图像重建三维物体表面的框架,包括一个重建模块和一个视角选取模块,这两个模块协同工作,可以在优化三维表面的过程中动态、自适应地补充对重建更有帮助的视角下的图像; (2)提出了一种有效的、基于图像扭曲一致性的视角选取策略; (3)提出了一种渐进式训练策略,和一个方向海森损失函数(directional Hessian loss),以帮助稀疏图像下的高质量三维重建。 在稀疏视角图像输入下,与已有的物体三维重建技术相比,本技术重建得到的三维网格表面精度更高。在不同数量的输入视角下,本技术提出的视角选取策略达到的重建精度均优于机器人领域已有视角选取技术,验证了本技术策略可以很好地适用于基于SDF的表面重建。

试试对话AI技术经理人
WENXIAOGUO
问小果
该成果有哪些相似成果?
该成果可能有哪些需求方?
该成果的市场前景如何?
清华大学的相关成果还有哪些?