有效
结构表观损伤自主映射与动态更新的光照嵌入时序神经辐射场方法
徐阳、杨振亮、李惠
哈尔滨工业大学
摘要
本发明提出结构表观损伤自主映射与动态更新的光照嵌入时序神经辐射场方法。所述方法通过集成隐式重建网络、时间信息与光照信息建模模块,能够在保持高质量渲染的同时,有效解耦光照、视角与时间变化对结构外观的影响,提高模型在多变环境下的稳定性与准确性,为结构场景动态更新与表观损伤自主映射提供了全新的解决方案。
1.结构表观损伤自主映射与动态更新的光照嵌入时序神经辐射场方法,其特征在于,所述方法包括以下步骤:步骤一:基于运动恢复结构的相机位姿恢复;输入结构表观损伤图像数据集,提取每幅图像的特征点,通过特征匹配找到特征点在不同图像中的对应关系,计算像素坐标到世界坐标的变换矩阵和相机相对位姿;步骤二:建立基于注意力机制的多尺度自适应光照编码器网络架构;输入具有不同光照角度、强度和天气条件的结构图像,通过以ConvNeXt为主干的特征提取网络,提取图像中各尺度的光照相关特征;融合卷积块注意力机制,增强网络架构对关键区域光照信息的建模能力,输出多尺度自适应的光照嵌入表示,为后续表观损伤识别与三维建模提供稳定的光照编码支持;步骤三:建立结构表观损伤自主映射与动态更新的光照嵌入时序神经辐射场模型;输入结构场景采样点空间坐标、光线方向向量、时间信息与用于提取光照特征的原始图像,输出结构场景采样点的颜色和体密度值;步骤四:设计基于体渲染技术的光照约束损失函数及优化策略,训练结构表观损伤自主映射的光照嵌入时序神经辐射场模型;输入融合光照编码和时间信息的图像序列,基于体渲染方法,沿视线路径对采样点颜色进行加权累加,计算视图像素的预测颜色值;应用基于光照外观的像素颜色损失函数对模型进行优化,显式建模光照变化对像素值的影响;使用时间序列光照嵌入间隔约束损失函数,控制同一时刻图像光照向量的一致性与不同时刻之间的差异性,约束光照编码的时序分布;步骤五:采用训练完成的模型对结构场景进行新视图渲染合成;训练完成后,采用结构表观损伤自主映射的光照嵌入时序神经辐射场,结合体渲染技术预测出像素点颜色值,并将每个像素块颜色值组合,完成新视角合成;步骤六:基于新损伤图像进行结构表观损伤自主映射和模型更新;对出现损伤的结构区域或产生发展的损伤区域进行拍摄,获取新的损伤图像,对损伤结构场景颜色和体密度估计的模型进行再训练,实现表观损伤自助映射与模型更新。
2.根据权利要求1所述的方法,其特征在于,所述步骤一具体包括:步骤一一:通过尺度不变性特征变换进行损伤结构图像特征提取;步骤一二:建立损伤结构图像匹配轨迹,基于KD树进行邻近搜索,实现损伤结构图像对的两两匹配;步骤一三:采用八对匹配特征点的齐次坐标求解基础矩阵;步骤一四:求解旋转矩阵和平移向量,实现图像坐标系到世界坐标系的坐标转换。
3.根据权利要求1所述的方法,其特征在于,所述步骤二具体包括:步骤二一:建立光照特征提取与归一化模块;步骤二二:建立基于ConvNeXt的深层光照建模机制;步骤二三:设计卷积块注意力机制与特征增强模块;步骤二四:设计下采样与池化归一化的光照特征整合模块。
4.根据权利要求1所述的方法,其特征在于,所述步骤三具体包括:步骤三一:相机光线生成和离散光线分层采样;步骤三二:建立光照嵌入式结构表观损伤映射的时序神经辐射场网络模型;该网络模型由三部分组成:光照神经网络、时序神经网络和视角神经网络,分别用于建模场景光照特征、动态损伤演化以及视角相关的外观变化;网络模型首先对空间坐标 、时间信息 和光线方向 进行编码,并将光照编码器编码后得到的光照特征 作为输入,以建模结构外观受光照影响的变化模式;其中,空间坐标 用于描述场景中的采样点位置,时间信息 反映结构在特定时刻的状态,光线方向 描述场景中光线的传播方向,而光照特征 则用于表示场景的环境光照条件;同时配套设计嵌入光照信息的体密度和颜色值预测解码器,用于提升神经辐射场在复杂光照条件下的重建精度与表观一致性。
5.根据权利要求4所述的方法,其特征在于,所述体密度和颜色值预测解码器的网络架构包括:(1)体密度预测解码器结构的点云神经网络;(2)体密度预测解码器结构的体密度预测线性层;(3)颜色值预测解码器结构的时序神经网络;(4)颜色值预测解码器结构的视角神经网络;(5)颜色值预测解码器结构的色彩预测线性层;(6)光照嵌入的颜色值预测解码器结构的光照神经网络;(7)光照嵌入的颜色值预测解码器结构的色彩预测线性层。
6.根据权利要求1所述的方法,其特征在于,所述步骤四具体包括:步骤四一:基于体渲染技术进行视图像素值计算;步骤四二:通过基于光照外观的像素颜色损失函数对光照嵌入的时序神经辐射场模型进行优化;步骤四三:通过时间序列光照嵌入间隔约束损失函数对光照嵌入的时序神经辐射场模型进行优化。
7.根据权利要求1所述的方法,其特征在于,所述步骤五具体包括:步骤五一:选定相机中心,基于待渲染图像的分辨率设置光线数量,在光线上进行采样后,将采样点空间坐标 、方向向量 、时间信息 作为输入,输入到结构表观损伤自主映射的光照嵌入时序神经辐射场网络模型,输出每个采样点的颜色值 和体密度值 ;步骤五二:采用体渲染技术沿视线路径生成结构渲染合成新视图的像素点颜色值,最终完成整个新视图的颜色值预测,实现新视图的合成。
8.根据权利要求1所述的方法,其特征在于,所述步骤六具体包括:步骤六一:对出现损伤的结构区域或产生发展的损伤区域进行拍摄,获得现有结构场景数据集中不存在的损伤图像,将损伤结构图像名称加上拍摄时间信息前缀;步骤六二:基于运动恢复结构恢复相机位姿并求解坐标变换矩阵,然后将相机中心坐标和方向向量变换到真实世界坐标系;步骤六三:将新损伤结构图像文件增加到结构图像数据集中,从而进行结构表观损伤自主映射的光照嵌入时序神经辐射场模型增量训练;步骤六四:选定任意时间节点、视点和视角方向以及参考光照条件,生成一系列光线,并且在光线上进行离散分层采样,使用更新训练好的网络模型进行采样点颜色值和体密度值的预测;步骤六五:结合体渲染技术,将每个预测出颜色值的像素块组合在一起生成新视角图像,从而实现针对新出现损伤的自主映射、动态更新和新时间节点结构场景渲染。
9.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-8任一项所述方法的步骤。
10.一种计算机可读存储介质,用于存储计算机指令,其特征在于,所述计算机指令被处理器执行时实现权利要求1-8任一项所述方法的步骤。




