建筑群多尺度高效高精度数字孪生的多分辨率神经辐射场方法

1.建筑群多尺度高效高精度数字孪生的多分辨率神经辐射场方法，其特征在于，所述方法包括以下步骤：步骤一：建筑群多视角表观图像采集与多分辨率数据集生成；所述步骤一具体包括以下步骤：步骤一一：采集建筑群多视角表观图像数据，通过图像超分辨率生成模型处理，将目标场景的单一分辨率图像转化为多分辨率图像；对于采集到的图像数据，首先通过图像超分辨率模型SR将原始分辨率图像转化为高分辨率的图像，即 ， 表示超分辨后的高分辨率图像， 为采用的图像超分辨率预训练生成模型；然后通过对高分辨图像 下采样划分出不同分辨率的图像数据 ；即：其中， 表示对图像进行下采样操作， 表示图像的分辨率等级， 为最高分辨率图像 的分辨率等级；步骤一二：对图像数据进行参数估计获取相机内外参，计算相机坐标到世界坐标的变换矩阵和相机相对位姿；像素坐标系到相机坐标系的转换：式中， 为相机坐标系， 为图像像素坐标系， K 为相机的内参矩阵， 分别是相机在 和 方向的焦距，( )是相机的主点坐标；相机坐标系到世界坐标系的坐标转换：式中， 为世界坐标系， 为从相机坐标系到世界坐标系的坐标转换矩阵，其包括旋转矩阵 和平移向量 ；步骤二：建立建筑群场景渲染颜色和体密度估计的多分辨率神经网络模型；所述步骤二具体包括以下步骤：步骤二一：进行重点特征目标区域标记的离散光线分段采样；步骤二二：将不同分辨率图像作为输入，嵌入基于多分辨哈希编码的图像采样点位置特征向量、基于球谐编码的光线方向向量和图像外观编码，形成包含不同尺度信息的编码向量；步骤二三：建立多分辨率神经网络模型，输出建筑群三维场景空间采样点的颜色和体密度值；将采样点 的空间坐标 、归一化方向向量 和图像外观嵌入作为输入，建立多分辨率神经网络模型，输出每个采样点的颜色值 和体密度值 ；步骤三：采用超分辨率增强体渲染技术，训练建筑群场景渲染和三维重建的多分辨率神经网络模型；所述步骤三具体包括：步骤三一：采用体渲染技术生成建筑群多视角图像的像素点颜色预测值；步骤三二：通过超分辨率模块生成高分辨增强图像；步骤三三：通过边缘检测或语义分割算法提取特征边缘或目标区域，对自动选取的特征边缘或目标区域做采样增强，生成体渲染的特征边缘图或目标区域图；步骤三四：计算 L 2 范数损失加权和，以有监督学习的方式对建筑群场景渲染和三维重建的颜色和体密度估计神经网络进行训练；步骤四：采用训练好的多分辨率神经网络模型进行多尺度建筑群场景渲染和新视图合成；所述步骤四具体包括：（1）选定相机中心，基于待渲染图像的分辨率设置光线数量，在光线上进行采样；（2）将采样点空间坐标 、方向向量 作为输入，输入到已训练好的建筑群场景渲染和三维重建的多分辨率神经网络模型，输出每个采样点的颜色值 和体密度值 ；（3）结合体渲染和超分辨技术预测出不同分辨率下的图像像素点颜色值，实现多尺度新视角图像生成。 2.根据权利要求1所述的方法，其特征在于，所述步骤二一具体包括：（1）基于归一化方向向量的相机光线生成；（2）重点特征目标区域标记；（3）一般区域的离散光线的重要性采样；（4）针对重点特征目标区域的离散光线分段采样优化。 3.根据权利要求2所述的方法，其特征在于，所述步骤二二具体包括：（1）位置信息多分辨率哈希编码；具体为：步骤1：空间坐标归一化；步骤2：确定哈希编码的多分辨率层级；步骤3：对在 个分辨率层级下体素网格的顶点进行哈希处理；步骤4：对特征向量进行线性插值以匹配输入坐标；（2）方向信息的球谐函数编码；先将归一化方向向量 转化为球坐标方向向量 ；其后将采样点的方向信息，通过球谐函数编码器进行编码，获得基于球谐编码的光线方向向量，实现方向特征嵌入；具体计算步骤如下：其中， 为球谐函数的阶数， 为球谐函数的次序且 l， 为关联勒让德多项式， 为归一化因子；（3）图像外观编码；在颜色值预测模块输入前嵌入额外的一层神经网络Embeddinglayer，该层网络将每个输入图像映射到一个低维的外观编码向量AppearanceEmbeddings。 4.根据权利要求3所述的方法，其特征在于，在步骤三四中，将渲染生成的图像转化为高对比度特征边缘图或目标区域图，与高对比度特征边缘图或目标区域图真实值进行对比，计算生成图与真实值之间的损失；损失函数 采用 L 2 范数损失，计算方法为： (13)式中， 为体渲染损失， 为超分辨率损失， 为边缘增强损失； 、 、 为不同损失函数组分的加权系数； 为来自模型训练图像数据集所有采样像素点的集合， 为来自高分辨图像数据集所有采样像素点的集合； 为低分辨图像上已知像素点颜色值， 为模型体渲染图像的像素点颜色值， 为高分辨图像上已知像素点颜色值， 为超分辨模块生成图像的像素点颜色值， 为模型训练图像的重点关注区域像素点颜色值， 为模型体渲染图像的重点关注区域像素点颜色值。 5.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述方法的步骤。 6.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-4任一项所述方法的步骤。