1.一种基于大语言模型的开放域室内场景层级生成方法,其特征在于,包括:定义场景结构为三级层次结构,第一层是代表整个场景的根节点,第二层是每个节点代表一个矩形功能区域的内部节点,第三层是表示属于相应区域内物体的叶节点,使用简单文本短语表示物体间的关系;根据用户需求及场景结构的定义构造提示词,引导预训练大语言模型划分功能区域,输出结构化文本来描述分层场景表示,包括物体的大小、文本描述和物体间粗粒度相对位置的属性;训练细粒度相对位置推理网络,推断具有空间关系的物体之间的细粒度相对位置;它以分层场景结构为基础,借助预训练的视觉语义大模型,可以在开放域设置中推断出合理的相对位置;设计分治布局优化策略,从具有细粒度相对位置的分层场景表示中优化场景布局;它首先对每个功能区域内部进行局部优化,然后全局优化,将区域组织成物理上可行的场景布局;根据物体的文本描述和数据集中物体的图片,使用预训练的CLIP计算余旋相似度,检索出相应的三维物体模型,然后根据场景布局对物体模型进行缩放和放置,从而生成完整的场景;分层场景结构中的每个节点都包含属性的定义,假设场景的轴对齐矩形平面图,根节点 包括大小属性 和场景的文本描述 ,即 ,其中 是一个二维向量,表示场景的长和宽;内部节点 包括大小属性 、文本描述 、中心位置 和方向属性 ,即 ,其中, 是一个二维向量,表示功能区域的长和宽, 是一个二维坐标, 是一个二进制值,表示水平方向或垂直方向;叶节点 包括文本描述 、类别标签 、对应的三维模型 以及物体定向边界框的大小 、中心位置 、方向 ,即 ,其中, 是一个三维向量,表示物体的长宽高, 是一个三维坐标;此外,成对的空间关系 存储粗略的文本描述 以及细粒度的相对位置坐标 和相对方向 ,即 ;构造提示词具体为:首先是为LLM分配一个角色和任务描述,包括对节点含义及其连接的层次结构的简要定义;其次是给出首选数据格式和预定义约束的描述,包括功能区域的类型、可能的锚物体和空间关系;最后,以首选格式和特定用户要求向LLM展示一个简单的场景示例;构建细粒度相对位置推理网络过程包括:根据分层场景结构,构造输入图 ,其中, 表示物体节点的集合, 表示同一功能区域内从节点 到 的有向边的集合;从输入图 中取每个顶点 包含的物体描述 、物体大小 信息和每条边 包含的空间关系的粗糙文本描述 信息。
2.根据权利要求1所述的一种基于大语言模型的开放域室内场景层级生成方法,其特征在于,还包括:对 使用线性嵌入编码,对 和 使用预训练的CLIP文本编码器编码;在训练中,使用相对位置坐标的真实数据 来丰富每个边信息,并对其使用线性嵌入进行编码,其中 是两个物体之间对齐的二进制指示符;相对位置坐标信息仅在训练过程中使用,即在推理过程中不需要;经过编码后,节点嵌入 和边嵌入 为: 。
3.根据权利要求2所述的一种基于大语言模型的开放域室内场景层级生成方法,其特征在于,还包括:将 和 纳入输入图 的每个节点和边,并将其概念化为上下文图 ,采用变分图神经网络进行编解码;编码过程用以下方式来表达: ,其中, 和 表示第k轮信息传递时节点嵌入, 表示第k轮信息传递时边嵌入; 为边嵌入更新函数,指用第k轮的节点嵌入更新边嵌入信息; 为节点嵌入更新函数,指在第k轮中用邻居节点更新节点嵌入信息; 表示与节点 连接的邻居节点集; 表示取均值的操作;编码后,边嵌入被参数化为高斯分布;解码器将更新后的上下文图作为输入,并从高斯分布中随机采样,得到相对位置的特征;最后,使用单独的MLP来解码相对位置信息,输出 ,其中 为解码得到的相对位置坐标, 为解码得到的相对方向, 为预测的对齐二进制指示符。
4.根据权利要求1所述的一种基于大语言模型的开放域室内场景层级生成方法,其特征在于,训练细粒度相对位置推理网络时,目标函数为: ,其中, 是边缘特征分量的高斯分布和后验分布之间的 Kullback-Leibler散度, 是相对位置上的 L1 损失, 和 是离散相对方向角和对齐的二进制指示符的交叉熵损失。
5.根据权利要求1所述的一种基于大语言模型的开放域室内场景层级生成方法,其特征在于,分而治之的布局优化包括两个过程:局部优化和全局优化。
6.根据权利要求5所述的一种基于大语言模型的开放域室内场景层级生成方法,其特征在于,局部优化具体为:对于每个功能区域进行局部优化,最小化物体的相对位置和细粒度相对位置推理模块输出的相对位置,约束以避免物体重叠和出界,即 ,其中, 和 表示物体和对应的锚点物体在功能区域内的位置,包括中心位置坐标和方向; 表示计算两个物体之间的相对位置, 是网络预测的物体和对应的锚点物体之间的相对位置; 表示区域内物体的集合; 约束任意两个物体的定向边界框之间的重叠尽可能小, 旨在避免物体边界框位于区域边界之外, 为区域边界的大小,是由预训练的LLM生成的;全局优化具体为:组织局部优化的区域以形成场景,每个功能区域都将其锚物体的方向作为其自己的方向;基于日常生活中的观察,要求功能区域靠墙摆放,彼此远离,方向指向场景内部,同时避免物体重叠和出界,优化函数如下: ,其中, 表示区域放置,包括中心位置坐标和方向; 是区域背面与场景边界之间的距离; 是两个域的边界框之间的距离; 是场景中的区域集; 和 与局部优化中的相同。
7.根据权利要求1-6任一所述的一种基于大语言模型的开放域室内场景层级生成方法的生成系统,其特征在于,包括:分层场景生成模块,被配置为:定义场景结构为三级层次结构,第一层是代表整个场景的根节点,第二层是每个节点代表一个矩形功能区域的内部节点,第三层是表示属于相应区域内物体的叶节点;根据用户需求及场景结构的定义构造提示词,引导预训练大语言模型划分功能区域,输出结构化文本来描述分层场景表示,包括物体的大小、文本描述和物体间粗粒度相对位置的属性;细粒度相对位置推理模块,被配置为:推断具有空间关系的物体之间的细粒度相对位置;它以分层场景结构为基础,借助预训练的视觉语义大模型,可以在开放域设置中推断出合理的相对位置;分治布局优化模块,被配置为:从具有细粒度相对位置的分层场景表示中优化场景布局;它首先对每个功能区域内部进行局部优化,然后全局优化,将区域组织成物理上可行的场景布局;根据物体的文本描述和数据集中物体的图片,使用预训练的CLIP计算余旋相似度,检索出相应的三维物体模型,然后根据场景布局对物体模型进行缩放和放置,从而生成完整的场景。