1.一种多视角物体姿态估计和姿态优化方法,其特征在于,包括以下步骤:获取N个视角的RGB图片 通过图像编码模块对每个视角的图片 进行特征提取,得到每个视角的特征图{F 1 ,F 2 ,…,F N };将特征图{F 1 ,F 2 ,…,F B }和对应的相机姿态,输入到多视角姿态估计模块进行姿态估计,获得物体的初始姿态 将姿态估计结果、特征图和对应的相机姿态,输入到姿态优化模块进行姿态优化,获得物体的姿态残差 根据初始姿态 和姿态残差 获得最终每个视角下的物体姿态{P 1 ,P 2 ,…,P B }。
2.根据权利要求1所述的一种多视角物体姿态估计和姿态优化方法,其特征在于,所述图像编码模块采用深度神经网络来实现。
3.根据权利要求1所述的一种多视角物体姿态估计和姿态优化方法,其特征在于,在所述多视角姿态估计模块和姿态优化模块中,使用变形器网络来建模不同视角之间的内在联系,并引入两个可学习的姿态令牌用于旋转和平移的学习。
4.根据权利要求1或3所述的一种多视角物体姿态估计和姿态优化方法,其特征在于,所述多视角姿态估计模块的工作方式为:将来自不同视角i的二维特征图F i 进行特征降维,并拉平成具有K 0 个令牌的一维令牌序列引入2个可学习的令牌 和 用于姿态中旋转和平移的学习,因此对于每个视角最终将得到K 0 +2个令牌,即 将来自所有N个视角的令牌序列 沿着序列的方向进行拼接,并输入到由L 0 层堆叠而成的变形器网络中进行特征的更新以及交互,实现多视角之间的特征融合;将两个与姿态学习相关的令牌 和 分离出来,并分别输入到两个多层感知机网络中回归得到每个视角下物体的旋转 和平移 获得物体的初始姿态。
5.根据权利要求4所述的一种多视角物体姿态估计和姿态优化方法,其特征在于,还包括对相机外参和相机内参进行编码的步骤:相机外参的编码:对于每个视角,都将其对齐到第1个视角,计算每个视角到第1个视角的相机相对变换;随后将外参变换矩阵拉直为一个外参向量,通过多层感知机将外参向量拉升到与令牌维度D 0 相同的维度大小,得到每个视角的外参位置编码 然后将外参位置编码 直接加到每个视角i的令牌序列 的每个令牌上;相机内参的编码:对于每个视角相机内参的编码,将每个令牌 在图片中对应的像素点坐标 进行透视反投影变换,得到 和 然后将 和 拼接起来,并输入到多层感知机中编码到与令牌维度D 0 相同的维度大小,得到每个令牌关于相机内参的位置编码 最后将 加到每个令牌上;其中C x ,C y 是相机的主点坐标,f是相机的焦距。
6.根据权利要求4所述的一种多视角物体姿态估计和姿态优化方法,其特征在于,姿态估计中还包括以下步骤:将从变形器网络输出的令牌序列进行切分得到N段,每一段就是每个视角的令牌序列;将每段中的 重组回大小为H′×W ′ 的特征图,然后通过插值将其上采样4倍,并从上采样之后的特征图中估计物体的掩码以及关键点坐标。
7.根据权利要求1所述的一种多视角物体姿态估计和姿态优化方法,其特征在于,所述姿态优化模块的工作方式为:对于给定的K Δ 个预定义的关键点,首先将这些关键点根据多视角姿态估计模块得到的初始姿态 变换到相机视角下,然后将其投影到2D图像平面,并根据这些2D像素坐标从特征图F i 中采样得到K Δ 个关键点特征令牌 对每个视角的这组关键点特征令牌引入两个可学习的姿态令牌 共同构成令牌序列 在姿态优化模块中,使用三种不同形式的位置编码,分别是:相机外参位置编码 2D像素坐标位置编码 和关键点坐标位置编码 采样得到关键点特征令牌 后,依次对每个令牌加上三种形式的位置编码最终得到输入变形器网络的令牌序列 将变形器网络输出令牌序列中的可学习的姿态令牌 分离出来,通过多层感知机回归得到姿态的残差 将残差 与多视角姿态估计模块的结果 共同组成了最终预测的旋转和平移,获得最终的物体姿态。
8.根据权利要求1所述的一种多视角物体姿态估计和姿态优化方法,其特征在于,采用两阶段的训练方式来训练图像编码模块、多视角姿态估计模块和姿态优化模块:第一阶段共同训练图像编码模块和多视角姿态估计模块,第二阶段冻结图像编码模块和多视角姿态估计模块,单独训练姿态优化模块。
9.根据权利要求8所述的一种多视角物体姿态估计和姿态优化方法,其特征在于,在第一阶段,通过优化如下目标函数来训练图像编码模块和多视角姿态估计模块:其中, 和 分别是有多视角姿态估计模块预测的第i个视角的旋转、平移、掩码和关键点坐标;带有上标 的对应表示为真实标注;对于旋转, 是通过计算两个点云之间的距离得到:其中,O是从物体CAD模型上采样得到的一系列点;对于对称性物体,选择真值旋转集合 中与预测最接近的一个进行损失的计算:对于其他损失项:平移损失 由预测平移向量和真实平移向量之间的欧式距离表示、掩码损失 通过计算二值交叉熵得到、关键点预测损失 由两关键点集之间的欧式距离表示;在第二阶段,固定住第一阶段的训练权重,优化如下目标函数训练姿态优化模块:其中, 表示预测的旋转和平移的残差;带有上标 的表示对应的真实标注。
10.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行,以实现如权利要求1至9任一所述的方法。