有效
一种物体六自由度姿态估计方法、系统、装置及介质
李弘洋、林杰鸿、贾奎
跨维(深圳)智能数字科技有限公司
摘要
本发明公开了一种物体六自由度姿态估计方法、系统、装置及介质,其中方法包括:提取目标物体观测点云以及目标物体对应的三维模型的点级深度特征,获得两组深度特征;对两组深度特征进行特征的解耦,获得姿态特征、匹配特征;根据匹配特征获取部分到部分的关联关系以及完整到完整的关联关系;根据获得的两种关联关系对姿态特征和匹配特征进行对齐,获得姿态特征对和匹配特征对;根据匹配特征对对姿态特征对进行挑选及聚合,获得深度特征;根据深度特征对目标物体的六自由度姿态进行回归。本发明使用了部分到部分、完整到完整这两种关联关系,得到一个描述二者之间相对姿态的深度特征,提高了估计结果的鲁棒性,可广泛应用于计算机视觉领域。
1.一种物体六自由度姿态估计方法,其特征在于,包括以下步骤:提取目标物体观测点云以及所述目标物体对应的三维模型的点级深度特征,获得两组深度特征;对所述两组深度特征进行特征的解耦,分别获得目标物体观测点云和三维模型的姿态特征、匹配特征;根据匹配特征获取目标物体观测点云中的每个点的深度特征到三维模型的每个点的深度特征的部分到部分的关联关系,以及获取三维模型中每个点的深度特征到目标物体观测点云中每个点的深度特征的完整到完整的关联关系;获得的这两种关联关系呈现出对偶的性质;根据获得的两种关联关系对姿态特征和匹配特征进行对齐,获得姿态特征对和匹配特征对;根据匹配特征对对姿态特征对进行挑选及聚合,获得包含有高质量姿态特征对的深度特征;根据所述包含有高质量姿态特征对的深度特征对目标物体的六自由度姿态进行回归,实现六自由度姿态的估计;所述对所述两组深度特征进行特征的解耦,分别获得目标物体观测点云和三维模型的姿态特征、匹配特征,包括:通过两个多层感知机,对目标物体观测点云的每个点的深度特征 进行解耦,获得用于姿态估计的姿态特征 以及用于寻找关联关系的匹配特征 通过两个多层感知机,对所述三维模型的每个点的深度特征 进行解耦,获得用于姿态估计的姿态特征 以及用于寻找关联关系的匹配特征 所述根据获得的两种关联关系对姿态特征和匹配特征进行对齐,获得姿态特征对和匹配特征对,包括:使用部分到部分的关联关系A 1 分别对所述目标物体对应的三维模型的姿态特征 和匹配特征 进行加权求和,得到与目标物体观测点云中每个点相对应的姿态特征 和匹配特征 并使得姿态特征 通过一个多层感知机来回归目标物体观测点云在标准姿态下的坐标 从而监督关联性A 1 的学习;将特征 与特征 拼接在一起,构成一组姿态特征对 将特征 与特征 拼接在一起,构成一组匹配特征对 使用完整到完整的关联关系A 2 分别对目标物体观测点云的姿态特征 和匹配特征 进行加权求和,得到与目标物体所对应的三维模型中每个点相对应的姿态特征 和匹配特征 并使得姿态特征 通过一个多层感知机来回归目标物体所对应的三维模型在目标物体当前姿态下的坐标 从而监督关联性A 2 的学习;将特征 与特征 拼接在一起,构成一组姿态特征对 特征 与特征 拼接在一起,构成一组匹配特征对 将两组姿态特征对 与 组合成一组姿态特征对 将两组匹配特征对 和 组合成一组匹配特征对
2.根据权利要求1所述的一种物体六自由度姿态估计方法,其特征在于,所述提取目标物体观测点云以及所述目标物体对应的三维模型的点级深度特征,获得两组深度特征,包括:对观测到的目标物体的点云信息以及所述目标物体的对应的三维模型进行下采样,分别得到N x 和N y 个点;对提取到的点进行体素化,通过三维稀疏卷积来提取二者体素级的特征;通过线性插值的方法将每个体素的特征映射到原始点上,得到观测到的目标物体的每个点的深度特征 以及所述目标物体的对应的三维模型上每个点的深度特征
3.根据权利要求1所述的一种物体六自由度姿态估计方法,其特征在于,所述根据匹配特征获取目标物体观测点云中的每个点的深度特征到三维模型的每个点的深度特征的部分到部分的关联关系,以及获取三维模型中每个点的深度特征到目标物体观测点云中每个点的深度特征的完整到完整的关联关系,包括:将目标物体观测点云中每个点用于寻找关联关系的匹配特征 与所述目标物体对应的三维模型中每个点用于寻找关联关系的特征的转置 做点乘,并通过Softmax函数来对关联关系进行归一化,得到部分到部分的关联关系 将所述目标物体所应的三维模型中每个点用于寻找关联关系的特征 与目标物体观测点云中每个点用于寻找关联关系的匹配特征的转置 做点乘,并通过Softmax函数来对关联性进行归一化,得到完整到完整的关联关系
4.根据权利要求1所述的一种物体六自由度姿态估计方法,其特征在于,所述根据匹配特征对对姿态特征对进行挑选及聚合,获得包含有高质量姿态特征对的深度特征,包括:将匹配特征对Pair match 被放入一个多层感知机中来得到权重W来描述每一个匹配关系的优劣程度;使用该权重W对获得的姿态特征对Pair Pose 进行挑选与聚合,删除掉权重低于一定阈值的姿态特征对,对余下的姿态特征对的权重进行归一化,并使用归一化后的权重对权重所对应的姿态特征对进行加权求和,获得一个蕴含有所有高质量姿态特征对信息的深度特征f。
5.根据权利要求1所述的一种物体六自由度姿态估计方法,其特征在于,所述根据所述包含有高质量姿态特征对的深度特征对目标物体的六自由度姿态进行回归,实现六自由度姿态的估计,包括:采用多层感知机获得的深度特征f进行特征提取,并回归出目标物体观测点云所带有的六自由度姿态相对所述目标物体对应的三维模型的标准姿态之间的变换,实现六自由度姿态的估计。
6.一种物体六自由度姿态估计系统,其特征在于,包括:特征提取模块,用于提取目标物体观测点云以及所述目标物体对应的三维模型的点级深度特征,获得两组深度特征;特征解耦模块,用于对所述两组深度特征进行特征的解耦,分别获得目标物体观测点云和三维模型的姿态特征、匹配特征;关系寻找模块,用于根据匹配特征获取目标物体观测点云中的每个点的深度特征到三维模型的每个点的深度特征的部分到部分的关联关系,以及获取三维模型中每个点的深度特征到目标物体观测点云中每个点的深度特征的完整到完整的关联关系;获得的这两种关联关系呈现出对偶的性质;特征对齐模块,用于根据获得的两种关联关系对姿态特征和匹配特征进行对齐,获得姿态特征对和匹配特征对;特征聚合模块,用于根据匹配特征对对姿态特征对进行挑选及聚合,获得包含有高质量姿态特征对的深度特征;姿态回归模块,用于根据所述包含有高质量姿态特征对的深度特征对目标物体的六自由度姿态进行回归,实现六自由度姿态的估计;所述对所述两组深度特征进行特征的解耦,分别获得目标物体观测点云和三维模型的姿态特征、匹配特征,包括:通过两个多层感知机,对目标物体观测点云的每个点的深度特征 进行解耦,获得用于姿态估计的姿态特征 以及用于寻找关联关系的匹配特征 通过两个多层感知机,对所述三维模型的每个点的深度特征 进行解耦,获得用于姿态估计的姿态特征 以及用于寻找关联关系的匹配特征 所述根据获得的两种关联关系对姿态特征和匹配特征进行对齐,获得姿态特征对和匹配特征对,包括:使用部分到部分的关联关系A 1 分别对所述目标物体对应的三维模型的姿态特征 和匹配特征 进行加权求和,得到与目标物体观测点云中每个点相对应的姿态特征 和匹配特征 并使得姿态特征 通过一个多层感知机来回归目标物体观测点云在标准姿态下的坐标 从而监督关联性A 1 的学习;将特征 与特征 拼接在一起,构成一组姿态特征对 将特征 与特征 拼接在一起,构成一组匹配特征对 使用完整到完整的关联关系A 2 分别对目标物体观测点云的姿态特征 和匹配特征 进行加权求和,得到与目标物体所对应的三维模型中每个点相对应的姿态特征 和匹配特征 并使得姿态特征 通过一个多层感知机来回归目标物体所对应的三维模型在目标物体当前姿态下的坐标 从而监督关联性A 2 的学习;将特征 与特征 拼接在一起,构成一组姿态特征对 特征 与特征 拼接在一起,构成一组匹配特征对 将两组姿态特征对 与 组合成一组姿态特征对 将两组匹配特征对 和 组合成一组匹配特征对
7.一种物体六自由度姿态估计装置,其特征在于,包括:至少一个处理器;至少一个存储器,用于存储至少一个程序;当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现权利要求1-5任一项所述方法。
8.一种计算机可读存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-5任一项所述方法。



