一种三维注册跟踪与数值环境感知的虚拟交互方法及装置

1.一种三维注册跟踪与数值环境感知的虚拟交互方法，其特征在于，包括：获取第一信息、第二信息、第三信息和第四信息，所述第一信息包括注册任务和包含了待注册物体的至少一帧图像信息，所述第二信息为物体三维数据库，所述第三信息为待注册物体的传感器数据，所述第四信息为用户交互输入；根据所述第一信息进行特征提取处理得到特征点数据，并将提取得到的特征点数据与所述第二信息进行特征匹配处理得到匹配结果；根据所述匹配结果进行场景关联处理，通过将待注册物体的三维结构与现实世界环境进行对齐和融合得到注册结果；根据所述注册结果和所述第三信息进行图像渲染处理得到渲染结果，所述渲染结果包括虚拟物体渲染图像以及对应的传感数据可视化图表；根据所述渲染结果和预设的交互规则构建得到交互场景，并基于所述第四信息和所述交互场景进行虚拟交互操作得到交互反馈信息；其中,根据所述第一信息进行特征提取处理得到特征点数据，并将提取得到的所述特征点数据与所述第二信息进行特征匹配处理得到匹配结果，包括：基于预设的角点检测数学模型对所述第一信息中的待注册物体图像进行特征提取处理得到初步角点检测结果；根据是初步角点检测结果进行筛选处理，通过使用预设的机器学习数学模型进行决策处理得到最优角点数据；根据所述最优角点数据进行编码处理，通过将角点附近像素点的像素值组合转化为二进制字母串得到特征描述子；根据所述特征描述子与所述第二信息中的物体三维数据进行特征点匹配处理，结合网格统计信息和运动信息得到匹配结果。 2.根据权利要求1所述的三维注册跟踪与数值环境感知的虚拟交互方法，其特征在于,根据所述匹配结果进行场景关联处理，通过将待注册物体的三维结构与现实世界环境进行对齐和融合得到注册结果，包括：根据所述匹配结果进行三维结构重建处理，通过将特征点转换为三维空间坐标得到位置信息；根据所述位置信息进行点云生成处理，通过将待注册物体转换为三维点云，并将所述三维点云与现实世界中的场景进行匹配得到场景点云；根据所述场景点云进行姿态调整处理得到调整结果；根据所述调整结果进行融合处理，通过将姿态调整后的点云与现实世界环境对齐并进行体积融合，得到注册结果。 3.根据权利要求1所述的三维注册跟踪与数值环境感知的虚拟交互方法，其特征在于,根据所述注册结果和所述第三信息进行图像渲染处理得到渲染结果，包括：根据所述注册结果获取虚拟物体在现实世界中的显示数据，所述显示数据包括位置、姿态和外观属性；根据所述显示数据进行渲染处理，通过结合光照和阴影因素将虚拟物体与真实环境进行融合得到虚拟物体渲染图像；根据所述第三信息中的传感器数据进行数据转化处理，通过图形表示和数据映射得到传感数据可视化图表；根据所述虚拟物体渲染图像和所述传感数据可视化图表进行图像叠加处理，通过进行深度信息和遮挡处理得到渲染结果。 4.根据权利要求1所述的三维注册跟踪与数值环境感知的虚拟交互方法，其特征在于,根据所述渲染结果和预设的交互规则构建得到交互场景，并根据所述第四信息和所述交互场景实现目标物体的虚拟交互，包括：根据所述渲染结果获取混合现实场景中的虚拟物体属性，所述虚拟物体属性包括虚拟物体的位置、形状和颜色；根据所述虚拟物体属性和预设的交互规则进行关联分析，结合用户的交互需求得到交互支持方式；实时获取用户的交互输入，并对所述交互输入进行识别处理得到交互意图；基于所述交互支持方式，将所述交互意图映射至虚拟物体上执行相应的交互操作，并在交互中结合现实环境进行遮挡模拟和阴影生成的虚实融合处理得到交互反馈信息，所述交互反馈信息包括更新后的交互场景。 5.一种三维注册跟踪与数值环境感知的虚拟交互装置，其特征在于，包括：获取模块，用于获取第一信息、第二信息、第三信息和第四信息，所述第一信息包括注册任务和包含了待注册物体的至少一帧图像信息，所述第二信息为物体三维数据库，所述第三信息为待注册物体的传感器数据，所述第四信息为用户交互输入；匹配模块，用于根据所述第一信息进行特征提取处理得到特征点数据，并将提取得到的所述特征点数据与所述第二信息进行特征匹配处理得到匹配结果；注册模块，用于根据所述匹配结果进行场景关联处理，通过将待注册物体的三维结构与现实世界环境进行对齐和融合得到注册结果；渲染模块，用于根据所述注册结果和所述第三信息进行图像渲染处理得到渲染结果，所述渲染结果包括虚拟物体渲染图像以及对应的传感数据可视化图表；交互模块，用于根据所述渲染结果和预设的交互规则构建得到交互场景，并基于所述第四信息和所述交互场景进行虚拟交互操作得到交互反馈信息；其中，所述匹配模块包括：第一提取单元，基于预设的角点检测数学模型对所述第一信息中的待注册物体图像进行特征提取处理得到初步角点检测结果；第一筛选单元，用于根据是初步角点检测结果进行筛选处理，通过使用预设的机器学习数学模型进行决策处理得到最优角点数据；第一编码单元，用于根据所述最优角点数据进行编码处理，通过将角点附近像素点的像素值组合转化为二进制字母串得到特征描述子；第一匹配单元，用于根据所述特征描述子与所述第二信息中的物体三维数据进行特征点匹配处理，结合网格统计信息和运动信息得到匹配结果。 6.根据权利要求5所述的三维注册跟踪与数值环境感知的虚拟交互装置，其特征在于，所述注册模块包括：第一重建单元，用于根据所述匹配结果进行三维结构重建处理，通过将特征点转换为三维空间坐标得到位置信息；第一转换单元，用于根据所述位置信息进行点云生成处理，通过将待注册物体转换为三维点云，并将所述三维点云与现实世界中的场景进行匹配得到场景点云；第一调整单元，用于根据所述场景点云进行姿态调整处理得到调整结果；第一融合单元，用于根据所述调整结果进行融合处理，通过将姿态调整后的点云与现实世界环境对齐并进行体积融合，得到注册结果。 7.根据权利要求5所述的三维注册跟踪与数值环境感知的虚拟交互装置，其特征在于，所述渲染模块包括：第一获取单元，用于根据所述注册结果获取虚拟物体在现实世界中的显示数据，所述显示数据包括位置、姿态和外观属性；第一渲染单元，用于根据所述显示数据进行渲染处理，通过结合光照和阴影因素将虚拟物体与真实环境进行融合得到虚拟物体渲染图像；第一转化单元，用于根据所述第三信息中的传感器数据进行数据转化处理，通过图形表示和数据映射得到传感数据可视化图表；第一处理单元，用于根据所述虚拟物体渲染图像和所述传感数据可视化图表进行图像叠加处理，通过进行深度信息和遮挡处理得到渲染结果。 8.根据权利要求5所述的三维注册跟踪与数值环境感知的虚拟交互装置，其特征在于，所述交互模块包括：第二获取单元，用于根据所述渲染结果获取混合现实场景中的虚拟物体属性，所述虚拟物体属性包括虚拟物体的位置、形状和颜色；第二关联单元，用于根据所述虚拟物体属性和预设的交互规则进行关联分析，结合用户的交互需求得到交互支持方式；第一识别单元，用于实时获取用户的交互输入，并对所述交互输入进行识别处理得到交互意图；第一交互单元，基于所述交互支持方式，将所述交互意图映射至虚拟物体上执行相应的交互操作，并在交互中结合现实环境进行遮挡模拟和阴影生成的虚实融合处理得到交互反馈信息，所述交互反馈包括更新后的交互场景。