一种手术机器人高临场感视觉感知方法、系统及存储介质

1.一种手术机器人高临场感视觉感知系统，其特征在于，系统包括：术前重建单元，用于采集术前三维影像，并基于术前三维影像进行三维重建得到手术场景三维模型；深度估计单元，用于通过双目摄像头采集术中实时场景，得到术中场景双目图像，并基于术中场景双目图像利用半监督双目图像深度估计模型进行双目图像深度估计得到术中场景深度图；术中重建单元，用于将术中场景深度图生成术中场景点云，并基于术中场景点云进行三维重建得到术中场景三维模型；术前术中配准单元，用于将术中场景三维模型与手术场景三维模型进行配准，得到配准后的手术场景三维模型；全息投影单元，用于通过全息投影将配准后的手术场景三维模型叠加至术中实时场景中，得到术中高临场感视觉场景；所述半监督双目图像深度估计模型的构建方法包括：将术中场景双目图像中左目图像和右目图像，利用双分支卷积神经网络进行双向视差估计，得到左右双向视差；建立左右双向视差的重建损失和一致性损失，并基于左右双向视差的重建损失和一致性损失对所述双分支卷积神经网络进行双向自监督训练，得到半监督双目图像深度估计模型；所述半监督双目图像深度估计模型为： ； ；式中， 为左视差， 为右视差， 为左目图像， 为右目图像，CNN1为第一分支卷积神经网络，CNN2为第二分支卷积神经网络；所述重建损失为： ；式中， 为重建损失， 为用于训练半监督双目图像深度估计模型的数据集中第i个双目图像的左视差， 为所述数据集中第i个双目图像的左目图像， 为所述数据集中第i个双目图像的右目图像， 为所述数据集中第i个双目图像的右视差， 为 通过 重构得到的右目图像， 为 通过 重构得到的左目图像，n为所述数据集中双目图像的总数量；所述一致性损失为： ；式中， 为一致性损失， 为 通过 重构得到的右视差， 为 通过 重构得到的左视差，n为所述数据集中双目图像的总数量， 为 的视差梯度， 为 的视差梯度。 2.根据权利要求1所述的一种手术机器人高临场感视觉感知系统，其特征在于：所述术中场景深度图的构建方法包括：将术中场景双目图像输入至半监督双目图像深度估计模型，得到术中场景双目图像的左右双向视差；获取双目摄像头的基线距离和焦距，基于左右双向视差中的左视差换算得到第一术中场景深度图；所述第一术中场景深度图为： ；式中，h 1 为第一术中场景深度图，b为基线距离，f为焦距， 为左视差；获取双目摄像头的基线距离和焦距，基于左右双向视差中的右视差换算得到第二术中场景深度图；所述第二术中场景深度图为： ；式中，h 2 为第二术中场景深度图，b为基线距离，f为焦距， 为右视差。 3.根据权利要求2所述的一种手术机器人高临场感视觉感知系统，其特征在于：所述术中场景点云的生成方法包括：获取双目摄像头的相机内参；利用所述相机内参和第一术中场景深度图进行点云换算，得到第一术中场景点云(X1,Y1,Z1)，X1为点云三维坐标中X轴向坐标，Y1为点云三维坐标中Y轴向坐标，Z1为点云三维坐标中Z轴向坐标；其中， ， ， ；式中， 为深度图 中的像素坐标， ， 均为相机主距， ， 均为相机主点坐标， 为深度图 中 处的深度值；利用所述相机内参和第二术中场景深度图进行点云换算，得到第二术中场景点云(X2,Y2,Z2)，X2为点云三维坐标中X轴向坐标，Y2为点云三维坐标中Y轴向坐标，Z2为点云三维坐标中Z轴向坐标；其中， ， ， ；式中， 为深度图 中的像素坐标， ， 均为相机主距， ， 均为相机主点坐标， 为深度图 中 处的深度。 4.根据权利要求3所述的一种手术机器人高临场感视觉感知系统，其特征在于：所述术中场景三维模型的重建方法包括：利用ICP点云配准方法将第一术中场景点云和第二术中场景点云进行对齐配准，得到术中场景配准点云；利用泊松重建方法将所述术中场景配准点云进行三维重建，得到所述术中场景三维模型；利用SLAM技术中图优化工具对术中场景三维模型进行模型优化。 5.根据权利要求1所述的一种手术机器人高临场感视觉感知系统，其特征在于：所述双分支卷积神经网络中第一分支卷积神经网络和第二分支卷积神经网络的网络结构相同，所述手术场景三维模型通过3D Slicer软件进行三维重建得到。 6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现一种手术机器人高临场感视觉感知方法，包括以下步骤：采集术前三维影像，并基于术前三维影像进行三维重建得到手术场景三维模型；通过双目摄像头采集术中实时场景，得到术中场景双目图像，并基于术中场景双目图像利用半监督双目图像深度估计模型进行双目图像深度估计得到术中场景深度图；将术中场景深度图生成术中场景点云，并基于术中场景点云进行三维重建得到术中场景三维模型；将术中场景三维模型与手术场景三维模型进行配准，得到配准后的手术场景三维模型；通过全息投影将配准后的手术场景三维模型叠加至术中实时场景中，得到术中高临场感视觉场景；所述半监督双目图像深度估计模型的构建方法包括：将术中场景双目图像中左目图像和右目图像，利用双分支卷积神经网络进行双向视差估计，得到左右双向视差；建立左右双向视差的重建损失和一致性损失，并基于左右双向视差的重建损失和一致性损失对所述双分支卷积神经网络进行双向自监督训练，得到半监督双目图像深度估计模型；所述半监督双目图像深度估计模型为： ； ；式中， 为左视差， 为右视差， 为左目图像， 为右目图像，CNN1为第一分支卷积神经网络，CNN2为第二分支卷积神经网络；所述重建损失为： ；式中， 为重建损失， 为用于训练半监督双目图像深度估计模型的数据集中第i个双目图像的左视差， 为所述数据集中第i个双目图像的左目图像， 为所述数据集中第i个双目图像的右目图像， 为所述数据集中第i个双目图像的右视差， 为 通过 重构得到的右目图像， 为 通过 重构得到的左目图像，n为所述数据集中双目图像的总数量；所述一致性损失为： ；式中， 为一致性损失， 为 通过 重构得到的右视差， 为 通过 重构得到的左视差，n为所述数据集中双目图像的总数量， 为 的视差梯度， 为 的视差梯度。 7.根据权利要求6所述的一种计算机可读存储介质，其特征在于：所述术中场景深度图的构建方法包括：将术中场景双目图像输入至半监督双目图像深度估计模型，得到术中场景双目图像的左右双向视差；获取双目摄像头的基线距离和焦距，基于左右双向视差中的左视差换算得到第一术中场景深度图；所述第一术中场景深度图为： ；式中，h 1 为第一术中场景深度图，b为基线距离，f为焦距， 为左视差；获取双目摄像头的基线距离和焦距，基于左右双向视差中的右视差换算得到第二术中场景深度图；所述第二术中场景深度图为： ；式中，h 2 为第二术中场景深度图，b为基线距离，f为焦距， 为右视差。 8.根据权利要求7所述的一种计算机可读存储介质，其特征在于：所述术中场景点云的生成方法包括：获取双目摄像头的相机内参；利用所述相机内参和第一术中场景深度图进行点云换算，得到第一术中场景点云(X1,Y1,Z1)，X1为点云三维坐标中X轴向坐标，Y1为点云三维坐标中Y轴向坐标，Z1为点云三维坐标中Z轴向坐标；其中， ， ， ；式中， 为深度图 中的像素坐标， ， 均为相机主距， ， 均为相机主点坐标， 为深度图 中 处的深度值；利用所述相机内参和第二术中场景深度图进行点云换算，得到第二术中场景点云(X2,Y2,Z2)，X2为点云三维坐标中X轴向坐标，Y2为点云三维坐标中Y轴向坐标，Z2为点云三维坐标中Z轴向坐标；其中， ， ， ；式中， 为深度图 中的像素坐标， ， 均为相机主距， ， 均为相机主点坐标， 为深度图 中 处的深度。 9.根据权利要求8所述的一种计算机可读存储介质，其特征在于：所述术中场景三维模型的重建方法包括：利用ICP点云配准方法将第一术中场景点云和第二术中场景点云进行对齐配准，得到术中场景配准点云；利用泊松重建方法将所述术中场景配准点云进行三维重建，得到所述术中场景三维模型；利用SLAM技术中图优化工具对术中场景三维模型进行模型优化。 10.根据权利要求7所述的一种计算机可读存储介质，其特征在于：所述双分支卷积神经网络中第一分支卷积神经网络和第二分支卷积神经网络的网络结构相同，所述手术场景三维模型通过3D Slicer软件进行三维重建得到。