内窥镜主从运动控制方法及手术机器人系统

1.一种机器人系统，其特征在于，包括：主操作器，包括机械臂、设置在所述机械臂上的手柄以及设置在所述机械臂上的至少一个关节处的至少一个主操作器传感器，所述至少一个主操作器传感器用于获得所述至少一个关节的关节信息；内窥镜，包括执行臂、设置在所述执行臂的末端的主体、第一成像单元、第二成像单元以及从所述主体的远端伸出的末端器械，其中，所述第一成像单元用于拍摄第一图像，所述第二成像单元用于拍摄第二图像，所述第一图像和所述第二图像的视场不同并且包括所述末端器械的图像；至少一个驱动装置，用于驱动所述执行臂；至少一个驱动装置传感器，与所述至少一个驱动装置耦合并且用于获得所述至少一个驱动装置的状态信息；显示装置，用于显示图像；以及控制装置，被配置为与所述主操作器、所述至少一个驱动装置、所述至少一个驱动装置传感器、所述内窥镜和所述显示装置通信连接，所述控制装置被配置为确定所述主操作器的当前位姿，基于所述主操作器的当前位姿及所述主操作器与所述执行臂的末端的位姿关系确定所述执行臂的末端的目标位姿，基于所述目标位姿生成用于驱动所述执行臂的末端的驱动指令，获得来自所述第一成像单元的第一图像，获得来自所述第二成像单元的第二图像，基于所述第一图像和所述第二图像生成合成场景图像以去除所述末端器械的实际图像，以及在所述合成场景图像中生成所述末端器械的虚拟图像；所述控制装置还被配置为：基于所述第一图像和/或所述第二图像，生成实际场景图像，以显示所述末端器械的实际图像；以及响应于显示模式指令，显示带所述虚拟图像的所述合成场景图像和/或所述实际场景图像；其中，所述显示模式指令包括所述驱动指令和用于控制所述末端器械工作的末端器械操作指令，所述驱动指令包括用于控制所述内窥镜进给的进给指令或用于控制所述内窥镜转向的转向指令，所述控制装置还被配置为：响应于所述进给指令或所述转向指令，生成第一显示信号以至少显示带所述虚拟图像的所述合成场景图像；以及响应于末端器械操作指令，生成第二显示信号以至少显示所述实际场景图像；所述驱动指令还包括用于控制所述内窥镜后退的后退指令，所述控制装置还被配置为：基于所述后退指令，控制所述内窥镜远离操作区域；以及响应于所述内窥镜远离所述操作区域超过阈值，生成所述第一显示信号以至少显示带所述虚拟图像的所述合成场景图像；所述显示模式指令的显示模式控制优先级包括：所述后退指令的显示模式控制优先级高于所述末端器械操作指令的显示模式控制优先级；以及所述末端器械操作指令的显示模式控制优先级高于所述进给指令和所述转向指令的显示模式控制优先级。 2.根据权利要求1所述的机器人系统，其特征在于，所述显示模式指令还包括用于选择显示模式的显示模式选择指令，所述控制装置还被配置为响应于所述显示模式选择指令，生成与所选择的显示模式对应的显示信号；所述显示模式指令的显示模式控制优先级还包括：所述显示模式选择指令的显示模式控制优先级高于所述驱动指令和所述末端器械操作指令的显示模式控制优先级。 3.根据权利要求1所述的机器人系统，其特征在于，所述控制装置还被配置为：判断内窥镜后退的距离是否超过阈值；或者判断所述主操作器的与所述后退指令对应的位置变化量的累计值是否超过阈值。 4.根据权利要求1所述的机器人系统，其特征在于，所述驱动指令还包括自动退出指令，所述控制装置还被配置为：基于所述自动退出指令，控制内窥镜退出体内；以及响应于所述自动退出指令，生成所述第一显示信号以至少显示带所述虚拟图像的所述合成场景图像；所述显示模式指令的显示模式控制优先级还包括：所述自动退出指令的显示模式控制优先级高于所述末端器械操作指令的显示模式控制优先级。 5.根据权利要求2所述的机器人系统，其特征在于，所述显示模式选择指令包括以下中的至少一项：合成场景显示指令，用于显示带所述虚拟图像的所述合成场景图像；实际场景显示指令，用于显示所述实际场景图像；或者多场景显示指令，用于在第一窗口中显示所述实际场景图像的至少一部分，在第二窗口中显示带所述虚拟图像的所述合成场景图像的至少一部分。 6.根据权利要求1所述的机器人系统，其特征在于，所述位姿关系包括以下中的至少一项：所述执行臂的末端的位置变化量与所述主操作器的位置变化量相等或成比例；和/或所述执行臂的末端的姿态变化量与所述主操作器的姿态变化量相等或成比例。 7.根据权利要求1所述的机器人系统，其特征在于，所述控制装置还被配置为：确定所述主操作器的手柄相对参考坐标系的当前位姿；确定所述手柄相对参考坐标系的先前位姿；确定所述执行臂的末端相对执行臂基坐标系的起始位姿；以及基于所述手柄相对所述参考坐标系的先前位姿和当前位姿、所述执行臂的当下末端坐标系与所述执行臂基坐标系的变换关系、以及所述执行臂的末端相对所述执行臂基坐标系的起始位姿，确定所述执行臂的末端相对所述执行臂基坐标系的目标位姿。 8.根据权利要求1所述的机器人系统，其特征在于，所述控制装置还被配置为：执行多个控制循环，其中在每个控制循环中：将上一轮控制循环获得的所述主操作器的当前位姿，确定为本轮控制循环中所述主操作器的先前位姿；以及将上一轮控制循环获得的所述执行臂的末端的目标位姿，确定为本轮控制循环中所述执行臂的末端的起始位姿。 9.根据权利要求1所述的机器人系统，其特征在于，所述控制装置还被配置为：基于所述第一图像或所述第二图像，确定补充图像，所述补充图像包括所述第二图像或所述第一图像中被所述末端器械遮挡的部分；基于所述第一图像或所述第二图像，确定第一环境图像或第二环境图像，所述第一环境图像和所述第二环境图像不包括所述末端器械的图像；以及拼接所述第一环境图像或所述第二环境图像和所述补充图像以生成拼接图像。 10.根据权利要求9所述的机器人系统，其特征在于，所述控制装置还被配置为：对于所述第一图像、所述第二图像、所述第一环境图像、所述第二环境图像、所述补充图像或所述拼接图像中的至少一个，基于所述图像和所述图像的上一帧图像，确定所述图像的光流场，所述光流场包括所述图像中多个像素点的光流；基于所述图像的光流场和与所述图像对应的成像单元的位姿，生成所述图像的深度图，所述深度图包括与所述多个像素点对应的物体点的深度；基于所述图像的深度图和所述多个像素点的像素坐标，确定与所述多个像素点对应的物体点的物体点空间坐标；基于所述图像，获取所述多个像素点的颜色信息；以及基于所述多个像素点的颜色信息和所述物体点空间坐标对所述图像进行点云融合，生成三维点云。 11.根据权利要求10所述的机器人系统，其特征在于，所述控制装置还被配置为：基于所述图像的光流场，确定所述光流场的焦点；基于所述光流场的焦点，确定所述多个像素点与所述焦点之间的距离；基于所述图像的光流场，确定所述多个像素点在所述光流场中的速度；基于与所述图像对应的成像单元的位姿，确定所述成像单元的速度；以及基于所述多个像素点与所述焦点之间的距离、所述多个像素点在所述光流场中的速度和所述成像单元的速度，确定所述图像的深度图。 12.根据权利要求10或11所述的机器人系统，其特征在于，所述控制装置还被配置为：基于所述执行臂的末端的目标位姿以及所述执行臂的末端与所述成像单元的位姿关系，确定所述成像单元的位姿。 13.根据权利要求1所述的机器人系统，其特征在于，所述控制装置还被配置为：确定所述末端器械在所述合成场景图像中的位置和尺寸；以及在所述合成场景图像中生成所述末端器械的虚拟图像。 14.根据权利要求13所述的机器人系统，其特征在于，所述末端器械的虚拟图像包括用于示出所述末端器械的轮廓线和/或透明实体；和/或在所述合成场景图像中，沿所述末端器械的虚拟图像的沿轴线方向生成用于指示距离的第一虚拟标尺。 15.根据权利要求14所述的机器人系统，其特征在于，所述控制装置还被配置为：确定所述内窥镜与手术部位之间的距离；以及基于所述内窥镜与所述手术部位之间的距离，将所述第一虚拟标尺更新为第二虚拟标尺。 16.一种计算机设备，包括：存储器，用于存储至少一条指令；以及处理器，与所述存储器耦合，用于执行以下步骤：确定手术机器人系统的主操作器的当前位姿；基于所述主操作器的当前位姿及所述主操作器与内窥镜的执行臂的末端的位姿关系，确定所述执行臂的末端的目标位姿；基于所述目标位姿，生成用于驱动手术机器人系统的所述内窥镜的驱动指令，所述内窥镜包括所述执行臂、设置在所述执行臂的末端的主体、第一成像单元、第二成像单元以及从所述主体的远端伸出的末端器械，所述驱动指令用于驱动所述执行臂的末端；获得来自所述第一成像单元的第一图像；获得来自所述第二成像单元的第二图像，其中，所述第一图像和所述第二图像的视场不同并且包括所述内窥镜的末端器械的图像；基于所述第一图像和所述第二图像，生成合成场景图像以去除所述末端器械的实际图像；在所述合成场景图像中生成所述末端器械的虚拟图像；基于所述第一图像和/或所述第二图像，生成实际场景图像，以显示所述末端器械的实际图像；以及响应于显示模式指令，显示带所述虚拟图像的所述合成场景图像和/或所述实际场景图像；其中，所述显示模式指令包括所述驱动指令和用于控制所述末端器械工作的末端器械操作指令，所述驱动指令包括用于控制所述内窥镜进给的进给指令或用于控制所述内窥镜转向的转向指令，响应于显示模式指令显示带所述虚拟图像的所述合成场景图像和/或所述实际场景图像还包括：响应于所述进给指令或所述转向指令，生成第一显示信号以至少显示带所述虚拟图像的所述合成场景图像；以及响应于末端器械操作指令，生成第二显示信号以至少显示所述实际场景图像；所述驱动指令还包括用于控制所述内窥镜后退的后退指令，响应于显示模式指令显示带所述虚拟图像的所述合成场景图像和/或所述实际场景图像还包括：基于所述后退指令，控制所述内窥镜远离操作区域；以及响应于所述内窥镜远离所述操作区域超过阈值，生成所述第一显示信号以至少显示带所述虚拟图像的所述合成场景图像；所述显示模式指令的显示模式控制优先级包括：所述后退指令的显示模式控制优先级高于所述末端器械操作指令的显示模式控制优先级；以及所述末端器械操作指令的显示模式控制优先级高于所述进给指令和所述转向指令的显示模式控制优先级。 17.一种计算机可读存储介质，用于存储至少一条指令，所述至少一条指令由计算机执行时致使所述计算机执行以下步骤：确定手术机器人系统的主操作器的当前位姿；基于所述主操作器的当前位姿及所述主操作器与内窥镜的执行臂的末端的位姿关系，确定所述执行臂的末端的目标位姿；基于所述目标位姿，生成用于驱动手术机器人系统的所述内窥镜的驱动指令，所述内窥镜包括所述执行臂、设置在所述执行臂的末端的主体、第一成像单元、第二成像单元以及从所述主体的远端伸出的末端器械，所述驱动指令用于驱动所述执行臂的末端；获得来自所述第一成像单元的第一图像；获得来自所述第二成像单元的第二图像，其中，所述第一图像和所述第二图像的视场不同并且包括所述内窥镜的末端器械的图像；基于所述第一图像和所述第二图像，生成合成场景图像以去除所述末端器械的实际图像；在所述合成场景图像中生成所述末端器械的虚拟图像；基于所述第一图像和/或所述第二图像，生成实际场景图像，以显示所述末端器械的实际图像；以及响应于显示模式指令，显示带所述虚拟图像的所述合成场景图像和/或所述实际场景图像；其中，所述显示模式指令包括所述驱动指令和用于控制所述末端器械工作的末端器械操作指令，所述驱动指令包括用于控制所述内窥镜进给的进给指令或用于控制所述内窥镜转向的转向指令，响应于显示模式指令显示带所述虚拟图像的所述合成场景图像和/或所述实际场景图像还包括：响应于所述进给指令或所述转向指令，生成第一显示信号以至少显示带所述虚拟图像的所述合成场景图像；以及响应于末端器械操作指令，生成第二显示信号以至少显示所述实际场景图像；所述驱动指令还包括用于控制所述内窥镜后退的后退指令，响应于显示模式指令显示带所述虚拟图像的所述合成场景图像和/或所述实际场景图像还包括：基于所述后退指令，控制所述内窥镜远离操作区域；以及响应于所述内窥镜远离所述操作区域超过阈值，生成所述第一显示信号以至少显示带所述虚拟图像的所述合成场景图像；所述显示模式指令的显示模式控制优先级包括：所述后退指令的显示模式控制优先级高于所述末端器械操作指令的显示模式控制优先级；以及所述末端器械操作指令的显示模式控制优先级高于所述进给指令和所述转向指令的显示模式控制优先级。