有效
基于复合标识的误差检测方法及机器人系统
孙大为、朱兰、徐凯
中国医学科学院北京协和医院
孙
孙大为机构 暂无
技术领域 暂无
朱
朱兰机构 暂无
技术领域 暂无
徐
徐凯机构 暂无
技术领域 暂无
摘要
本公开涉及误差检测技术领域,公开一种误差检测方法。误差检测方法包括:获得执行臂的末端的目标位姿;获取定位图像;在定位图像中,识别位于执行臂的末端上的多个标识,多个标识包括多个用于标识位姿的位姿标识和至少一个用于标识位姿和角度的复合标识;基于至少一个复合标识和多个位姿标识,确定执行臂的末端的实际位姿;以及响应于目标位姿与实际位姿满足误差检测条件,生成与故障相关的控制信号。
1.一种误差检测方法,其特征在于,包括:获得执行臂的末端的目标位姿;获取定位图像;在所述定位图像中,识别位于所述执行臂的末端上的多个标识,所述多个标识包括多个用于标识位姿的位姿标识和至少一个用于标识位姿和角度的复合标识;基于所述至少一个复合标识和所述多个位姿标识,确定所述执行臂的末端的实际位姿;以及响应于所述目标位姿与所述实际位姿满足误差检测条件,生成与故障相关的控制信号,其中所述与故障相关的控制信号包括第一报警信号,所述第一报警信号指示所述执行臂的控制发生故障;其中,生成与故障相关的控制信号还包括:响应于所述目标位姿与所述实际位姿满足误差检测条件,接收用于驱动所述执行臂的至少一个驱动装置的状态信息;以及响应于所述状态信息与所述至少一个驱动装置的驱动信息满足故障检测条件,发出第二报警信号,所述第二报警信号指示所述执行臂的驱动装置发生故障;确定所述执行臂的末端的实际位姿包括:确定所述至少一个复合标识和所述多个位姿标识在标识坐标系中的三维坐标;基于所述至少一个复合标识,确定所述标识坐标系相对执行臂的末端坐标系的滚转角;基于所述标识坐标系相对所述执行臂的末端坐标系的滚转角以及所述至少一个复合标识和所述多个位姿标识在所述标识坐标系中的三维坐标,确定所述至少一个复合标识和所述多个位姿标识在所述执行臂的末端坐标系中的三维坐标;以及基于所述至少一个复合标识和所述多个位姿标识在所述定位图像中的二维坐标以及在所述执行臂的末端坐标系中的三维坐标,确定所述执行臂的末端坐标系相对参考坐标系的位姿,作为所述实际位姿。
2. 根据权利要求1所述的方法,其特征在于,获得执行臂的末端的目标位姿包括:确定主操作器的当前位姿;以及基于所述主操作器的当前位姿及所述主操作器与执行臂的末端的位姿关系,确定所述执行臂的末端的目标位姿。
3. 根据权利要求2所述的方法,其特征在于,所述位姿关系包括以下中的至少一项:所述执行臂的末端在参考坐标系中的位置变化量与所述主操作器在所述参考坐标系中的位置变化量成比例;或者所述执行臂的末端在所述参考坐标系中的姿态变化量与所述主操作器在所述参考坐标系中的姿态变化量一致;或者所述执行臂的末端在所述参考坐标系中的姿态与所述主操作器在所述参考坐标系中的姿态一致。
4.根据权利要求2所述的方法,其特征在于,还包括:确定所述主操作器的先前位姿;确定所述执行臂的末端的起始位姿;以及基于所述主操作器的先前位姿和当前位姿以及所述执行臂的末端的起始位姿,确定所述目标位姿。
5.根据权利要求2所述的方法,其特征在于,还包括:确定所述主操作器的手柄相对主操作器基坐标系的当前位置;确定所述手柄相对主操作器基坐标系的先前位置;确定所述执行臂的末端相对执行臂基坐标系的起始位置;以及基于所述手柄相对所述主操作器基坐标系的先前位置和当前位置、所述执行臂基坐标系与所述主操作器基坐标系的变换关系、所述执行臂的末端相对所述执行臂基坐标系的起始位置,确定所述执行臂的末端相对所述执行臂基坐标系的目标位置。
6.根据权利要求2所述的方法,其特征在于,还包括:确定所述主操作器的手柄相对所述主操作器基坐标系的当前姿态;确定所述手柄相对所述主操作器基坐标系的先前姿态;确定所述执行臂的末端相对所述执行臂基坐标系的起始姿态;以及基于所述手柄相对所述主操作器基坐标系的先前姿态和当前姿态、所述执行臂基坐标系与所述主操作器基坐标系的变换关系、所述执行臂的末端相对所述执行臂基坐标系的起始姿态,确定所述执行臂的末端相对所述执行臂基坐标系的目标姿态。
7.根据权利要求5或6所述的方法,其特征在于,还包括:基于所述执行臂基坐标系与相机坐标系的变换关系、所述相机坐标系与显示器坐标系的变换关系、所述显示器坐标系与所述主操作器基坐标系的变换关系,确定所述执行臂基坐标系与所述主操作器基坐标系的变换关系。
8.根据权利要求7所述的方法,其特征在于,所述执行臂基坐标系与所述相机坐标系具有预定的变换关系。
9. 根据权利要求2所述的方法,其特征在于,还包括:接收所述主操作器的至少一个关节的当前关节信息;以及基于所述主操作器的至少一个关节的当前关节信息,确定所述主操作器的当前位姿。
10.根据权利要求5所述的方法,其特征在于,还包括:接收所述主操作器的至少一个关节的先前关节信息;基于所述主操作器的至少一个关节的先前关节信息,确定所述主操作器的先前位姿;以及接收上一轮检测循环获得的所述执行臂的末端的实际位姿,作为所述执行臂的末端的起始位姿。
11.根据权利要求1所述的方法,其特征在于,还包括:从所述定位图像中确定多个候选标识;从所述多个候选标识中识别所述多个标识中的第一标识;以及以所述第一标识作为起点,搜索其他标识。
12.根据权利要求11所述的方法,其特征在于,还包括:响应于识别到所述复合标识,基于位姿标识图案匹配模板,识别其他标识。
13.根据权利要求11所述的方法,其特征在于,所述标识包括标识图案和在所述标识图案中的标识图案角点,所述方法还包括:在所述定位图像中确定感兴趣区域;将所述感兴趣区域划分为多个子区域;确定每个所述子区域中角点似然值最大的像素以形成像素集合;确定所述多个候选标识中角点似然值最大的像素作为候选标识图案角点;以及将所述标识图案匹配模板与所述候选标识图案角点位置处的标识图案进行匹配,以识别所述第一标识。
14.根据权利要求13所述的方法,其特征在于,还包括:响应于匹配失败,确定所述像素集合中剩余像素中的角点似然值最大的像素作为候选标识图案角点。
15.根据权利要求13所述的方法,其特征在于,还包括:以所述第一标识作为起点,搜索第二标识;基于所述第一标识、所述第二标识,确定搜索方向;以及以所述第一标识或所述第二标识作为起点,在所述搜索方向上搜索标识。
16. 根据权利要求15所述的方法,其特征在于,还包括:响应于搜索距离大于搜索距离阈值,确定所述像素集合中剩余像素的角点似然值最大的像素作为候选标识图案角点;以及将所述标识图案匹配模板与所述候选标识图案角点位置处的标识图案进行匹配,以识别第一标识。
17.根据权利要求15所述的方法,其特征在于,还包括:响应于识别到的标识数量大于或等于标识数量阈值,基于识别到的标识,确定所述实际位姿。
18. 根据权利要求15所述的方法,其特征在于,还包括:响应于识别到的标识数量小于标识数量阈值,确定所述像素集合中剩余像素的角点似然值最大的像素作为候选标识图案角点;以及将所述标识图案匹配模板与所述候选标识图案角点位置处的标识图案进行匹配,以识别第一标识。
19.根据权利要求1、11-18中任一项所述的方法,所述执行臂的末端的柱状部分的外表面上设置有定位标签,所述定位标签包括多个标识图案,所述多个标识图案包括多个不同的复合标识图案和多个位姿标识图案,所述多个不同的复合标识图案和所述多个位姿标识图案位于同一图案分布带。
20.根据权利要求19所述的方法,所述多个标识图案中N个连续的标识图案中至少包括一个复合标识图案,其中所述复合标识图案与位姿标识图案不同,且2≤N≤4。
21.根据权利要求1-6、8-18、20中任一项所述的方法,其特征在于,还包括:以预定周期确定所述执行臂的末端的目标位姿和实际位姿,以通过多个检测循环实时对所述执行臂进行误差检测。
22. 一种计算机设备,包括:存储器,用于存储至少一条指令;以及处理器,与所述存储器耦合并且用于执行所述至少一条指令以执行根据权利要求1-21中任一项所述的误差检测方法。
23.一种计算机可读存储介质,用于存储至少一条指令,所述至少一条指令由计算机执行时致使所述计算机执行根据权利要求1-21中任一项所述的误差检测方法。
24.一种机器人系统,包括:主操作器,包括机械臂、设置在所述机械臂上的手柄以及设置在所述机械臂上的至少一个关节处的至少一个主操作器传感器,所述至少一个主操作器传感器用于获得所述至少一个关节的关节信息;执行臂,所述执行臂的末端设置有多个标识,所述多个标识包括多个位姿标识和至少一个复合标识;至少一个驱动装置,用于驱动所述执行臂;至少一个驱动装置传感器,与所述至少一个驱动装置耦合并且用于获得所述至少一个驱动装置的状态信息;图像采集设备,用于采集所述执行臂的定位图像;以及控制装置,被配置为与所述主操作器、所述至少一个驱动装置、所述至少一个驱动装置传感器、所述图像采集设备连接,执行根据权利要求1-21中任一项所述的误差检测方法。



