有效
基于多个位姿标识的机器人系统故障检测处理方法及机器人系统
朱兰、孙大为、徐凯
中国医学科学院北京协和医院
朱
朱兰机构 暂无
技术领域 暂无
孙
孙大为机构 暂无
技术领域 暂无
徐
徐凯机构 暂无
技术领域 暂无
摘要
本公开涉及故障检测处理技术领域,公开一种机器人系统故障检测处理方法。机器人系统包括控制装置、至少一个驱动装置以及执行臂,至少一个驱动装置基于控制装置发出的驱动信号,驱动执行臂。该方法包括:确定执行臂的末端的目标位姿;获取定位图像;在定位图像中,识别位于执行臂的末端上的多个位姿标识,多个位姿标识包括不同的位姿标识图案;基于多个位姿标识,确定执行臂的末端的实际位姿;基于目标位姿与实际位姿满足误差条件,使机器人系统进入安全模式;以及确定机器人系统的故障状况。
1.一种机器人系统故障检测处理方法,其特征在于,所述机器人系统包括控制装置、至少一个驱动装置以及执行臂,所述至少一个驱动装置基于控制装置发出的驱动信号,驱动所述执行臂,所述方法包括:确定所述执行臂的末端的目标位姿;获取定位图像;在所述定位图像中,识别位于所述执行臂的末端上的多个位姿标识,所述多个位姿标识包括不同的位姿标识图案;基于所述多个位姿标识,确定所述执行臂的末端的实际位姿;基于所述目标位姿与所述实际位姿满足误差条件,使所述机器人系统进入安全模式;确定所述机器人系统的故障状况;以及响应于确定所述机器人系统的故障状况为可恢复故障,执行故障恢复操作;或响应于确定所述机器人系统的故障状况为不可恢复故障,使所述机器人系统进入退出模式;识别位于所述执行臂的末端上的多个位姿标识包括:从所述定位图像中确定多个候选位姿标识;基于多个不同的位姿图案匹配模板,从所述多个候选位姿标识中识别第一位姿标识;以及以所述第一位姿标识作为起点,搜索其他位姿标识;确定所述执行臂的末端的实际位姿包括:基于所述多个位姿标识的分布,确定所述多个位姿标识相对执行臂的末端坐标系的Z轴的绕轴角度;基于所述多个位姿标识的绕轴角度,确定所述多个位姿标识相对所述执行臂的末端坐标系的三维坐标;确定所述多个位姿标识在所述定位图像中的二维坐标;以及基于所述多个位姿标识在所述定位图像中的二维坐标和所述多个位姿标识相对所述执行臂的末端坐标系的三维坐标,确定所述执行臂的末端坐标系相对参考坐标系的位姿,作为所述实际位姿。
2.根据权利要求1所述的方法,其特征在于,使所述机器人系统进入安全模式包括:停用驱动所述执行臂的所述至少一个驱动装置;以及允许所述机器人系统的用户使用手动模式。
3.根据权利要求1所述的方法,其特征在于,还包括:响应于所述故障恢复操作失败,使所述机器人系统进入所述退出模式;或响应于所述故障恢复操作成功,使所述机器人系统退出所述安全模式。
4.根据权利要求1所述的方法,其特征在于,所述机器人系统包括用于中继所述控制装置发送的驱动信号的通信节点以及用于与所述通信节点通信的通信模块,所述方法还包括:向所述通信节点发送问询信号;以及响应于无法接收到所述通信节点的回应信号,生成指示发生通信故障的通信故障报警信号和/或重启所述通信模块。
5.根据权利要求1所述的方法,其特征在于,还包括:响应于无法从所述至少一个驱动装置接收状态信息,生成指示发生通信故障的通信故障报警信号和/或重启用于与所述至少一个驱动装置通信的通信模块。
6.根据权利要求4或5所述的方法,其特征在于,还包括:响应于重启之后通信故障未恢复,使所述机器人系统进入退出模式。
7.根据权利要求1所述的方法,其特征在于,还包括:接收所述至少一个驱动装置的状态信息;以及响应于所述状态信息与所述控制装置发出的所述至少一个驱动装置的驱动信号满足驱动装置故障条件,生成驱动装置故障报警信号,所述驱动装置故障报警信号指示所述执行臂的驱动装置发生故障。
8.根据权利要求7所述的方法,其特征在于,还包括:响应于所述状态信息与所述控制装置发出的所述至少一个驱动装置的驱动信号不满足驱动装置故障条件,生成执行臂故障报警信号和/或使所述机器人系统进入退出模式,所述执行臂故障报警信号指示发生执行臂故障。
9.根据权利要求1所述的方法,其特征在于,还包括:判断所述目标位姿是否超出所述执行臂的运动极限;响应于所述目标位姿超出所述执行臂的运动极限,生成指示超出运动极限的报警信号;以及退出安全模式。
10.根据权利要求1所述的方法,其特征在于,还包括:接收所述执行臂的至少一个关节的实际关节信息;基于所述目标位姿,确定所述执行臂的至少一个关节的目标关节信息;以及响应于所述实际关节信息与所述目标关节信息满足执行臂故障条件,生成执行臂故障报警信号和/或使所述机器人系统进入退出模式,所述执行臂故障报警信号指示发生执行臂故障。
11.根据权利要求1所述的方法,其特征在于,确定所述执行臂的末端的目标位姿包括:预先确定或随机生成所述目标位姿;或者基于主操作器的位姿,确定所述目标位姿。
12.根据权利要求1所述的方法,其特征在于,所述位姿标识包括在所述位姿标识图案中的位姿标识图案角点,所述方法包括:在所述定位图像中确定感兴趣区域;将所述感兴趣区域划分为多个子区域;确定每个所述子区域中角点似然值最大的像素以形成像素集合;确定所述像素集合中角点似然值最大的像素作为候选位姿标识图案角点;以及将所述多个不同的位姿图案匹配模板分别与所述候选位姿标识图案角点位置处的图案进行匹配,以识别所述第一位姿标识。
13.根据权利要求12所述的方法,其特征在于,包括:响应于匹配失败,确定所述像素集合中剩余像素的角点似然值最大的像素作为候选位姿标识图案角点。
14.根据权利要求1、12、13中任一项所述的方法,其特征在于,还包括:以所述第一位姿标识作为起点,搜索第二位姿标识;基于所述第一位姿标识、所述第二位姿标识,确定搜索方向;以及以所述第一位姿标识或所述第二位姿标识作为起点,在所述搜索方向上搜索其他位姿标识。
15.根据权利要求14所述的方法,其特征在于,以所述第一位姿标识作为起点搜索第二位姿标识包括:以所述第一位姿标识作为起点,搜索所述第二位姿标识的候选位姿标识图案角点;基于所述多个位姿标识的分布,确定第一位姿图案匹配模板和第二位姿图案匹配模板,所述第一位姿图案匹配模板和第二位姿图案匹配模板对应于与所述第一位姿标识相邻的位姿标识;以及将所述第一位姿图案匹配模板或所述第二位姿图案匹配模板与所述第二位姿标识的候选位姿标识图案角点位置处的图案进行匹配,以识别所述第二位姿标识。
16.根据权利要求14所述的方法,其特征在于,以所述第一位姿标识或所述第二位姿标识作为起点在所述搜索方向上搜索其他位姿标识包括:以所述第一位姿标识或所述第二位姿标识作为起点,搜索第三位姿标识的候选位姿标识图案角点;基于所述多个位姿标识的分布,确定第三位姿图案匹配模板,所述第三位姿图案匹配模板对应于与所述第一位姿标识相邻或与所述第二位姿标识相邻的位姿标识;以及将所述第三位姿图案匹配模板与所述第三位姿标识的候选位姿标识图案角点位置处的图案进行匹配,以识别所述第三位姿标识。
17.根据权利要求14所述的方法,其特征在于,还包括:响应于搜索距离大于搜索距离阈值,确定所述像素集合中剩余像素的角点似然值最大的像素作为候选位姿标识图案角点;以及将所述多个不同的位姿图案匹配模板分别与所述候选位姿标识图案角点位置处的图案进行匹配,以识别第一位姿标识。
18.根据权利要求14所述的方法,其特征在于,还包括:响应于识别到的位姿标识数量小于位姿标识数量阈值,确定所述像素集合中剩余像素的角点似然值最大的像素作为候选位姿标识图案角点;以及将所述多个不同的位姿图案匹配模板分别与所述候选位姿标识图案角点位置处的图案进行匹配,以识别第一位姿标识。
19.根据权利要求1、12、13中任一项所述的方法,其特征在于,还包括:基于所述多个位姿标识中的至少两个,确定所述多个位姿标识的排布顺序;以及基于所述多个位姿标识的排布顺序,确定所述多个位姿标识相对执行臂的末端坐标系的三维坐标。
20.根据权利要求1、12、13中任一项所述的方法,其特征在于,所述多个位姿标识设置在所述执行臂的末端的柱状部分的外表面上。
21.根据权利要求1-5、7-13、15-18中任一项所述的方法,其特征在于,还包括:以预定周期确定所述执行臂的末端的实际位姿,以通过多个故障检测循环,实时确定所述机器人系统的故障状况。
22.一种计算机设备,包括:存储器,用于存储至少一条指令;以及处理器,与所述存储器耦合并且用于执行所述至少一条指令以执行根据权利要求1-21中任一项所述的机器人系统故障检测处理方法。
23.一种计算机可读存储介质,用于存储至少一条指令,所述至少一条指令由计算机执行时致使所述计算机执行根据权利要求1-21中任一项所述的机器人系统故障检测处理方法。
24.一种机器人系统,包括:执行臂,所述执行臂的末端设置有多个位姿标识,所述多个位姿标识包括不同的位姿标识图案;至少一个驱动装置,用于驱动所述执行臂;至少一个驱动装置传感器,与所述至少一个驱动装置耦合并且用于获得所述至少一个驱动装置的状态信息;图像采集设备,用于采集所述执行臂的定位图像;以及控制装置,被配置为与所述至少一个驱动装置、所述至少一个驱动装置传感器、所述图像采集设备连接,执行根据权利要求1-21中任一项所述的机器人系统故障检测处理方法。



