有效
一种视觉机器人融合方法
潘凌锋、陈浙泊、林建宇、陈一信、陈龙威、余建安、陈镇元、张一航、叶雪旺、吴荻苇
浙江大学台州研究院
潘
潘凌锋 专利 138
浙江大学台州研究院频率测量光学计量几何尺寸测量
陈
陈浙泊 专利 186
浙江大学频率测量光学计量几何尺寸测量
林
林建宇 专利 105
浙江大学台州研究院光学计量几何尺寸测量图像分析
陈
陈一信 专利 129
浙江大学台州研究院频率测量光学计量几何尺寸测量
陈
陈龙威 专利 78
浙江大学台州研究院光学计量几何尺寸测量测量与测试
余
余建安 专利 117
浙江大学台州研究院光学计量几何尺寸测量图像分析
陈
陈镇元 专利 96
浙江大学台州研究院光学计量几何尺寸测量图像分析
张
张一航 专利 39
浙江大学台州研究院光学计量几何尺寸测量测量与测试
叶
叶雪旺 专利 83
浙江大学台州研究院光学计量几何尺寸测量图像分析
吴
吴荻苇 专利 78
浙江大学台州研究院光学计量几何尺寸测量图像分析
摘要
本发明公开了一种视觉机器人融合方法,旨在克服现有技术中定位不准确的问题,它包括工件坐标系和工具坐标系建立流程、N点标定流程、模板制作流程、特征图像处理流程、姿态自适应流程和高度自动调节流程。
1.一种视觉机器人融合方法,其特征在于,包括如下步骤:工件坐标系和工具坐标系建立流程:建立工件坐标系和工具坐标系流程,其中,工具坐标系包括TCP位置;N点标定流程:建立图像坐标系和机器人物理坐标系之间的转换矩阵,其中,N为正整数;模板制作流程:调整二维相机对特征图案的拍摄位姿,触发二维相机拍照并获取图像,对图像进行处理得到特征图案的像素轮廓,将特征图案的像素轮廓作为定位模板,对定位模板进行计算得到定位模板物理几何参数,其中,特征图案包括特征点和特征线段;特征点位置逼近流程:将特征图案设置在工件上,触发相机拍照并获取图像,对图像执行特征图像处理流程得到特征轮廓物理几何参数,控制相机在机器人物理坐标系X轴和Y轴上平移使得特征轮廓物理几何参数逼近定位模板物理几何参数;特征图像处理流程:对图像进行处理得到特征轮廓,判断特征轮廓和定位模板是否相匹配,若是则根据特征轮廓计算得到特征轮廓物理几何参数,若否则重新调整二维相机对特征图案的拍摄位姿、触发二维相机拍照并获取图像,其中,特征轮廓为特征图案的像素轮廓;姿态自适应流程:分别控制二维相机绕机器人物理坐标系X轴、Y轴和Z轴旋转使得特征轮廓物理几何参数逼近定位模板物理几何参数;高度自动调节流程:控制二维相机在机器人物理坐标系Z轴上平移使得特征轮廓物理几何参数逼近定位模板物理几何参数;所述高度自动调节流程,包括如下步骤:步骤241:触发二维相机拍照并获取图像;步骤242:对图像执行特征图像处理流程得到特征轮廓物理几何参数;特征轮廓物理几何参数还包括特征轮廓的高度,特征轮廓的高度为相机和特征图案之间的垂直距离;上述步骤中,特征轮廓物理几何参数中的高度满足如下公式:f(A 1 )=c n (A 1 ) n +...+c i (A 1 ) i +...+c 0 ,f(A 2 )=d n (A 2 ) n +...+d i (A 2 ) i +...+d 0 ,f(B 1 )=e n (B 1 ) n +...+e i (B 1 ) i +...+e 0 ,f(B 2 )=f n (B 2 ) n +...+f i (B 2 ) i +...+f 0 ,式中,f(A 1 )为根据A1计算得到的特征轮廓高度,c n ...c i ...c 0 分别为第n次…第i次…第0次的权重系数,(A 1 ) n ...(A 1 ) i 分别为第n次得到的A1的物理值…第i次得到的A1的物理值,f(A 2 )为根据A2计算得到的特征轮廓高度,d n ...d i ...d 0 分别为第n次…第i次…第0次的权重系数,(A 2 ) n ...(A 2 ) i 分别为第n次得到的A2的物理值…第i次得到的A2的物理值,f(B 1 )为根据B1计算得到的特征轮廓高度,e n ...e i ...e 0 分别为第n次…第i次…第0次的权重系数,(B 1 ) n ...(B 1 ) i 分别为第n次得到的B1的物理值…第i次得到的B1的物理值,f(B 2 )为根据B2计算得到的特征轮廓高度,f n ...f i ...f 0 分别为第n次…第i次…第0次的权重系数,(B 2 ) n ...(B 2 ) i 分别为第n次得到的B2的物理值…第i次得到的B2的物理值;根据上述公式可获取特征轮廓的高度;步骤243:根据特征轮廓物理几何参数和定位模板物理几何参数计算得到偏移量,偏移量包括ΔH,ΔH为特征轮廓相对定位模板的高度偏移量;定位模板物理几何参数包括定位模板的高度,定位模板的高度为预先计算得到的特征图案和相机之间的垂直距离,定位模板的高度采用步骤242中的公式计算得到;步骤244:判断ΔH是否小于阈值ΔH1,若ΔH小于阈值ΔH1则判断ΔH是否大于阈值ΔH2,若ΔH大于阈值ΔH2则控制二维相机在机器人物理坐标系Z轴上平移直至ΔH不大于阈值ΔH2,若ΔH不大于阈值ΔH2则控制二维相机在机器人物理坐标系Z轴上迭代平移 的距离直至ΔH小于 若ΔH小于 则控制二维相机在机器人物理坐标系Z轴上平移ΔH的距离,其中,阈值ΔH2大于4倍的阈值ΔH1;步骤245:判断高度总调节值是否小于ΔH3,若是则判定机器人高度调节过多导致特征点位置发生偏移,再次执行特征点位置逼近流程对特征点位置进行调整,上述的高度总调节值等于最终的二维相机高度和初始的二维相机高度之间的差值。
2.根据权利要求1所述的一种视觉机器人融合方法,其特征在于,所述工件坐标系和工具坐标系建立流程,具体包括如下步骤:步骤111:建立工具坐标系并确定TCP位置,将TCP位置设置在视觉中心点上,其中,视觉中心指的是二维相机镜头下端面中心;步骤112:通过工件坐标系确定机器人的工作面,工件坐标系的XY平面建立在加工面上,其中,加工面为特征图案上的切面,加工面和特征图案的公共点为特征点。
3.根据权利要求1所述的一种视觉机器人融合方法,其特征在于,所述N点标定流程,具体包括如下流程:步骤121:将TCP位置设置在视觉中心上;步骤122:控制二维相机正对于加工面,控制物距达到设定值;步骤123:在加工面上设置N个标定点,N个标定点的物理坐标分别为(X 1 ,Y 1 ,Z 1 )、(X 2 ,Y 2 ,Z 2 )…(X N ,Y N ,Z N ),控制TCP移动至N个标定点上并获取标定图像,根据标定图像确定TCP在N标定点上的像素坐标,TCP在N标定点上的像素坐标分别为(x 1 ,y 1 )、(x 2 ,y 2 )…(x N ,y N );步骤124:根据N个标定点的物理坐标和TCP在N标定点上的像素坐标代入如下公式并根据最小二乘法计算得到转换矩阵:式中,转换矩阵为 a、d、b和e分别为旋转分量,c和f分别为平移分量。
4.根据权利要求1所述的一种视觉机器人融合方法,其特征在于,所述模板制作流程,具体包括如下步骤:步骤131:调整二维相机对特征图案的拍摄位姿,触发二维相机拍照并获取图像,其中,特征图案包括特征点和特征线段;步骤132:获取特征图案的像素轮廓,将特征图案的像素轮廓作为定位模板;步骤133:根据定位模板计算得到定位模板像素几何参数,通过转换矩阵将定位模板像素几何参数转换为定位模板物理几何参数,其中,定位模板几何参数包括特征点的位置参数和特征线段的尺寸参数。
5.根据权利要求1所述的一种视觉机器人融合方法,其特征在于,所述特征点位置逼近流程,具体包括如下步骤:步骤211:将特征图案设置在工件上,将工件定位在工作台上;步骤212:触发二维相机拍照并获取图像;步骤213:对图像执行特征图像处理流程得到特征轮廓物理几何参数;步骤214:根据定位模板物理几何参数和特征轮廓物理几何参数计算得到偏移量,其中,偏移量包括ΔT X 和ΔT Y ,ΔT X 为在特征轮廓相对定位模板在机器人物理坐标系X轴上的偏移量,ΔT Y 为特征轮廓相对定位模板在机器人物理坐标系Y轴上的偏移量;步骤215:判断ΔT X 是否小于阈值ΔX i ,若ΔT X 不小于阈值ΔX i 则判断ΔT X 是否超过阈值 若ΔT X 超过阈值 则控制二维相机在机器人物理坐标系X轴上平移至ΔT X 不超过阈值 若ΔT X 不超过阈值 则控制二维相机在机器人物理坐标系X轴上迭代平移 的距离直至ΔT X 小于 若ΔT X 小于 时则控制二维相机在机器人物理坐标系X轴上平移ΔT X 的距离,其中,阈值 大于4倍的阈值ΔX i ;步骤216:若ΔT X 小于阈值ΔX i 时则判断ΔT Y 是否小于阈值ΔY i ,若ΔT Y 不小于阈值ΔY i 则判断ΔT Y 是否超过阈值 若ΔT Y 超过阈值 则控制二维相机在机器人物理坐标系Y轴上平移至ΔT Y 不超过阈值 若ΔT Y 不超过阈值 则控制二维相机在机器人物理坐标系Y轴上迭代平移 的距离直至ΔT Y 小于 若ΔT Y 小于 时则控制二维相机在机器人物理坐标系Y轴上平移ΔT Y 的距离,其中,阈值 大于4倍的阈值ΔY i 。
6.根据权利要求1所述的一种视觉机器人融合方法,其特征在于,所述特征图像处理流程,具体包括如下步骤:S11:视觉机器人系统根据Canny算法,提取图像中图案的边缘点;S12:视觉机器人系统根据提取到的图案的边缘点生成图案轮廓,其中,图案轮廓由若干边缘点构成;S13:视觉机器人系统根据图案轮廓计算得到图案轮廓的边缘点数量和长宽比,判断图案轮廓的边缘点数量是否位于安全数量范围内以及图案轮廓的长宽比是否位于安全长宽比范围内,若是则保留相应的图案轮廓,若否则剔除相应的图案轮廓;S14:视觉机器人系统判断保留下来的图案轮廓的一个边缘点和相邻的边缘点之间的差值是否位于梯度变化阈值时,若是则判定该边缘点为轮廓交点,判断图案轮廓的轮廓交点是否位于安全交点数范围内,若是则根据该图案轮廓的轮廓交点重新构建得到特征图案的轮廓;S15:视觉机器人系统根据特征图案的轮廓计算得到特征图案像素几何参数,根据转换矩阵将特征图案像素几何参数转换为特征图案物理几何参数,判断特征图案像素几何参数和定位模板物理几何参数是否构成相似关系,若是则判定特征图案和定位模板匹配成功并将特征图案的轮廓作为特征轮廓,若否则判定特征图案和定位模板匹配不成功并重新调整二维相机对特征图案的拍摄位姿并获取图像。
7.根据权利要求1所述的一种视觉机器人融合方法,其特征在于,所述姿态自适应流程,具体包括如下步骤:步骤221:触发二维相机拍照并获取图像;步骤222:对图像执行特征图像处理流程得到特征轮廓物理几何参数;步骤223:根据特征轮廓物理几何参数和定位模板物理几何参数计算得到偏移量,偏移量包括θ Z1 、θ X1 和θ Y1 ,θ Z1 为特征轮廓相对定位模板在机器人物理坐标系Z轴上的偏移角度,θ X1 为特征轮廓相对定位模板在机器人物理坐标系X轴上的偏移角度,θ Y1 为特征轮廓相对定位模板在机器人物理坐标系Y轴上的偏移角度;步骤224:判断θ Z1 是否小于阈值θ Z ,若否则控制二维相机绕机器人物理坐标系Z轴旋转直至小于阈值θ Z ;步骤225:若θ Z1 小于阈值θ Z 则判断θ X1 是否小于阈值θ X ,若θ X1 不小于阈值θ X 则判断θ X1 是否大于阈值 若θ X1 大于阈值 则控制二维相机绕机器人物理坐标系X轴旋转至θ X1 不大于阈值 若θ X1 不大于阈值 则控制二维相机绕机器人物理坐标系X轴迭代旋转 的角度直至θ X1 小于 若θ Z1 小于 则控制二维相机绕机器人物理坐标系X轴旋转θ X1 的角度,其中,阈值θ X 大于4倍的阈值 步骤226:若θ X1 小于阈值θ X 则执行特征点逼近流程,再判断θ Y1 是否小于阈值θ Y ,若θ Y1 不小于阈值θ Y 则判断θ Y1 是否大于阈值 若θ Y1 大于阈值 则控制二维相机绕机器人物理坐标系Y轴旋转至θ Y1 不大于阈值 若θ Y1 不大于阈值 则控制二维相机绕机器人物理坐标系Y轴迭代旋转 的角度直至θ Y1 小于 若θ Y1 小于 则控制二维相机绕机器人物理坐标系Y轴旋转θ Y1 的角度,其中,阈值θ Y 大于4倍的阈值 步骤227:若θ Y1 小于阈值θ Y 时则执行特征点位置逼近流程,记录机器人的当前姿态信息。



