有效
一种基于掩膜信息的尺寸测量方法及评分系统
林建宇、陈浙泊、潘凌锋、陈一信、余建安、陈镇元、陈龙威、叶雪旺、吴荻苇
浙江大学台州研究院
摘要
一种基于掩膜信息的尺寸测量方法及评分系统,其中系统包括操作模块和检测模块,所述操作模块包括系统设置模块以及尺寸测量模块;系统设置模块包括参数配置、试题制作以及模板校准功能;进入系统设置模块需要输入密码;尺寸测量模块包括正面尺寸测量和侧面尺寸测量的功能;尺寸测量评分系统还包括退出系统模块;本发明通过设置尺寸测量界面完成参数配置、试题制作、模板校准以及尺寸测量的功能,实现模板的制作以及待检测零件的精确测量;并通过模板信息提取制作试题的模板源图,用于和待检测零件进行比较,进而实现打分。
1.一种基于掩膜信息的尺寸测量方法,其特征在于,包括试题制作的流程,包括如下步骤:步骤4.1:获取当前相机采集的实时图,打开试题制作对话框,并实时图传入;步骤4.2:进行试题制作,包括可进行各种尺寸测量类型的任务编辑,可设置测量的最大公差上限和最大公差下限;步骤4.3:退出试题制作对话框时,进行试题模板信息提取,同时对模板源图进行尺寸测量;步骤4.4:保存相关测量结果,实时尺寸测量中使用;在相机采集实时图像之前,系统会引导待检测零件的摆放;引导待检测零件摆放的过程如下:尺寸测量界面图像显示窗口显示基于模板源图图像的引导图,引导用户将物件相应测量面朝上,摆放到设定区域范围;所述引导图的制作流程包括:步骤4.1.1:将模板源图图像中每个像素点灰度值取原值的80%;步骤4.1.2:将同样大小的空白图像中每个像素点灰度值取原值的20%;步骤4.1.3:将两张图像按灰度值叠加,得到引导图;其中灰度值为0的像素点显示纯黑,灰度值为255的像素点显示纯白;所述步骤4.2中各种尺寸测量的类型任务编辑包括圆、线、弧、角四种基本元素的测量类型编辑,得到相应的掩膜特征信息;其中圆、线、弧以及角元素测量类型的线宽能够调节,在掩膜图中显示为白色区域;完成线宽的调节后输出相应特征信息;所述圆测量类型任务编辑包括如下步骤:步骤4.2.1:确定测量类型名称;步骤4.2.2:确定测量开关值、圆半径准确值、公差上限、公差下限;上述参数由用户输入;步骤4.2.3:确定中心坐标、宽度、高度以及半径;上述参数按编辑时用最小线宽绘制测量类型图形所对应的矢量信息计算所得;所述线测量类型任务编辑包括如下步骤:步骤4.3.1:确定测量类型名称;步骤4.3.2:确定测量开关值、圆半径准确值、公差上限、公差下限;上述参数由用户输入;步骤4.3.3:确定倾斜角、直线段长度以及两端点坐标;上述参数按编辑时用最小线宽绘制测量类型图形所对应的矢量信息计算所得;所述弧测量类型任务编辑包括如下步骤:步骤4.4.1:确定测量类型名称;步骤4.4.2:确定测量开关值、圆半径准确值、公差上限、公差下限;上述参数由用户输入;步骤4.4.1:确定圆弧半径、圆弧角度以及三个点坐标,其中两个点位于圆弧始末端点处,另一个点位于别处;上述参数按编辑时用最小线宽绘制测量类型图形所对应的矢量信息计算所得;所述角测量类型任务编辑包括如下步骤:步骤4.5.1:确定测量类型名称;步骤4.5.2:确定测量开关值、圆半径准确值、公差上限以及公差下限;上述参数由用户输入;步骤4.5.3:确定夹角、构成夹角的三个点坐标,其中一个点位于夹角顶点;上述参数按编辑时用最小线宽绘制测量类型图形所对应的矢量信息计算所得;通过圆、线、弧以及角四种基本元素的组合获得两点间距、点到线间距、两直线段间距;所述两点间距测量算法为先分别求出两点坐标,再求两点间距;所述点到直线间距测量算法为先分别求出点坐标和直线段两端点坐标,再求点到该直线段间距;所述两直线段间距测量算法为先分别求出两条直线段的端点坐标,接着求一条直线段两端点分别到另一条直线段的距离,再将所求得的两个距离相加取平均值即为两直线段间距;所述步骤4.4中试题模板信息提取包括如下步骤:步骤4.6.1:对模板源图进行均值滤波处理;所述模板源图为相机获得的标准件正面以及侧面的图像;步骤4.6.2:进一步进行阈值化处理;阈值化处理为大于设定阈值的像素灰度值被设置为0,反之,则被设置为255;步骤4.6.3:提取模板源图中标准件的外轮廓点;步骤4.6.4:求外轮廓的最小外接圆,得到圆心坐标和半径;步骤4.6.5:根据所求圆心坐标和半径,提取ROI;此ROI为一个矩形,其边长为模板源图中标准件的最小外接圆直径,其中心为标准件最小外接圆圆心,其旋转角度为零;ROI表示感兴趣区域步骤4.6.6:对ROI提取层级轮廓信息,层级轮廓信息包括外轮廓信息和内轮廓信息,且外轮廓与内轮廓满足父子层级关系;若外轮廓与内轮廓满足父子层级关系,则外轮廓为父轮廓,内轮廓为子轮廓;步骤4.6.7:求其外轮廓的零旋转度角最小外接矩形,得到矩形长宽,判断此矩形的长或宽是否大于设定值;步骤4.6.8:若矩形的长或宽大于设定值,则标准件出界,跳转到步骤4.6.16;步骤4.6.9:若矩形的长或宽没有大于设定值,则求外轮廓的质心、最小外接矩形,得到矩形中心坐标、旋转角度、长宽、面积;接着判断是否存在内轮廓;步骤4.6.10:若不存在内轮廓,跳转到步骤4.6.16;步骤4.6.11:若存在内轮廓,再判断是否只有一个有效内轮廓;步骤4.6.12:若只有一个有效内轮廓,则求得质心、最小外接矩形中心坐标、旋转角度、长宽、面积,跳转到步骤4.6.16;步骤4.6.13:若存在多个有效内轮廓,则遍历全部有效内轮廓,求出内轮廓最小外接矩形面积的最大值和最小值,并比较最大值和最小值的差值是否大于设定值;步骤4.6.14:若最小外接矩形面积的最大值和最小值的差值大于设定值,则表明既有最大内轮廓,又有最小内轮廓;分别求得它们的质心、最小外接矩形中心坐标、旋转角度、长宽、面积,跳转到步骤4.6.16;步骤4.6.15:若最小外接矩形面积的最大值和最小值的差值小于等于设定值,标明标准件存在多个有效最大内轮廓,任意取其一,求得质心、最小外接矩形中心坐标、旋转角度、长宽、面积,跳转到步骤4.6.16;步骤4.6.16:根据圆、线、弧以及角测量类型任务编辑信息,提取圆、线、弧以及角测量类型特征信息;步骤4.6.17:结束试题模板信息提取流程。
2.根据权利要求1所述的一种基于掩膜信息的尺寸测量方法,其特征在于,所述步骤4.6.16中,提取模板源图中圆测量类型信息的流程包括如下步骤:步骤4.7.1:根据任务编辑得到的对应圆测量类型掩膜特征信息,在模板源图中提取圆测量类型ROI;步骤4.7.2:将ROI灰度图进行滤波处理,所述滤波处理为高斯滤波处理;步骤4.7.3:对滤波后的图像进行霍夫找圆处理,得到至少一个圆;步骤4.7.4:将步骤4.7.3得到的圆分别与选取的掩膜圆的圆心比较,判断圆心偏移是否小于设定值;步骤4.7.5:若圆心偏移大于等于设定值,改变霍夫找圆阈值参量阈值,跳转到步骤4.7.3;所述改变霍夫找圆参量阈值是指减小该参量阈值;步骤4.7.6:若圆心偏移小于设定值,筛选出模板源图与掩膜圆半径绝对差值最小的霍夫拟合圆,进入步骤4.7.7;步骤4.7.7:与掩膜圆半径比较,判断半径绝对差值是否小于设定值;步骤4.7.8:若半径绝对差值大于等于设定值,改变霍夫找圆阈值参量阈值,跳转到步骤4.7.3;步骤4.7.9:若半径绝对差值小于设定值,则已找到合适霍夫拟合圆;步骤4.7.10:对ROI灰度图运用Canny算子进行边缘检测;步骤4.7.11:将Canny处理后的ROI图像和掩膜ROI图像相与;所述相与算法是指ROI图像中经过Canny边缘检测处理得到的边缘点在掩膜ROI图像中已绘制的白色圆环内的被保留,其余点被剔除;步骤4.7.12:提取相与后图像的待测边缘轮廓点;步骤4.7.13:根据轮廓点到该霍夫拟合圆的距离,筛选出合适的轮廓点,组成新轮廓点集;步骤4.7.14:对新轮廓点集运用最小二乘法进行拟合圆,求得圆心和半径;步骤4.7.15:结束本流程。
3.根据权利要求1所述的一种基于掩膜信息的尺寸测量方法,其特征在于,所述步骤4.6.16中,提取模板源图中线测量类型信息的流程包括如下步骤:步骤4.8.1:根据任务编辑得到的对应线测量类型掩膜特征信息,在模板源图中提取直线测量类型ROI;步骤4.8.2:对ROI灰度图运用Canny算子进行边缘检测;步骤4.8.3:对Canny处理后的图像进行霍夫找直线处理,得到至少一条直线段;步骤4.8.4:将步骤4.8.3得到的直线段与掩膜直线段倾斜角比较,判断倾斜角偏移是否小于设定值;步骤4.8.5:若倾斜角偏移大于等于设定值,改变霍夫找直线参量阈值,跳转到步骤4.8.3执行,所述霍夫找直线参量包括累加平面的阈值参数、最低线段长度、最大成线间距;累加平面的阈值参数表示识别某部分为图中的一条直线时它在累加平面中必须达到的值;最大成线间距表示允许将同一行点与点之间连接起来的最大的距离;步骤4.8.6:若倾斜角偏移小于设定值,则从满足斜角偏移的直线段中筛选出长度最长的直线段;步骤4.8.7:将Canny处理后的ROI图像和掩膜ROI图像相与;步骤4.8.8:提取相与后图像的待测边缘轮廓点;步骤4.8.9:根据轮廓点到该霍夫拟合直线段的距离,筛选出合适的轮廓点,组成新轮廓点集;步骤4.8.10:对新轮廓点集运用最小二乘法进行拟合直线,求得倾斜角和直线段两端点坐标;步骤4.8.11:结束本流程。
4.根据权利要求1所述的一种基于掩膜信息的尺寸测量方法,其特征在于,所述步骤4.6.16中,提取模板源图中角测量类型信息的流程包括如下步骤:步骤4.9.1:根据任务编辑得到的对应角测量类型的掩膜特征信息,在模板源图中提取角测量类型ROI;步骤4.9.2:对模板源图中的ROI灰度图运用Canny算子进行边缘检测;步骤4.9.3:对Canny处理后的图像进行霍夫找直线处理,在模板源图中得到至少条直线段;步骤4.9.4:根据掩膜角中形成夹角的两条直线段的斜角,包括第一条直线段的斜角和第二条直线段的斜角,从步骤4.9.3得到的直线段中筛选出两组直线段,分别为第一组直线段和第二组直线段,其中第一组直线段中直线段的斜角与掩膜角中的第一条直线段斜角的差值绝对值小于设定值,第二组直线段中直线段的斜角与掩膜特征信息中的第二条直线段斜角的差值绝对值小于设定值;若筛选出的每组直线段至少包括一条直线段,表示筛选成功,否则筛选失败;步骤4.9.5:若步骤4.9.4没有筛选成功,改变霍夫找直线参量,跳转到步骤4.9.3执行;步骤4.9.6:若步骤4.9.4筛选成功,则分别计算掩膜角中任意一条直线段的端点到另一条直线段的距离,该端点为远离夹角的一端,得到两个距离值,取其中的较小距离值D;遍历步骤4.9.4得到的第一组直线段,筛选出直线段到设定点距离小于设定值的直线段,组成新第一组直线段,该处设定点为掩膜角中第一条直线段远离夹角一端的端点;同理,遍历步骤4.9.4得到的第二组直线段,筛选出那些设定点到直线段距离小于设定值的直线段,组成新第二组直线段,该处设定点为掩膜特征信息中第二条直线段远离夹角一端的端点,设定值的取值同第一组直线段;若新第一组直线段和新第二组直线段均满足至少包括一条直线段,则表示筛选成功,否则筛选失败;步骤4.9.7:若步骤4.9.6中没有筛选成功,改变霍夫找直线参量,跳转到步骤4.9.3执行;步骤4.9.8:若步骤4.9.6中筛选成功,遍历新第一组直线段和新第二组直线段中的随机一组直线段,筛选出长度最长的直线段;步骤4.9.9:求步骤4.9.8得到的最长直线段和另一组直线段中每条直线段的夹角;步骤4.9.10:将步骤4.9.9得到的夹角和掩膜夹角比较,根据与掩膜角度数的差值小于设定值,筛选出另一组直线段中满足条件的直线段,判断是否筛选成功;若在另一组直线段中筛选出至少一条直线段,表明筛选成功;步骤4.9.11:若步骤4.9.10中没有筛选成功,改变霍夫找直线参量,跳转到步骤4.9.3执行;步骤4.9.12:若步骤4.9.10中筛选成功,则在完成步骤4.9.10的筛选后的另一组直线段中筛选出长度最长的直线段;步骤4.9.13:通过步骤4.9.8以及步骤4.9.12获得两条直线段,计算两条直线段之间的夹角,与掩膜夹角比较,判断偏差是否小于设定值;步骤4.9.14:若偏差大于等于设定值,提起角测量类型特征信息失败,跳转到步骤4.9.19执行;步骤4.9.15:若偏差小于设定值,对Canny处理后的图像找外轮廓;步骤4.9.16:根据轮廓点到所求两直线段的距离,筛选出两组轮廓点集;步骤4.9.17:分别对两组轮廓点集运用最小二乘法进行拟合直线,求得两端点坐标和斜角;步骤4.9.18:进一步求得两直线段夹角和顶点坐标;步骤4.9.19:结束本流程。
5.根据权利要求1所述的一种基于掩膜信息的尺寸测量方法,其特征在于,还包括模板校准的流程,包括如下步骤:步骤5.1:将标定板放置在视场内的不同位置,分别采集标定板图像;步骤5.2:标定板图像采集完成后,关闭相机采集,调用校准算法进行图像校准处理;步骤5.3:校准处理完成后,将校准参数更新为最新的校准参数;步骤5.4:退出模板校准界面;所述步骤5.2中图像校准处理包括获取畸变参数和获取放大率;获取畸变参数通过张正友畸变校正算法,包括如下步骤:步骤5.1.1:读取已采图的标定图像数据和标定参数,标定参数中横向点数是指标定板棋盘格的行数,纵向点数是指棋盘格的列数,单位间距是棋盘格每小格的真实物理尺寸;步骤5.1.2:对每帧标定图像提取角点信息;步骤5.1.3:利用已提取的角点信息,进一步提取亚像素角点信息;步骤5.1.4:初始化标定板上角点的空间三维坐标系;步骤5.1.5:利用已提取的亚像素角点信息及标定板上角点的空间三维坐标系信息,进行相机标定,得到相机内参与每帧图像的畸变参数、每帧图像的旋转向量和平移向量;步骤5.1.6:对标定结果进行评价;首先通过相机标定得到畸变参数,对每帧图像的空间三维坐标点进行重新投影计算,得到新的投影点,计算新的投影点与旧的投影点的误差,若该误差小于设定值0.15个像素,则符合要求,保存标定结果与畸变参数,结束本流程;若该误差大于等于设定值0.15个像素,则不合要求,结束本流程并提示重新采集标定图像;获取放大率的过程包括如下步骤:步骤5.2.1:利用标定结果对已采集的某一帧标定图像进行校正;步骤5.2.2:对已校正图像提取角点信息;步骤5.2.3:提取亚像素角点信息;步骤5.2.4:遍历校正图像列数,计算并保存每一列第一行至倒数第一行的间距;步骤5.2.5:对每列所保存的间距进行排序;步骤5.2.6:以中间列为中心,选择若干列,并累加所选列的所保存的间距;步骤5.2.7:根据累加值,求均值;步骤5.2.8:根据均值、列数、物理尺寸,求放大率,放大率的计算公式为均值/(列数-2)/物理尺寸;步骤5.2.9:结束本流程。
6.根据权利要求1所述的一种基于掩膜信息的尺寸测量方法,其特征在于,还包括尺寸测量的流程,包括如下步骤:步骤6.1:根据当前的实时图进行零件出界检测,判断被测零件是否出界;若出界,则弹出提示框,提示用户被测零件出界,用户关闭提示框后进行下一步操作;若未出界则直接进行下一步操作;步骤6.2:判断正面模板或者侧面模板是否存在,若存在可进行下一步操作,若不存在,则提示先制作模板,再进行测量,结束本流程;步骤6.3:判断是否采集到图像;若采集到图像,则开启正面/侧面尺寸测量处理线程,运行尺寸测量算法;若没有采集到图像,提示用户未获得图像,结束本流程;步骤6.4:判断处理的图片张数是否达到处理的阈值;若没有达到处理的阈值,提示“请启动相机,继续采集n张图像”,n表示缺少的图像数量,结束本流程;若达到处理的阈值,则进行正面/侧面的数据处理;数据处理为对每张图片的处理结果数据进行求标准差,根据标准差进行数据踢除后,在对剩余的数据求平均值;步骤6.5:数据处理完成后,在界面上显示各个尺寸的测量结果。
7.一种基于掩膜信息的尺寸测量评分系统,所述评分系统基于权利要求1-6中任意一项所述的测量方法,其特征在于,包括操作模块和检测模块,所述操作模块包括系统设置模块以及尺寸测量模块;系统设置模块包括参数配置、试题制作以及模板校准功能;进入系统设置模块需要输入密码;尺寸测量模块包括正面尺寸测量和侧面尺寸测量的功能;尺寸测量评分系统还包括退出系统模块。
8.根据权利要求7所述的一种基于掩膜信息的尺寸测量评分系统,其特征在于,所述参数配置功能包括相机参数配置、校准参数配置以及数据统计;相机参数配置包括像素合并、采集帧率、处理帧率和曝光量的设置;校准参数配置包括横向点数、纵向点数和单位间距的设置;数据统计包括图片张数和滤波系数的设置;所述试题制作功能包括正面试题制作以及侧面试题制作,其中正面试题制作对应待检测零件的正面,侧面试题制作对应待检测零件的侧面。



