有效
轮廓素描线组成的目标区域获取方法
刘芳、李玲玲、连新涛、焦李成、陈璞华、古晶、刘旭
西安电子科技大学
摘要
本发明公开了一种轮廓素描线组成的目标区域获取方法,主要解决现有技术背景噪声大,获取目标区域位置不准确的问题。其实现方案是:获取图像的初始素描图;基于素描线两侧的灰度值判断素描线是否为轮廓素描线;根据轮廓素描线的结构特性对轮廓素描线排序;根据邻近轮廓素描线的近邻关系及拓扑结构定义轮廓素描线间的连接围拢度,以排在最前面的轮廓素描线为根节点进行有界深度优先搜索,获得该根节点的多个闭合曲线和这些闭合曲线内的区域;从顺序表中去除搜索过的轮廓素描线,重复搜索直至顺序表为空,再对这些闭合曲线内的区域执行去重及合并,得到目标区域。本发明减少了生成结果中的背景噪声,提高了目标区域位置的准确性,可用于目标检测。
1.基于轮廓素描线组成的目标区域获取方法,包括:(1)获取图像的初始素描图,将初始素描图中的所有素描线表示成集合:X={x 1 ,x 2 ,...,x u ,...,x n(X) },其中, 为集合X中的第u条素描线,u从1到n(X),n(X)为初始素描图中素描线的数量, 为素描线x u 中的第v条素描线段,v从1到n(x u ),n(x u )为素描线x u 包含的素描线段个数;(2)计算素描线x u 两侧存在的灰度差值di(x u ),判断素描线x u 是否为轮廓素描线,将初始素描图X中的所有轮廓素描线组成轮廓素描图并记为集合L={l 1 ,l 2 ,...,l i ,...,l n(L) },其中, 为集合L中第i条轮廓素描线,i从1到n(L),n(L)为轮廓素描线数量, 表示轮廓素描线l i 中的第j条轮廓素描线段,j从1到n(l i ),n(l i )为轮廓素描线l i 包含的轮廓素描线段个数;(3)对轮廓素描线集合L中的轮廓素描线进行排序,得到顺序列表 L :(3a)计算集合L中任一条轮廓素描线l i 的轮廓搜索贡献度p i :其中,h(l i )和w(l i )分别为包围轮廓素描线l i 最小矩形框的高和宽,ne(l i )为轮廓素描线l i 的邻接度,θ(l i )为轮廓素描线l i 的闭合度,w max (l i ),h max (l i ),ne max (l i )分别为h(l i ),w(l i ),ne(l i )中的最大值;(3b)根据轮廓素描线l i 的轮廓搜索贡献度p i ,将轮廓素描线集合L中的轮廓素描线从大到小进行排序得顺序表 L ;(4)以排在顺序表 L 最前面的轮廓素描线l f 为根节点,对该根节点执行以连接围拢度为指导的有界深度优先搜索,获得该根节点的多个由轮廓素描线和部分新增加线段组成的闭合曲线和这些闭合曲线内的区域,并从顺序表 L 中删除轮廓素描线l f ;(5)重复(4),直至排序列表 L 为空,再将步骤4中搜索到的所有闭合曲线内的区域组成初始目标候选区域,并记为集合P={p 1 ,p 2 ,...,p z ,...,p n(P) },其中,p z 为初始目标候选区域集合P中第z个目标候选区域,z从1到n(P),n(P)为初始目标候选区域的个数;(6)对初始目标候选区域集合P做矩形形状约束的去重及合并操作得到最终的目标候选区域集合P r :(6a)依据目标候选区域p z 所占面积大小,获取初始目标候选区域集合P对应的初始目标候选框集合,并对初始目标候选框集合进行排序,得排序后的目标候选框集合:P′={p' 1 ,p' 2 ,...,p' z′ ,...,p' n(P′) },其中,p' z′ 为第z′个目标候选框,z′从1到n(P′),n(P′)为集合P′中目标候选框的数量;(6b)获取目标候选框集合P′中需要与候选框p' 1 合并的候选框,并记为集合M,将待合并候选框集合M对应初始目标候选区域集合P中的目标候选区域加入最终目标候区域集合P r ;(6c)获取目标候选框集合P′中与目标候选框p' 1 的重合度大于th 1 的候选框,并记为集合D;(6d)从目标候选框集合P′删除待合并候选框集合M以及候选框集合D,更新目标候选框集合P′,若P′为空集,则结束操作,否则,返回(6a)。
2.根据权利要求1所述的方法,其中(2)中计算素描线x u 两侧存在的灰度差值di(x u ),按如下步骤进行:(2a)对于素描线x u 中任一条素描线段 在该素描线段两侧分别构建关于该素描线段对称的几何长方形窗口;(2a1)设素描线段 的方向和中点分别为 和 将中点 沿素描线段的法线方向平移2个像素,得坐标点 (2a2)构建一个以坐标点 为中心的第一个几何长方形窗口,并标记为 几何长方形窗口 的长边方向与素描线段 的方向 相同,其定义如下:其中,(x,y)表示中心点 的邻近点, 和d分别表示第一几何长方形窗口 的长和宽,|·|表示求绝对值操作,g 1 和g 2 是一对旋转函数;(2a3)同样的,将素描线段 的中点 沿该素描线段法线方向的反方向平移2个像素,得新的中点,然后对新中点执行(2a2),构建一个以新中点为中心,与 关于素描线段 对称且大小相同的第二个几何长方形窗口 (2b)将上述两个几何长方形窗口 作用到图像的像素空间上,分别计算第一个几何长方形窗口内像素的灰度值之和 及第二个几何长方形窗口内像素的灰度值之和 并根据这两个结果计算得到素描线段 两侧灰度均值的差值 为:(2c)根据(2b)的结果计算素描线x u 两侧灰度均值的差值di(x u ):其中,n(x u )为素描线x u 内包含素描线段的数量。
3.根据权利要求2所述的方法,其中(2a2)中的两个旋转函数g 1 ,g 2 分别定义如下:其中, 表示第一几何长方形窗口 的中心点坐标,(x,y)表示中心点 的邻近点, 表示第一几何长方形窗口 长边所对应的方向。
4.根据权利要求1所述的方法,其中(2)中判断素描线x u 是否为轮廓素描线,是将素描线两侧灰度差值di(x u )与设定的阈值th 1 进行比较:若di(x u )≥th 1 ,则该素描线为轮廓素描线,并根据素描线x u 生成轮廓素描线l k+1 加入轮廓素描线集合L,其中,l k+1 =x u ,k为当前轮廓素描线集合L内轮廓素描线的数量;若di(x u )<th 1 ,则素描线x u 不是轮廓素描线。
5.根据权利要求1所述的方法,其中(3a)中公式中的包围轮廓素描线l i 最小矩形框高h(l i )、宽w(l i )、邻接度ne(l i )、闭合度θ(l i ),分别计算如下:h(l i )=max x (l i )-min x (l i )w(l i )=max y (l i )-min y (l i )ne(l i )=ne 1 (l i )+ne 2 (l i )其中,min x (l i ),min y (l i )分别是在以图像的左上角顶点为坐标原点时,最小矩形框左上角顶点在x轴,y轴上的坐标值;max x (l i ),max y (l i )分别是在以图像的左上角顶点为坐标原点时最小矩形框右下角顶点在x轴和y轴上的坐标值;ne 1 (l i )表示以轮廓素描线的起始端点为圆心,r为半径的圆内包含的轮廓素描线数量;ne 2 (l i )表示以轮廓素描线的终止端点为圆心,以r为半径的圆内包含的轮廓素描线数量; 分别为轮廓素描线l i 中相邻的两条轮廓素描线段 和 的方向之间的夹角。
6.根据权利要求1所述的方法,其中(3a)中公式中所涉及h(l i ),w(l i ),ne(l i )的最大值w max (l i ),h max (l i ),ne max (l i )分别表示如下:w max (l i )={w(l j )|w(l j )≥w(l i ),i=1,2,...,j-1,j+1,...,n(l i )},h max (l i )={h(l j )|h(l j )≥h(l i ) x ,i=1,2,...,j-1,j+1,...,n(l i )},ne max (l i )={ne(l j )|ne(l j )≥ne(l i ),i=1,2,...,j-1,j+1,...,n(l i )};其中,n(l i )为轮廓素描线l i 包含的轮廓素描线段个数。
7.根据权利要求1所述的方法,其中,(4)中以排在顺序表 L 最前面的轮廓素描线l f 为根节点,对该根节点执行以连接围拢度为指导的有界深度优先搜索,按如下步骤进行:(4a)获取顺序表 L 中排在最前面的轮廓素描线l f ;(4b)将轮廓素描线l f 作为根节点,通过轮廓素描线l f 的终止端点e(l f )获取轮廓素描线l f 的邻近轮廓素描线,并记为集合B(e(l f )),计算邻近轮廓素描线集合B(e(l f ))中每条轮廓素描线对应的连接围拢度,按连接围拢度对该集合内的轮廓素描线排序,从排序结果中选择前t条轮廓素描线作为根节点轮廓素描线l f 的子节点,然后按顺序依次遍历轮廓素描线中的轮廓素描线;(4c)对遍历的当前轮廓素描线l k 执行如下操作:(4c1)检查当前轮廓素描线l k 是否被遍历过:如果轮廓素描线l k 未被遍历过,则以连接围拢度为指导,从当前轮廓素描线l k 的邻近轮廓素描线集合B(e(l k ))中选取t条轮廓素描线作为当前轮廓素描线l k 的子节点集合B′(e(l k )),然后执行(4c2),其中t∈{0,1,2,3,4};如果轮廓素描线l k 被遍历过,则直接执行(4c2);(4c2)对于当前轮廓素描线l k ,判断是否同时满足以下三个条件:条件1:当前轮廓素描线l k 的子节点集合B′(e(l k ))中存在未被遍历的轮廓素描线;条件2:从根节点轮廓素描线l f 到当前轮廓素描线l k 的深度小于有界深度优先搜索的最大深度值d s ;条件3:当前轮廓素描线l k 的子节点集合B′(e(l k ))不包含根节点轮廓素描线l f ;若当前轮廓素描线l k 同时满足以上三个条件,则执行(4c3);否则,依次回退到最近被访问的父节点,对父节点返回(4c1),其中在对根节点轮廓素描线l f 判断条件1是否成立时,若根节点轮廓素描线l f 的所有子节点都被遍历,则停止遍历过程;若当前轮廓素描线l k 不满足条件3,在回退到最近被访问父节点的同时,并且称当前从根节点l f 到节点l k 的路径为轮廓路径,该路径中的多个轮廓素描线和新增加线段组成的闭合曲线和这些闭合曲线内的区域为轮廓素描线l f 的一个搜索结果;(4c3)获取当前轮廓素描线l k 子节点集合B′(e(l k ))中排在最前面的未被遍历过的轮廓素描线,在该未被遍历过的轮廓素描线的起始端点与当前轮廓素描线l k 的终止端点e(l k )之间新加一条线段,以实现对这两条轮廓素描线的连接,并对该未被遍历过的轮廓素描线执行(4c1)操作。
8.根据权利要求7所述的方法,其中,(4c1)中以连接围拢度为指导,从当前轮廓素描线l k 的邻近轮廓素描线集合B(e(l k ))中选取t条轮廓素描线作为当前轮廓素描线l k 的子节点集合B′(e(l k )),按如下步骤进行:(4c11)以当前轮廓素描线l k 终止端点e(l k )为中心得到一个以d r 为长度的正方形窗口,获取位于该窗口内的所有轮廓素描线,并标记为邻近轮廓素描线集合B(e(l k )):其中, 表示第b条邻近轮廓素描线,b从1到n(e(l k )),n(e(l k ))表示B(e(l k ))中轮廓素描线的数量;(4c12)计算邻近轮廓素描线集合B(e(l k ))中每条轮廓素描线对应的连接围拢度 其中, 为邻近轮廓素描线的起点坐标与当前轮廓素描线的终点坐标在x轴上的差值, 为邻近轮廓素描线的起点坐标与当前轮廓素描线的终点坐标在y轴上的差值, 为轮廓素描线 的起始点坐标,(e(l k ) x ,e(l k ) y )为轮廓素描线l k 的终止端点坐标, 分别为 中的最大值; 为轮廓素描线l k 与轮廓素描线 之间的夹角, 为 中的最大值;(4c13)按轮廓素描线 对应的连接围拢度 对轮廓素描线集合B(e(l k ))进行排序,从排序结果中选择前t.条轮廓素描线作为当前轮廓素描线l k 的子节点,并记为集合:
9.根据权利要求1所述的方法,其中,(6)中对初始目标候选区域集合P做矩形形状约束的去重及合并操作,具体步下:(6a)依据目标候选区域外接框所占面积大小,对初始目标候选区域集合P进行排序,得到排序后的目标候选区域集合P′={p' 1 ,p' 2 ,...,p' z′ ,...,p' n(P′) },其中,p' z′ 为第z′个目标区域,z′从1到n(P′),n(P′)为目标候选区域的数量;(6b)初始化最终目标候区域集合P r 为空集;将待合并候选区域集合M,待去除目标候选区域集合D初始化为空集;(6c)将目标候选区域集合P′中第一个目标候选区域p' 1 与目标候选区域集合P′中除p' 1 外的其他目标候选区域逐个进行比较,以获取待合并候选区域集合M以及待去除目标候选区域集合D;(6c1)当对第一个目标候选区域p' 1 与第z′个目标候选区域p' z′ 进行比较时,首先计算目标候选框p' 1 与第z′个目标候选区域p' z′ 之间的相交区域面积overlap(p' z′ ),其中,p' z′ 为第z′个目标候选区域,z′∈{2,3,...,n(P′)},n(P′)为目标候选区域集合P′中目标候选区域的数量;如果overlap(p' z′ )>0时,则执行(6c2);如果overlap(p' z′ )=0时,则结束对第z′个目标候选区域p' z′ 的判断,并返回(6c1),对第一个目标候选区域p' 1 与第z′+1个目标候选区域p' z′+1 进行比较;(6c2)判断是否满足 w(p 1 )=w(p' z′ )或 h(p 1 )=h(p' z′ )这几个条件:若满足,则将第z′个目标候选区域p' j 同时加入待合并候选区域集合M和最终目标候区域集合P r ,并执行(6c3);否则,直接执行(6c3);其中, w(p' z′ )和h(p' z′ )分别为第z′个目标候选框p' z′ 的左上角顶点坐标,长度和宽度;(6c3)计算第一个目标候区域框p' 1 与第z′个目标候选区域p' z′ 之间的交并比iou(p' z′ );如果iou(p' z′ )≥th 2 ,则将第z′个目标候选区域p' z′ 加入待去除目标候选区域集合D,其中th 2 ∈(0,1);如果iou(p' j )<th 2 ,不执行任何操作;(6d)从目标候选区域集合P′中减去待合并候选区域集合M与待去除目标候选区域集合D的并集,判断当前的目标候选区域集合P′是否为空集,若是,则结束;否则,返回(6b)。




