有效
硬笔书法田字格切片图像提取方法、系统、设备
陈艳红、崔晓光、张吉祥
中国科学院自动化研究所
陈
陈艳红机构 暂无
技术领域 暂无
崔
崔晓光机构 暂无
技术领域 暂无
张
张吉祥机构 暂无
技术领域 暂无
摘要
本发明属于图像处理技术领域,具体涉及一种硬笔书法田字格切片图像提取方法、系统、设备,旨在解决目前缺乏不同图像质量下硬笔书法作品中田字格切片图提取的方法,阻碍后续精确指导学生规范书写汉字的问题。本发明方法包括:获取灰度田字格图像;对灰度田字格图像进行局部二值化;对二值化田字格图像进行轮廓提取,并将噪声区域进行剔除;对剔除噪声区域后的二值化田字格图像进行格线标记;提取格线标记图像的轮廓并进行外接多边形的拟合,得到方格,对方格进行聚类,确定方格的位置;基于方格的位置提取田字格切片图像。本发明实现不同图像质量下硬笔书法作品中田字格切片图提取,进而为后续精确指导学生规范书写汉字提供技术基础。
1.一种硬笔书法田字格切片图像提取方法,其特征在于,该方法包括:步骤S10,获取灰度田字格图像,作为输入图像;所述灰度田字格图像为对拍摄或扫描的硬笔书法作品田字格图像进行灰度转换后的图像;步骤S20,对所述输入图像进行局部二值化,得到二值化田字格图像;步骤S30,对所述二值化田字格图像进行轮廓提取,并将尺寸小于设定轮廓尺寸阈值的轮廓对应的区域作为噪声区域进行剔除;步骤S40,对剔除噪声区域后的二值化田字格图像进行格线标记,得到格线标记图像;步骤S50,提取所述格线标记图像的轮廓并进行外接多边形的拟合,若拟合的外接多边形的边数等于4且长边与短边的比例小于设定的比例阈值,则将该外接多边形作为方格;对方格进行聚类,并选定聚类后方格数最多的聚类重新进行方格聚类,重新方格聚类后确定每个方格的行坐标索引、列坐标索引,进而得到方格的位置;步骤S60,基于方格的位置提取田字格切片图像,作为提取结果输出;其中,“对所述输入图像进行局部二值化”,其方法为:S21,提取灰度田字格图像中的直线,构建直线标记图像image_line,将所述直线标记图像中直线上的像素标记为白色,其余部分标记为黑色;S22,构建直线灰度图image_line_gray,并基于直线灰度图计算直线像素灰度积分图;所述直线灰度图与直线标记图像白色像素对应的像素位置,其灰度值为灰度田字格图像中与直线标记图像白色像素对应的像素位置的灰度值,直线灰度图中的其余像素为黑色;S23,构建标记图像image_label,并基于标记图像计算直线像素数目积分图;所述标记图像中与直线标记图像白色像素对应的像素位置,其灰度值设为1,其余像素设为0;S24,初始化二值化图像image_bw为黑色,遍历灰度田字格图像的每一个像素p(x,y),若p(x,y)的邻域内存在直线像素,则计算邻域内所有直线像素的平均灰度值aver_gray,若p(x,y)的灰度值小于aver_gray,则image_bw中对应位置像素标记为白色,得到二值化田字格图像;其中,像素p(x,y)的邻域为以像素p(x,y)为中心、大小为W×W的局部矩形窗,W为奇数,W的计算方法为:其中,width image_gray 为灰度田字格图像的宽度,numCol为输入的田字格的列数;判断p(x,y)的邻域内是否存在直线像素,其方法为:其中,I为直线像素数目积分图,若ncont>0,则p(x,y)的邻域内存在直线像素,否则,不存在直线像素;p(x,y)邻域内所有直线像素的平均灰度值aver_gray,其计算方法为:其中,I′为直线像素灰度积分图。
2.根据权利要求1所述的硬笔书法田字格切片图像提取方法,其特征在于,“对所述二值化田字格图像进行轮廓提取,并将尺寸小于设定轮廓尺寸阈值的轮廓对应的区域作为噪声区域进行剔除”,其方法为:S31,对二值化田字格图像进行轮廓提取,得到轮廓集合{contor 1 ,…,contor n };S32,遍历轮廓集合,对于尺寸小于设定的轮廓尺寸阈值的轮廓,在二值化田字格图像中将该轮廓包围的对应区域标记为黑色;轮廓尺寸的计算方法为:其中, 为轮廓i的外接矩形的宽和高,len i 表示轮廓i的尺寸;轮廓尺寸阈值的计算方法为:其中,width image_gray 、height image_gray 为灰度田字格图像的宽和高,numCol、numRow为输入的田字格的列数和行数,thresh_len表示轮廓尺寸阈值。
3.根据权利要求1所述的硬笔书法田字格切片图像提取方法,其特征在于,“对剔除噪声区域后的二值化田字格图像进行格线标记,得到格线标记图像”,其方法为:S41,设置角度范围[-angle,angle]、角度分辨率resolution_angle,对当前角度ang i ,求直线端点endp i1 、endp i2 ,将endp i1 、endp i2 之间直线段上的像素标记为白色,其余部分标记为黑色,构建直线图像img_model i ;其中,直线图像的宽度为 高度为 表示直线端点endp i1 、endp i2 的坐标;其中,直线端点endp i1 、endp i2 的计算方法为:其中,nrow、ncol为二值化田字格图像的高度和宽度;S42,遍历直线图像,以直线图像img_model i 为模板,以剔除噪声区域后的二值化田字格图像为匹配图像,统计模板匹配响应最大位置处,img_model i 与剔除噪声区域后的二值化田字格图像白色相交区的像素数目cover i ,若cover i 大于设定的像素数目阈值cover_thresh,则将img_model i 标记为保留,否则标记为删除;S43,遍历直线图像,若img_model i 标记为保留,则构建旋转图像img_rota i ,并构建全部像素标记为黑色的空图像img_empty i ,img_empty i 与img_rota i 图像大小相同;按行统计img_rota i 中每行像素中标记为白色的像素数cont_row k ,若cont_row k 大于cover_thresh,则将img_empty i 中第k行标记为白色;按照ang i 角度旋转img_empty i 得到的img_model i 对应的标记图像line_label i ;将line_label i 累加得到行直线标记图像;所述img_rota i 为剔除噪声区域后的二值化田字格图像按照-ang i 角度旋转得到的图像;S44,转置剔除噪声区域后的二值化田字格图像得到image_bw_transpose,将S41-S43中剔除噪声区域后的二值化田字格图像替换为image_bw_transpose,执行S41-S43的方法,得到未转置的列直线标记图像image_square_col_transpose,将image_square_col_transpose转置即得到最终的列直线标记图像image_square_col;将行直线标记图像与列直线标记图像image_square_col进行加和,得到格线标记图像。
4.根据权利要求1所述的硬笔书法田字格切片图像提取方法,其特征在于,“对方格进行聚类”,其方法为:S521,初始化聚类集合Cluster,遍历方格集合;S522,对方格square i ,遍历聚类集合,计算square i 的长边与各聚类中心的距离,若该距离与聚类cluster j 的距离dist ij 最小,则判断dist ij 是否小于cluster j 的聚类半径,若是,则将square i 归为cluster j ,若否或者聚类集合Cluster为空,则新建聚类cluster,聚类中心为square i 的长边,聚类半径为square i 的长边的一半;对所有方格重复上述步骤;S523,遍历聚类集合中的聚类,对聚类cluster j ,更新其聚类中心为类内所有方格长边的均值,更新其聚类半径为聚类中心的一半;若聚类cluster i 内方格数小于2,则将聚类cluster i 从聚类集合中剔除;S524,重复执行S522-S523 N次,聚类完成后,选择方格数最多的聚类,并计算该聚类内方格的长边的均值aver_len。
5.根据权利要求1所述的硬笔书法田字格切片图像提取方法,其特征在于,“选定聚类后方格数最多的聚类重新进行方格聚类,重新方格聚类后确定每个方格的行坐标索引、列坐标索引,进而得到方格的位置”,其方法为:S531,初始化聚类集合ClusterR,遍历方格集合;S532,对方格square i ,遍历聚类集合,计算square i 的左上角y坐标与各聚类中心距离,若与聚类clusterR j 的距离distR ij 最小,则判断distR ij 是否小于clusterR j 的聚类半径,若是,则将square i 归为clusterR j ,若否或者聚类集合ClusterR为空,则新建聚类clusterR,聚类中心为square i 的左上角y坐标,聚类半径为aver_len;对所有方格重复上述步骤;S533,遍历聚类集合中的聚类,对聚类clusterR i ,更新其聚类中心为类内所有方格左上角y坐标的均值;若聚类clusterR i 内方格数小于2,则将聚类clusterR j 从聚类集合中剔除;S534,重复执行S532-S533 N次;S535,按照聚类中心对聚类集合ClusterR从小到大排序,遍历聚类集合,对聚类clusterR j ,计算其聚类中心与前一个聚类的聚类中心的距离distC j ,计算索引增量delta_index=int(distC j /aver_len+0.5),聚类clusterR j 的行索引为其前一个聚类行索引加delta_index,其中int表示取整,聚类集合中第一个聚类的行索引为0;聚类clusterR j 内的所有方格的行索引为聚类clusterR j 的行索引;S536,对选定聚类后方格数最多的聚类重新进行列聚类,包括:将S531-S535中的左上角y坐标替换为左上角x坐标、行索引替换为列索引,执行S531-S535,即可得到各方格的列索引;S537,基于各方格的行索引、列索引,确定方格的位置。
6.根据权利要求5所述的硬笔书法田字格切片图像提取方法,其特征在于,S536与S537之间还包括空缺表格的预测补全步骤:得到各方格的行索引、列索引后,判断全部方格的数目等于输入的田字格行数与列数的乘积,若是,则完成方格位置的确定,否则,构建标记表格,标记第i行第j列的方格是否存在,表格行数等于方格行坐标索引的最大值加1,表格列数等于方格列坐标索引的最大值加1,初始设置表格每行每列为0;遍历方格,若方格的行坐标索引、列坐标索引分别为i、j,则将表格的第i行第j列标记为1;完成方格遍历后,若标记表格中第i′行、第j′列为0,则根据距离i′最近的前序确定行、距离j′最近的前序确定列、aver_len预测第i′行、第j′列的方格,即空缺方格,空缺方格补全后完成方格位置确定;其中,根据距离i′最近的前序确定行、距离j′最近的前序确定列、aver_len预测第i′行、第j′列的方格,其方法为:其中,rect i′j′ 为预测方格,rect i′j′ .x、 为预测方格左上角x、y坐标,rect i′j′ .width、rect i′j′ .height为预测方格的宽、高, 为距离i′最近的前序确定行的聚类中心, 为距离j′最近的前序确定列的聚类中心,deltaR为i′与最近的前序确定行的行索引增量,deltaC为j′与最近的前序确定列的列索引增量。
7.一种硬笔书法田字格切片图像提取系统,其特征在于,该系统包括:图像获取模块、局部二值化模块、噪声区域剔除模块、格线标记模块、位置获取模块、结果输出模块;所述图像获取模块,配置为获取灰度田字格图像,作为输入图像;所述灰度田字格图像为对拍摄或扫描的硬笔书法作品田字格图像进行灰度转换后的图像;所述局部二值化模块,配置为对所述输入图像进行局部二值化,得到二值化田字格图像;所述噪声区域剔除模块,配置为对所述二值化田字格图像进行轮廓提取,并将尺寸小于设定轮廓尺寸阈值的轮廓对应的区域作为噪声区域进行剔除;所述格线标记模块,配置为对剔除噪声区域后的二值化田字格图像进行格线标记,得到格线标记图像;所述位置获取模块,配置为提取所述格线标记图像的轮廓并进行外接多边形的拟合,若拟合的外接多边形的边数等于4且长边与短边的比例小于设定的比例阈值,则将该外接多边形作为方格;对方格进行聚类,并选定聚类后方格数最多的聚类重新进行方格聚类,重新方格聚类后确定每个方格的行坐标索引、列坐标索引,进而得到方格的位置;所述结果输出模块,配置为基于方格的位置提取田字格切片图像,作为提取结果输出;其中,“对所述输入图像进行局部二值化”,其方法为:提取灰度田字格图像中的直线,构建直线标记图像image_line,将所述直线标记图像中直线上的像素标记为白色,其余部分标记为黑色;构建直线灰度图image_line_gray,并基于直线灰度图计算直线像素灰度积分图;所述直线灰度图与直线标记图像白色像素对应的像素位置,其灰度值为灰度田字格图像中与直线标记图像白色像素对应的像素位置的灰度值,直线灰度图中的其余像素为黑色;构建标记图像image_label,并基于标记图像计算直线像素数目积分图;所述标记图像中与直线标记图像白色像素对应的像素位置,其灰度值设为1,其余像素设为0;初始化二值化图像image_bw为黑色,遍历灰度田字格图像的每一个像素p(x,y),若p(x,y)的邻域内存在直线像素,则计算邻域内所有直线像素的平均灰度值aver_gray,若p(x,y)的灰度值小于aver_gray,则image_bw中对应位置像素标记为白色,得到二值化田字格图像;其中,像素p(x,y)的邻域为以像素p(x,y)为中心、大小为W×W的局部矩形窗,W为奇数,W的计算方法为:其中,width image_gray 为灰度田字格图像的宽度,numCol为输入的田字格的列数;判断p(x,y)的邻域内是否存在直线像素,其方法为:其中,I为直线像素数目积分图,若ncont>0,则p(x,y)的邻域内存在直线像素,否则,不存在直线像素;p(x,y)邻域内所有直线像素的平均灰度值aver_gray,其计算方法为:其中,I′为直线像素灰度积分图。
8.一种电子设备,其特征在于,包括:至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求1-6任一项所述的硬笔书法田字格切片图像提取方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现权利要求1-6任一项所述的硬笔书法田字格切片图像提取方法。



