有效
图像处理方法及装置、计算机可读存储介质和电子设备
陈志强、李元景、张丽、邢宇翔、戴诗语、秦峰、吴武斌、于昊、刘必成、徐光明
同方威视科技江苏有限公司
陈
陈志强机构 暂无
技术领域 暂无
李
李元景机构 暂无
技术领域 暂无
张
张丽机构 暂无
技术领域 暂无
邢
邢宇翔机构 暂无
技术领域 暂无
戴
戴诗语机构 暂无
技术领域 暂无
秦
秦峰机构 暂无
技术领域 暂无
吴
吴武斌机构 暂无
技术领域 暂无
于
于昊机构 暂无
技术领域 暂无
刘
刘必成机构 暂无
技术领域 暂无
徐
徐光明机构 暂无
技术领域 暂无
摘要
本公开实施例提供了一种图像处理方法及装置、计算机可读存储介质和电子设备。该方法包括:获取待测原始图像;编码所述待测原始图像,生成所述待测原始图像的目标特征图;根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量,所述正样本原始图像为无异常区域的图像;解码所述第一目标解码向量,获得所述待测原始图像的待测生成图像。通过本公开实施例提供的技术方案,通过无异常区域的正样本原始图像来获得待测原始图像的待解码的解码向量,可以更加准确地重构待测原始图像,避免重构待测原始图像的异常区域。
1.一种图像处理方法,其特征在于,包括:获取待测原始图像;编码所述待测原始图像,生成所述待测原始图像的目标特征图;根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量,所述正样本原始图像为无异常区域的图像,其包括:从各个正样本原始图像的样本特征向量的聚类中心中,搜索与所述目标特征图匹配的正样本原始图像的样本特征向量的聚类中心作为目标聚类中心,以生成所述第一目标解码向量;解码所述第一目标解码向量,获得所述待测原始图像的待测生成图像;根据所述待测原始图像和所述待测生成图像生成差异图像;根据所述差异图像识别所述待测原始图像中的异常区域。
2.根据权利要求1所述的图像处理方法,其特征在于,编码所述待测原始图像,生成所述待测原始图像的目标特征图,包括:通过自编码器的编码器对所述待测原始图像进行处理,获得所述待测原始图像的融合特征图;对所述待测原始图像的融合特征图进行下采样,获得所述目标特征图。
3.根据权利要求2所述的图像处理方法,其特征在于,所述编码器包括卷积编码网络,所述卷积编码网络包括第一卷积单元、第二卷积单元和第三卷积单元;其中,通过自编码器的编码器对所述待测原始图像进行处理,获得所述待测原始图像的融合特征图,包括:通过所述第一卷积单元对所述待测原始图像进行处理,获得所述待测原始图像的第一特征图;通过所述第二卷积单元对所述第一特征图进行处理,获得所述待测原始图像的第二特征图;通过所述第三卷积单元对所述第二特征图进行处理,获得所述待测原始图像的第三特征图;聚合所述待测原始图像的第一特征图、第二特征图和第三特征图,获得所述待测原始图像的融合特征图。
4.根据权利要求3所述的图像处理方法,其特征在于,所述第一卷积单元、所述第二卷积单元和所述第三卷积单元之间呈残差连接。
5.根据权利要求2所述的图像处理方法,其特征在于,对所述待测原始图像的融合特征图进行下采样,获得所述待测原始图像的目标特征图,包括:利用第一子像素卷积层对所述待测原始图像的融合特征图进行下采样,获得所述待测原始图像的目标特征图。
6.根据权利要求1所述的图像处理方法,其特征在于,根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量,包括:从解码向量存储空间中确定所述待测原始图像的目标解码向量存储子空间,所述目标解码向量存储子空间包括解码向量存储模块,其中所述解码向量存储模块用于存储所述正样本原始图像对应空间的样本特征向量的聚类中心;对所述目标特征图进行空间划分,获得所述目标特征图的目标子区域;编码各个目标子区域,获得各个目标子区域的目标特征向量;根据各个目标子区域的目标特征向量分别检索对应空间的解码向量存储模块,获得各个目标子区域的目标聚类中心;聚合各个目标子区域的目标聚类中心,生成所述第一目标解码向量。
7.根据权利要求6所述的图像处理方法,其特征在于,从解码向量存储空间中确定所述待测原始图像的目标解码向量存储子空间,包括:确定所述待测原始图像对应的目标车型;从所述解码向量存储空间中确定与所述目标车型对应的目标解码向量存储子空间,所述目标解码向量存储子空间中存储与所述目标车型对应的正样本原始图像的样本特征向量的聚类中心。
8.根据权利要求1所述的图像处理方法,其特征在于,解码所述第一目标解码向量,获得所述待测原始图像的待测生成图像,包括:对所述第一目标解码向量进行上采样,获得所述待测原始图像的上采样特征图;通过自编码器的解码器对所述待测原始图像的上采样特征图进行处理,获得所述待测原始图像的待测生成图像。
9.根据权利要求8所述的图像处理方法,其特征在于,对所述第一目标解码向量进行上采样,获得所述待测原始图像的上采样特征图,包括:利用第二子像素卷积层对所述第一目标解码向量进行上采样,获得所述待测原始图像的上采样特征图。
10.根据权利要求8所述的图像处理方法,其特征在于,所述解码器包括卷积解码网络。
11.根据权利要求10所述的图像处理方法,其特征在于,所述卷积解码网络中的卷积单元之间呈残差连接。
12.根据权利要求1所述的图像处理方法,其特征在于,还包括:获取所述正样本原始图像;确定自编码器的目标损失函数;根据所述正样本原始图像和所述目标损失函数训练所述自编码器,确定所述自编码器中的解码向量存储空间中存储的所述正样本原始图像的样本特征向量的聚类中心。
13.根据权利要求12所述的图像处理方法,其特征在于,获取所述正样本原始图像,包括:获取各种车型处于空车状态的数字X线摄影图像;从所述数字X线摄影图像中确定规定化参考图像;利用所述规定化参考图像,对所述数字X线摄影图像进行直方图规定化处理,获得所述正样本原始图像。
14.根据权利要求12所述的图像处理方法,其特征在于,所述目标损失函数包括感知损失;其中,确定自编码器的目标损失函数,包括:通过训练完成的预训练模型对所述正样本原始图像进行处理,从所述预训练模型的第j层提取所述正样本原始图像的输出特征,j为大于或等于1的正整数;通过所述自编码器对所述正样本原始图像进行处理,获得所述正样本原始图像的正样本生成图像;通过训练完成的所述预训练模型对所述正样本生成图像进行处理,从所述预训练模型的第j层提取所述正样本生成图像的输出特征;根据所述正样本原始图像的输出特征和所述正样本生成图像的输出特征,确定所述感知损失。
15.根据权利要求12所述的图像处理方法,其特征在于,所述目标损失函数包括编码损失;其中,确定自编码器的目标损失函数,包括:通过所述自编码器的编码器对所述正样本原始图像进行处理,获得所述正样本原始图像的编码向量;从所述解码向量存储空间中确定与所述正样本原始图像的编码向量匹配的第二目标解码向量;获得所述第二目标解码向量的第一终止误差反向传播参数;根据所述正样本原始图像的编码向量和所述第一终止误差反向传播参数,确定所述编码损失。
16.根据权利要求12所述的图像处理方法,其特征在于,所述目标损失函数包括解码向量损失;其中,确定自编码器的目标损失函数,包括:通过所述自编码器的编码器对所述正样本原始图像进行处理,获得所述正样本原始图像的编码向量;获得所述正样本原始图像的编码向量的第二终止误差反向传播参数;从所述解码向量存储空间中确定与所述正样本原始图像的编码向量匹配的第二目标解码向量;根据所述第二终止误差反向传播参数和所述第二目标解码向量,确定所述解码向量损失。
17.根据权利要求12所述的图像处理方法,其特征在于,根据所述正样本原始图像和所述目标损失函数训练所述自编码器,确定所述自编码器中的解码向量存储空间中存储的所述正样本原始图像的样本特征向量的聚类中心,包括:确定所述正样本原始图像的车型信息;将所述正样本原始图像及其车型信息输入至所述自编码器,根据所述目标损失函数训练所述自编码器,其中根据所述正样本原始图像的车型信息将所述解码向量存储空间划分为与各个车型信息对应的独立的解码向量存储子空间,所述解码向量存储子空间中存储与各个车型信息对应的正样本原始图像的样本特征向量的聚类中心。
18.根据权利要求12至17任一项所述的图像处理方法,其特征在于,所述解码向量存储空间包括解码向量存储模块,其中所述解码向量存储模块用于存储所述正样本原始图像对应空间的样本特征向量的聚类中心。
19.一种图像处理装置,其特征在于,包括:待测原始图像获取单元,用于获取待测原始图像;目标特征图生成单元,用于编码所述待测原始图像,生成所述待测原始图像的目标特征图;第一目标解码向量获得单元,用于根据正样本原始图像获得与所述目标特征图匹配的第一目标解码向量,所述正样本原始图像为无异常区域的图像,其包括:从各个正样本原始图像的样本特征向量的聚类中心中,搜索与所述目标特征图匹配的正样本原始图像的样本特征向量的聚类中心作为目标聚类中心,以生成所述第一目标解码向量;待测生成图像获得单元,用于解码所述第一目标解码向量,获得所述待测原始图像的待测生成图像;差异图像生成单元,用于根据所述待测原始图像和所述待测生成图像生成差异图像;异常区域识别单元,用于根据所述差异图像识别所述待测原始图像中的异常区域。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至18中任一项所述的图像处理方法。
21.一种电子设备,其特征在于,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至18中任一项所述的图像处理方法。



