有效
偏色图像颜色还原方法及装置
杨健、顾瑛、江慧鹏、艾丹妮、王涌天
北京理工大学
杨
杨健机构 暂无
技术领域 暂无
顾
顾瑛机构 暂无
技术领域 暂无
江
江慧鹏机构 暂无
技术领域 暂无
艾
艾丹妮机构 暂无
技术领域 暂无
王
王涌天机构 暂无
技术领域 暂无
摘要
本发明实施例提供一种偏色图像颜色还原方法及装置,该方法包括:将偏色图像转换为灰度图像,并对所述灰度图像进行通道叠加处理,得到三通道图像;将所述三通道图像输入至生成器网络,得到预估彩色图像。本发明实现了偏色图像的有效还原,从而可以较好还原手术真实场景,有利于医生手术的精准度和安全度。
1.一种偏色图像颜色还原方法,其特征在于,包括:将偏色图像转换为灰度图像,并对所述灰度图像进行通道叠加处理,得到三通道图像;将所述三通道图像输入至生成器网络,得到预估彩色图像;所述偏色图像为通过滤光片得到的产生偏色的内窥镜图像;所述将所述三通道图像输入至生成器网络,得到预估彩色图像,具体包括:将所述三通道图像输入至残差神经网络,得到每一层的输出特征图;将最后一层作为当前层,将当前层的输出特征图进行卷积操作后上采样至当前层的前一层对应输出特征图的尺寸,并与当前层的前一层对应输出特征图相加,得到中间图;将当前层的前一层作为新的当前层,将所述中间图进行卷积操作上采样至新的当前层的前一层对应输出特征图的尺寸,并与新的当前层的前一层对应输出特征图相加,得到新的中间图;重复新的中间图的获取过程直至新的中间图与所述三通道图像尺寸相同;根据与所述三通道图像尺寸相同的新的中间图和所述灰度图像,得到所述预估彩色图像。
2.根据权利要求1所述的方法,其特征在于,所述将所述三通道图像输入至生成器网络,得到预估彩色图像之前还包括:将若干真实彩色图像转换至YUV空间,对上采样卷积网络进行训练;根据残差神经网络及训练后的上采样卷积网络,得到生成器网络。
3.根据权利要求2所述的方法,其特征在于,所述将若干真实彩色图像转换至YUV空间,对上采样卷积网络进行训练具体包括:将若干真实彩色图像转换至YUV空间,得到每一真实彩色图像对应的Y、U和V图像;将每一真实彩色图像对应的Y图像进行通道叠加处理,得到每一真实彩色图像对应的三通道图像;将所有真实彩色图像对应的三通道图像作为样本数据,所有真实彩色图像对应的U和V图像作为标签数据,对上采样卷积网络进行训练。
4.根据权利要求2所述的方法,其特征在于,所述根据残差神经网络及训练后的上采样卷积网络,得到生成器网络之后还包括:将所有真实彩色图像和所述生成器网络生成的与每一真实彩色图像对应的预估彩色图像输入至判别器网络,进行对抗式学习以优化所述生成器网络的参数。
5.根据权利要求4所述的方法,其特征在于,所述将所有真实彩色图像和所述生成器网络生成的与每一真实彩色图像对应的预估彩色图像输入至判别器网络,进行对抗式学习以优化所述生成器网络的参数具体包括:固定所述生成器网络的参数,将所有真实彩色图像和所述生成器网络初次生成的与每一真实彩色图像对应的预估彩色图像输入至判别器网络进行对抗式学习,得到所述判别器网络的第一优化参数;以所述第一优化参数为所述判别器网络的参数,固定所述判别器网络的参数,最小化所述生成器网络的损失函数,得到所述生成器网络的第二优化参数;以所述第二优化参数为所述生成器网络的参数,固定所述生成器网络的参数,将所有真实彩色图像和所述生成器网络在所述第二优化参数下生成的与每一真实彩色图像对应的预估彩色图像输入至所述判别器网络进行对抗式学习,得到所述判别器网络的新的第一优化参数;以所述新的第一优化参数为所述判别器网络的参数,固定所述判别器网络的参数,最小化所述生成器网络的损失函数,得到所述生成器网络的新的第二优化参数;重复所述新的第二优化参数的获取过程,直至每一真实彩色图像和与每一真实彩色图像对应的预估彩色图像小于预设误差。
6.根据权利要求1所述的方法,其特征在于,所述根据与所述三通道图像尺寸相同的新的中间图和所述灰度图像,得到所述预估彩色图像,具体包括:对与所述三通道图像尺寸相同的新的中间图进行卷积操作后与所述灰度图像进行通道叠加,得到YUV图像;将所述YUV图像转换至RGB空间下,得到预估彩色图像。
7.一种偏色图像颜色还原装置,其特征在于,包括:三通道图像获取模块和预估彩色图像获取模块;所述三通道图像获取模块,用于将偏色图像转换为灰度图像,并对所述灰度图像进行通道叠加处理,得到三通道图像;所述预估彩色图像获取模块,用于将所述三通道图像输入至生成器网络,得到预估彩色图像;所述偏色图像为通过滤光片得到的产生偏色的内窥镜图像;所述将所述三通道图像输入至生成器网络,得到预估彩色图像,具体包括:将所述三通道图像输入至残差神经网络,得到每一层的输出特征图;将最后一层作为当前层,将当前层的输出特征图进行卷积操作后上采样至当前层的前一层对应输出特征图的尺寸,并与当前层的前一层对应输出特征图相加,得到中间图;将当前层的前一层作为新的当前层,将所述中间图进行卷积操作上采样至新的当前层的前一层对应输出特征图的尺寸,并与新的当前层的前一层对应输出特征图相加,得到新的中间图;重复新的中间图的获取过程直至新的中间图与所述三通道图像尺寸相同;根据与所述三通道图像尺寸相同的新的中间图和所述灰度图像,得到所述预估彩色图像。
8.一种偏色图像颜色还原设备,其特征在于,包括:至少一个处理器;以及与所述处理器通信连接的至少一个存储器,其中:所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1-6中任一项所述的方法。



