一种基于ECO-GAN的图像增强系统及方法

1.一种基于ECO-GAN的图像增强系统，其特征在于，包括生成器网络和判别器网络：所述的生成器网络包括生成器特征提取子模块和图像修复子模块，在训练阶段对输入图像提取特征、修复，输出足以迷惑判别器的生成样本；所述的判别器网络包括判别器特征提取子模块和分类器，在训练阶段对生成样本的真伪做判别；所述的生成器特征提取子模块：位于生成器网络的输入端，采用一段级联的下采样卷积神经网络，用于从原图像中提取特征；所述的图像修复子模块：位于生成器网络的输出端，采用N段级联的上采样卷积神经网络，根据生成器特征提取子模块提取的特征分别完成多种类型的增强任务，输出生成样本供判别器判别真伪；所述的判别器特征提取子模块：位于判别器网络的输入端，采用一段级联的VGG19网络，对输入的真实图像和生成样本进行特征提取；所述的分类器：位于判别器网络的输出端，通过对比较生成样本与真实图像经过判别器特征提取子模块的输出进行比较，对生成样本的真伪做出判别；所述的下采样卷积神经网络和上采样卷积神经网络均采用ResNeSt网络模块，ResNeSt网络模块通过对多通道分成多个分支，逐分支处理其中通道间的注意力机制，得到蕴藏在通道间的信息，再把多个分支融合堆叠，结合skip connection跳跃连接的形式，缓解了梯度消失现象；一段级联的下采样卷积神经网络和多段级联上采样卷积神经网络均由多个并联的分支组成；每个下采样卷积神经网络的分支由多个级联的下采样卷积子模块组成，每个分支的下采样卷积子模块由一个卷积层、一个批归一化层、一个激活层级联构成；每个上采样卷积神经网络的分支由多个级联的上采样卷积子模块组成，每个分支的上采样卷积子模块由一个反卷积层、一个批归一化层、一个激活层级联构成；所述的激活层都采用了LeakyReLU激活函数；所述的图像修复子模块中采用了跨阶段融合模块，用于减少网络模型在同时处理N种增强类型任务时带来的相互抑制影响；跨阶段融合模块采用两个卷积层，分别接受当前分支的输入和前一阶段分支的输入，沿通道维度堆叠，再经过一个卷积层处理来自不同阶段的特征，以实现跨阶段的特征融合；跨阶段融合模块首先将当前阶段的通道数为ch的特征与前一阶段的通道数为ch的特征堆叠起来，得到通道数为2×ch的特征，再经过卷积层提取其中的信息，将特征浓缩，得到通道数为ch的特征，并继续送给当前阶段的网络；所述判别器采用Patch-GAN，通过全局判别器和局部判别器综合判别生成器网络的输出样本的质量。 2.根据权利要求1所述的一种基于ECO-GAN的图像增强系统，其特征在于，所述生成器网络输出的生成样本通过判别器网络进行判别，通过最小化生成样本与真实样本之间的差异损失函数优化生成器网络，使得生成器网络生成足以迷惑判别器的生成样本。 3.一种基于ECO-GAN的图像增强方法，其特征在于，步骤如下：步骤1、采集原图像，分析原图像所需的图像增强类型，确定上采样卷积神经网络段数N；步骤2、使用图像增强软件制作成对的数据集，供ECO-GAN学习；步骤3、通过基于ECO-GAN的图像增强系统的生成器网络得到生成样本；步骤4、生成样本通过判别器网络进行判别，通过最小化生成样本与真实样本之间的差异损失函数优化生成器网络，使得生成器网络生成足以迷惑判别器的生成样本；判别器网络输出判别生成样本是否属于真实样本的判别结果，通过优化判别器网络分辨真伪的能力，使得判别器网络对生成器网络提出更高的要求，判别器网络与生成器网络相互促进，相互对抗，共同进步；步骤5、通过训练好的生成器网络完成对待处理图像的增强；将原图像输入基于ECO-GAN的图像增强系统的生成器网络中，使用生成器特征提取子模块的一段级联的下采样卷积神经网络，从原图像中提取特征；步骤3具体方如下：所述的下采样卷积神经网络由多个分支构成，每个分支包括多个卷积模块，所述的卷积模块为卷积层、批归一化层和激活层的组合；所有激活层的激活函数采用LeakyReLU；批归一化层将用于卷积层提取的特征做按照最小批次进行归一化，然后送到激活层；激活层使用LeakyReLU函数将批归一化后的特征激活，然后将图像特征送到下一个卷积模块中；下采样卷积神经网络通过逐分支处理其中通道间的注意力机制、挖掘蕴藏在通道间的信息，再把多个分支融合堆叠，结合skip connection跳跃连接的形式，缓解了梯度消失现象；所述的上采样卷积神经网络共有N段，根据下采样卷积神经网络提取到的图像特征对图像进行修复；每一段上采样卷积神经网络对应一种图像增强任务，每一段上采样卷积神经网络有多个分支，每个分支包括多个反卷积模块，所述的反卷积模块为反卷积层、批归一化层、激活层的组合，反卷积模块数量与下采样卷积神经网络的卷积模块保持一致；所有激活层的激活函数采用LeakyReLU；批归一化层将卷积神经网络提取的特征做按照最小批次进行归一化，然后送到下一层；采用跨阶段融合模块，减少网络模型在同时处理多种增强类型任务时带来的相互抑制影响；图像特征经过N段上采样卷积神经网络和跨阶段融合模块，通过第N段上采样卷积神经网络得到最终恢复的图像，称为生成样本；步骤4具体方法如下：将生成样本和真实图像输入判别器网络，使用判别器特征提取子模块提取特征，传入分类器中，由分类器对输入的图像的真伪进行判别；每个图像增强任务对应一组生成器损失函数，根据生成样本与真实样本内容差距的最小二乘损失，判别器对生成样本判别真伪的局部最小二乘损失和全局最小二乘损失构成判别器损失函数：其中，I raw 、I gt 分别表示原图像、真实图像；L content 表示生成样本与真实样本之间的内容损失，c、h、w分别是输出图片的通道数、高、宽，p表示像素点，G表示生成器模型；L adv 表示判别器判别输入样本真伪产生的对抗损失， 和 分别表示局部判别损失和全局判别损失，D、G分别表示判别器模型和生成器模型，E表示取输入随机变量的期望；通过最小化生成器损失，采用梯度下降算法进行求解，使得生成器网络生成足以迷惑判别器的生成样本；判别器采用马尔可夫判别器Patch-GAN，通过全局判别器和局部判别器对生成样本判别真伪的最小二乘损失构建判别器损失函数；通过最小化判别器损失，采用梯度下降算法进行求解，提升判别器网络鉴别真伪的能力；通过不断优化判别器网络分辨真伪的能力，使得判别器网络对生成器网络提出更高的要求，判别器网络与生成器网络相互促进，相互对抗，共同进步。 4.根据权利要求3所述的一种基于ECO-GAN的图像增强方法，其特征在于，步骤2中成对的数据集是使用软件Adobe Lightroom制作的，所需数据集的格式统一为.jpg图片。