有效
一种图像去曝增强方法、装置、设备及介质
肖学明、杨铠宇、付跃刚、桂云霆
长春理工大学
摘要
本申请公开了一种图像去曝增强方法、装置、设备及介质,涉及图像处理技术领域。该方法包括:获取待处理图像数据;将待处理图像数据输入至预设神经网络模型,并通过预设神经网络模型的编码器提取图像的多尺度编码特征;基于预设高维群结构学习机制对多尺度编码特征进行群结构学习,以构建表征图像亮度分布与目标清晰图像间映射关系的目标高维特征表示;对目标高维特征表示进行低维映射和筛选,以得到用于图像重建的最优低维特征表示;将最优低维特征表示输入至预设神经网络模型的解码器,以重建输出去曝增强图像。通过本申请的技术方案,实现了在多种光照及曝光条件下的自适应去曝与细节恢复,显著提高了图像质量与任务识别准确性。
1.一种图像去曝增强方法,其特征在于,包括:获取待处理图像数据;所述待处理图像数据包括待重建信息与过曝图像;将所述待处理图像数据输入至预设神经网络模型,并通过所述预设神经网络模型的编码器提取所述待处理图像数据的多尺度编码特征;基于预设高维群结构学习机制对所述多尺度编码特征进行群结构学习,以构建表征图像亮度分布与目标清晰图像间映射关系的目标高维特征表示;对所述目标高维特征表示进行低维映射和筛选,以得到用于图像重建的最优低维特征表示;将所述最优低维特征表示输入至所述预设神经网络模型的解码器,以重建输出去曝增强图像。
2.根据权利要求1所述的图像去曝增强方法,其特征在于,所述通过所述预设神经网络模型的编码器提取所述待处理图像数据的多尺度编码特征,包括:通过所述编码器中的预设浅层编码器,从所述过曝图像中提取表征全局亮度分布的第一尺度特征;其中,所述预设浅层编码器采用卷积核尺寸不超过预设阈值的卷积结构,并通过残差连接机制保留所述过曝图像的局部纹理与边缘细节;所述第一尺度特征包括光照覆盖图谱和目标高亮掩码特征张量;所述光照覆盖图谱用于描述所述过曝图像不同区域的亮度强度分布及动态变化,包括直接光照分量、反射高光区域及环境亮度梯度;所述目标高亮掩码特征张量用于标记过曝区域的像素范围;将所述第一尺度特征输入至所述编码器中的预设深层编码器,并通过堆叠卷积、归一化及非线性激活操作,提取与所述过曝图像对应的包含所述局部纹理、所述边缘细节与语义信息的第二尺度特征;利用所述第一尺度特征与所述第二尺度特征确定所述多尺度编码特征。
3.根据权利要求1所述的图像去曝增强方法,其特征在于,所述编码器还包括多尺度注意力机制,相应的,所述通过所述预设神经网络模型的编码器提取所述待处理图像数据的多尺度编码特征之后,还包括:利用所述多尺度注意力机制,对所述多尺度编码特征进行处理;所述多尺度注意力机制包括通道注意力模块、空间注意力模块和跨尺度融合注意力模块,用于自适应地调整特征在不同通道或空间位置上的响应权重。
4.根据权利要求2所述的图像去曝增强方法,其特征在于,所述预设神经网络模型还包括多尺度特征聚合模块,位于所述编码器与所述解码器之间;相应的,所述通过所述预设神经网络模型的编码器提取所述待处理图像数据的多尺度编码特征,包括:通过所述多尺度特征聚合模块,对所述预设浅层编码器输出的所述第一尺度特征与所述预设深层编码器输出的所述第二尺度特征进行聚合,以生成融合多层语义的紧凑特征表示作为所述多尺度编码特征。
5.根据权利要求1所述的图像去曝增强方法,其特征在于,所述基于预设高维群结构学习机制对所述多尺度编码特征进行群结构学习,以构建表征图像亮度分布与目标清晰图像间映射关系的目标高维特征表示,包括:分别对所述多尺度编码特征中表征的过曝图像分布以及目标清晰图像分布进行概率建模,以确定各自对应的目标高维群结构;训练并优化参数化变换函数,以将所述过曝图像分布对应的目标高维群结构映射至与所述目标清晰图像分布的目标高维群结构一致的空间。
6.根据权利要求5所述的图像去曝增强方法,其特征在于,所述训练并优化参数化变换函数,包括:构建分布对齐损失函数,用于驱动所述参数化变换函数的输出分布逼近所述目标清晰图像分布;所述分布对齐损失函数为 ;其中,θ为所述参数化变换函数的待训练参数, 为对失真输入b在过曝图像分布 下的期望, 为所述参数化变换函数,b为失真输入,a为理想输入, 为L2范数,α为权衡超参数,KL为Kullback-Leibler散度, 为 的估计密度函数, 为理想输入a的估计密度函数;构建一致性约束损失函数,用于约束所述参数化变换函数对理想输入与失真输入的处理结果在特征空间中的一致性;所述一致性约束损失函数为 ;其中, 为对联合分布 的期望, 为Frobenius范数,β为调节系数, 为总变分距离, 和 分别为 和 对应的分布;构建引导约束损失函数,用于引导所述参数化变换函数的输出特征具备适于低维映射的表征特性;所述引导约束损失函数为 ;其中, 为用于评估低维表达能力的辅助映射函数,φ为 的待训练参数, 为对失真输入b的期望,λ为加权系数, 为矩阵的迹, 为 的雅可比矩阵, 为 的转置矩阵;构建收缩激励损失函数,用于激励输出结果向目标群的预设范围邻域收敛;所述收缩激励损失函数为 ;其中,γ、ρ为加权系数, 为L1范数, 为雅可比矩阵 的最大奇异值;基于所述分布对齐损失函数、所述一致性约束损失函数、所述引导约束损失函数和所述收缩激励损失函数确定联合优化目标,并最小化所述联合优化目标以训练所述参数化变换函数。
7.根据权利要求1至6任一项所述的图像去曝增强方法,其特征在于,所述对所述目标高维特征表示进行低维映射和筛选,以得到用于图像重建的最优低维特征表示,包括:将所述目标高维特征表示映射至多个不同的预设低维特征子空间,以得到多个候选低维特征表示;基于预设筛选准则,从所述多个候选低维特征表示中,选取与所述目标清晰图像的特征结构最匹配的候选低维特征表示作为所述最优低维特征表示;其中,所述预设筛选准则包括群扩展损失函数和群收缩损失函数,所述群扩展损失函数用于评估所述候选低维特征表示在过曝区域细节保持上的能力,所述群收缩损失函数用于评估所述候选低维特征表示在抑制无效能量溢出和保持特征紧凑性上的能力。
8.一种图像去曝增强装置,其特征在于,包括:图像获取模块,用于获取待处理图像数据;所述待处理图像数据包括待重建信息与过曝图像;特征提取模块,用于将所述待处理图像数据输入至预设神经网络模型,并通过所述预设神经网络模型的编码器提取所述待处理图像数据的多尺度编码特征;特征融合模块,用于基于预设高维群结构学习机制对所述多尺度编码特征进行群结构学习,以构建表征图像亮度分布与目标清晰图像间映射关系的目标高维特征表示;映射筛选模块,用于对所述目标高维特征表示进行低维映射和筛选,以得到用于图像重建的最优低维特征表示;图像重建模块,用于将所述最优低维特征表示输入至所述预设神经网络模型的解码器,以重建输出去曝增强图像。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器;其中,所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的图像去曝增强方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序;其中所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像去曝增强方法。



