有效
一种基于特征点和信噪比双增强的偏振图像增强方法
刘鑫、吴宣余、杨健、余翔、郭雷
北京航空航天大学
刘
刘鑫机构 暂无
技术领域 暂无
吴
吴宣余机构 暂无
技术领域 暂无
杨
杨健机构 暂无
技术领域 暂无
余
余翔机构 暂无
技术领域 暂无
郭
郭雷机构 暂无
技术领域 暂无
摘要
本发明提出了一种基于特征点和信噪比双增强的偏振图像增强方法,属于偏振视觉探测技术领域,包括步骤:利用偏振相机获得两类图像信息:偏振图像与可见光图像;构造偏振图像信噪比增强网络,通过学习多角度偏振信息之间的相关性,将噪声从原始场景中分离,实现信噪比增强;构造偏振图像特征点增强网络,通过学习总光强图像与偏振度图像之间的特征融合关系,提升检测到的特征点数量与质量,实现特征点增强;最后,两个网络的输出相互交叉作为输入,形成双回路闭环学习网络。该方法构建了偏振图像信噪比增强和特征点增强网络,提出了信噪比与特征点回环赋能的一体化增强方法,可提升干扰环境下偏振视觉探测系统的精度与环境适应性。
1.一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于,实现步骤如下:步骤(1)、利用偏振相机获得两类图像信息:偏振图像和可见光图像;偏振图像包括偏振度 图像和偏振光强图像,可见光图像包括总光强图像;步骤(2)、构建偏振图像信噪比增强网络;信噪比增强网络输入为偏振光强图像,以清晰图像作为真值约束,利用包含偏振信息的图像序列学习多角度偏振信息之间的相关性,对偏振光强图像进行重建,将散射光包含偏振特性的背景噪声从原始场景中分离;步骤(3)、构建偏振图像特征点增强网络;特征点增强网络输入为总光强图像和偏振度 图像,通过特征点损失函数和多尺度图像结构相似性损失函数对网络输出进行双重约束,其中特征点损失函数用于融合总光强图像中的原始场景信息和偏振度 图像的边缘特征信息,多尺度图像结构相似性损失函数用于提升特征点的检测数量与质量,从而学习总光强图像与偏振度 图像之间的特征融合关系;步骤(4)、将信噪比增强网络和特征点增强网络的输出相互交叉输入给两个网络,形成信噪比和特征点双回路闭环学习网络,生成特征点和信噪比双增强图像。
2.根据权利要求1所述的一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于:所述步骤(1)中,利用偏振相机并根据斯托克斯矢量计算获得两类图像信息:偏振图像和可见光图像;偏振图像包括偏振度 图像 和偏振光强图像 ;可见光图像包括总光强图像 ;斯托克斯矢量 包含四个分量,表示为: ,斯托克斯矢量的四个分量通过下列公式与偏振光强的关系来确定,从而实现对光偏振状态的描述: ,其中, 、 、 和 分别表示4张沿不同方向的偏振光强图像; 表示右旋圆偏振光强图像, 表示左旋圆偏振光强图像; 表示总光强度; 表示水平和垂直偏振方向的光强差异; 表示45°和135°偏振方向的光强差异; 表示光的圆偏振分量,对于线偏振光视为0;根据斯托克斯矢量解算得到场景的偏振度 : 。
3.根据权利要求2所述的一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于:所述步骤(2)中,偏振图像信噪比增强网络为编码器-解码器结构,内部嵌入信噪比增强模块,编码器用于提取输入图像的多层次特征,解码器通过逐步重建图像来恢复细节,信噪比增强模块首先通过多尺度卷积将输入特征图分为高频和低频部分,在不同尺度上提取图像的空间偏振特征;随后,通过通道注意力机制和空间注意力机制,对图像不同通道和空间分布的重要性进行加权,再通过多尺度卷积层实现对多角度偏振信息之间相关性的学习,将包含偏振特性的背景噪声从原始场景中分离,得到信噪比增强后的图像。
4.根据权利要求3所述的一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于:通道注意力机制表示为: ,其中, 和 分别代表通道注意力机制的输入图像和输出图像, 和 分别代表图像的高度和宽度, 代表Sigmoid激活函数, 代表Hadamard乘积, 代表由通道注意力机制中两个全连接层组成的映射操作, 代表 第 行第 列第 个通道的值。
5.根据权利要求3所述的一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于:空间注意力机制表示为: ,其中, 和 分别代表空间注意力机制的输入图像和输出图像, 代表Sigmoid激活函数, 代表Hadamard乘积, 代表卷积操作, 代表最大池化操作。
6.根据权利要求3所述的一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于:偏振图像信噪比增强网络采用有监督学习,通过对比增强后的图像和带标签的高信噪比真值图像,构造偏振图像信噪比增强网络的损失函数如下所示: ,其中, 代表偏振图像信噪比增强网络的损失函数, 代表输入的偏振光强图像, 代表高信噪比的真值图像, 代表偏振图像信噪比增强网络输出的信噪比增强后的图像。
7.根据权利要求2所述的一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于:所述步骤(3)中,偏振图像特征点增强网络为编码器-解码器结构,内部嵌入特征点增强模块;编码器用于提取输入图像的多层次特征,解码器通过逐步重建图像来恢复细节,特征点增强模块首先通过一系列卷积层在多个尺度上提取图像的空间特征,在不同尺度下捕捉图像的特征点,使得提取结果对大范围和局部特征点均敏感;随后在特征点损失函数的约束下通过卷积和自注意力机制操作充分融合总光强图像中的原始场景信息和偏振度图像中的关键边缘轮廓信息,同时加入多尺度图像结构相似性损失函数约束。
8.根据权利要求7所述的一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于:自注意力机制表示为: ,其中, 和 分别代表自注意力机制的输入图像和输出图像, 代表输入的维度, 代表归一化指数函数,表示为: 。
9.根据权利要求7所述的一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于:偏振图像特征点增强网络采用无监督学习,构造偏振图像特征点增强网络的损失函数如下所示: ,其中, 代表偏振图像特征点增强网络的损失函数, 和 为加权系数, 代表多尺度加权结构相似性损失函数, 代表偏振光强损失函数, 代表特征点损失函数。
10.根据权利要求9所述的一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于: 表示为: ,其中, 为权重系数, 表示窗口尺度, 代表在窗口 上图像 和 之间的相似度,表示为: ,其中, 表示图像在窗口 内的部分, 、 分别表示图像均值和方差, 和 为常数。
11.根据权利要求9所述的一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于: 表示为: ,其中, 和 分别表示图像的高度和宽度, 表示矩阵的 范数。
12.根据权利要求9所述的一种基于特征点和信噪比双增强的偏振视觉探测方法,其特征在于: 表示为: ,其中, 表示使用SURF特征点检测法对图像检测到的特征点数量。



