有效
一种基于融合级联注意力机制的遥感小目标检测方法、系统、设备及介质
纪建、杨勇、曾璞、罗迈、徐贺凯、康宇翰、苗启广
西安电子科技大学
摘要
一种基于融合级联注意力机制的遥感小目标检测方法、系统、设备及介质,方法为:输入图像进入特征提取网络,获得多尺度融合特征图,放入可旋转区域候选网络,定义新的旋转目标检测方法和自定义损失函数,选出包含目标的候选区域图,对其进行分类预测和边界框回归,得到检测结果;系统、设备及介质,用于实现一种基于融合级联注意力机制的遥感小目标检测方法;本发明通过提供一种端到端的目标检测网络,将多尺度注意力模块MAM与融合级联注意力模块FCAM结合,在新的旋转框表示方法上,优化并改进模型的损失函数;具有减少背景噪声对检测结果的影响,增强小目标特征信息,改善正负样本不均衡,提升模型平均检测精度,提高光学遥感目标检测性能的特点。
1.一种基于融合级联注意力机制的遥感小目标检测方法,其特征在于,包括以下步骤:步骤1:输入图像进入特征提取网络,获得通道注意力机制与多尺度融合的多尺度融合特征图;步骤2:将经过步骤1得到的通道注意力机制与多尺度融合的多尺度融合特征图,放入可旋转的区域候选网络中,针对候选网络定义新的旋转目标的检测方法和自定义损失函数,通过区域候选网络选取出包含目标的候选区域图;所述步骤2中可旋转的区域候选网络的设计过程为:步骤2.1:根据经过特征提取网络的多尺度融合特征图,连接1×1卷积,使得多尺度融合特征图的通道数由256转变为64,即H×W×256—>H×W×64,得到通道数减少的特征图;步骤2.2:根据经过步骤2.1得到通道数减少的特征图,采用滑窗的方式遍历每个像素点,在每个像素点上,以像素点为中心,按照预设的五种比例的水平锚框,生成候选的区域框图,后进行筛选,得到区域框图;在每个空间位置上的所有层级的特征中设置了五种比例的水平锚框,即{3:1,2:1,1:1,1:2,1:3},对于每个不同位置的锚框,输出(x,w,h,Δα,Δβ)6个回归参数来表示一个有向的锚框;所述步骤2.2获得区域框图的表示方法为:区域框图的表示方法即是中心点加偏移量的表示方法,该方法的坐标表示公式为:其中,x,y为锚框的中心点坐标,w,h分别为该有向锚框的外接水平矩形锚框的宽和高,Δα和Δβ分别表示有向锚框的顶边及右边的顶点,距离外接水平矩形锚框顶边及右边中点的偏移量,该值可正可负;(x 1 ,y 1 )、(x 2 ,y 2 )、(x 3 ,y 3 )与(x 4 ,y 4 )为有向边界框四个顶点的坐标;步骤3:将经过步骤2得到的候选区域图进行分类预测和边界框回归,得到基于融合级联注意力机制的遥感小目标检测结果。
2.根据权利要求1所述的一种基于融合级联注意力机制的遥感小目标检测方法,其特征在于,所述步骤1的特征提取网络是以Resnet-50为骨干网络,经过优化后,得到多尺度注意力模块MAM和融合级联注意力模块FCAM;所述步骤1获得通道注意力机制与多尺度融合的多尺度融合特征图具体过程为:步骤1.1:输入图像到特征提取网络的骨干网络Resnet-50进行6层卷积操作,提取到第3、4层卷积操作后的特征图;步骤1.2:根据步骤1.1提取到的第3、4层卷积操作后的特征图一起送入融合级联注意力模块FCAM,得到带有融合多尺度特性的特征图;步骤1.3:根据步骤1.2得到的带有融合多尺度特性的特征图,与经过骨干网络4层卷积操作后得到的特征图通过逐元素相加的操作,得到多尺度融合特征图;步骤1.4:输出步骤1.2中的带有融合多尺度特性的特征图、步骤1.3中多尺度融合特征图以及骨干网络6层卷积操作后的特征图,将上述特征图并行输出,得到多尺度融合特征图。
3.根据权利要求2所述的一种基于融合级联注意力机制的遥感小目标检测方法,其特征在于,所述步骤1.2中融合级联注意力模块FCAM的构建过程具体为:步骤1.2.1:通过一个带孔洞的反卷积的操作,对骨干网络第4层进行卷积操作,输出特征图;步骤1.2.2:将骨干网络第3层卷积操作输出后的特征图输入多尺度注意力模块MAM1,得到特征图2,将经过步骤1.2.1得到特征图1与特征图2,用逐元素相加的方式进行融合,得到融合后的特征图,送入到多尺度注意力模块MAM2,得到结合了注意力机制与多尺度融合的多尺度融合特征图。
4.根据权利要求3所述的一种基于融合级联注意力机制的遥感小目标检测方法,其特征在于,所述的多尺度注意力模块MAM1或MAM2,是将通道注意力机制同改进的Inception结构相结合,并行引入了带有跳跃链接的空间注意力模块;所述步骤1.2.2中的多尺度注意力模块MAM1或MAM2的具体构建过程为:步骤1.2.2.1:输入特征图,对特征图采用1×1卷积压缩输入特征的维度,得到输出通道数减少的特征图;步骤1.2.2.2:对步骤1.2.2.1输出的特征图利用1×1卷积、3×1卷积组合1×3卷积、5×1卷积组合1×5卷积,这三路卷积操作获取不同尺度的特征;步骤1.2.2.3:对步骤1.2.2.2输出的3路不同尺度的特征,分别连接3×3的空洞卷积,输出2~10倍感受野的特征;步骤1.2.2.4:通过concat的方式将步骤1.2.2.3中输出的三路不同尺度的特征进行拼接,并再次通过1×1卷积调整维度,得到多尺度融合特征;步骤1.2.2.5:将步骤1.2.2.4输出的多尺度融合特征与通道注意力机制分支输出的通道注意力特征图进行通道相加的操作,输出中间层的特征图;步骤1.2.2.6:将步骤1.2.2.5中的中间层的特征图进行空间注意力的操作,最终输出多尺度注意力特征图。
5.根据权利要求4所述的一种基于融合级联注意力机制的遥感小目标检测方法,其特征在于,所述步骤1.2.2.5中的通道注意力机制分支构建过程为:步骤1.2.2.5.1:输入原始特征图,通过一个全局平均池化将原始特征图压缩为1维度向量的特征图;步骤1.2.2.5.2:根据步骤1.2.2.5.1得到的特征图先通过两个全连接层,后进行ReLU激活函数运算,学习通道的重要权重,得到激活后的特征图;步骤1.2.2.5.3:根据步骤1.2.2.5.2得到的激活特征图,通过Sigmoid函数将权重映射到实数域 得到不同层的激活特征;步骤1.2.2.5.4:根据步骤1.2.2.5.3得到的不同层的激活特征通过逐元素相乘的方式,作用于F i ,进行通道域内的特征选择作用,其计算公式如下所示,最终输出通道注意力特征图,其计算公式如下所示:F c =σ(MLP(AvgPool(F))),其中,σ为Sigmoid函数,F为输入特征图,MLP为两个全连接层与ReLU激活函数构成的多层感知器,AvgPool为全局平均池化操作。
6.根据权利要求1所述的一种基于融合级联注意力机制的遥感小目标检测方法,其特征在于,所述步骤2中的自定义的损失函数为:其中,i是每个训练批次(batch)中锚框的编号,N是锚框的最大总量,p i 是第i个锚框属于前景的概率, 是第i个锚框的真实候选, 是第i个锚框同真实候选框的差异也就是偏移量,F reg 是Smooth L1损失,其定义公式为:
7.基于权利要求1所述方法的一种基于融合级联注意力机制的遥感小目标检测系统,其特征在于,包括:特征提取模块:将输入的图像进行多尺度的特征提取,并将不同尺度的特整图融合,生成融合特征;区域候选模块:在特征提取模块生成的融合特征的基础上,寻找到目标所在的区域框图,将其送入分类预测模块;分类预测模块:将区域候选模块中送入的区域框图进行分类预测,得到基于融合级联注意力机制的遥感小目标检测结果预测结果并输出。
8.一种基于融合级联注意力机制的遥感小目标检测设备,其特征在于,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现所述的权利要求1-6一种基于融合级联注意力机制的遥感小目标检测方法。
9.一种计算机可读存储介质,其特征在于,包括:所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时能够对权利要求1-6一种基于融合级联注意力机制的遥感小目标进行检测。




