基于特征融合和注意力机制的机载图像车辆目标识别方法

1.一种基于特征融合和注意力机制的机载图像车辆目标识别方法，其特征在于，包括以下步骤：S1:构建机载图像车辆目标识别模型；机载图像车辆目标识别模型包括特征提取模块、特征融合模块、注意力机制模块和检测模块；特征提取模块用于对输入的原始图片进行特征提取；特征融合模块将提取后的特征进行融合，获得更加丰富的语义信息；注意力机制将融合后特征中的重点信息突出显示；检测模块用于获得目标的类别与位置；S2：通过特征提取模块，使用卷积神经网络对原始图片进行特征提取，输出具有多尺度的特征图；S3：通过特征融合模块对顶层的特征图进行上采样，并与低层特征进行横向连接，构建一个自顶向下的金字塔结构，输出初步融合后的多尺度特征；然后对于初步融合后的多尺度特征进行处理，对底层特征进行下采样，并与高层特征图和S2中输出的高层特征图分别进行横向连接，构成一个自底向上的金字塔结构，输出最终融合后的多尺度特征；S4：通过注意力模块，对最终融合后的多尺度特征，沿着空间和通道两个维度进行操作；在空间和通道两个子模块中，分别计算特征图的缩放因子和权重，并与原特征图相乘来对特征进行自适应调整，使网络学习关注特征图的重点信息；最后将空间和通道两个子模块的输出与输入特征图相加，得到最终的结果；S5：生成多个不同比例、大小的候选框，得到每个输出特征图位置的候选框列表，计算得到每个特征图上对应于原图的候选框，利用真实值信息计算每个候选框的正负样本属性；S6：检测模块根据需要选用一阶段检测器，其包括分类、回归两个子网络，将特征图分别送入分类、回归两个子网络，分别用于判断目标的类别及目标的具体位置，得到每个预测框及其类别的置信度，并使用回归网络修正位置；最后使用非极大值抑制去除冗余的预测框，保留结果最好的一个，得到最终的检测结果；所述S3详细步骤为：S3.1：将特征图{P 2 ,P 3 ,P 4 ,P 5 }进行自顶向下的增强；首先将S2中得到的特征图的通道归一化，并将最上层特征图P 5 平移得到N 5 ；将平移后的特征图进行像素混洗，将原特征图放大两倍；然后将放大后的特征图的通道归一化，以便与S2中的低层特征图横向连接，得到新的特征图N 4 ；N 4 重复进行放大与横向连接操作，直与S2中低层特征图全部完成横向连接；具体表现为：其中N i 为特征融合后的第i层特征图，Conv 1×1 为大小是1×1的卷积，PS(·)表示像素混洗函数对特征进行上采样，L(·)代表通道归一化操作，N i+1 为上一层特征图，k n 为卷积核的数量，s n 为卷积核移动的步长，其中k n ＝256，s n ＝1；P i 为Resnet50特征提取后得到的相较于N i+1 低一层的特征图；最终输出初步融合后的特征图{N 2 ,N 3 ,N 4 ,N 5 }S3.2：将特征图{N 2 ,N 3 ,N 4 ,N 5 }进行自底向上的增强；首先将最底层的特征图平移；此后，每一层特征图都进行卷积操作，使特征图缩小两倍，然后与相对应的N i 特征图和P i 特征图进行横向连接，对连接后的特征图进行卷积操作，最终生成新的高分辨率的特征图；具体表现为：其中F i 为输出的高分辨率的第i层特征图，Conv 3×3 为大小是3×3的卷积，k f 为卷积核的数量，其中k f ＝2，2表示卷积核移动的步长为2，N i 为S3.1中第i层特征图，P i 为S2中第i阶段输出的特征图，1表示卷积核移动的步长；最终输出的特征图为{F 2 ,F 3 ,F 4 ,F 5 }。 2.根据权利要求1所述的一种基于特征融合和注意力机制的机载图像车辆目标识别方法，其特征在于，所述S2详细步骤为：使用Resnet50作为特征提取模块的主干，提取原始图片的特征；Resnet50共有五个阶段，每个阶段都会输出一个特征图，同时也是下一阶段的输入；不同阶段输出的特征图尺度不同，越上层的特征图，尺度越小，通道数越多；首先将输入的原始图片进行处理，具体过程如下：Out＝Conv 7×7 (C,W,H,k,s)      (1)其中Out代表第一阶段输出的特征图，Conv 7×7 代表大小为7×7的卷积层，C表示输入的图片的通道数，RGB图像的通道数为3，W,H分别代表输入图片的宽和高，k表示卷积核的大小，s代表卷积核移动的步长；其中k＝64，s＝2；其次对输出的特征图依次进行特征提取，具体过程如下：P i ＝Conv 3×3 (C i ,W,H,k i ,s i )      (2)其中，P i 为第i阶段输出的特征图，Conv 3×3 表示大小为3×3的卷积层，C i 表示第i阶段输入的特征图的通道数，W,H分别代表输入特征图的宽和高；k i 表示卷积核的大小，其中k i ＝256×2 i-1 ；s i 代表卷积核移动的步长，s i ＝2；最后输出四个特征图，自下而上分别为{P 2 ,P 3 ,P 4 ,P 5 }，通道数分别为{256,512,1024,2048}。 3.根据权利要求2所述的一种基于特征融合和注意力机制的机载图像车辆目标识别方法，其特征在于，所述S4的详细步骤为：S4.1：将最终融合后的特征图通过注意力模块，抑制通道和空间中不显著的特征，增强获取显著特征的能力；注意力模块由空间注意力和通道注意力两个子模块并联构成；输入的特征图平行地通过空间注意力和通道注意力模块，最后将两个注意力模块的输出特征及输入特征图的特征汇总，得到更好的像素级的预测特征表示；具体表现为：Out a ＝SUM(SA(F i ),CA(F i ),F i )       (5)其中Out a 指的是最终输出的特征图，SUM(·)指的是元素求和函数，用于完成特征融合，SA(·)为空间注意力模块，CA(·)为通道注意力模块，F i 为输入的特征图；S4.2：将特征图输入空间注意力模块，提高其表示能力；首先将特征图中的每个像素使用批归一化，得到其缩放因子，并通过缩放因子计算权重，通过激活函数，然后与输入的特征图相加，得到最终输出；具体表现为：Out s ＝sigmoid(W α (BN s (F i )))        (6)其中Out s 代表空间注意力模块的输出，sigmoid(·)代表sigmoid激活函数，W α 代表通道注意力模块的权重信息，BN s 代表通道注意力模块的缩放因子，F i 表示输入的特征图；S4.3：将特征图输入通道注意力模块，汇总空间特征；使用批归一化中的缩放因子来反映各个通道的变化性和重要性，通过缩放因子获得权重；首先得到特征图的缩放因子，然后通过缩放因子获得权重信息，经过激活函数后与输入特征图的信息相加，得到最后的结果；具体表现为：Out c ＝sigmoid(W β (BN c (F i )))        (7)其中Out c 代表通道注意力模块的输出，sigmoid(·)代表sigmoid激活函数，W β 代表通道注意力模块的权重信息，BN c 代表通道注意力模块的缩放因子，F i 表示输入的特征图。 4.根据权利要求3所述的一种基于特征融合和注意力机制的机载图像车辆目标识别方法，其特征在于，所述S5详细步骤为：在注意力模块输出的特征图上，通过候选区域生成方法在每张特征图上生成多个不同比例、大小的候选框，候选框的数量根据具体情况进行调整；并根据数据集中目标的总体大小来更改候选框的大小；遍历特征图上每个坐标点，将其映射到输入的原始图片坐标上，根据候选框在特征图上的大小和位置计算得到在原始图片上的候选框列表；计算真实值和候选框的交并比，得到每个候选框的正负样本属性；交并比大于等于0.5，则候选框为高质量正样本，候选框内存在目标的可能性高；若交并比低于0.4，则候选框为负样本，框内存在目标的可能性低；若交并比处于[0.4,0.5)的区间内，则候选框为忽略样本，不对其进行计算。 5.根据权利要求4所述的一种基于特征融合和注意力机制的机载图像车辆目标识别方法，其特征在于，所述S6详细步骤为：将得到的正样本送入检测模块中，分别输入分类、回归两个子网络；检测模块根据需要选用一阶段检测器，分类网络通过全连接层和归一化函数计算每个正样本属于哪个类别并输出类别的概率向量；概率向量中的数值分别对应不同的类别，其中最大的数值所对应的类别即为该正样本的预测类别；回归网络利用边界框回归获得每个正样本的位置偏移量，得到更加精确的目标检测框；最后使用非极大值抑制去除冗余的预测框，保留结果最好的一个；最终的检测结果为目标检测框的位置与目标检测框的预测类别。