有效
一种基于轻量级特征融合的无人机目标检测方法
周鹏、曹杰
南京航空航天大学
周
周鹏机构 暂无
技术领域 暂无
曹
曹杰机构 暂无
技术领域 暂无
摘要
本发明公开一种基于轻量级特征融合的无人机目标检测方法,该方法能够针对无人机航拍的图像进行目标识别。对当前目标检测网络对图像小目标检测精度低以及网络参数量大难以实时检测等问题,首先通过使用深度可分离卷积(DSC)与Coordinate Attention(CA)重新设计YOLOv4‑tiny的颈部特征提取模块;然后使用SPPF特征提取模块来增加提取特征的感受野信息,并且有效的保持模型的计算轻量化;最终使用Decoupled Head检测头模块使最终提取到的特征信息具有更强的空间联合性,更容易区分背景与待测目标,从而构建了一个全新的轻量级目标检测网络。
1.一种基于轻量级特征融合的无人机目标检测方法,其特征在于:所述方法包括:步骤1,获取训练数据集,预处理后得到训练样本;步骤2,将所述训练样本作为输入图像,通过CBL模块中的3×3卷积模块分别对输入图像进行语义特征信息提取,并最终将提取特征的通道信息增长至64维度,使用CBL模块中的BatchNormalization层对提取的特征进行规范化处理;最终使用CBL模块中的LeakyRelu激活函数增强网络模型的非线性因素;步骤3,利用三个CSP残差模块CSPBlockl,CSPBlock2,CSPBlock3,对图像信息特征进行提取,其中分别输出中间层CSPBlock2,CSPBlock3的两个特征层,分别为第二特征层和第三特征层;步骤4,基于注意力机制,分别对步骤3输出的第二特征层和第三特征层进行注意力权重分配更新第二特征层和第三特征层;步骤5,采用特征融合模块对第三特征层进行不同尺度的感受野信息融合,更新第三特征层;步骤6,对提取的特征层信息进行特征再提取,生成第一特征层,并更新第二特征层和第三特征层;步骤7,对所述第一特征层、第二特征层以及第三特征层进行最终预测解析;步骤8,调试从所述步骤2到步骤7的网络结构超参数,设置网络模型参数,以对网络模型进行训练,得到最终的训练模型;所述步骤5具体包括:步骤5-1,针对步骤4得到的第三特征层的特征信息使用三个卷积组成的ThreeConv对其进行特征再提取,首先使用1×1大小的卷积核对第三特征层进行降维处理,然后使用3×3深度可分离卷积进行特征提取,最后使用1×1的卷积调整输出的特征层维度更新第三特征层;步骤5-2,基于级联特征提取模块SPPF,所述SPPF模块由三个5×5大小的最大池化层级联构成,分别生成了尺寸为5×5、9×9、13×13的最大池化层一样的感受野信息,将更新后的第三特征层通过SPPF模块进行特征再提取,并且将每个池化层上的输出特征以及SPPF模块的输入特征信息进行Concat拼接,进一步更新第三特征层;步骤5-3,使用ThreeConv对更新后的第三特征层进行特征再提取,最终使用ThreeConv中1×1的卷积调整输出的特征层维度,进一步更新第三特征层;所述步骤6具体包括:步骤6-1,在网络主干提取模块新增一个下采样的特征提取层,基于注意力机制对空间以及位置信息进行融合生成第一特征层;步骤6-2,将所述第一特征层、第二特征层以及第三特征层经过自底向上路径再次进行深层的特征融合,以更新第二特征层和第三特征层;步骤6-3,再增加一条自顶向下路径,将第一特征层与第二特征层再次融合,同时不使用第二特征层与第三特征层进行融合,以更新第一特征层。
2.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法,其特征在于,对训练数据集的图片尺寸进行预处理,将训练数据集的图片大小调整至640×640像素。
3.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法,其特征在于,所述步骤6-2具体包括:将第三特征层经过一个2倍的邻近插值上采样得到40×40的特征图,然后进行一个1×1的卷积、归一化和LeakyRelu激活函数得到大小不变通道数为512的第二特征层,对所述第二特征层使用CA注意力机制,与第一特征层进行Concat融合,以更新第三特征层;将第二特征层经过一个两倍的邻近插值上采样,然后进行1×1的卷积调整通道数为258,对第二特征层使用CA注意力机制,最终与第一特征层用Concat进行融合,以更新第二特征层。
4.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法,其特征在于,所述步骤6-3具体包括:将第一特征层经过一个步距为2的下采样卷积得到40×40的特征图,然后进行一个1×1的卷积、归一化和LeakyRelu激活函数得到大小不变通道数为256的特征图,最终与第二特征层用Concat进行融合,以更新第一特征层。
5.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法,其特征在于,所述步骤7具体包括:将所述第一特征层、第二特征层以及第三特征层分别通过Decoupled Head模块中分支一中的两个1×1卷积以及3×3卷积提取出特征层的分类信息,通过分支二的两个1×1卷积后使用一个3×3卷积提取出位置信息,再通过分支二之后使用另一个分支的3×3卷积提取出置信度信息,分别完成小目标检测的分类和回归任务。
6.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法,其特征在于,所述步骤8具体包括:网络训练次数epochs设置为300轮,采用迁移学习训练,在前60个epoch中冻结主干网络,学习率设置为0.001,加载预训练模型,bath size设16;后240个epoch解冻主干网络,学习率设置为0.000l;bachsize设置为8,每个epoch后将学习率降为原来的0.937,在经过300epochs的训练后得到最终的训练模型。
7.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法,其特征在于,所述方法还包括:步骤9,从步骤1中的训练数据集中选取部分数据作为测试集,将所述测试集输入步骤8中的训练模型中,得到无人机小目标检测的测试结果。
8.根据权利要求7所述的基于轻量级特征融合的无人机目标检测方法,其特征在于,从步骤1中的训练数据集中选取自然场景复杂、角度多样以及小目标众多的图像作为测试集。



