1.一种联合目标检测的红外光和可见光图像融合方法,其特征在于,包括以下步骤;1)使用现有的数据集,在YOLO v5模型中加载可见光图像和图像标签文件,通过网络的数据增强、卷积层模块,同时进行损失函数的计算;根据反向传播的损失,在训练过程中按照损失减小的方向调整网络权值;在迭代多次后,损失函数趋于收敛,将此时的参数用于检测网络,得到预训练的检测网络;2)将可见光和红外光图像输入至融合网络的输入端,图像通过特征提取网络模块和图像重建模块,进行融合网络的训练,此时预训练的检测网络用于生成检测损失,检测损失回流和融合损失共同训练融合网络;3)融合网络输出生成的融合图像,再将其输入至检测网络进行检测网络的正式训练,得到检测网络的训练权重;完成所有步骤后,得到训练好网络参数的融合网络和检测网络;所述步骤2)具体为:在融合网络中加载红外光图像和可见光图像,两种图像均分别通过特征提取网络的密集网络模块、通道注意力模块;将通过两个特征提取模块得到的图像特征经过图像重建模块后生成融合图像,融合图像与输入图像、掩码信息(mask)按照融合损失函数公式计算出融合损失;同时将输出的融合图像加载至检测网络,经预训练得到参数后的检测网络将检测损失回流至融合网络,融合损失函数和检测损失函数共同指导融合网络的训练,过程如下:按照反向传播的融合损失和检测损失,融合网络在训练过程中按照两类损失减小的方向更新网络权值,在迭代多次后,两类损失函数趋于收敛,此时的参数作为融合网络参数,得到训练好的红外光和可见光图像融合网络;所述融合网络包含特征提取网络模块和图像重建模块,所述融合网络的特征提取为并联密集网络模块和通道注意力模块,所述密集网络(Densenet)模块与通道注意力模块并联,用于增加红外光图像和可见光图像中重要的信息;其中,主流密集网络模块实现特征提取;支流注意力机制突出重要特征;并联的结构通过主密流和支流实现特征重用,来增强融合网络对细粒度空间细节的描述能力,所述密集网络模块包括多尺度的卷积、激活函数和残差连接,用于建立前面所有层与后面层的密集连接,通过密集连接,融合网络实现特征重用,从而实现更优的特征提取性能;所述注意力机制为动态选择过程,根据输入的重要性对特征进行自适应加权,能够保留更重要的特征;所述图像重建模块包括多尺度的卷积和激活函数,将通过两个特征提取分支得到的图像特征经过图像重建模块后生成融合图像。
2.根据权利要求1所述的一种联合目标检测的红外光和可见光图像融合方法,其特征在于,所述步骤1)中在前期进行预训练用于辅助后续步骤的正式训练;通过预先训练检测网络,使得检测网络的参数形成检测损失,在后面的步骤辅助融合网络的训练。
3.根据权利要求1所述的一种联合目标检测的红外光和可见光图像融合方法,其特征在于,所述红外光图像和可见光图像融合网络的公式表示:{F ir ,F vi }={E F (I ir ),E F (I vi )}I f =R I (C(F ir ,F vi ))I ir ,I vi 为输入的红外光和可见光图像,E F 为特征提取网络,F ir ,F vi 为提取后的红外光和可见光图像特征,R I 为图像重建模块,C为特征拼接,I f 为输出融合图像。
4.根据权利要求1所述的一种联合目标检测的红外光和可见光图像融合方法,其特征在于,所述融合网络的训练部分,使用了融合损失函数和检测损失函数;其中融合损失函数包含像素损失和梯度损失两部分,像素损失限制了像素融合图像的强度与源图像一致,而梯度损失迫使融合图像包含更详细的信息;所述融合损失函数通过从红外光图像中提取的mask信息,在损失函数的限制下,融合图像的信息可以被定义为下式:I result =I mask ·I ir +(1-I mask )·I vi其中I result 为融合图像,I mask 为从红外光源图像提取的mask信息,I ir 为红外光源图像,I vi 为可见光源图像,在训练阶段,目标检测网络的检测损失回流到融合网络,和融合损失共同训练融合网络,使融合网络联合检测网络,得到更适应目标检测的红外光和可见光融合网络。
5.根据权利要求1所述的一种联合目标检测的红外光和可见光图像融合方法,其特征在于,所述步骤3)的正式训练为:在YOLO v5模型的主程序中加载融合图像和图像标签文件,通过网络的数据增强模块和卷积层模块,同时进行损失函数的计算,按照反向传播的损失,在训练过程中按照损失减小的方向更新网络权值;在迭代多次后,损失函数趋于收敛,得到的网络即为正式训练的结果。