1.一种基于深度度量的机载多模态协同目标检测方法,其特征在于,包括以下步骤:步骤1、利用搭载在飞机上的光学相机、雷达传感器和辐射源传感器,同步对目标区域进行数据采集,获取光学图像、雷达数据及辐射源数据,然后对其进行预处理;步骤2、对经过预处理后的光学图像、雷达数据和辐射源数据分别进行各自平台的目标检测;采用基于深度学习的目标检测算法对光学图像进行目标检测,利用恒虚警率检测算法结合目标的运动特征对雷达数据进行目标检测,采用信号匹配和聚类分析方法对辐射源数据进行目标检测;步骤3、基于深度度量学习结合加权注意力融合机制的方法将步骤2中得到的光学图像、雷达数据和辐射源数据的目标检测结果进行对齐及融合处理,最终得到一个综合的目标检测结果;步骤3的具体过程如下:S31、基于深度度量学习进行对齐优化,过程如下:S311、设定每个平台的目标检测结果为 ,其中 为平台i上第j个检测到的目标, ,分别表示光学图像、雷达数据及辐射源数据; ,每个目标 包含位置坐标 、目标类别 及其置信度 ;S312、采用一个共享的神经网络嵌入模块,将来自不同平台的相似目标在嵌入空间中靠近,非相似目标远离;获得目标的嵌入特征向量;S313、采用了余弦相似度度量来自不同平台的目标在嵌入空间中的相似度;S314、构建损失函数 进行训练优化;S32、基于深度度量学习进行对齐优化后,通过加权注意力融合机制对不同平台的目标进行融合,过程如下:S321、对于每个平台i的目标 ,计算其对应的权重 ;S322、基于每个平台计算的权重通过加权进行融合,表达式如下: ;其中, 表示融合函数,是通过一个神经网络模型来学习不同平台的目标融合方式; 表示最终的融合结果,包括目标的空间位置、目标类别及置信度。
2.根据权利要求1所述的一种基于深度度量的机载多模态协同目标检测方法,其特征在于:对光学图像、雷达数据及辐射源数据进行预处理具体为:首先对光学图像、雷达数据及辐射源数据进行标准化和去噪处理;然后将各平台获取的数据进行时间同步处理;最后对光学图像进行分辨率增强,对雷达数据进行多普勒滤波处理,对辐射源数据进行辐射强度归一化。
3.根据权利要求2所述的一种基于深度度量的机载多模态协同目标检测方法,其特征在于,采用基于深度学习的目标检测算法对光学图像进行目标检测具体为:构建一个包含卷积层、池化层和全连接层的神经网络架构对光学图像进行目标检测;其中,通过卷积层提取图像的特征图,通过池化层进行下采样,通过全连接层对目标的位置和类别信息进行分类和回归。
4.根据权利要求3所述的一种基于深度度量的机载多模态协同目标检测方法,其特征在于,利用恒虚警率检测算法结合目标的运动特征对雷达数据进行目标检测具体为:首先,将雷达数据划分为若干个距离单元和方位单元,在每个单元内计算背景杂波的统计特性;然后,结合目标的速度和加速度的运动特征进行目标的航迹起始和关联,通过卡尔曼滤波的方法对目标的运动状态进行估计和预测,实现对雷达目标的连续跟踪和检测,输出目标的位置、速度和运动轨迹信息。
5.根据权利要求4所述的一种基于深度度量的机载多模态协同目标检测方法,其特征在于:采用信号匹配和聚类分析方法对辐射源数据进行目标检测具体为:首先,构建辐射源信号特征库,将采集到的辐射源信号特征与库中的已知辐射源特征进行匹配;对于若干个相似的辐射源信号,采用聚类算法将它们划分为不同的目标类别,输出辐射源目标的位置、频率和功率信息。
6.根据权利要求5所述的一种基于深度度量的机载多模态协同目标检测方法,其特征在于,步骤3的具体过程如下:S31、基于深度度量学习进行对齐优化,过程如下:S311、设定每个平台的目标检测结果为 ,其中 为平台i上第j个检测到的目标, ,分别表示光学图像、雷达数据及辐射源数据; ,每个目标 包含位置坐标 、目标类别 及其置信度 ;S312、采用一个共享的神经网络嵌入模块,将来自不同平台的相似目标在嵌入空间中靠近,非相似目标远离;获得目标的嵌入特征向量,表达式如下: ;其中, 表示针对平台i的特征提取网络;通过该网络,每个目标被映射到一个固定维度的目标特征向量 中,d为嵌入空间的维度;S313、采用了余弦相似度度量来自不同平台的目标在嵌入空间中的相似度,计算表达式如下: ;其中, 表示两个目标特征向量 和 的相似度, 为两个向量的点积, 和 分别是向量的范数;通过对多个目标对之间的相似度计算,选择高相似度的目标进行对齐,低相似度的目标被排除在外;S314、构建损失函数 进行训练优化,表达式如下: ;其中, 为指示函数,当目标 和 属于同一类别时,值为1,否则为0; 为一个设定的阈值,控制相似度的最大容忍值;S32、基于深度度量学习进行对齐优化后,通过加权注意力融合机制对不同平台的目标进行融合,过程如下:S321、对于每个平台i的目标 ,计算其对应的权重 ,表达式如下: ;其中, 为查询向量,表示当前需要对齐的目标特征向量, 为目标与查询向量之间的点积,表示目标与查询之间的关联度;S322、基于每个平台计算的权重通过加权进行融合,表达式如下: ;其中, 表示融合函数,是通过一个神经网络模型来学习不同平台的目标融合方式; 表示最终的融合结果,包括目标的空间位置、目标类别及置信度。