一种多时相红外图像融合方法、装置和介质

1.一种多时相红外图像融合方法，其特征在于，包括以下步骤：(1)读取多时相图像序列，根据图像序列对应的采集时间进行均匀时刻的插值，获得均匀时刻图像序列；(2)基于步骤(1)获得的均匀时刻图像序列，针对图像中坏元的不同类型，分别采用单帧邻域加权插值方法或时空邻域加权插值方法进行坏元修复，然后采用均值滤波进行图像去噪处理；所述步骤(2)包括以下子步骤：(2.1)基于步骤(1)获得的均匀时刻图像序列，逐帧检测图像中像素的像素值是否为0，若像素的像素值为0，则该像素为坏元；否则，该像素不为坏元；(2.2)判断图像序列的所有图像在该坏元位置的像素值是否均为0，若所有图像在该坏元位置的像素值均为0，则该坏元的类型为第一种坏元，执行步骤(2.3)；否则，该坏元的类型为第二种坏元，执行步骤(2.4)；(2.3)根据坏元的邻域像元使用单帧邻域加权插值方法对图像中的坏元进行修复，修复后的坏元的像素值的计算公式为：其中，px表示修复后的坏元px的像素值，p0～p7为坏元px的邻域像元的像素值，num(·)表示像素值大于零的像元个数；(2.4)使用时空邻域加权插值方法对图像中的坏元进行修复，则修复后的t时刻的坏元px t 的像素值的计算公式为：px t ＝px t+1 ·(px t-1 -px t+1 )·(f diag +f hv )其中，px t-1 和px t+1 分别为t-1时刻和t-2时刻的像元的像素值，f diag 和f hv 分别表示根据对角相邻像元以及水平和垂直相邻像元获得的时空邻域先验；(2.5)重复步骤(2.1)-步骤(2.4)，遍历图像序列中所有像元，直至完成修复；(2.6)使用均值滤波方法对坏元修复后的每一帧图像进行去噪处理，滤波计算公式为：其中，i和j分别表示像素p i,j 位于图像的第i行的第j列；所述根据对角相邻像元以及水平和垂直相邻像元获得的时空邻域先验的计算公式分别为：其中，f wt (·)表示单个像素的时空先验，pn t 表示t时刻坏元px t 的邻域像素值，n＝0,1,2,3,4,5,6,7；像素pn t 的时空先验f wt (pn t )的计算公式为：其中，ε表示极小常数；(3)针对去噪处理后的图像，采用基于关联度的聚类方法计算最大元素数量对应类别的聚类中心元素作为背景中心像元，并以该背景中心像元为参考基线，计算相对多时相图像序列；(4)针对相对多时相图像序列，计算多时相统计特征的均值、方差和中值，并进行归一化处理；(5)以归一化处理后的多时相统计特征的均值、方差和中值分别作为R、G和B三通道图像，进行图像融合，并将最终的融合结果进行可视化显示。 2.根据权利要求1所述的多时相红外图像融合方法，其特征在于，所述坏元的类型包括第一种坏元和第二种坏元；所述第一种坏元是红外探测器的镜头和传感器造成的坏元，所述第一种坏元存在于所有图像的相同空域位置；所述第二种坏元是某一时刻外部环境干扰红外探测器图像采集导致的坏元，所述第二种坏元存在于部分帧图像中，且位置具有随机性。 3.根据权利要求1所述的多时相红外图像融合方法，其特征在于，所述步骤(3)包括以下子步骤：(3.1)基于步骤(2)获取的去噪处理后的图像序列，提取像元在不同时刻的像素值并将其作为该像元的多时相特征向量的初始值，以获取所有像元的多时相特征向量，并根据所有像元的多时相特征向量构建多时相特征向量集合{p 1 ,p 2 ,...,p M }，其中M表示图像共有M个像元，p 1 表示图像中第1个像元的多时相特征向量；(3.2)首先从多时相特征向量集合{p 1 ,p 2 ,...,p M }中随机选择1个元素作为类别C 1 的中心元素u 1 ，接着从剩余元素中选择距离u 1 最大的元素作为类别C 2 的中心元素u 2 ，然后从剩余元素中选择距离u 1 和u 2 之和最大的元素作为类别C 3 的中心元素u 3 ，以此类推，初始化聚类中心元素u 1 ,u 2 ,u 3 ,...,u K ；其中选择中心元素时根据两个元素之间的距离确定；(3.3)计算多时相特征向量集合{p 1 ,p 2 ,...,p M }中每个元素到K个聚类中心元素的距离，并将元素归类到距离最小的聚类中心元素所对应的类别中；(3.4)基于步骤(3.3)获得的K个类别中的元素，重新计算每个类别的聚类中心元素，以完成K个类别的聚类中心元素的更新；(3.5)重复步骤(3.3)-步骤(3.4)，直至达到迭代终止条件，迭代终止条件为达到预设的最大迭代次数或者所有元素与其对应的聚类中心元素之间的欧式距离均值小于预设的欧式距离阈值；(3.6)根据完成聚类后的类别C 1 ,C 2 ,...,C K ，统计每个类别中的元素数量，获取最大元素数量对应的类别以及该类别对应的聚类中心元素；(3.7)以步骤(3.6)获取到的最大元素数量对应类别的聚类中心元素为参考，并根据步骤(3.1)获取的所有像元的多时相特征向量计算相对多时相特征向量，获取相对多时相图像序列。 4.根据权利要求3所述的多时相红外图像融合方法，其特征在于，所述两个元素之间的距离的计算公式为：其中，f d (p a ,p b )表示元素p a 和元素p b 之间的距离， 和 分别表示p a 和p b 的均值；T表示图像序列的时间长度，也表示像元多时相特征向量的长度；t为时间长度中的t时刻，也是像元多时相特征向量的索引序号，1≤t≤T；所述步骤(3.4)中更新后的聚类中心元素的计算公式为：其中，u' k 表示更新后的类别C k 的聚类中心元素，|C k |表示类别C k 中的元素个数；所述所有元素与其对应的聚类中心元素之间的欧式距离均值的计算公式为：其中，λ表示类别C k 中的所有元素与其对应的聚类中心元素之间的欧式距离均值。 5.根据权利要求1所述的多时相红外图像融合方法，其特征在于，所述步骤(4)包括以下子步骤：(4.1)根据相对多时相图像序列中每个像元的相对多时特征向量计算每个像元的多时相统计特征的均值、方差和中值；(4.2)分别对所有像元的多时相统计特征的均值、方差和中值进行归一化处理。 6.根据权利要求5所述的多时相红外图像融合方法，其特征在于，所述像元的多时相统计特征的均值、方差和中值的计算公式分别为：其中， s′ m 和c′ m 分别表示像元p′ m 的均值、方差和中值， 表示像元p′ m 在时刻t的像素值， 表示向下取整，[·] (t) 表示选取第t个像素值，f sort (·)表示降序排序操作；所述归一化的计算公式为：其中，f norm (·)表示归一化处理后的矩阵，X为待归一化的矩阵，max(·)和min(·)分别表示求解矩阵的最大值和最小值。 7.一种多时相红外图像融合装置，包括一个或多个处理器和存储器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现权利要求1-6中任一项所述的多时相红外图像融合方法。 8.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，用于实现权利要求1-6中任一项所述的多时相红外图像融合方法。