1.一种考虑模态差异的红外与可见光图像配准方法,其特征在于,包括:获取红外图像与可见光图像;将红外图像与可见光图像映射为辐射不变的图像;对辐射不变的图像进行局部特征计算和局部点匹配,得到匹配的特征点对;根据匹配的特征点对在红外图像与可见光图像中的像素坐标,利用渐进一致采样算法,得到红外图像到可见光图像的变换参数;根据所述变换参数,将红外图像的坐标变换到可见光图像坐标系下,实现红外图像与可见光图像的配准。
2.如权利要求1所述的一种考虑模态差异的红外与可见光图像配准方法,其特征在于,对红外图像与可见光图像,先进行傅里叶变换映射到频域,在频域上进行二维对数伽柏滤波。
3.如权利要求2所述的一种考虑模态差异的红外与可见光图像配准方法,其特征在于,基于小波变换,利用二维对数伽柏滤波器的空域奇对称部分和偶对称部分,对红外图像和可见光图像按照多个尺度与多个方向进行空域滤波;计算不同尺度与不同方向滤波后结果的实部与虚部,并计算各个像素幅值;计算同一方向不同尺度的空域像素点幅值叠加结果,得到多个方向的对数伽柏图;每个像素取值为不同方向的对数伽柏图相应像素最大值,得到辐射不变图。
4.如权利要求1所述的一种考虑模态差异的红外与可见光图像配准方法,其特征在于,利用深度自注意力学习网络,对辐射不变的图像进行局部特征计算和局部点匹配,得到匹配的特征点对。
5.如权利要求4所述的一种考虑模态差异的红外与可见光图像配准方法,其特征在于,将辐射不变的图像输入深度自注意力学习网络,局部特征卷积神经网络提取两个粗略特征图,尺寸为原始图像大小的1/8,以及两个精细特征图,尺寸为原始图像大小的1/2;将粗略特征图展平为一维向量并使用位置信息进行编码;一维特征向量经过一个自注意力层和一个交叉注意力层,分别捕获图像内和图像之间的全局上下文以增强特征;进一步输入匹配模块以获得粗略匹配;所述匹配模块通过双Softmax算子实现,计算匹配置信度矩阵,以置信度选择匹配项;将在粗略特征图上获得的匹配细化为具有亚像素精度的精细匹配。
6.如权利要求1所述的一种考虑模态差异的红外与可见光图像配准方法,其特征在于,在得到红外图像与可见光图像中匹配的特征点对后,根据特征点对所在的像素坐标计算图像间的变换参数。
7.如权利要求4所述的一种考虑模态差异的红外与可见光图像配准方法,其特征在于,依据变换参数,将红外图像的坐标变换到可见光图像的坐标系下,按照对应位置像素取平均值,得到最终的融合图像。
8.一种考虑模态差异的红外与可见光图像配准系统,其特征在于,包括:数据采集模块,被配置为:获取红外图像与可见光图像;映射模块,被配置为:将红外图像与可见光图像映射为辐射不变的图像;特征点匹配模块,被配置为:对辐射不变的图像进行局部特征计算和局部点匹配,得到匹配的特征点对;变换参数计算模块,被配置为:根据匹配的特征点对在红外图像与可见光图像中的像素坐标,利用渐进一致采样算法,得到红外图像到可见光图像的变换参数;配准模块,被配置为:根据所述变换参数,将红外图像的坐标变换到可见光图像坐标系下,实现红外图像与可见光图像的配准。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现了如权利要求1-7任一项所述的考虑模态差异的红外与可见光图像配准方法的步骤。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现了如权利要求1-7任一项所述的考虑模态差异的红外与可见光图像配准方法的步骤。