基于双变换网络的深度学习SAR图像配准方法

1.一种基于双变换网络的深度学习SAR图像配准方法，其特征在于，包括如下步骤：(1)生成数据集：1a)使用SIFT方法分别在参考图像R获取m个关键点 和在待配准图像S上获取n个关键点 1≤i≤m，1≤j≤n，并将这两者做初步配准，得到从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵 和从参考图像坐标系变换到待配准图像坐标系的初始变换矩阵 1b)分别以 和 这些关键点为中心，按照64×64的大小对参考图像R和待配准图像S截图，删除不能够截图的点，剩下能进行截图的a个参考图像点和b个待配准图像点，得到参考图像集合 和待配准图像集合 1≤C≤a，1≤D≤b；1c)对 和 分别进行t次包括0°-20°的仿射变换及灰度变换，该 与其变换后结果组合得到参考图像集合 该 以及变换后结果组合得到待配准图像集合 再对 和 分别进行v次角度随机在0°-20°范围的仿射变换，该 与其变换后的结果组合得到用于验证的参考图像集合样本集合 该 与其变换后的结果组成用于验证的待配准图像集合 其中150≤t≤250；40≤v≤100；(2)选用现有的深度图像分类网络，并设置分类头的类别数目，构建双变换网络的两个分支：2a)将参考图像上的关键点作为类别，在参考图像到待配准图像分支上取与参考图像集合 中含有图片的个数相同的类别数目，将这些类别输入至深度图像分类网络的分类器，构成双变换网络的第一分支“R-S”；2b)将待配准图像上的关键点作为类别，在待配准图像到参考图像分支上取与待配准图像集合 中含有图片个数相同的类别数目，将这些类别输入至深度图像分类网络的分类器，构成双变换网络的第二分支“S-R”；(3)对网络的两个分支进行训练，获得双变换网络：3a)将参考图像集合 作为训练集，将仿射变换后的参考图像集合 作为验证集，采用梯度下降法对第一分支R-S进行训练，并在每次把训练数据集的全部样本训练完一遍后，使用验证集 进行一次验证，当准确率达到目标及目标以上时，保存训练好的模型，得到训练好的双变换网络第一分支；3b)将待配准图像集合 作为训练集，将仿射变换后的待配准图像集合 作为验证集,采用梯度下降法对第二分支S-R进行训练，并在每次把训练数据集的全部样本训练完一遍后，使用验证集 进行一次验证，当准确率达到目标及目标以上时保存训练好的模型，得到训练好的双变换网络第二分支；3c)将训练好的第一分支与训练好的第二分支进行并联，构成双变换网络；(4)利用训练好的双变换网络，进行初步匹配：4a)利用1a)中从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵 把待配准图像上的关键点变换到参考图像上，并删除不能截图的点生成点集合 以 中的点为中心截图制作测试图像集 输入到训练好的双变换网络第一分支进行图片分类，若分为同类，则代表测试集图片对应的在待配准图像上面的点与作为类别的参考图像上面的点是匹配的点，并将其对应图像块相似度低于阈值的点删除，完成R-S支路的初步配准；4b)利用1a)中从参考图像坐标系变换到待配准图像坐标系的初始变换矩阵 把参考图像上的关键点变换到待配准图像上，并删除不能截图的点生成点集合 以 中的点为中心截图制作测试图像集 输入到训练好的双变换网络第二分支进行图片分类，若分为同类，则代表测试集图片对应的在参考图像上面的点与作为类别的待配准图像上面的点是匹配的点，并将其对应图像块相似度低于阈值的点删除，完成S-R支路的初步配准；(5)精细匹配：5a)在完成初步配准R-S支路的训练集点旁边重新选点截图，对4a)得到的初步配准进行更新，得到点对集合中的R-S分支训练集上的点；5b)在完成初步配准的S-R支路的训练集点的旁边重新选点截图，对4b)得到的初步配准进行更新，得到点对集合中的S-R分支训练集上的点；5c)选取两条支路都认可的点对，并根据5a)和5b)中更新匹配的结果对其进行更新，得到最终的配准结果。 2.根据权利要求1所述的方法，其特征在于：步骤1a)中得到的从待配准图像坐标系变换到参考图像坐标系的初始变换矩阵 和从参考图像坐标系变换到待配准图像坐标系的初始变换矩阵 分别表示如下：其中，a 11 、a 12 、a 13 、a 21 、a 22 、a 23 和b 11 、b 12 、b 13 、b 21 、b 22 、b 23 均为浮点数，通过最小二乘法计算得到。 3.根据权利要求1所述的方法，其特征在于：步骤1b)中得到的参考图像集合 和待配准图像集合 分别表示如下：其中， 是第i个参考图像上截取的图像块1≤i≤a， 是第j个待配准图像上截取的图像块，1≤j≤b，这些参考图像和待配准图像均为64×64大小的图片。 4.根据权利要求1所述的方法，其特征在于：步骤1c)中得到的 和 以及 和 分别表示如下：其中， 为第f次随机仿射变换后的 每个子集，该子集中含有的图片数目与 完全一致，其类别数与 一致； 为第e次随机仿射变换后的 每个子集，该子集中含有的图片数目与 完全一致，其类别数与 一致； 为第l次随机仿射变换后的 每个子集，该子集中含有的图片数目与 完全一致，其类别数与 一致； 为第h次随机仿射变换后的 每个子集，该子集中含有的图片数目与 完全一致，其类别数与 一致。 5.根据权利要求1所述的方法，其特征在于：步骤2a)中得到网络的第一分支“R-S”，其由依次级联的补丁生成模块、线性镶嵌模块、第一两层级联的窗口内自注意力机制模块、第一补丁融合模块、第二两层级联的窗口内自注意力机制模块、第二补丁融合模块、六级级联的窗口内自注意力机制模块、第三补丁融合模块、第三两层级联的窗口内自注意力机制模块、“R-S”分支分类器，该分类器的类别数与1b)所得的图片集合 中含有图片个数一致，且该分类器之外的各模块的参数设置均与现有“Swin Transformer”网络的预设值相同。 6.根据权利要求1所述的方法，其特征在于：步骤2b)中得到网络的第二分支“S-R”，其由依次级联的补丁生成模块、线性镶嵌模块、第一两层级联的窗口内自注意力机制模块、第一补丁融合模块、第二两层级联的窗口内自注意力机制模块、第二补丁融合模块、六级级联的窗口内自注意力机制模块、第三补丁融合模块、第三两层级联的窗口内自注意力机制模块、“S-R”分支分类器，该分类器的类别数与1b)所得的图片集合 中含有图片个数一致，且该分类器之外的各模块的参数设置均与现有“Swin Transformer”网络的预设值相同。 7.根据权利要求1所述的方法，其特征在于：所述步骤4a)得到的 分别表示如下：其中，ρ e 为第e个待配准图像上变换到参考图像上的关键点， 为利用该关键点按64x64大小截取的图像块，1≤e≤c，c为点集合 中点的个数；所述步骤4b)得到S-R分支的测试集 分别表示如下：其中，ρ f 为在第f个参考图像上变换到待配准图像上的关键点， 为利用该关键点按64x64大小截取的图像块，1≤f≤d，d为点集合 中点的个数。 8.根据权利要求1所述的方法，其特征在于：步骤3a)中采用梯度下降法对第一分支R-S进行训练，并在每次把训练数据集的全部样本训练完一遍后，使用其验证集 进行一次验证，实现如下:3a1)将R-S分支的训练集合的样本图片进行预处理，即将 中的图片由64×64的大小，采用双立方插值法，扩展为224×224的大小；3a2)将R-S分支的验证集合的样本图片进行预处理，即将 中的图片由64×64的大小，采用双立方插值法，扩展为224×224的大小；3a3)设置每次输入网络的训练图片批大小为64,将224×224大小的图像输入到双变换网络的第一分支“R-S”，计算其损失函数梯度值，利用小批量梯度下降法更新第一分支R-S的权值；3a4)在将 当中所有图片都训练一遍之后，利用验证集 当中的全部图片样本进行一次验证，并计算其准确率Accurancy：其中，T Acc 为正确分类的图片，而T total 为 当中图片总数；3a5)记录每次验证得到的Accurancy的值，当Accurancy的值超过92％时，保存网络模型，作为训练好的双变换网络的第一分支“R-S”。 9.根据权利要求1所述的方法，其特征在于，3b)中采用梯度下降法对第二分支S-R进行训练，并在每次将训练数据集的全部样本训练完一遍后，使用验证集 进行一次验证，实现如下：3b1)将S-R分支的训练集合的样本图片进行预处理，即将 中的图片由64×64的大小，采用双立方插值法，扩展为224×224的大小；3b2)将S-R分支的验证集合的样本图片进行预处理，即将 中的图片由64×64的大小，采用双立方插值法，扩展为224×224的大小；3b3)设置每次输入网络的训练图片批大小为64,将224×224大小的图像输入到双变换网络的第二分支“S-R”，计算其损失函数梯度值，利用小批量梯度下降法更新第二分支S-R的权值；3b4)把 当中所有图片都训练一遍之后，利用验证集 当中的全部图片样本进行一次验证，并计算准确率Accurancy：其中，T Acc 为正确分类的图片，而T total 为 当中图片总数；3b5)记录每次验证得到的Accurancy的值，当Accurancy的值超过92％时，保存网络模型，作为训练好的双变换网络的第二分支“S-R”。 10.根据权利要求1所述的方法，其特征在于：步骤5a)和步骤5b)的实现如下：所述步骤5a)中在完成初步配准的R-S分支的待配准图像上重新选点截图，更新点集合：5a1)在R-S分支测试集 中每个点的360°范围内每隔45°选取一个方向，共得到8个方向，每个方向上每隔两个像素点距离，选取8个新点；5a2)分别以5a1)得到的八个新点为中心，按照64×64的大小在参考图像上面截图，共得到八张新图像块，利用八张新图与原点对应类别的待配准图像上的图像块做差分计算相似度；5a3)选取相似度最大的图像块对应的中心点，用这个点替代原R-S分支测试集 的点，更新匹配点对，如果所有点的相似度都不如原来那个，保持现状；所述步骤5b)中在完成初步配准的S-R支路的参考图像上重新选点截图，更新点集合，其实现步骤与5a)相同。