一种基于渐进式邻居一致性挖掘的图像匹配方法

1.一种基于渐进式邻居一致性挖掘的图像匹配方法，其特征在于，该方法包括以下步骤：步骤1：采用特征提取算法对给定的匹配图像对 和 进行特征提取，每个图像特征由关键点坐标和对应的描述子来表示，将所有特征构建为初始图像特征匹配集 ： ;其中， 表示第 对匹配， 表示匹配的总数， 和 分别表示 在图像对 和 的归一化坐标；步骤2：依据邻居一致性挖掘网络学习到的内点概率对初始图像特征匹配集 进行剪枝，获得候选图像特征匹配集 和对应的内点权重 ；所述步骤2进一步包括以下流程：步骤2-1：将初始图像特征匹配集 经3个残差块处理得到中间特征映射集 ，其中 表示通道维度， 表示匹配的总数，得到三种类型的邻居空间；其中，所述坐标空间为初始特征匹配 ，所述特征空间为中间特征映射 ，所述全局图空间 用于在全局层面上反映内点的一致性；步骤2-2：计算所述全局图空间，过程如下：根据中间特征映射F去计算初步内点权重 ，其中 表示多层感知器层， 和 表示激活函数 ；构建一个加权的全局图 ，其中， 表示所有图像特征匹配节点， 表示无向边，通过对应的权重 实现每两个图像特征匹配连接，其中 、 分别表示第 个和第j个图像特征匹配的初步内点权重， 表示其连接边的权重，进一步得到一个邻接矩阵 ；获得全局图空间 ，如下式所示： ;其中， 表示图拉普拉斯矩阵，F表示中间特征映射， 表示带有自连接的邻接矩阵， 表示对角单位矩阵， 表示邻接矩阵， 表示对角度矩阵， 表示可训练的权重；步骤2-3：基于步骤2-1获得的三种邻居空间，使用k最近邻搜索策略为每个图像特征匹配寻找空间k邻居、特征空间k邻居和全局图k邻居这三种不同类型邻居；步骤2-4：对步骤2-3得到的三种不同类型邻居分别构建空间邻居嵌入 、特征空间邻居嵌入 和全局图邻居嵌入 ；步骤2-5：利用自我上下文提取层捕获邻居内的关系和聚合上下文信息，具体步骤描述如下：基于步骤2-4构建的空间邻居嵌入 、特征空间邻居嵌入 和全局图邻居嵌入 进行邻居一致性信息挖掘，利用自我上下文提取层分别处理每个邻居嵌入，利用分组卷积方式沿着图节点动态提取邻居间的上下文特征；将k个邻居分成g个组，并使用两个连续的卷积层、批归一化和激活层ReLU去处理邻居嵌入，得到邻居内的上下文 ，如下式所示： ;其中， 和 表示带有 和 核的卷积层去动态地聚合上下文信息；利用三个并行的自我上下文提取层去单独处理三种邻居嵌入，获得三个对应的邻居上下文特征 ；步骤2-6：利用交叉上下文交互层融合和调整邻居间的交互信息，即在每个交叉注意力分支中把一种邻居上下文特征作为Values 、另外两种邻居上下文特征则作为Queries 和Keys ；通过自注意力机制操作得到交叉注意力分支的输出 ，如下式所示： ;其中， 表示一个可学习的权重， 表示注意力权重矩阵， 表示多层感知器层， 表示一种邻居上下文特征Values ；进而，得到三种邻居空间的邻居交互特征 作为邻居一致性块的输出；步骤2-7：设置两个连续的剪枝模块连续两次执行包括步骤2-1至步骤2-6的处理过程，获得剪枝后的图像特征匹配的内点概率；基于获得的内点概率值将 个初始图像特征匹配剪枝成 个候选图像特征匹配集 以及对应的内点权重 ；步骤3：根据步骤2得到的候选图像特征匹配集 以及对应的内点权重 ，预测对应的本质矩阵 ，如下式所示： ;其中， 表示加权八点算法， 表示根据预测的本质矩阵；步骤4：根据步骤3得到的本质矩阵 ，求得所有输入的初始图像特征匹配的内点概率 ，如下式所示： ;其中， 表示全尺寸验证操作；最后，估计两张匹配图像的本质矩阵以及输出正确匹配内点的概率。 2.如权利要求1所述的一种基于渐进式邻居一致性挖掘的图像匹配方法，还包括为每个剪枝模块添加顺序可获得块和全局一致性块，同时采用了渐进邻居精炼处理、增加邻居可靠性和提取丰富的邻居上下文信息，获得准确的网络逻辑值用于后续的匹配剪枝过程。