有效
基于正交注意力机制的层次化压缩图匹配方法及系统
李东升、刘苧、蹇松雷、赖志权、刘锋、陈易欣、黄震
中国人民解放军国防科技大学
摘要
本发明公开了一种基于正交注意力机制的层次化压缩图匹配方法及系统,包括获取拟匹配的大图数据对,对大图数据进行预处理;根据历史图库训练基于正交注意力机制的大图匹配模型;将预处理后的图数据对输入图匹配模型得到匹配结果并输出。本发明在获取图向量的过程中使用图注意力网络对图进行降维训练,对点向量进行更新,使得点向量能更好地表达图拓扑结构及节点信息,然后将降维后的点向量及邻接矩阵输入正交注意力网络进行图规模压缩,通过逐层压缩使得图信息的提取更加细致,最终获得了更为精确的图向量,进而通过压缩后的精确图向量进行图匹配,有利于图匹配结果的准确性,并且计算量小,计算更加快速准确。
1.一种基于正交注意力机制的层次化压缩图匹配方法,其特征在于,包括以下步骤:步骤1:获取拟匹配的大图数据对,对大图数据进行预处理,所述预处理是指将图进行点向量初始化,所述大图数据是指节点数大于16个点以上的图;步骤2:根据历史图库训练基于正交注意力机制的大图匹配模型;步骤3:将预处理后的大图数据对输入大图匹配模型得到匹配结果并输出;步骤2中所述大图匹配模型的训练方法为步骤2.1:获取历史图库中所有的大图数据,对历史图库中的大图数据进行预处理;步骤2.2:对预处理后的历史图库中的大图数据采用VF2算法生成图数据训练样本库并添加标签,所述图数据训练样本库中每条样本的数据组织形式为 的成对形式,标签为1表示图数据中的两幅图 与 匹配,标签为0表示图数据中的两幅图 与 不匹配,将每一条图数据对及其标签作为一条训练样本;步骤2.3:设置迭代次数,每次迭代随机从训练样本库中提取N条样本;步骤2.4:对每一条样本数据中的两幅图各自的点向量集合 及邻接矩阵A输入图注意力网络更新点向量,分别得到两幅图的低维点向量矩阵X;步骤2.5:将所述低维点向量矩阵X进行线性转换,得到维度为 的点向量矩阵 , 为线性转换前的点向量矩阵维度, 为线性转换后的点向量矩阵维度, 为人为设置的超参, 的每一行对应压缩前的每个点向量,每一列对应压缩后的每个点向量,根据 得到图压缩转换矩阵 ,其中 , , 是通过参数 作用的X的线性转换矩阵,F表示向量初始维度,为人工设定的参数,转移因子 表示节点压缩前图节点p对于压缩后图节点q的权重, T 为由转移因子 形成的图压缩转换矩阵, 代表了正交注意力机制, 是 中的一行,代表压缩前图节点p的向量表示, 是 中的一列,代表压缩后图节点q的向量表示, 为激活函数, 为归一化函数;步骤2.6:根据所述图压缩转换矩阵 T 进行图压缩,生成新的点向量矩阵 及邻接矩阵 , 表示压缩后有kn个节点的图 : , ,步骤2.7:将所述点向量矩阵 及邻接矩阵 输入步骤2.4,直至图对中的图被压缩至所需规模并输出图对 各自的图向量;步骤2.8:计算图对 的欧式距离并利用自定义归一化函数进行归一化,采用交叉熵损失函数,优化图匹配模型使得分类结果与真实标签尽可能一致: ,当 大于等于预设的阈值,则分类结果为匹配,预测标签值为1,当 小于预设的阈值,则分类结果为不匹配,即预测标签值为0; 为图对 的真实标签, 为向量空间上图对的欧式距离, 为超参,训练时人为设定, 为训练样本数;步骤2.9:当 条样本数据计算完后,更新迭代次数,返回步骤2.3,直至达到最大迭代次数,输出图匹配模型。
2.根据权利要求1所述的方法,其特征在于:所述图匹配模型为逻辑回归模型。
3.一种基于正交注意力机制的层次化压缩图匹配系统,其特征在于:包括以下模块:预处理模块:用于获取拟匹配的大图数据对,对大图数据进行预处理,所述预处理是指将图进行点向量初始化,所述大图数据是指节点数大于16个点以上的图,;大图匹配模型训练模块:用于根据历史图库训练基于正交注意力机制的大图匹配模型;图匹配结果输出模块:用于将预处理后的大图数据对输入大图匹配模型得到匹配结果并输出;所述大图匹配模型训练模块训练大图匹配模型的方法为步骤2.1:获取历史图库中所有的大图数据,对历史图库中的大图数据进行预处理;步骤2.2:对预处理后的历史图库中的大图数据采用VF2算法生成图数据训练样本库并添加标签,所述图数据训练样本库中每条样本的数据组织形式为 的成对形式,标签为1表示图数据中的两幅图 与 匹配,标签为0表示图数据中的两幅图 与 不匹配,将每一条图数据对及其标签作为一条训练样本;步骤2.3:设置迭代次数,每次迭代随机从训练样本库中提取N条样本;步骤2.4:对每一条样本数据中的两幅图各自的点向量集合 及邻接矩阵A输入图注意力网络更新点向量,分别得到两幅图的低维点向量矩阵X;步骤2.5:将所述低维点向量矩阵X进行线性转换,得到维度为 的点向量矩阵 , 为线性转换前的点向量矩阵维度, 为线性转换后的点向量矩阵维度, 为人为设置的超参, 的每一行对应压缩前的每个点向量,每一列对应压缩后的每个点向量,根据 得到图压缩转换矩阵 ,其中 , , 是通过参数 作用的X的线性转换矩阵,F表示向量初始维度,为人工设定的参数,转移因子 表示节点压缩前图节点p对于压缩后图节点q的权重, T 为由转移因子 形成的图压缩转换矩阵, 代表了正交注意力机制, 是 中的一行,代表压缩前图节点p的向量表示, 是 中的一列,代表压缩后图节点q的向量表示, 为激活函数, 为归一化函数;步骤2.6:根据所述图压缩转换矩阵 T 进行图压缩,生成新的点向量矩阵 及邻接矩阵 , 表示压缩后有kn个节点的图 : , ,步骤2.7:将所述点向量矩阵 及邻接矩阵 输入步骤2.4,直至图对中的图被压缩至所需规模并输出图对 各自的图向量;步骤2.8:计算图对 的欧式距离并利用自定义归一化函数进行归一化,采用交叉熵损失函数,优化图匹配模型使得分类结果与真实标签尽可能一致: ,当 大于等于预设的阈值,则分类结果为匹配,预测标签值为1,当 小于预设的阈值,则分类结果为不匹配,即预测标签值为0; 为图对 的真实标签, 为向量空间上图对的欧式距离, 为超参,训练时人为设定, 为训练样本数;步骤2.9:当 条样本数据计算完后,更新迭代次数,返回步骤2.3,直至达到最大迭代次数,输出图匹配模型。
4.一种基于正交注意力机制的层次化压缩图匹配方法,其特征在于,包括以下步骤:S1:获取拟匹配的三元组图数据,对小图数据进行预处理,所述预处理是指将图进行点向量初始化,所述小图数据是指节点数小于16个点以内的图;S2:根据历史图库训练基于正交注意力机制的小图匹配模型;S3:将预处理后的三元组图数据输入小图匹配模型得到匹配结果并输出;S2中所述小图匹配模型的训练方法为:S2.1:获取历史图库中的小图数据,对历史图库中的小图数据进行预处理;S2.2:对历史图库中的每条小图数据,用A*算法计算出数据集中任意两图间的图编辑距离,将数据组织为 的三元组形式,每个三元组表示模型将进行 与 的相对相似度比较,将每个三元组数据作为一条样本数据,将 与 的图编辑距离之差作为样本数据的标签;S2.3:将历史图库中所有三元组图数据及其标签组成训练样本库;S2.4:设置迭代次数,每次迭代随机从训练样本库中提取 条样本;S2.5:对每一条样本中三元组中的各图的点向量集合及邻接矩阵A输入图注意力网络更新点向量,得到图的低维点向量矩阵X;S2.6:将所述低维点向量矩阵X进行线性转换,得到维度为n*kn的点向量矩阵 , 的每一行对应压缩前的每个点向量,每一列对应压缩后的每个点向量,根据 得到图压缩转换矩阵T,其中 为人为设置的超参; , , 是通过参数 作用的X的线性转换矩阵,转移因子 表示节点压缩前图节点p对于压缩后图节点q的权重, T 为由转移因子 形成的图压缩转换矩阵, 代表了正交注意力机制, 是 中的一行,代表压缩前图节点p的向量表示, 是 中的一列,代表压缩后图节点q的向量表示, 为激活函数, 为归一化函数;S2.7:根据所述图压缩转换矩阵T,进行图压缩,生成新的点向量矩阵 及邻接矩阵 , 表示压缩后有kn个节点的图 : , ,其中,F表示向量初始维度,为人工设定的参数;S2.8:将所述点向量矩阵 及邻接矩阵 输入S2.5,直至图对中的图被压缩至所需规模并输出三元组 各自的图向量, 分别表示历史图库中的小图数据;S2.9:根据所输出的三元组 各自的图向量,分别计算 和 的欧式距离,采用均方误差损失函数,优化小图匹配模型使得两欧式距离之差与真实值的图编辑距离之差尽可能接近: , 为三元组 的真实标签, 为向量空间上 的欧式距离, 为向量空间上 的欧式距离, 为训练样本数;当 小于所设的阈值,则 两幅图更相似,当 大于所设的阈值,则 两幅图更相似;S2.10:当 条样本数据计算完后,更新迭代次数,返回S2.4,直至达到最大迭代次数,输出小图匹配模型。
5.根据权利要求4所述的方法,其特征在于:所述小图匹配模型为线性回归模型。
6.一种基于正交注意力机制的层次化压缩图匹配系统,其特征在于,包括以下模块:小图数据预处理模块:获取拟匹配的三元组图数据,对小图数据进行预处理,所述预处理是指将图进行点向量初始化;小图匹配模型训练模块:根据历史图库训练基于正交注意力机制的小图匹配模型;图匹配结果输出模块:将预处理后的三元组图数据对输入小图匹配模型得到匹配结果并输出;所述小图匹配模型训练模块训练小图匹配模型的方法为:S2.1:获取历史图库中的小图数据,对历史图库中的小图数据进行预处理;S2.2:对历史图库中的每条小图数据,用A*算法计算出数据集中任意两图间的图编辑距离,将数据组织为 的三元组形式,每个三元组表示模型将进行 与 的相对相似度比较,将每个三元组数据作为一条样本数据,将 与 的图编辑距离之差作为样本数据的标签;S2.3:将历史图库中所有三元组图数据及其标签组成训练样本库;S2.4:设置迭代次数,每次迭代随机从训练样本库中提取 条样本;S2.5:对每一条样本中三元组中的各图的点向量集合及邻接矩阵A输入图注意力网络更新点向量,得到图的低维点向量矩阵X;S2.6:将所述低维点向量矩阵X进行线性转换,得到维度为n*kn的点向量矩阵 , 的每一行对应压缩前的每个点向量,每一列对应压缩后的每个点向量,根据 得到图压缩转换矩阵T,其中 为人为设置的超参; , , 是通过参数 作用的X的线性转换矩阵,转移因子 表示节点压缩前图节点p对于压缩后图节点q的权重, T 为由转移因子 形成的图压缩转换矩阵, 代表了正交注意力机制, 是 中的一行,代表压缩前图节点p的向量表示, 是 中的一列,代表压缩后图节点q的向量表示, 为激活函数, 为归一化函数;S2.7:根据所述图压缩转换矩阵T,进行图压缩,生成新的点向量矩阵 及邻接矩阵 , 表示压缩后有kn个节点的图 : , ,其中,F表示向量初始维度,为人工设定的参数;S2.8:将所述点向量矩阵 及邻接矩阵 输入S2.5,直至图对中的图被压缩至所需规模并输出三元组 各自的图向量, 分别表示历史图库中的小图数据;S2.9:根据所输出的三元组 各自的图向量,分别计算 和 的欧式距离,采用均方误差损失函数,优化小图匹配模型使得两欧式距离之差与真实值的图编辑距离之差尽可能接近: , 为三元组 的真实标签, 为向量空间上 的欧式距离, 为向量空间上 的欧式距离, 为训练样本数;当 小于所设的阈值,则 两幅图更相似,当 大于所设的阈值,则 两幅图更相似;S2.10:当 条样本数据计算完后,更新迭代次数,返回S2.4,直至达到最大迭代次数,输出小图匹配模型。
7.根据权利要求1或4所述的方法,其特征在于:步骤2.4或S2.5中所述更新点向量的具体方法为:a. 计算图节点i与其邻居节点j之间的注意力权重: ,其中, 是图注意力网络参数向量, 表示第 个节点的点向量, 表示第 个邻居节点的点向量; 为激活函数,b. 根据注意力权重更新图的节点信息: ,将图的点向量集合及其邻接矩阵重复b次输入GAT网络,其中b为人工设定参数,网络输出为训练获得的图节点的低维向量X表示, 表示第 个节点的邻居节点集合;σ是非线性激活函数。
8.根据权利要求1或4所述的方法,其特征在于:所述点向量初始化是指:对于给定包含n个节点 的图 ,每个节点都转换为实数向量 ,其中F表示向量初始维度,为人工设定的参数,向量初始化根据节点类型分为两种情况:若图中包含m种类型的节点,则构造维度为m的one-hot向量;若图中只有一种类型的节点,则构造维度为F的向量,每个维度初始值均设为1。



