有效
一种基于分区池化超图神经网络的图节点分类方法
金福生、崔鹏、徐源、袁野、王国仁
北京理工大学
金
金福生机构 暂无
技术领域 暂无
崔
崔鹏机构 暂无
技术领域 暂无
徐
徐源机构 暂无
技术领域 暂无
袁
袁野机构 暂无
技术领域 暂无
王
王国仁机构 暂无
技术领域 暂无
摘要
本发明公开了一种基于分区池化超图神经网络的图节点分类方法,涉及图像处理技术领域,将司法图像中的实体目标视为图中的节点,将实体目标之间的关系建模为图(Graph),将目标分类任务转化为图的节点分类任务,从而充分利用实体目标之间的关联关系,将FastRCNN提取到的深层特征向量视为节点的特征向量,然后根据节点特征向量的相似度构建节点之间的邻接关系,最后使用图节点分类技术完成司法图像的目标识别任务。本发明通过池化技术,提高图像分类识别速度和精度。
1.一种基于分区池化超图神经网络的图节点分类方法,其特征在于,包括以下步骤:步骤1:获取司法图像,并利用Fast RCNN提取司法图像中所有实体目标的高阶特征向量;步骤2:将司法图像中的实体目标作为节点,将高阶特征向量作为节点特征向量,所有节点的节点特征向量构成节点特征矩阵;计算任意两个节点特征向量的余弦相似度,将余弦相似度超过设定相似阈值的节点特征向量对应的两个节点作为相邻节点,获得初始的邻接矩阵,构建原始图;步骤3:将原始图转化为超图,根据邻接矩阵构建超图,获得超图关联矩阵,并初始化迭代次数;步骤4:分区池化超图神经网络的超图卷积层根据超图关联矩阵计算超图拉普拉斯矩阵,利用超图拉普拉斯矩阵更新节点特征矩阵;步骤5:分区池化超图神经网络的分区域池化层根据超图关联矩阵和节点特征矩阵计算节点综合评分,根据节点综合评分在超图的超边内选择要保留的节点,删除其他节点,更新超图关联矩阵和节点特征矩阵;步骤6:分区池化超图神经网络的的读出层根据超图关联矩阵和节点特征矩阵获得超边特征矩阵,迭代次数加1;步骤7:迭代次数是否等于最大迭代次数,如果是,则进入步骤8,如果否则放回步骤4;步骤8:根据超边特征矩阵对步骤2中的节点进行分类,实现司法图像分类。
2.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法,其特征在于,步骤2中构建的原始图用所有节点的节点特征向量组成的节点特征矩阵和邻接矩阵表示。
3.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法,其特征在于,步骤3中将原始图转化为超图是将原始图中每个节点和其相邻节点采用一个超边相连;根据邻接矩阵计算超图关联矩阵,H=A+I, 表示超图关联矩阵,E是超边的数量,N为实体目标数量,初始时E=N;A表示邻接矩阵;I是单位矩阵。
4.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法,其特征在于,步骤4的具体实现过程为:步骤41:根据超图关联矩阵计算超图的节点度和超边度,表示为:其中,d(v)表示第v个节点的节点度;d(e)表示第e个超边的超边度;所有节点的节点度构成节点度矩阵,所有超边的超边度构成超边度矩阵;W(e)表示第e个超边的超边权重;H(v,e)表示第v个节点和第e个超边对应的超图关联矩阵中的值;E表示超边数量;N为实体目标数量;步骤42:根据节点度矩阵和超边度矩阵计算超图拉普拉斯矩阵Δ,表示为:其中, 表示节点度矩阵; 表示超边度矩阵; 表示超边的权重矩阵;步骤43:将超图拉普拉斯矩阵输入超图卷积层进行超图卷积,获得更新后的节点特征矩阵,表示为:X (k) =σ(ΔX (k-1) Θ)其中,X (k-1) 表示超图卷积前的节点特征矩阵; 表示可学习的参数,F表示实体目标的节点特征向量的维度;U表示分区池化超图神经网络的隐藏层维度;σ是校正线性单元激活函数; 表示超图卷积后的节点特征矩阵。
5.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法,其特征在于,步骤5的具体实现过程为:步骤51:计算节点类型评分S 1 ,表达式为:S 1 =XW s1 +b s1其中, 为节点类型评分的可学习参数, 是节点类型评分的可学习偏移量;X表示超图卷积更新后的节点特征矩阵;U表示分区池化超图神经网络的隐藏层维度;步骤52:计算节点对超边的重要性评分,表达式为:S 2 (v,e)=((X(v)||X E (e))W s2 +b s2 )*H(v,e)其中,S 2 (v,e)表示第v节点对第e个超边的重要性; 表示节点对超边的重要性评分的可学习参数, 是节点对超边的重要性评分的可学习偏移量;X(v)表示第v节点的节点特征向量;X E (e)表示第e个超边的超边特征向量;d(e)表示第e个超边的超边度;H(v,e)表示第v个节点和第e个超边对应的超图关联矩阵中的值;N为实体目标数量;步骤53:根据节点类型评分和节点对超边的重要性评分计算节点综合评分S,表达式为:S(v,e)=sigmoid(S 1 (v)+S 2 (v,e))*H(v,e)其中,S(v,e)表示第e个超边中第v个节点的节点综合评分;S 1 (ν)表示第v节点的节点类型评分;步骤54:利用节点综合评分更新节点特征矩阵,表达式为:其中,X(v)表示第v个节点的节点特征向量;⊙表示哈达玛乘法;E表示超边数量;d(v)表示第v个节点的节点度;步骤55:对超图中的所有超边进行边内池化操作,根据节点综合评分S决定保留或删除超边内的节点,保留的节点为:idx(e)=topk(S[:,e],keep(e)),其中,idx(r)表示第e个超边中保留的节点;pr表示池化率;topk是求最高keep(e)对应的节点编号的函数;S[:,e]表示与第e个超边相连的所有节点的节点综合评分;步骤56:在超图关联矩阵中,如果节点v∈idx(e)则置H(v,e)=1,否则H(v,e)=0,将超图关联矩阵中的全零行删除,同时将节点特征矩阵中对应的节点特征向量删除,完成对超图的分区域池化操作。
6.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法,其特征在于,步骤6的具体实现过程为:计算每个超边在每次迭代中记录的超边特征向量,表达式为:其中,X R (e) (k) 表示超边e在第k次迭代中读出层读出的超边特征向量;N表示实体目标数量;X(v)表示第v节点的节点特征向量;所有超边特征向量构成超边特征矩阵;d(e)表示第e个超边的超边度;H(v,e)表示第v个节点和第e个超边对应的超图关联矩阵中的值。
7.根据权利要求1所述的一种基于分区池化超图神经网络的图节点分类方法,其特征在于,步骤8中,通过迭代获得若干组超边特征矩阵,对若干组超边特征矩阵求和获得最终超边特征矩阵,最终超边特征矩阵通过分区池化超图神经网络的全连接层输出节点分类结果,对应实体目标分类结果,完成司法图像分类。



