一种基于超图的多模态多标签分类方法及系统

本发明公开了一种基于超图的多模态多标签分类方法及系统，分类方法步骤包括从原始数据中提取特征表示，并构建图像特征空间和文本特征空间，每一个所述原始数据包括文本和图像两种模态数据；基于图像特征空间，利用基于距离的方法来生成图像超图结构；基于文本特征空间，利用基于距离的方法来生成文本超图结构；将文本超图结构和图像超图结构利用关联矩阵M拼接起来形成最终的多模态超图关联矩阵H，得到多模态超图；对多模态超图进行卷积运算，得到更具表征性的特征表示，并将更具表征性的特征表示输入至全连接层实现标签预测。本发明利用超图卷积和多模态特征融合方法，实现多模态数据关系挖掘和特征识别，提高了多模态多标签分类的性能。