1.一种基于图神经网络的跨模态新闻事件分类方法,其特征在于:包括以下两个阶段,数据预处理阶段,包括以下步骤,步骤1.1、将预先爬取的每个新闻作为新闻关系网的拓扑图中的一个节点,设置新闻唯一标识id作为节点id;遍历新闻文本数据集,进行命名实体识别,抽取出每个新闻的时间、地点、人物,由字段匹配提取新闻的发布者;建立四个实体列表list-time、list-location、list-person、list-publisher,分别用于存放所有能够识别出时间实体、地点实体、人物实体、发布者实体的新闻唯一标识id-实体词语键值对;步骤1.2、分别遍历四个实体列表list-time、list-location、list-person、list-publisher,每个列表生成一个边文件;步骤1.3、对每个新闻基于相应图片提取语义特征向量,并与节点id相对应;步骤1.4、将节点id与该节点代表的新闻的事件类型对应,确定新闻的相关事件类型标签作为训练数据的标注信息;步骤1.5、计算每个新闻的语义特征向量之间的相似度;图神经网络训练及分类阶段,包括以下步骤,步骤2.1、根据步骤1.5所得相似度将爬取的新闻平均分为n组,n为预设的训练参数,每组作为一个训练批次batch,使每组中的新闻两两之间的距离一定比与任意组外新闻向量之间的距离要大;步骤2.2、根据步骤1.2所得四个边文件,在不同实体类别的邻接矩阵上以batch为单位分别输入图神经网络进行训练,将训练损失加和平均作为总损失,训练后得到图神经网络半监督新闻事件分类模型,输入新闻图片和文本,经过模型预测,得到该新闻分至每个事件的概率,取最大值作为该新闻的分类结果;训练得到图神经网络半监督新闻事件分类模型的实现过程,包括以下处理,设通过新闻节点和四种不同实体作为边分别组成四个完整的图,这四个完整的图内部分别根据步骤2.1的分组又被分为n个子图:根据四个完整的图分别划分的n个子图,生成在不同实体类别的邻接矩阵;设总损失 其中, 为以时间关系为边的 的损失函数, 以人物关系为边的 的损失函数, 为以地理位置关系为边的 的损失函数, 为以作者关系为边的 的损失函数。
2.根据权利要求1所述一种基于图神经网络的跨模态新闻事件分类方法,其特征在于:步骤2.1中分组实现采用贪心算法实现。
3.根据权利要求1或2所述一种基于图神经网络的跨模态新闻事件分类方法,其特征在于:步骤1.3中对每个新闻基于相应图片提取语义特征向量,包括将图片输入Image2Sentence神经网络,根据输出的语义向量得到新闻的语义特征向量。
4.根据权利要求3所述一种基于图神经网络的跨模态新闻事件分类方法,其特征在于:当某新闻中包含多张图片时,取输入Image2Sentence神经网络所得语义向量最稠密的图片,将该图片的语义向量作为新闻的语义特征向量。
5.根据权利要求1或2所述一种基于图神经网络的跨模态新闻事件分类方法,其特征在于:步骤1.5中,计算相似度的实现方式为,计算两张新闻图片的语义向量之间的欧氏距离。
6.一种基于图神经网络的跨模态新闻事件分类系统,其特征在于:用于实现如权利要求1-5任一项所述的一种基于图神经网络的跨模态新闻事件分类方法。
7.根据权利要求6所述基于图神经网络的跨模态新闻事件分类系统,其特征在于:包括以下模块,数据预处理模块,包括以下单元,第一单元,用于将预先爬取的每个新闻作为新闻关系网的拓扑图中的一个节点,设置新闻唯一标识id作为节点id;遍历新闻文本数据集,进行命名实体识别,抽取出每个新闻的时间、地点、人物,由字段匹配提取新闻的发布者;建立四个实体列表list-time、list-location、list-person、list-publisher,分别用于存放所有能够识别出时间实体、地点实体、人物实体、发布者实体的新闻唯一标识id-实体词语键值对;第二单元,用于分别遍历四个实体列表list-time、list-location、list-person、list-publisher,每个列表生成一个边文件;第三单元,用于对每个新闻基于相应图片提取语义特征向量,并与节点id相对应;第四单元,用于将节点id与该节点代表的新闻事件类型对应;第五单元,用于计算每个新闻的语义特征向量之间的相似度;图神经网络训练及分类阶段,包括以下单元,第一单元,用于根据相似度将爬取的新闻平均分为n组,n为预设的训练参数,每组作为一个训练批次batch,使每组中的新闻两两之间的距离一定比与任意组外新闻向量之间的距离要大;第二单元,用于根据四个边文件,在不同实体类别的邻接矩阵上以batch为单位分别输入图神经网络进行训练,将训练损失加和平均作为总损失,训练后得到图神经网络半监督新闻事件分类模型,输入新闻图片和文本,经过模型预测,得到该新闻分至每个事件的概率,取最大值作为该新闻的分类结果。
8.根据权利要求6所述基于图神经网络的跨模态新闻事件分类系统,其特征在于:包括处理器和存储器,存储器用于存储程序指令,处理器用于调用处理器中的存储指令执行如权利要求1-5任一项所述的一种基于图神经网络的跨模态新闻事件分类方法。
9.根据权利要求6所述基于图神经网络的跨模态新闻事件分类系统,其特征在于:包括可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如权利要求1-5任一项所述的一种基于图神经网络的跨模态新闻事件分类方法。