1.一种融合多模态学习与多粒度结构学习的谣言检测方法,其特征在于,步骤包括:S01.获取待检测数据集中新闻信息的文本模态数据和图像模态数据;S02.分别提取所述文本模态数据和图像模态数据的单模态特征表示,并映射到同一个多模态特征空间,得到文本模态和图像模态的多模态特征表示;S03.从所述多模态特征表示中,提取文本模态和图像模态的单模态数据结构特征,以及捕获文本模态和图像模态之间的跨模态特征关系;S04.根据所述单模态数据结构特征以及跨模态特征关系,得到待检测数据集中所有新闻信息的融合多模态特征表示;S05.将所述融合多模态特征表示输入到预先构建的谣言检测网络中,检测出新闻信息是否为谣言;所述步骤S03中,使用基于度量的三元组学习方式,提取得到所述文本模态和图像模态的单模态数据结构特征,所述基于度量的三元组学习方式中通过学习所述文本模态、图像模态中一种模态内三元组样本之间的距离关系,并使用学习到的距离关系指导学习另一个模态内对应的三元组样本之间的特征关系;所述使用基于度量的三元组学习方式,提取得到所述文本模态和图像模态的单模态数据结构特征的步骤包括:S301.从所述多模态特征表示中分别选取多组对应文本模态的三元组样本、多组对应图像模态的三元组样本,所述三元组样本中包括目标样本、正样本和负样本;S302.取所述图像模态、文本模态中一种作为指导模态、另一种作为被指导模态;S303.计算当前的指导模态所对应的各三元组样本中所述目标样本与所述正负样本之间的距离关系;S304.使用一个预设距离函数作用于当前的被指导模态所对应的各三元组样本中目标样本和正负样本上,并使用步骤S303得到的所述距离关系指导学习当前的被指导模态中所述目标样本和所述正负样本之间的特征关系;S305.更换所述图像模态、文本模态所对应的指导模态、被指导模态的类型,返回步骤S303,以重新使用更换后的指导模态的所述距离关系,指导学习被指导模态中的所述目标样本和所述正负样本之间的特征关系。
2.根据权利要求1所述的融合多模态学习与多粒度结构学习的谣言检测方法,其特征在于,所述步骤S304中,使用步骤S303得到的所述距离关系指导学习当前的被指导模态中所述目标样本和所述正负样本之间的关系包括:如果当前的指导模态中目标样本和正样本之间的欧式距离大于目标样本和负样本之间的欧式距离,则指导被指导模态中目标样本和正负样本之间的关系满足 将大于预设阈值;如果当前的指导模态中目标样本和正样本之间的欧式距离小于目标样本和负样本之间的欧式距离,则指导被指导模态中目标样本和正负样本之间的关系满足 将小于预设阈值,其中 为被指导模态中的目标样本与正样本之间的关系, 为被指导模态中的目标样本与负样本之间的关系, 表示 与 之间的差值函数。
3.根据权利要求1~2中任意一项所述的融合多模态学习与多粒度结构学习的谣言检测方法,其特征在于, 所述步骤S04中,使用自注意力机制得到待检测数据集中所有新闻信息的所述融合多模态特征表示,具体步骤包括:S401.将文本模态所对应的多模态特征表示 和图像模态所对应的多模态特征表示 进行拼接,得到拼接多模态特征表示 ,即为: ;S402.根据所述拼接多模态特征表示 ,按照下式计算文本模态所对应的多模态特征表示 和图像模态所对应的多模态特征表示 对融合多模态特征表示的贡献度: ;其中, , 是权重参数矩阵, 是维度, 中每一个值代表拼接矩阵中每一个维度对融合多模态特征表示每一个维度的贡献度;S403.根据所述拼接多模态特征表示 、步骤S402计算得到的所述对融合多模态特征表示的贡献度,按下式计算待检测数据集中所有新闻信息的融合多模态特征表示 h IT 为: ;其中 是权重参数矩阵。
4.根据权利要求1~2中任意一项所述的融合多模态学习与多粒度结构学习的谣言检测方法,其特征在于,所述步骤S02中,先将新闻信息的文本模态数据、图像模态数据输入到自然语言预处理模型中,初步得到文本模态、图像模态所对应的单模态特征,然后将得到的文本模态、图像模态所对应的单模态特征输入至多模态映射网络中,得到文本模态、图像模态所对应的所述多模态特征表示。
5.一种融合多模态学习与多粒度结构学习的谣言检测装置,其特征在于,包括:获取模块,用于获取待检测数据集中新闻信息的文本模态数据和图像模态数据;多模态学习模块,用于分别初步提取所述文本模态数据和图像模态数据的单模态特征表示,并映射到同一个多模态特征空间,得到文本模态和图像模态的多模态特征表示;多粒度结构学习模块,用于从所述多模态特征表示中,提取文本模态和图像模态的单模态数据结构特征,以及捕获文本模态和图像模态之间的跨模态特征关系;融合模块,用于根据所述单模态数据结构特征以及跨模态特征关系,得到待检测数据集中所有新闻信息的融合多模态特征表示;检测模块,用于将所述融合多模态特征表示输入到预先构建的谣言检测网络中,检测出新闻信息是否为谣言;所述多粒度结构学习模块中,使用基于度量的三元组学习方式,提取得到所述文本模态和图像模态的单模态数据结构特征,所述基于度量的三元组学习方式中通过学习所述文本模态、图像模态中一种模态内三元组样本之间的距离关系,并使用学习到的距离关系指导学习另一个模态内对应的三元组样本之间的特征关系;所述使用基于度量的三元组学习方式,提取得到所述文本模态和图像模态的单模态数据结构特征包括:从所述多模态特征表示中分别选取多组对应文本模态的三元组样本、多组对应图像模态的三元组样本,所述三元组样本中包括目标样本、正样本和负样本;取所述图像模态、文本模态中一种作为指导模态、另一种作为被指导模态;计算当前的指导模态所对应的各三元组样本中所述目标样本与所述正负样本之间的距离关系;使用一个预设距离函数作用于当前的被指导模态所对应的各三元组样本中目标样本和正负样本上,并使用得到的所述距离关系指导学习当前的被指导模态中所述目标样本和所述正负样本之间的特征关系;更换所述图像模态、文本模态所对应的指导模态、被指导模态的类型,返回执行计算当前的指导模态所对应的各三元组样本中所述目标样本与所述正负样本之间的距离关系,以重新使用更换后的指导模态的所述距离关系,指导学习被指导模态中的所述目标样本和所述正负样本之间的特征关系。
6.一种计算机设备,包括处理器以及存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,其特征在于,所述处理器用于执行所述计算机程序以执行如权利要求1~4中任意一项所述方法。