有效

融合多模态学习与多粒度结构学习的谣言检测方法及装置

李东升、蹇松雷、彭丽雯、乔林波、黄震、黄辰林、阚志刚
中国人民解放军国防科技大学

摘要

本发明公开一种融合多模态学习与多粒度结构学习的谣言检测方法及装置,该方法步骤包括:S01.获取待检测数据集中新闻信息的文本模态数据和图像模态数据;S02.分别提取文本模态数据和图像模态数据的单模态特征表示,并映射到同一个多模态特征空间,得到多模态特征表示;S03.从多模态特征表示中,提取文本模态和图像模态的数据结构特征,以及捕获文本模态和图像模态之间的跨模态特征关系;S04.根据数据结构特征以及跨模态特征关系,得到所有新闻信息的融合多模态特征表示;S05.将融合多模态特征表示输入到预先构建的谣言检测网络中,检测出新闻信息是否为谣言。本发明具有实现方法简单、检测效率与精度高且抗干扰性强等优点。