1.一种基于不确定性感知的虚假新闻识别方法,其特征是,包括:将图像和文本输入单模态提取模块进行特征提取,得到所述图像对应的图像表示及所述文本对应的文本表示;将所述图像表示和所述文本表示建模为高斯分布,得到所述图像表示的均值和方差以及所述文本表示的均值和方差;将所述图像表示的均值和方差输入共享编码器得到图像共享概率表示,将所述图像表示的均值和方差输入图像专属编码器得到图像专属概率表示,将所述文本表示的均值和方差输入所述共享编码器得到文本共享概率表示,将所述文本表示的均值和方差输入文本专属编码器得到文本专属概率表示;将所述图像共享概率表示、所述图像专属概率表示、所述文本共享概率表示和所述文本专属概率表示输入不确定性感知的混合模块进行融合,利用不确定性引导融合过程,得到融合多模态特征;基于所述融合多模态特征进行真实新闻和虚假新闻的分类,得到分类结果;其中,所述将所述图像共享概率表示、所述图像专属概率表示、所述文本共享概率表示和所述文本专属概率表示输入不确定性感知的混合模块进行融合,利用不确定性引导融合过程,得到融合多模态特征,包括:将所述图像共享概率表示、所述图像专属概率表示、所述文本共享概率表示和所述文本专属概率表示进行重新参数化,得到共享重新参数化向量和专属重新参数化向量,所述专属重新参数化向量包括图像专属重新参数化向量和文本专属重新参数化向量;基于所述共享重新参数化向量和所述专属重新参数化向量进行融合,利用不确定性引导融合过程,得到所述融合多模态特征;其中,所述基于所述共享重新参数化向量和所述专属重新参数化向量进行融合,利用不确定性引导融合过程,得到所述融合多模态特征,包括:基于所述专属重新参数化向量 和所述共享重新参数化向量 确定查询Q i 、键K i 和值V i :为每个注意力头计算注意力权重并得到融合表示x out :其中,Q i 、K i 和V i 的维度均为d k ,表示每个注意力头的维度,H是注意力头的数量,W是一个学习到的投影矩阵;基于所述融合表示确定所述融合多模态特征,在所述专属重新参数化向量包括所述图像专属重新参数化向量时,所述融合表示包括图像融合表示,在所述专属重新参数化向量包括所述文本专属重新参数化向量时,所述融合表示包括文本融合表示。
2.如权利要求1所述的方法,其特征是,所述单模态提取模块包括Swin Transformer和BERT,所述将图像和文本输入单模态提取模块进行特征提取,得到所述图像对应的图像表示及所述文本对应的文本表示,包括:将所述图像输入所述Swin Transformer进行图像特征提取,得到所述图像对应的图像表示;将所述文本输入所述BERT进行文本特征提取,得到所述文本对应的文本表示。
3.如权利要求1所述的方法,其特征是,所述将所述图像表示和所述文本表示建模为高斯分布,得到所述图像表示的均值和方差以及所述文本表示的均值和方差,包括:将目标表示输入不确定表征模块,利用多头注意力机制和前馈神经网络,并结合层归一化和残差连接获取所述目标表示的高斯分布的均值和方差,所述目标表示为所述图像表示或所述文本表示。
4.如权利要求1所述的方法,其特征是,所述基于所述融合表示确定所述融合多模态特征,包括:基于加权因子对所述融合表示进行缩放,得到混合表示,所述加权因子基于KL散度确定;通过残差连接、层归一化和前馈网络对所述混合表示进行优化,得到所述融合多模态特征。
5.如权利要求4所述的方法,其特征是,所述基于加权因子对所述融合表示进行缩放,得到混合表示之前,所述方法还包括:基于所述共享重新参数化向量和所述专属重新参数化向量的KL散度确定初始权重因子;将所述初始权重因子经过线性变换和ReLU激活,得到所述加权因子。
6.一种基于不确定性感知的虚假新闻识别装置,其特征是,包括:单模态提取模块,用于对图像和文本进行特征提取,得到所述图像对应的图像表示及所述文本对应的文本表示;不确定性表征模块,用于将所述图像表示和所述文本表示建模为高斯分布,得到所述图像表示的均值和方差以及所述文本表示的均值和方差;解耦表示学习模块,用于将所述图像表示的均值和方差输入共享编码器得到图像共享概率表示,将所述图像表示的均值和方差输入图像专属编码器得到图像专属概率表示,将所述文本表示的均值和方差输入所述共享编码器得到文本共享概率表示,将所述文本表示的均值和方差输入文本专属编码器得到文本专属概率表示;不确定性感知的混合模块,用于将所述图像共享概率表示、所述图像专属概率表示、所述文本共享概率表示和所述文本专属概率表示进行融合,利用不确定性引导融合过程,得到融合多模态特征;分类模块,用于基于所述融合多模态特征进行真实新闻和虚假新闻的分类,得到分类结果;其中,所述不确定性感知的混合模块包括:重新参数化单元,用于将所述图像共享概率表示、所述图像专属概率表示、所述文本共享概率表示和所述文本专属概率表示进行重新参数化,得到共享重新参数化向量和专属重新参数化向量,所述专属重新参数化向量包括图像专属重新参数化向量和文本专属重新参数化向量;融合单元,用于基于所述共享重新参数化向量和所述专属重新参数化向量进行融合,利用不确定性引导融合过程,得到所述融合多模态特征;其中,所述融合单元包括:第一确定子单元,用于基于所述专属重新参数化向量 和所述共享重新参数化向量 确定查询Q i 、键K i 和值V i :计算子单元,用于为每个注意力头计算注意力权重并得到融合表示x out :其中,Q i 、K i 和V i 的维度均为d k ,表示每个注意力头的维度,H是注意力头的数量,W是一个学习到的投影矩阵;第二确定子单元,用于基于所述融合表示确定所述融合多模态特征,在所述专属重新参数化向量包括所述图像专属重新参数化向量时,所述融合表示包括图像融合表示,在所述专属重新参数化向量包括所述文本专属重新参数化向量时,所述融合表示包括文本融合表示。
7.一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;其特征是,所述处理器,用于读取存储器中的程序实现如权利要求1至5中任一项所述的基于不确定性感知的虚假新闻识别方法中的步骤。
8.一种可读存储介质,用于存储程序,其特征是,所述程序被处理器执行时实现如权利要求1至5中任一项所述的基于不确定性感知的虚假新闻识别方法中的步骤。