在审

一种基于证据双重不确定性的多模态融合方法

霍耀冉、曾大和、唐震宇、吴岩、张啸、张鹏程、周军、苏军、贾文瑞、景浩、唐剑、程凌锋、李臣毅、王骞、陈雁、张翀、尧旭
四川科锐得电力通信技术有限公司

摘要

本发明公开了一种基于证据双重不确定性的多模态融合方法,包括以下步骤:S1、依据各模态特征构建双重不确定性证据网络,同时建模随机性与认知性不确定性;S2、基于源模态预测目标模态的不确定性分布,设计跨模态不确定性重构机制以修复退化模态信息;S3、结合各模态预测置信度与平衡不确定性,提出自适应融合方法,采用对数归一化动态分配模态权重;S4、构建统一不确定性向量与模态特征联合表示,引入分层不确定性感知门控模块,根据模态可靠性进行选择。本方法在噪声输入、模态缺失及分布偏移下具备鲁棒性,可显著提升多模态分类与预测的准确率与泛化能力。

暂无引用专利