基于问题感知和置信度约束的解释性视觉问答方法及系统

本发明公开了一种基于问题感知和置信度约束的解释性视觉问答方法及系统；所述系统包括选择‑增强模块和融合增强置信约束模块，其中，选择‑增强模块用于基于问题语义对候选图像区域进行选择，并通过可学习的增强机制强化与问题相关的显著区域，实现精确的视觉定位；融合增强置信约束模块用于将增强后的区域特征与多模态特征进行融合，并通过双分支预测与置信度约束机制，确保在引入解释信息时预测答案的置信度提升，从而增强预测结果的可靠性。本发明能够有效解决现有技术中存在的问题不敏感定位与定位‑推理脱节的缺陷，在公开数据集上验证了本发明方法的优越性，显著提升了答案预测准确率和解释生成质量，具有广泛的应用前景。