多模态问答交互方法、装置、冰箱及存储介质

本发明提供一种多模态问答交互方法、装置、冰箱及存储介质，其引入图像识别和文本理解，提取图像特征并生成文本信息，实现语音与图像间的有效联系。此外，采用多头注意力机制对文本进行深层语义关系建模，强化词、短语、句子间的语义联系。综合应用多模态信息、声音处理和深度学习，提高多模态问答交互准确性和智能家居交互效率。通过有效的声音分离、编码解码和深层语义建模，从多模态问句、答案匹配、答案生成、编解码结构、模型结构选择等整体综合因素来考虑，实现了更准确的问句回答交互结果和深度理解，从而大幅提升了问句交互识别的性能，增强了用户与智能设备的交互体验。