有效

基于知识增强和多任务学习的语义理解方法和装置

蒋林承、黄婷姣、宋省身、肖卫东、谭真、李硕豪、乔凤才
中国人民解放军国防科技大学

摘要

本申请涉及一种基于知识增强和多任务学习的语义理解方法和装置。所述方法包括:根据不同任务定制提示词模板,根据提示词模板,引导大模型从图像信息和文本信息中提取目标词信息,根据任务的语义理解信息,对目标词信息进行去噪,得到结构化常识,通过结构化常识、图像信息和文本信息输入预训练模型生成结构化知识库,将单模态理解信息、任务信息、原始文本理解信息以及原始图像理解信息注入多任务学习框架中,进行联合训练,通过更新的常识信息流调整学习参数,得到用于进行语义理解的多任务学习框架。采用本方法能够提高准确性。