1.一种基于知识增强和多任务学习的语义理解方法,其特征在于,所述方法包括:根据不同任务定制提示词模板,根据所述提示词模板,引导大模型从图像信息和文本信息中提取目标词信息,根据任务的语义理解信息,对所述目标词信息进行去噪,得到结构化常识,通过结构化常识、图像信息和文本信息输入预训练模型生成结构化知识库;所述结构化知识库包括:基于结构化知识库中文本得到的单模态理解信息、任务对应的结构化常识得到的任务信息、原始文本理解信息以及原始图像理解信息;将所述单模态理解信息、所述任务信息、所述原始文本理解信息以及原始图像理解信息注入多任务学习框架中,进行联合训练,通过更新的常识信息流调整学习参数,得到用于进行语义理解的多任务学习框架。
2.根据权利要求1所述的方法,其特征在于,所述引导大模型从图像信息和文本信息中提取目标词信息,包括:引导大模型从图像信息和文本信息中提取单模态内容描述信息、隐喻信息、情感信息、情感程度信息、意图信息和攻击性信息。
3.根据权利要求1所述的方法,其特征在于,对所述目标词信息进行去噪,得到结构化常识,包括:对所述目标词信息进行去噪为:其中, 目标词信息构成的知识库, 代表经过去噪处理的知识库, 表示名词, 表示动词, 表示副词, 表示形容词, I 表示图像, T 表示文本。
4.根据权利要求3所述的方法,其特征在于,通过结构化常识、图像信息和文本信息输入预训练模型生成结构化知识库,包括:通过结构化常识、图像信息和文本信息输入预训练模型生成结构化知识库为:其中, 表示单模态理解信息, 表示任务信息, 代表预训练模型, 表示文本信息, 表示图像信息, 分别代表隐喻信息、情感信息、情感程度信息、意图信息和攻击性信息, 表示原始文本理解信息, 表示原始图像理解信息。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述多任务学习框架中包括语义感知权重计算模块;所述方法包括:将所述单模态理解信息、所述任务信息注入多任务学习框架的语义感知权重计算模块为:其中, 表示单模态理解权重, 表示任务理解权重, 表示感知权重, 表示任务信息, 表示单模态理解信息,上标T表示矩阵的转置, 表示常量, 表示可学习的参数矩阵,偏差 是可学习参数, 。
6.根据权利要求5所述的方法,其特征在于,所述多任务学习框架中包括多源语义感知网络;所述方法包括:将所述原始文本理解信息以及原始图像理解信息注入多任务学习框架的多源语义感知网络为:其中, 是可学习参数矩阵, 是可学习参数, 是超参数,其取值范围为[0,1], 表示原始文本理解信息, 表示原始图像理解信息, 是多个任务的所述感知权重组成的权重矩阵, 表示常识信息流。
7.根据权利要求6所述的方法,其特征在于,通过更新的常识信息流调整学习参数,得到用于进行语义理解的多任务学习框架,包括:将所述常识信息流、所述任务信息以及所述单模态理解信息进行拼接为:其中, 表示激活函数, S 表示拼接特征, 表示拼接操作;利用元学习技术引导模型进行多任务分类为:其中, 表示任务k的分类结果, 表示任务k的模型参数, 表示任务k的拼接特征, 表示偏差。
8.根据权利要求7所述的方法,其特征在于,多任务学习框架的损失函数为:其中, 表示损失函数,K表示任务数量,D表示训练集的大小, 表示交叉熵损失函数, 表示任务k的真实标签。
9.一种基于知识增强和多任务学习的语义理解装置,其特征在于,所述装置包括:数据处理模块, 用于根据不同任务定制提示词模板,根据所述提示词模板,引导大模型从图像信息和文本信息中提取目标词信息,根据任务的语义理解信息,对所述目标词信息进行去噪,得到结构化常识,通过结构化常识、图像信息和文本信息输入预训练模型生成结构化知识库;所述结构化知识库包括:基于结构化知识库中文本得到的单模态理解信息、任务对应的结构化常识得到的任务信息、原始文本理解信息以及原始图像理解信息;模型训练模块,用于将所述单模态理解信息、所述任务信息、所述原始文本理解信息以及原始图像理解信息注入多任务学习框架中,进行联合训练,通过更新的常识信息流调整学习参数,得到用于进行语义理解的多任务学习框架。
10.根据权利要求9所述的装置,其特征在于,数据处理模块还用于引导大模型从图像信息和文本信息中提取单模态内容描述信息、隐喻信息、情感信息、情感程度信息、意图信息和攻击性信息。