1.一种面向智能问答系统的无法回答问题的归因方法,其特征在于,应用于基于预训练语言模型的智能问答系统,所述智能问答系统包括编码器,基于prompt的MLM模块、面向原因的模板模块和使用语义感知的标签模块,所述方法包括以下步骤:获取不可回答问题;使用连续模板来转换输入问题的上下文和归因类;使用预训练语言模型将所述连续模板嵌入到高维向量空间中;使用基于prompt的MLM模块执行masked token预测任务,以确定标签集中的哪个标签可填充输入中的[MASK];所述面向原因的模板模块使用数据驱动的方法为连续模板构建指导信号;使用所述语义感知的标签模块对标签集中的标签进行编码,以将它们的表示保持在与输入相同的语义空间中;将基于prompt的MLM模块、面向原因的模板模块和使用语义感知的标签模块的监督标签作为不可回答原因的预定义类,使用交叉熵损失函数计算损失,并反向传播以更新预训练语言模型;输出不可回答问题的归因;所述基于prompt的MLM模块将问题、其对应的上下文和设计的模板结合起来,将无法回答的问题的归因从多选式转变为完形填空式,形式如下: ;其中,[CLS]符号对应的输出向量作为文本的语义表示,用于文本分类,[SEP]表示分句符号,用于断开输入语料中的两个句子, C 表示相关文档, q 表示给定的问题,该完形填空的目标是从标签集 中选择适当的标签以填充[MASK];将组合文本输入预训练语言模型以获取其表示 ,MLM头产生基于概率分布的[MASK]表示 ;计算预测概率;所述面向原因的模板模块使用数据驱动的方法为连续模板构建指导信号包括:使用编码器进行学习优化以获得训练数据的句子表示,所述训练数据包括文本和文本的类标签,所述句子表示 是[CLS]的embedding;如果训练数据的类标签在标签集中,将该类标签的模板原型表示与所述训练数据的句子表示累加到该类标签的模板原型表示中;得到模板原型表示 后,使用平均值函数得到连续模板的表示,如下所示: ;其中 表示连续模板的向量表示, 表示字符的向量表示, m 表示模板中字符的数量;使用点积计算连续模板的向量表示在高维向量空间中向量表示与归因中对应类别的表示的相似度;所述使用语义感知的标签模块对标签集中的标签进行编码,以将它们的表示保持在与输入相同的语义空间中包括:通过所述编码器,获得[MASK]的表示;使用所述编码器对每个类的标签进行高维向量空间映射,获得标签的表示,在映射过程中,不将标签与输入连接以避免噪声干扰;经过预训练语言模型优化标签的表示之后,更新标签的表示以保证输入和标签的表示在相同的语义空间中;将标签向量表示视为指导[MASK]表示学习的锚点,使用点积来计算[MASK]与标签之间的相似度;所述交叉熵损失函数CE来计算每个模块的损失值,如下所示: ; ; ;其中 表示所述基于prompt的MLM模块的损失函数, 表示所述面向原因的模板模块的损失函数, 表示所述使用语义感知的标签模块的损失函数,P表示概率分布,S t 表示模板与 的共性特征之间的相似度分布,S l 表示[MASK]与标签 之间的相似度分布;计算综合损失,并在同一训练集学习所有可训练参数,即, ;其中, 是控制损失值数量级的超参数。
2.根据权利要求1所述的面向智能问答系统的无法回答问题的归因方法,其特征在于,预训练语言模型包括BERT,RoBERTa之一。
3.根据权利要求1所述的面向智能问答系统的无法回答问题的归因方法,其特征在于,所述连续模板包含多个可学习的表示。
4.根据权利要求1所述的面向智能问答系统的无法回答问题的归因方法,其特征在于,使用多任务学习方式,基于prompt的MLM模块、面向原因的模板模块和使用语义感知的标签模块都以端到端的方式进行训练。
5.根据权利要求4所述的面向智能问答系统的无法回答问题的归因方法,其特征在于,所述端到端的方式进行训练包括:给定标签L,使用交叉熵损失函数CE来计算每个模块的损失值。