有效
基于大语言模型的双向事件模式自动归纳方法和装置
孙毅、周晓磊、黄山、刘茗、丁鲲、严浩、张慧
中国人民解放军国防科技大学
摘要
本申请涉及一种基于大语言模型的双向事件模式自动归纳方法和装置。所述方法将自顶向下和自下而上两种事件模式归纳方法相结合,首先基于大语言模型的迭代反思,直接从大语言模型本身具备的先验知识中提取事件类型和事件论元角色;然后通过大语言模型抽取总结文档样本的事件类型和事件论元角色;最后通过多智能体协作讨论,将大语言模型自身的经验知识和文档样本两个知识来源的事件模式相结合,联合自顶向下和自下而上两种方式进行事件模式归纳,得到目标领域最终的事件类型集合与事件论元角色集合。本方法具备自动化程度高、模型合理性强、可解释性强等优点,能够更加全面、准确地归纳总结目标领域的事件模式。
1.一种基于大语言模型的双向事件模式自动归纳方法,其特征在于,所述方法包括:利用大语言模型根据目标领域的描述进行迭代反思,自主归纳出目标领域的第一事件类型集合与第一事件论元角色集合;利用大语言模型遍历抽取目标领域语料库的采样文档中的第二事件类型信息与第二事件论元角色信息,并判断各个第二事件类型信息与当前的第二事件类型集合的关系,根据判断结果构建最终的第二事件类型集合与第二事件论元角色集合;通过基于大语言模型的多智能体进行协作讨论,对所述第一事件类型集合与第二事件类型集合进行融合归纳,并对所述第一事件论元角色集合与第二事件论元角色集合进行融合归纳,基于融合归纳结果得到目标领域最终的事件类型集合与事件论元角色集合,完成事件模式的自动归纳;其中,利用大语言模型根据目标领域的描述进行迭代反思,自主归纳出目标领域的第一事件类型集合与第一事件论元角色集合,包括:获取目标领域的描述 ;其中, 表示对某一概念的文字描述, 表示待归纳的目标领域;利用大语言模型对目标领域的描述 进行自主总结归纳,得到目标领域的第一事件类型簇,且所述第一事件类型簇由第一事件类型以及所述第一事件类型对应的描述组成,表示为 ;其中, 表示第 个第一事件类型簇; 表示第 个第一事件类型; 表示 对应的描述;通过大语言模型进行迭代反思,对目标领域的第一事件类型进行重复多次扩充,并集合扩充归纳得到的所有第一事件类型簇,构建目标领域的第一事件类型集合,表示为 ;利用大语言模型自主总结归纳所述第一事件类型集合中的每一个第一事件类型对应的第一事件论元角色簇,所述第一事件论元角色簇由第一事件类型涉及的所有第一事件论元角色以及所述第一事件论元角色对应的描述组成,表示为 ;其中, 表示 对应的第一事件论元角色簇; 表示 对应的第 j 个第一事件论元角色; 表示 对应的描述;通过大语言模型进行迭代反思,对目标领域的第一事件论元角色进行重复多次扩充,并集合扩充归纳得到的所有第一事件论元角色簇,构建目标领域的第一事件论元角色集合,表示为 ;其中,利用大语言模型遍历抽取目标领域语料库的采样文档中的第二事件类型信息与第二事件论元角色信息,并判断各个第二事件类型信息与当前的第二事件类型集合的关系,根据判断结果构建最终的第二事件类型集合与第二事件论元角色集合,包括:遍历目标领域 语料库的采样文档 ;其中, 表示第 个采样文档且 , P 为采样文档的总数量;利用大语言模型抽取采样文档 中样本 的第二事件类型信息,以及第二事件论元角色信息;其中,所述第二事件类型信息表示为 ,所述第二事件论元角色信息表示为 ;其中, 表示任意一个第二事件类型; 表示 对应的描述; 表示 对应的第 j 个第二事件论元角色; 表示抽取到的论元信息; 表示 对应的描述;通过大语言模型判断 与当前的第二事件类型集合 的关系;若 是 中一类,将 对应的第二事件论元角色及对应描述放入第二事件论元角色簇中,进行第二事件论元角色簇更新;其中,所述第二事件论元角色簇的更新方式表示为 ;其中, 表示第二事件论元角色簇;若 不是 中的任何一类,将 及其对应的描述添加至当前的第二事件类型集合中,进行第二事件类型集合更新;其中,所述第二事件类型集合的更新方式表示为 ;遍历完所有采样文档中的样本后,整理得到最终的第二事件类型集合 ,并通过集合所有的第二事件论元角色簇,得到最终的第二事件论元角色集合 。
2.根据权利要求1所述的方法,其特征在于,所述大语言模型采用上下文提示学习算法进行自主总结归纳,并基于指令提示进行迭代反思。
3.根据权利要求1所述的方法,其特征在于,在归纳得到所述第一事件类型簇与第一事件论元角色簇之后,还包括:通过格式化输出组件分别将所述第一事件类型簇与第一事件论元角色簇转换为固定格式。
4.根据权利要求1所述的方法,其特征在于,所述大语言模型采用上下文示例学习算法进行样本中第二事件类型信息以及第二事件论元角色信息的抽取。
5.根据权利要求1所述的方法,其特征在于,在抽取得到所述第二事件类型信息以及第二事件论元角色信息之后,还包括:通过格式化输出组件分别将所述第二事件类型信息以及第二事件论元角色信息转换为固定格式。
6.根据权利要求1所述的方法,其特征在于,在遍历完所有采样文档中的样本后,整理得到最终的第二事件类型集合 之后,还包括:遍历 中的每个第二事件类型,通过大语言模型合并每个第二事件类型对应的第二事件论元角色簇 中冗余的第二事件论元角色。
7.根据权利要求1所述的方法,其特征在于,通过基于大语言模型的多智能体进行协作讨论,对所述第一事件类型集合与第二事件类型集合进行融合归纳,并对所述第一事件论元角色集合与第二事件论元角色集合进行融合归纳,基于融合归纳结果得到目标领域最终的事件类型集合与事件论元角色集合,完成事件模式的自动归纳,包括:将第一事件类型集合 与第二事件类型集合 同时提供至基于大语言模型的第一智能体,通过第一智能体以大语言模型的先验知识为出发点,总结提出需要合并的事件类型,并发表第一观点 ;将 、 以及第一观点 同时提供至基于大语言模型的第二智能体,通过第二智能体以文本样本抽取总结的结果为出发点,总结提出需要合并的事件类型,并发表第二观点 ;将 、 、第一观点 以及第二观点 同时提供至基于大语言模型的第三智能体,通过第三智能体做出事件类型合并判断并发表第三观点 ,输出需要合并的事件类型,形成 ,并由第三智能体决定是否继续讨论;若第三智能体决定继续讨论,将第三观点 和合并后形成的 继续输入至第一智能体,重复上述步骤直至讨论结束或达到设定的讨论轮次,输出最终的事件类型集合 ;遍历最终的事件类型集合 中的每个事件类型,若该事件类型是由 和 中的多个第一与第二事件类型合并而来,则将这多个第一与第二事件类型对应的第一与第二事件论元角色信息进行合并,得到最终的事件论元角色集合 。
8.一种基于大语言模型的双向事件模式自动归纳装置,其特征在于,所述装置包括:自顶向下归纳模块,用于利用大语言模型根据目标领域的描述进行迭代反思,自主归纳出目标领域的第一事件类型集合与第一事件论元角色集合;自下而上归纳模块,用于利用大语言模型遍历抽取目标领域语料库的采样文档中的第二事件类型信息与第二事件论元角色信息,并判断各个第二事件类型信息与当前的第二事件类型集合的关系,根据判断结果构建最终的第二事件类型集合与第二事件论元角色集合;协作讨论模块,用于通过基于大语言模型的多智能体进行协作讨论,对所述第一事件类型集合与第二事件类型集合进行融合归纳,并对所述第一事件论元角色集合与第二事件论元角色集合进行融合归纳,基于融合归纳结果得到目标领域最终的事件类型集合与事件论元角色集合,完成事件模式的自动归纳;其中,利用大语言模型根据目标领域的描述进行迭代反思,自主归纳出目标领域的第一事件类型集合与第一事件论元角色集合,包括:获取目标领域的描述 ;其中, 表示对某一概念的文字描述, 表示待归纳的目标领域;利用大语言模型对目标领域的描述 进行自主总结归纳,得到目标领域的第一事件类型簇,且所述第一事件类型簇由第一事件类型以及所述第一事件类型对应的描述组成,表示为 ;其中, 表示第 个第一事件类型簇; 表示第 个第一事件类型; 表示 对应的描述;通过大语言模型进行迭代反思,对目标领域的第一事件类型进行重复多次扩充,并集合扩充归纳得到的所有第一事件类型簇,构建目标领域的第一事件类型集合,表示为 ;利用大语言模型自主总结归纳所述第一事件类型集合中的每一个第一事件类型对应的第一事件论元角色簇,所述第一事件论元角色簇由第一事件类型涉及的所有第一事件论元角色以及所述第一事件论元角色对应的描述组成,表示为 ;其中, 表示 对应的第一事件论元角色簇; 表示 对应的第 j 个第一事件论元角色; 表示 对应的描述;通过大语言模型进行迭代反思,对目标领域的第一事件论元角色进行重复多次扩充,并集合扩充归纳得到的所有第一事件论元角色簇,构建目标领域的第一事件论元角色集合,表示为 ;其中,利用大语言模型遍历抽取目标领域语料库的采样文档中的第二事件类型信息与第二事件论元角色信息,并判断各个第二事件类型信息与当前的第二事件类型集合的关系,根据判断结果构建最终的第二事件类型集合与第二事件论元角色集合,包括:遍历目标领域 语料库的采样文档 ;其中, 表示第 个采样文档且 , P 为采样文档的总数量;利用大语言模型抽取采样文档 中样本 的第二事件类型信息,以及第二事件论元角色信息;其中,所述第二事件类型信息表示为 ,所述第二事件论元角色信息表示为 ;其中, 表示任意一个第二事件类型; 表示 对应的描述; 表示 对应的第 j 个第二事件论元角色; 表示抽取到的论元信息; 表示 对应的描述;通过大语言模型判断 与当前的第二事件类型集合 的关系;若 是 中一类,将 对应的第二事件论元角色及对应描述放入第二事件论元角色簇中,进行第二事件论元角色簇更新;其中,所述第二事件论元角色簇的更新方式表示为 ;其中, 表示第二事件论元角色簇;若 不是 中的任何一类,将 及其对应的描述添加至当前的第二事件类型集合中,进行第二事件类型集合更新;其中,所述第二事件类型集合的更新方式表示为 ;遍历完所有采样文档中的样本后,整理得到最终的第二事件类型集合 ,并通过集合所有的第二事件论元角色簇,得到最终的第二事件论元角色集合 。




