有效

基于提示对比学习的持续学习下小样本关系抽取方法

谭真、张翀、吴菲、庞宁、赵翔、葛斌、肖卫东、唐九阳、潘岩、胡艳丽
中国人民解放军国防科技大学

摘要

本申请涉及一种基于提示对比学习的持续学习下小样本关系抽取方法。所述方法包括:将基于提示的数据输入预训练BERT模型获得句子的向量表示并将句子的向量表示映射到低维嵌入空间,得到隐藏表示;对隐藏表示进行归一化处理,得到规范化嵌入表示;根据标签集上的概率分布、隐藏表示、规范化嵌入表示和数据增强策略构建初始CFRE模型的总损失函数,利用训练数据集和总损失函数对初始CFRE模型进行训练,最小化初始CFRE模型的损失函数来优化模型中的参数,根据对比学习和知识蒸馏方法对初始持续小样本关系抽取模型进行优化,利用持续小样本关系抽取模型进行关系抽取。采用本方法能够提高实体关系抽取准确率。