一种电力生成式大语言模型的输入扰动鲁棒性提升方法

查看全文

202511531477复制

CN202511531477.7复制

摘要

本发明涉及一种电力生成式大语言模型的输入扰动鲁棒性提升方法，包括如下步骤：从初始语料库中随机抽取语料数据进行第一次扰动增强，生成扰动增强语料；从新语料库中随机抽取语料以同义词替换和/或随机字符增强方式进行文本增强，生成文本增强语料；将初始语料、扰动增强语料以及文本增强语料合并，生成训练语料库；将训练语料库中的数据作为训练样本输入生成式大语言模型中，该模型的输入层和隐藏层随机丢弃模型神经元的元素并将它们置零；优化生成式大语言模型的一致性损失。本发明的效果：采用基于扰动增强和文本增强以及特征泛化的扰动鲁棒训练方法，增强抗输入扰动能力，有效提升电力生成式大语言模型的泛化能力与鲁棒性。

申请人

福建亿榕信息技术有限公司国网信息通信产业集团有限公司

第一发明人

郑略省

著录信息

20251024

20260123

申请日

首次公开日

授权(公告日)

维持时间：年

预估到期：