在审

时序预训练大模型关键特性快速测试方法及相关装置

赵日晓、乔骥、肖剑、韩富佳、王梓博、张彬文、米翰宁、张辉
中国电力科学研究院有限公司

摘要

本发明属于时序预训练大模型特征特性测试领域,提供时序预训练大模型关键特性快速测试方法及相关装置,所述方法包括:构造测试集,将测试集输入待测时序预训练模型,判断输出具备基础及复合时间模式识别能力的模型;向原始目标序列中依次添加不同类型的外部特征,分别计算仅使用原始目标序列的基线预测性能与添加各特征后的预测性能,输出特征冗余评估结果;基于特征冗余评估结果,观测模型预测性能随上下文长度变化的性能曲线,基于性能曲线判定模型的最佳记忆窗口及其对长上下文的敏感性。测试过程具备快速性和系统性,通过几分钟的快速诊断即可获得模型的基本画像,为深入开展模型调优提供方向指导。

暂无引用专利