有效

基于数据动态选择的强化学习训练方法及装置、电子设备

吴洋洋、陈卓越、朱梦莹、席萌、郑小林、尹建伟
浙江大学

摘要

本发明公开了一种基于动态数据选择的强化学习模型训练方法及装置、电子设备,包括:依据预设的数据质量、多样性及难度评估指标,从原始数学问题数据池中筛选,得到候选训练集;针对候选训练集中的每个训练样本,计算其数据有效性分数;对所述候选训练集进行难度过滤,构建自适应训练课程;根据候选训练集的解答推理过程和奖励分数进一步过滤候选训练集;基于进一步过滤出的候选训练集、数据有效性分数,通过设置随训练进程衰减的温度参数和概率阈值,为当前训练周期动态挑选数据子集;将挑选的数据子集投入强化学习模型训练,根据正确性奖励和格式奖励优化训练强化学习模型。能显著缩短模型训练周期,并达到与全量数据训练相当甚至更优的性能。