有效

基于深度迁移学习的Spark作业时间预测方法和装置

胡智尧、李东升、彭宝云、王庆林
中国人民解放军国防科技大学

摘要

本申请涉及一种基于深度迁移学习的Spark作业时间预测方法和装置。所述方法包括:获取不同类型的Spark作业的样本数据,将目标样本和源样本分别输入全连接神经网络模型,记录全连接神经网络模型每一层网络输出的目标样本的目标样本激活值和源样本的源样本激活值,根据目标样本激活值和所述源样本激活值,得到每一层网络的最大均值差异,根据全连接神经网络模型输出目标样本对应的标签预测值以及目标样本对应的标签实际值,确定平均平方误差,根据平均平方误差和最大均值差异,确定损失函数,根据损失函数,训练全连接神经网络模型,根据训练好的全连接神经网络模型,预测Spark作业时间。采用本方法能够实现多类型样本数据训练预测模型。