一种面向异构存储的Spark任务动态迁移方法和系统

1.一种面向异构存储的Spark任务迁移方法，其特征在于，所述方法包括：按照存储设备的存储特征将集群中所包含的节点分别保存至固态硬盘节点变量和机械硬盘节点变量；监测集群中正在执行的任务中是否存在满足预设条件的目标任务，所述预设条件是指需要远程访问数据、任务完成进度小于预设阈值、且操作数据存储在已配置的非本地节点中；若监测到目标任务，则从已存储所述目标任务的操作数据的节点中，确定空闲资源满足对应任务的需求，且属于所述固态硬盘节点变量的节点作为待迁移的目标节点，并确定所述目标任务中与所述待迁移的目标节点对应的任务作为待迁移的任务；将所述待迁移的任务迁移至对应的所述待迁移的目标节点；其中，所述监测集群中正在执行的任务中是否存在满足预设条件的目标任务，所述预设条件是指需要远程访问数据、任务完成进度小于预设阈值、且操作数据存储在已配置的非本地节点中具体包括：监测集群中正在执行的任务完成进度和任务的操作数据是否存储在本地节点；提取任务的操作数据存储在非本地节点、且任务完成进度小于预设阈值的任务保存至可迁移任务变量；提取所述可迁移任务变量中，任务的操作数据存储在非本地节点、且所述非本地节点已配置的任务，将提取的所述任务作为计划迁移的任务保存至计划迁移任务变量；将存储有所述计划迁移的任务的操作数据的节点作为计划迁移的目标节点保存至计划迁移目标节点变量。 2.如权利要求1所述的方法，其特征在于，所述若监测到目标任务，则从已存储所述目标任务的操作数据的节点中，确定空闲资源满足对应任务的需求，且属于所述固态硬盘节点变量的节点作为待迁移的目标节点，并确定所述目标任务中与所述待迁移的目标节点对应的任务作为待迁移的任务具体包括：提取所述计划迁移的目标节点中，空闲资源满足对应任务需求、且属于所述固态硬盘节点变量的节点作为待迁移的目标节点，并保存至待迁移目标节点变量；提取所述计划迁移的任务中与所述待迁移的目标节点对应的任务作为待迁移的任务，并保存至待迁移任务变量。 3.如权利要求2所述的方法，其特征在于，所述将所述待迁移的任务迁移至对应的所述待迁移的目标节点具体包括：循环提取所述待迁移任务变量中的任务、及所述待迁移目标节点变量中与所述任务对应的目标节点；向正在执行所述任务的节点发送任务迁移指令及所述任务对应的目标节点信息；所述正在执行所述任务的节点挂起所述任务，并将所述任务发送至所述对应的目标节点。 4.如权利要求1所述的方法，其特征在于，在所述若监测到目标任务，则从已存储所述目标任务的操作数据的节点中，确定空闲资源满足对应任务的需求，且属于所述固态硬盘节点变量的节点作为待迁移的目标节点，并确定所述目标任务中与所述待迁移的目标节点对应的任务作为待迁移的任务之前，所述方法还包括：动态监测各节点的空闲资源信息。 5.一种面向异构存储的Spark任务迁移系统，其特征在于，所述系统包括：存储特性统计模块，用于按照存储设备的存储特征将集群中所包含的节点分别保存至固态硬盘节点变量和机械硬盘节点变量；资源过滤模块，用于监测集群中正在执行的任务中是否存在满足预设条件的目标任务，所述预设条件是指需要远程访问数据、任务完成进度小于预设阈值、且操作数据存储在已配置的非本地节点中；所述资源过滤模块，还用于若监测到目标任务，则从已存储所述目标任务的操作数据的节点中，确定空闲资源满足对应任务的需求，且属于所述固态硬盘节点变量的节点作为待迁移的目标节点，并确定所述目标任务中与所述待迁移的目标节点对应的任务作为待迁移的任务；调度模块，用于将所述待迁移的任务迁移至对应的所述待迁移的目标节点；其中，所述资源过滤模块具体用于：监测集群中正在执行的任务完成进度和任务的操作数据是否存储在本地节点；提取任务的操作数据存储在非本地节点、且任务完成进度小于预设阈值的任务保存至可迁移任务变量；提取所述可迁移任务变量中，任务的操作数据存储在非本地节点、且所述非本地节点已配置的任务，将提取的所述任务作为计划迁移的任务保存至计划迁移任务变量；将存储有所述计划迁移的任务的操作数据的节点作为计划迁移的目标节点保存至计划迁移目标节点变量。 6.如权利要求5所述的系统，其特征在于，所述资源过滤模块具体还用于：提取所述计划迁移的目标节点中，空闲资源满足对应任务需求、且属于所述固态硬盘节点变量的节点作为待迁移的目标节点，并保存至待迁移目标节点变量；提取所述计划迁移的任务中与所述待迁移的目标节点对应的任务作为待迁移的任务，并保存至待迁移任务变量。 7.如权利要求6所述的系统，其特征在于，所述调度模块具体用于：循环提取所述待迁移任务变量中的任务、及所述待迁移目标节点变量中与所述任务对应的目标节点；向正在执行所述任务的节点发送任务迁移指令及所述任务对应的目标节点信息；所述正在执行所述任务的节点挂起所述任务，并将所述任务发送至所述对应的目标节点。 8.如权利要求5所述的系统，其特征在于，所述资源过滤模块还用于动态监测各节点的空闲资源信息。