有效

基于Airflow的数据计算调度方法

钱斌、肖勇、郑楷洪、蔡梓文、周密
南方电网科学研究院有限责任公司

摘要

本发明公开了基于Airflow的数据计算调度方法,属于Airflow技术领域,包括以下步骤:步骤一:开始任务,生成树,任务实例并导出原始数据;步骤二:生成树,任务实例接着进行scheduler安排定时服务同时,Dag生成定义任务和依赖与scheduler扫描定时服务同时输入至所有任务存储在数据库中判断是否满足定时条件,当满足定时条件时解析模型;步骤三:当导出原始数据成功时向下进行数据计算1同时将数据存储到HDFS且HDFS获取数据。本发明具有强大的依赖关系设计和强大的拓展性并且允许触发任意的脚本,基础模块也被设计的非常容易拓展。