一种基于分布式内存的流水线检查点实现与故障恢复方法及系统

本发明公开一种基于分布式内存的流水线检查点实现与故障恢复方法及系统，属于跨中心流水线技术领域。所述方法包括：将跨数据中心流水线划分为若干个子流水线，并分别在集群中对应的数据中心上执行；在子流水线执行结束时，获取当前检查点的Arrow格式数据；将当前检查点的Arrow格式数据存储在集群的分布式内存系统或磁盘存储系统中；在出现系统故障或该跨数据中心流水线任务执行失败时，基于各检查点的Arrow格式数据进行故障恢复。本发明能够减少流水线任务的中断与数据丢失风险，提升大规模数据处理流水线的可靠性及容错性。