基于内存的跨框架流水线执行方法及系统

本发明公开了一种基于内存的跨框架流水线执行方法及系统。所述方法包括：将不同框架的组件注册到流水线系统中；根据用户需求进行组件的配置和组件间数据流向的配置，完成流水线的编排；将编排好的流水线解析成有向无环图，其中，各个组件作为有向无环图中的节点，组件间数据流向作为有向无环图中的边；根据所述有向无环图，自底向上地递归调用执行各个组件，以执行流水线任务；其中，所述自底向上地递归调用执行各个组件时，结合标准化DataFrame进行组件之间的数据流转，并通过RPC服务打通不同框架组件之间的数据通道。本发明能够实现不同计算框架组件之间的基于内存的数据传输。