分布式数据处理方法和装置

本发明涉及一种分布式数据处理方法和装置，该方法包括：流水线创建过程，流水线创建过程包括：创建数据处理节点和检查节点，每个数据处理节点负责单一任务，检查节点是对数据处理节点输出的数据和流水线中的流程进行检查的节点；根据流程配置文件，选取数据处理节点组成用于实现数据处理服务的流水线的主线；以及由检查节点创建检查支流来补充流水线，检查支流包括数据检查支流以及流程检查支流。通过该分布式数据处理方法和装置，能够提高数据处理效率。