1.一种流批一体数据处理方法,其特征在于,包括以下步骤:设置数据源和数据资产,确定统一元数据;接收数据流配置指令,根据所述数据流配置指令设置运行模式,所述运行模式包括批模式和流模式;在图形化编排界面中,根据所述运行模式动态过滤并展示支持的算子节点,拖拽所述算子节点至画布,并进行连接与配置,得到数据处理流;节点类型包括:流批共用型、流处理型、批处理型,所述流批共用型为共用算子节点转换逻辑,具有相同的转换逻辑;根据所述运行模式和所述数据处理流,将图形化编排界面的逻辑自动转换为底层计算引擎对应的执行逻辑,将所述执行逻辑部署到对应的引擎集群;在对应的引擎集群上执行数据处理流,完成任务执行与资源分配。
2.根据权利要求1所述的流批一体数据处理方法,其特征在于,设置数据源和数据资产,确定统一元数据,包括:设置数据源;对于支持变更数据捕获的数据源,设置开启归档日志选项;获取数据源中的表结构,得到离线数据资产;手动添加实时数据结构,确定实时数据资产,得到统一元数据。
3.根据权利要求2所述的流批一体数据处理方法,其特征在于,接收数据流配置指令,根据所述数据流配置指令设置运行模式,所述运行模式包括批模式和流模式,包括:接收用户发出的数据流配置指令,通过图形化编排界面创建新数据流,根据数据流配置指令,在新数据流弹窗表单中设置基础属性,所述基础属性包括数据流名称、描述、运行模式、执行引擎。
4.根据权利要求3所述的流批一体数据处理方法,其特征在于,运行模式包括批模式和流模式,批模式和流模式共用一套数据流图形化编排界面;执行引擎以Standalone模式部署。
5.根据权利要求4所述的流批一体数据处理方法,其特征在于,算子节点包括:输入、输出、基本转换、连接联合、聚合、数学函数、数据质量、高级算子。
6.根据权利要求5所述的流批一体数据处理方法,其特征在于,还包括,当需要将已有的流处理转换逻辑复用于批处理时,若流处理转换逻辑与批处理转换逻辑一致,则通过另存一个新流程,将流模式转换为批模式。
7.根据权利要求6所述的流批一体数据处理方法,其特征在于,另存一个新流程,包括,打开数据流列表,选择需要转换的流模式记录,在弹出的基本属性对话框中将流模式变更为批模式,得到一个新批处理任务图形化编排界面;在所述新批处理任务图形化编排界面中删除原有的实时输入源和实时输出源,拖拽离线输入源和离线输出源到画布,并对离线输入源、离线输出源进行配置;确认所有算子节点的转换逻辑在批模式下是否适用,若转换逻辑与流模式一致,则无需配置流程中间算子节点,若转换逻辑与流模式不一致,则更新成批处理类型的算子节点,连接并配置,完成流转批的转换。
8.一种流批一体数据处理系统,其特征在于,所述流批一体数据处理系统包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至7中任一所述的流批一体数据处理方法。
9.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述流批一体数据处理方法的步骤。