有效

流批一体数据处理方法、系统及计算机程序产品

刘超、穆鸿、王任康、胡敏
南京数睿数据科技有限公司
刘超机构 暂无
技术领域 暂无
穆鸿机构 暂无
技术领域 暂无
王任康机构 暂无
技术领域 暂无
胡敏机构 暂无
技术领域 暂无

摘要

本申请公开了一种流批一体数据处理方法、系统及计算机程序产品,属于数据处理技术领域,包括:设置数据源和数据资产,确定统一元数据;接收数据流配置指令,根据数据流配置指令设置运行模式;在图形化编排界面中,根据运行模式动态过滤并展示支持的算子节点,拖拽算子节点至画布,并进行连接与配置,得到数据处理流;根据运行模式和数据处理流,将图形化编排界面的逻辑自动转换为底层计算引擎对应的执行逻辑,将执行逻辑部署到对应的引擎集群;在引擎集群上执行数据处理流完成任务执行与资源分配。本申请的方法全面使用共用图形化编排配置,共用算子节点转换逻辑,降低了开发配置人员数据处理的难度,提升了实时流处理能力。