在审

一种可视化ETL数据处理方法及系统

展恒昌、赵国强、左立俊、崔文强
华戎信息产业有限公司
展恒昌机构 暂无
技术领域 暂无
赵国强机构 暂无
技术领域 暂无
左立俊机构 暂无
技术领域 暂无
崔文强机构 暂无
技术领域 暂无

摘要

本发明提出了一种可视化ETL数据处理方法及系统,该方法包括:在外部服务器上运行Apache Flink处理引擎,所述Apache Flink处理引擎用于执行ETL流程中每个数据处理节点的数据处理逻辑;将每个数据处理节点的数据处理逻辑在内存中对应生成一个Table引用;在数据处理节点执行可视化ETL流程中的数据处理逻辑时,ETL流程中数据处理节点通过对应的内存Table引用,调用内存Table引用中的数据处理逻辑,并抽取数据库的数据进行处理,有效地节省了数据库服务器的内存以及磁盘存储空间。

暂无引用专利