有效
一种优化ETL数据等待的方法、装置及存储介质
摘要
本发明公开了一种优化ETL数据等待的方法、装置及存储介质。方法包括将接收到的多套数据内容,根据各数据内容所触发关联验证的历史任务,获取各数据内容当前等待验证的任务数量;获取当前完成对应任务数量验证后的数据内容,通过比对完成对应任务数量验证后的数据内容,确定是否能覆盖ETL过程所需的数据内容;若无法覆盖,则进入等待执行ETL过程;若可以覆盖,则执行ETL过程。本发明设定优先验证的预设阈值,对当前待验证的任务量小于预设阈值优先处理,降低数据处理等待时间;当前等待验证的任务数据信息和进行ETL操作之后的数据信息总量小于原始数据信息时,进行ETL操作,降低了ETL操作前的等待时间,提高了ETL的效率。




