在审
基于单调递增键的增量数据处理方法、系统及存储介质
杨
杨兰机构 暂无
程
程普挥机构 暂无
叶
叶新机构 暂无
王
王子钦机构 暂无
摘要
本发明提供一种基于单调递增键的增量数据处理方法、系统及存储介质,将处理指针的初始值设置为单调递增键字段的最小可能取值减一;发起查询请求,获取满足预设处理条件且单调递增键字段的值严格大于当前处理指针的数据记录集合,数据记录集合按该单调递增键字段的值进行升序排序;对增量查询获取的每一条数据记录,执行预设的处理逻辑,更新处理指针,若增量查询获取的数据记录集合非空,则将处理指针的值更新为该次增量查询结果集中单调递增键字段的最大值。提供了一种防止在处理过程中因数据集动态变化而导致部分记录被遗漏的处理机制,适用于数据同步、状态更新、批量计算、ETL作业等需要对大规模、动态数据集进行可靠迭代处理的场景。
暂无引用专利



