有效

分布式大数据采集平台的数据异常监控及修复方法

钱斌、周密、赵云、肖勇、蔡梓文、杨劲锋
南方电网科学研究院有限责任公司

摘要

本发明公开了分布式大数据采集平台的数据异常监控及修复方法,包括:利用大数据采集平台实时收集客户设备的上传数据;根据数据质量校验规则库对所述数据进行数据质量分析,生成异常清单,计算得到实时数据质量指标并发布;其中,所述数据质量校验规则库是在注册数据模型时预设的;利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复。本发明提供的分布式大数据采集平台的数据异常监控及修复方法,适用于基于海量数据采集的用电信息大数据处理和分析,主要解决海量用电数据采集过程中数据出现异常且不能及时处理,导致数据分析结果不可用的问题。

暂无引用专利