有效

一种行业企业数据异常行为的大数据识别方法

何炜琪、陈蓉、郭超硕、刘毅
讯飞清环(苏州)科技有限公司

专利价值洞察

基于大模型深度解析专利商业价值

解决问题

如何有效识别行业企业数据中的异常行为,特别是在数据清洗、预处理和特征提取过程中发现数据异常。

达成效果

通过数据清洗、预处理、特征提取和统计检验,能够准确识别行业企业数据中的异常行为,特别是数据造假行为,并进行异常指数计算。

主要用途

适用于金融、税务、环保等行业,用于监管企业数据的真实性,识别异常数据并进行后续处理。

摘要

本发明公开了一种行业企业数据异常行为的大数据识别方法,包括:将某一行业的企业数据进行数据清洗;对数据清洗后的数据进行预处理,所述预处理包括数据标准化和属性值规范化;选取单指标特征,对选取的单指标特征进行交叉组合构建交叉指标特征;根据单指标特征和构建的交叉指标特征选取符合条件的指标特征,根据选取的指标特征对预处理后的企业的时间序列数据进行特征提取,识别行业排放规律;检验提取的特征数据是否服从正态分布,在区间[‑kσ,kσ]范围内,表示数据正常,超出此区间说明数据异常,其中k为比例系数,σ为标准差。可以识别行业排放规律,进行异常指数计算,识别数据是否异常,能定位到具体企业数据异常(造假)行为。