1.一种行业企业数据异常行为的大数据识别方法,其特征在于,包括以下步骤:S01:将某一行业的企业数据进行数据清洗;S02:对数据清洗后的数据进行预处理,所述预处理包括数据标准化和属性值规范化;S03:选取单指标特征,对选取的单指标特征进行交叉组合构建交叉指标特征;S04:根据单指标特征和构建的交叉指标特征选取符合条件的指标特征,根据选取的指标特征对预处理后的企业的时间序列数据进行特征提取,识别行业排放规律;所述步骤S04中符合条件包括,计算指标特征提取方法的概率密度图和KS检验统计量,选择KS检验统计量小于阈值的单指标特征和交叉指标特征;S05:检验提取的特征数据是否服从正态分布,在区间[-kσ,kσ]范围内,表示数据正常,超出此区间说明数据异常,其中k为比例系数,σ为标准差。
2.根据权利要求1所述的行业企业数据异常行为的大数据识别方法,其特征在于,所述步骤S01中数据清洗包括以下步骤:S11:对各种不同格式的数据形式的原始数据,对其进行数值化操作;S12:通过线性或非线性映射将样本从高维空间映射到低维空间;S13:根据数据的具体对象判断数据的异常值,对数据异常值进行处理;S14:对数据缺失值进行处理。
3.根据权利要求2所述的行业企业数据异常行为的大数据识别方法,其特征在于,所述步骤S13中异常值的判断方法包括,统计分析的方法识别数据,规则库检查数据,或使用不同属性间的约束、外部的数据检测。
4.根据权利要求2所述的行业企业数据异常行为的大数据识别方法,其特征在于,所述步骤S14中数据缺失值的处理包括:对录入数据进行人工补充;当数据存在规律性且对数据的精度要求不高时,缺失值使用概率估计代替;对于存在随机性较强,或数据长期缺失情况的数据进行弃用或视为无数据。
5.根据权利要求1所述的行业企业数据异常行为的大数据识别方法,其特征在于,所述步骤S02中数据标准化包括,将数据按比例缩放,使之落入一统一区间;去除数据的单位限制,将其转化为无量纲的纯数值;数据标准化方法包括极值法、标准差法和比例法。
6.根据权利要求1所述的行业企业数据异常行为的大数据识别方法,其特征在于,所述步骤S03中构建交叉指标特征的方法包括:对数据集各指标特征间进行加减乘除变换,或对数据集指标特征进行数学变换后,再进行各指标间加减乘除的变换。
7.根据权利要求1所述的行业企业数据异常行为的大数据识别方法,其特征在于,所述步骤S04中识别行业排放规律的方法为采用基于时间序列的相似度分析。
8.根据权利要求1所述的行业企业数据异常行为的大数据识别方法,其特征在于,所述步骤S05中还包括计算异常指数,异常指数 其中,x为数据集,u为数据集的均值;当I∈[0,0.5]表示数据正常,I∈(0.5,1)表示数据异常,I值越大表示数据异常程度大。