有效
一种基于多约束的时序数据异常检测方法
陈浩、黄建平、王宏志、龚小刚、李钟煦、张建松、沈思琪、冯珺、王艺丹、潘司晨
哈尔滨工业大学

陈浩 专利 55
哈尔滨工业大学计算技术物理仪器图像处理
黄
黄建平 专利 60
哈尔滨工业大学计算技术物理仪器电子数据处理

王宏志 专利 134
哈尔滨工业大学数据类型机器学习数据存储检索
龚
龚小刚 专利 60
浙江省电力公司计算技术物理仪器数字信息传输
李
李钟煦 专利 146
国网浙江省电力有限公司义乌市供电公司模式识别商务信息处理信息通信行业流程
张
张建松 专利 33
国网浙江省电力有限公司信息通信分公司电子数据处理计算技术物理仪器
沈
沈思琪 专利 44
国网浙江省电力有限公司信息通信分公司计算技术物理仪器电子数据处理
冯
冯珺 专利 95
国网浙江省电力有限公司信息通信分公司知识系统计算模型系统模式识别
王
王艺丹 专利 44
国网浙江省电力有限公司信息通信分公司计算模型系统电子数据处理计算技术
潘
潘司晨 专利 52
国网浙江省电力有限公司信息通信分公司知识系统计算模型系统电子数据处理
摘要
一种基于多约束的时序数据异常检测方法,为解决引风机系统中各传感器时间序列异常检测结果准确率低和可靠度低的问题,先获取多元时间序列,并定义多个约束;利用约束对多元时间序列进行检查,得到多元时间序列的违规区间,并对违规区间进行划分,将划分后为一组的违规区间称为违规区间子集,得到多组违规区间子集;将每组违规区间子集中的违规区间进行连接;定义连接后的每组违规区间子集的时间区间;根据每组违规区间子集的时间区间对所述违规区间子集内的所有违规区间进行对齐,得到对齐后的每组违规区间子集;计算对齐后的每组违规区间子集中每条一元时间序列的异常分数,根据异常分数判断所述一元时间序列是否异常。属于数据异常检测领域。
1.一种基于多约束的时序数据异常检测方法,其特征在于:它包括以下步骤:S1、获取引风机系统中某一组传感器的多元时间序列,定义所述多元时间序列由多条一元时间序列组成,并定义多个约束,所述约束包括值域约束、速度约束、函数约束;S2、利用定义的约束对多元时间序列进行检查,得到多元时间序列的违规区间,并对违规区间进行划分,将划分后为一组的违规区间称为违规区间子集,得到多组违规区间子集;S3、将每组违规区间子集中的违规区间进行连接;S4、定义连接后的每组违规区间子集的时间区间;S5、根据每组违规区间子集的时间区间对所述违规区间子集内的所有违规区间进行对齐,得到对齐后的每组违规区间子集;S6、计算对齐后的每组违规区间子集中每条一元时间序列的异常分数,根据异常分数判断所述一元时间序列是否异常。
2.根据权利要求1中所述的一种基于多约束的时序数据异常检测方法,其特征在于:所述S1中获取引风机系统中某一组传感器的多元时间序列,定义所述多元时间序列由多条一元时间序列组成,并定义多个约束,所述约束包括值域约束、速度约束、函数约束,具体过程为:获取引风机系统中某一组传感器的多元时间序列,定义所述多元时间序列由多条一元时间序列组成,每条一元时间序列对应有一种特征;值域约束:某条一元时间序列x f 的任意时间戳t对应的观测值x t 不能超出某一范围区间,值域约束的运算为O 1 (x t )=x f ;速度约束:给定时间窗口w,某条一元时间序列x f 在时间窗口w内任意两个时刻的数据观测值x t 的变化速度在速度约束范围内,速度约束的运算为 其中,t表示时间戳,t'表示时间窗口内的任一其他时间戳,x t 表示某条一元时间序列x f 在时间戳为t时的观测值,x t' 表示某条一元时间序列x f 在时间戳为t'时的观测值;函数约束:对于多元时间序列X的某A条指定的时间序列 的任意时间戳t对应的观测值 在经过某一种函数变换后的取值属于某一范围,所述函数变换为从给定操作符集合中选取多个操作符进行任意次数的组合,给定操作符集合B={+,-,*,/,(,)},函数约束的运算
3.根据权利要求2中所述的一种基于多约束的时序数据异常检测方法,其特征在于:所述S2中利用定义的约束对多元时间序列进行检查,得到多元时间序列的违规区间,并对违规区间进行划分,将划分后为一组的违规区间称为违规区间子集,得到多组违规区间子集,具体过程为:利用一种或多种约束对多元时间序列进行检查,得到约束后的多元时间序列,若约束后的多元时间序列在某个时间区间内每个时间戳下的观测值均位于对应的约束范围之外,则称所述时间区间为违规区间,每个违规区间中均包含时间区间和原始违规约束,多个违规区间的时间区间之间为相邻、相交或者包含关系时划分为一组违规区间子集,则得到多组违规区间子集。
4.根据权利要求3中所述的一种基于多约束的时序数据异常检测方法,其特征在于:所述S3中将每组违规区间子集中的违规区间进行连接,具体过程为:定义约束修复策略,利用约束修复策略对违规区间进行约束修复,将约束修复后的违规区间进行连接,得到连接后的每组违规区间子集。
5.根据权利要求4中所述的一种基于多约束的时序数据异常检测方法,其特征在于:利用速度约束确定的违规区间不进行连接。
6.根据权利要求5中所述的一种基于多约束的时序数据异常检测方法,其特征在于:所述约束修复策略包括约束紧缩策略与约束扩张策略;约束紧缩策略是调整约束的范围上限和范围下限接近范围中间值,具体过程为;1)、利用约束C对多元时间序列X进行约束,将约束的结果集合记为 其中,c表示任意一种或多种约束;X t 表示时间戳t时多元时间序列X的观测值集合;T表示时间戳集合;O表示约束c对应的运算;2)、根据约束紧缩策略表达式对约束进行修复,得到约束紧缩后的范围上限和范围下限;约束紧缩策略表达式:min(max(c)-max(c)')+(min(c)'-min(c))s.t.(res y -max(c)')*(res y -min(c)')≥0 res y ∈RES(c,X T )max(c)'≤max(c)min(c)≤min(c)'其中,max(c)表示约束的范围上限,min(c)表示约束的范围下限;max(c)'表示约束紧缩后的范围上限,min(c)'表示约束紧缩后的范围下限;res y 表示约束紧缩得到的结果;3)、判断约束紧缩后的范围上限和范围下限是否满足对原约束范围进行更新;若 其中, 为已知的判定参数,则进行约束紧缩策略,定义修改率α,α∈[0.05-0.2],约束紧缩后的范围上限为max(c)-α*(max(c)-max(c)'),约束紧缩后的范围下限为min(c)+α*(min(c)'-min(c));否则,不进行约束紧缩策略,保留原约束;约束扩张策略是调整约束的范围上限和范围下限远离范围中间值,具体过程为;1)、利用约束C对多元时间序列X进行约束,将约束的结果集合记为 2)、根据约束扩张策略表达式对约束进行修复,得到约束扩张后的范围上限和范围下限;约束扩张策略表达式:min(max(c)″-max(c))+(min(c)-min(c)″)s.t.(res i -max(c)″)*(res i -min(c)″)≤0 res i ∈RES(c,X T )max(c)≤max(c)″min(c)″≤min(c)其中,max(c)″表示约束扩张后的范围上限,min(c)″表示约束扩张后的范围下限;res i 表示约束扩张得到的结果;3)、判断约束扩张后的范围上限和范围下限是否满足对原约束范围进行更新;若 则进行约束扩张策略,定义修改率α,α∈[0.05-0.2],约束扩张后的范围上限为max(c)+α*(max(c)″-max(c)),约束扩张后的范围下限为min(c)-α*(min(c)-min(c)″);否则,不进行约束扩张策略,保留原约束。
7.根据权利要求6中所述的一种基于多约束的时序数据异常检测方法,其特征在于:所述S4中定义连接后的每组违规区间子集的时间区间,具体过程为:定义start(T(Vc))为违规区间子集Vc的时间区间T(Vc)的开始时间区间,end(T(Vc))为违规区间子集Vc的时间区间T(Vc)的结束时间区间;start(T(Vc))的表达式:其中,VC表示违规区间集合;T t-β+1,t 表示所求目标变量;如果 则T t-β+1,t 为违规区间子集Vc的开始时间区间,δ表示自定义时间区间阈值变量,δ∈[0,1],δ越小,越会出现约束的异常修改;否则视为开始时间区间不确定;end(T(Vc))的表达式:如果 则T t-β+1,t 为违规区间子集Vc的结束时间戳,否则视为结束时间区间不确定。
8.根据权利要求7中所述的一种基于多约束的时序数据异常检测方法,其特征在于:所述S5中根据每组违规区间子集的时间区间对所述子集内的所有违规区间进行对齐,得到对齐后的每组违规区间子集,具体过程为:定义四个时间区间:1)、 表示违规区间子集内的某个违规区间的开始时间戳至所述违规区间子集的时间区间的开始时间区间的距离形成的时间区间;2)、 表示违规区间子集的时间区间的结束时间区间至所述违规区间子集内的某个违规区间的开始时间戳的距离形成的时间区间;3)、 表示违规区间子集内的某个违规区间的结束时间戳至所述违规区间子集的时间区间的结束时间区间的距离形成的时间区间;4)、 表示违规区间子集的时间区间的结束时间区间至所述违规区间子集内的某个违规区间的结束时间戳的距离形成的时间区间;若每组违规区间子集内的任意一个违规区间的开始时间戳大于定义的所述违规区间子集时间区间的开始时间区间,则所述定义的时间区间为空,无需对齐;否则对定义的时间区间进行约束修复策略,对时间区间1)和时间区间4)进行约束扩张策略,对时间区间2)和时间区间3)进行约束紧缩策略,得到对齐后的每组违规区间子集。
9.根据权利要求8中所述的一种基于多约束的时序数据异常检测方法,其特征在于:所述S6中计算对齐后的每组违规区间子集中每条一元时间序列的异常分数,根据异常分数判断所述一元时间序列是否异常,具体过程为:当约束为值域约束c 1 时,每条一元时间序列的异常分数:其中,T vc 表示违规区间vc的时间区间;max(c 1 )表示值域约束c 1 的范围上限;min(c 1 )表示值域约束c 1 的范围下限;当约束为速度约束c 2 时,每条一元时间序列的异常分数:其中,t+h∈T vc ;max(c 2 )表示速度约束c 2 的范围上限;min(c 2 )表示速度约束c 2 的范围下限;w表示速度约束c 2 设置的时间窗口;h表示时间窗口的数量;当约束为函数约束c 3 时,利用每条一元时间序列的特征建立正态分布,并计算每条一元时间序列的异常分数。
10.根据权利要求9中所述的一种基于多约束的时序数据异常检测方法,其特征在于:所述当约束为函数约束c 3 时,利用每条一元时间序列的特征建立正态分布,并计算每条一元时间序列的异常分数,具体过程为:a、构建正常统计特征空间分布:获取S1中所述传感器与违规区间的时间区间相同季节,且在一天之内的多元时间序列,用统计特征提取方式获取所述时间序列的统计特征值,所述统计特征提取方式为滑动窗口,每个窗口内均得到一个统计特征值,多个窗口的统计特征值组成正常统计特征空间分布;b、利用正态分布函数对正常统计特征空间分布建模,得到正态分布:正常统计特征空间分布内的统计特征均值为μ f,fe ,标准差为σ f,fe ,则正态分布为N(μ f,fe ,(K f,fe σ f,fe ) 2 ),标准正态分布函数为Φ;其中,K f,fe 为可变常数;c、利用统计特征提取方式提取每条一元时间序列的多条统计特征cv f,fe ,分别计算每条统计特征的异常概率:d、对所有统计特征的异常概率进行求和:e、每条一元时间序列的异常分数如下:



