基于多阶段混合时空融合的网络流量异常检测方法及系统

1.一种基于多阶段混合时空融合的网络流量异常检测方法，其特征在于，所述网络流量异常检测方法包括以下步骤：S1，对生成的网络流量数据中的离散型特征进行One-hot编码将其转换为数值型特征，采用最小-最大归一化方法对数值型特征进行归一化处理，采用图注意力神经网络捕获网络流量特征之间的相关性，提取得到网络流量数据的空间特征；S2，使用门控时间卷积网络的因果扩张卷积机制从不同时间层次捕获网络流量的时间依赖性和频率特征，采用多层堆叠的门控时间卷积网络自适应地选择相应信息传递给下一层，多层堆叠的门控时间卷积网络由叠加的门控时间卷积层和输出层组成，门控时间卷积网络由两个并行的时间卷积层组成，提取得到网络流量数据的时间特征；S3，采用双仿射模块对网络流量数据的空间特征和时间特征进行时空信息深度融合，将融合的信息按序传递给后续单元，将经过逐层传播和双仿射变换的时空信息合并生成最终时空特征表示，并通过门控循环单元网络对最终时空特征表示进行编码生成潜变量；S4，在重构阶段解码器通过对潜变量进行重构得到潜变量对应时间戳的重构值，通过计算重构值与真实值的差异进行异常诊断，对双编码器模型进行训练；S5，在异常检测阶段利用训练好的双编码器模型重构测试数据得到重构得分，并对低维潜在表示进行聚类得到聚类中心，计算测试集低维潜在表示与聚类中心的最大距离得分，结合重构得分来判断时间序列中任意一个时间戳为异常的可能性，实现网络流量异常检测。 2.根据权利要求1所述的基于多阶段混合时空融合的网络流量异常检测方法，其特征在于，步骤S1中，提取得到网络流量数据的空间特征的过程包括以下步骤：S11，基于分组特征、基于流特征和基于内容特征提取得到原始物联网络流量中的包含协议、服务和状态在内的离散型特征，采用One-hot编码将离散型特征转换为数值型特征；S12，采用最小-最大归一化方法对数值型特征的每个维度进行归一化处理：其中，min(S train )和max(S train )分别是网络流量数据集中训练集的最大值和最小值， 表示归一化处理后的网络流量数据；S13，通过长度为N的滑动窗口生成固定长度的输入，表示为Wt＝{x t-N+1 ,…,x t-1 ,x t }，x t 表示第t个时间戳的数据；将网络流量多元时间序列视为一个完全图，其中每个节点代表某个特征，每条边表示两个对应特征之间的关系，通过图注意力神经网络来捕捉相邻节点之间的关系，其中每个节点可以用一个序列向量s i ＝{s i,n |n∈[0,N)}表示，总共有K个节点；式中，N是滑动窗口大小，K为多元时间序列特征的总数，s i,n 表示节点i在滑动窗口中第n个数据；图注意力神经网络计算每个节点特征表示为：其中， 表示每个节点i的输出表示，与节点i序列向量s i 有相同的形状；σ表示sigmoid激活函数；α ij 表示注意力得分，用来衡量节点i和相邻节点j直接的相关性，J表示节点i的相邻节点个数；注意力得分α ij 表示为：式中， 表示两个节点的拼接； 是可学习的列向量，其中N是滑动窗口大小，exp表示以自然常数e为底的指数函数，LeakyReLU是非线性激活函数，s i 和s j 分别表示节点i序列向量和节点j序列向量。 3.根据权利要求1所述的基于多阶段混合时空融合的网络流量异常检测方法，其特征在于，步骤S2中，提取得到网络流量数据的时间特征的过程包括以下步骤：使用门控时间卷积网络的因果扩张卷积机制从不同时间层次捕获网络流量的时间依赖性和频率特征，扩张因子表示为：D＝{2 0 ,2 1 ,…,2 d-1 }式中，第d-1层的时间卷积网络的扩张因子为2 d- 1，因果扩张卷积表示为：其中，F(t)为t时刻的数据输出，f(m)表示第m个滤波器，x t-D·m 为第t-D·m个时间戳的数据输入，D为扩张因子，与网络层数成指数关系，M为滤波器的大小；TCN运算表示为：其中，TCN(x t )表示第t个时间戳的数据x t 经过TCN变化后的输出， 表示时间卷积网络内部的一系列因果扩张卷积和激活函数组成的运算，ReLU表示激活函数；采用多层堆叠的门控时间卷积网络自适应地选择相应信息传递给下一层，通过残差连接和跳跃连接来避免模型训练时的梯度消失和过拟合问题，门控时间卷积网络公式表示为：其中，θ 1 、θ 2 、b 1 和b 2 为TCN模型参数， 是元素乘积，g是输出的激活函数，σ是sigmoid函数用来决定保留到下一层的信息的比例，W是线性层的权重，b是线性层的偏置，x t 表示第t个时间戳的数据， 表示单层门控时间卷积网络的输出， 表示多层堆叠门控时间卷积网络最终输出。 4.根据权利要求1所述的基于多阶段混合时空融合的网络流量异常检测方法，其特征在于，步骤3中，基于逐层传播和双仿射变换的时空特征融合的过程包括以下步骤：采用双仿射变换对时空信息之间进行特征交换，并将交换后的特征作为初始分别输入到下个时空融合单元的图注意力神经网络和时间卷积网络中，通过多层时空融合单元之间的逐层传播机制实现特征之间的深度融合，双仿射变换如下：其中， 和 分别是第l层时间卷积网络模型和图注意力神经网络模型经过双仿射模块的输出，W 1 和W 2 是可学习的权重矩阵，通过 和 之间多次逐层传播双仿射操作，实现时空特征深度融合；将经过逐层传播和双仿射变换的时空信息合并生成最终时空特征表示 并通过门控循环单元网络对特征进行编码生成最终潜变量z：其中，z t 表示第t个时间戳最终生成的潜变量，h t-1 表示门控循环单元网络在第t-1个时间戳生成的隐藏状态， 表示经过多层时空融合的在第t个时间戳的输出。 5.根据权利要求4所述的基于多阶段混合时空融合的网络流量异常检测方法，其特征在于，步骤4中，通过在门控循环单元网络之后堆叠两个维度为k的全连接层作为解码器；双编码器包括第一自编码器和第二自编码器；通过两阶段对抗训练提升双编码器的重构能力，在第一阶段中第一自编码器和第二自编码器分别进行自训练，以学习重建正常输入数据，在第二阶段中通过将第一自编码器的重构输出重新输入到第二自编码器进行对抗训练；基于双编码器的特征解码和对抗训练的过程包括以下步骤：在重构阶段解码器通过对潜变量z进行重构得到潜变量对应时间戳的重构值，并通过计算重构值与真实值的差异进行异常诊断，通过在门控循环单元网络之后堆叠两个维度为k的全连接层作为解码器：Decoder(z t )＝Linear 2 (Linear 1 (GRU(z t )))x recon ＝Decoder(z t )；第一自编码器和第二自编码器的编码-解码形式AE 1 (x t )和AE 2 (x t )如下公式所示：AE 1 (x t )＝Decoder1(Encoder(x t ))AE 2 (x t )＝Decoder2(Encoder(x t ))；式中，x t 表示第t个时间戳的数据,Encoder(x t )是编码网络的输出结果，Decoder1()是第一解码网络的解码函数，Decoder2()是第二解码网络的解码函数；通过两阶段对抗训练提升双编码器的重构能力，在第一阶段，将正常数据经过编码网络编码后同时输入第一解码网络和第二解码网络，通过各自解码器网络重构出数据；loss AE1 ，loss AE2 分别表示第一自编码器和第二自编码器在自训练中的重构损失：其中，x t,k 表示第t个时间戳数据x t 中的第k个特征的值，K为多元时间序列特征的总数,AE 1 (x t,k )和AE 1 (x t,k )分别表示输入数据x t,k 经过第一自编码器和第二自编码器重构后的值；在第二阶段，来自第一自编码器生成的重构数据再次由编码网络压缩到z，然后由第二自编码器重建，同时使用对抗性训练的机制，第一自编码器的目标是最小化W和第二自编码器输出之间的差异，第二自编码器的目标是最大化这一差异；对抗训练目标是： 6.根据权利要求1所述的基于多阶段混合时空融合的网络流量异常检测方法，其特征在于，步骤S5中，以数据的重构误差为基础计算滑动窗口的异常分数，重构误差计算公式表示为：其中， 表示测试集中第t个时间戳的数据， 和 分别表示输入数据 经过第一自编码器和第二自编码器重构后的值。 7.根据权利要求1所述的基于多阶段混合时空融合的网络流量异常检测方法，其特征在于，步骤S5中，在利用非对称自编码器学习到原始高维轨迹数据在低维隐空间中的特征表示后，通过K-mean算法对训练数据的低维隐空间进行聚类得到多个聚类中心，计算测试集低维隐空间与聚类中心的最大距离并作为异常得分，通过对训练数据使用聚类算法带来的额外先验信息来提高模型的准确率，聚类最大聚类异常得分表示为：其中，z t 表示第t个时间戳最终生成的潜变量，c p 表示对训练数据集聚类产生的第p个聚类中心,P表示聚类中心总数；最终异常得分为：score＝(1-β)×a recon +β×a cluster其中，参数β用来衡量重构得分以及聚类得分之间的比例，a recon 表示重构误差。 8.一种基于权利要求1-7任一项中所述方法的基于多阶段混合时空融合的网络流量异常检测系统系统，其特征在于，所述网络流量异常检测系统包括：空间特征提取模块，用于对生成的网络流量数据中的离散型特征进行One-hot编码将其转换为数值型特征，采用最小-最大归一化方法对数值型特征进行归一化处理，采用图注意力神经网络捕获网络流量特征之间的相关性，提取得到网络流量数据的空间特征；时间特征提取模块，用于使用门控时间卷积网络的因果扩张卷积机制从不同时间层次捕获网络流量的时间依赖性和频率特征，采用多层堆叠的门控时间卷积网络自适应地选择相应信息传递给下一层，多层堆叠的门控时间卷积网络由叠加的门控时间卷积层和输出层组成，门控时间卷积层由两个并行的时间卷积层组成，提取得到网络流量数据的时间特征；时空特征融合模块，用于采用双仿射模块对网络流量数据的空间特征和时间特征进行时空信息深度融合，将融合的信息按序传递给后续单元，将经过逐层传播和双仿射变换的时空信息合并生成最终时空特征表示，并通过门控循环单元网络对最终时空特征表示进行编码生成潜变量；模型训练模块，用于在重构阶段解码器通过对潜变量进行重构得到潜变量对应时间戳的重构值，通过计算重构值与真实值的差异进行异常诊断，对双编码器模型进行训练；异常检测模块，用于在异常检测阶段利用训练好的双编码器模型重构测试数据得到重构得分，并对低维潜在表示进行聚类得到聚类中心，计算测试集低维潜在表示与聚类中心的最大距离得分，结合重构得分来判断时间序列中任意一个时间戳为异常的可能性，实现网络流量异常检测。 9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1-7任意一项所述的方法步骤。 10.一种电子设备,其特征在于,所述电子设备包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,实现权利要求1-6任意一项所述的方法步骤。