有效
基于动态图时空相关性与自适应对抗训练的流量预测方法
张慧、张骁雄、丁鲲、刘茗、孙毅、张可、蒋国权
中国人民解放军国防科技大学
摘要
本申请涉及一种基于动态图时空相关性与自适应对抗训练的流量预测方法。所述方法包括:利用自适应图卷积网络通过学习动态图数据捕捉得到动态图空间嵌入表示;根据时间注意力网络对动态图数据进行捕获,得到动态图时间嵌入表示;获得动态图嵌入;将动态图嵌入作为起始嵌入和预先设置的最后一个对抗节点嵌入定义为上下文节点嵌入作为策略网络的输入后设置对抗奖励函数和损失函数后对所述策略网络进行训练,根据训练好的策略网络输出更新动态图,对更新后的动态图进行空间相关性捕获和时间相关性捕获,得到当前网络设备对应的流量预测结果。采用本方法能够有效应对数据污染和节点异常,并适应不断变化的网络条件实现流量预测。
1.一种基于动态图时空相关性与自适应对抗训练的流量预测方法,其特征在于,所述方法包括:将网络设备建模为动态图;所述动态图包括节点集、边集和邻接矩阵;所述节点集包括多个节点;所述节点包括服务器、路由器和交换机;获取历史时刻的网络设备对应的动态图数据;利用自适应图卷积网络通过学习动态图数据中的节点和边的动态变化捕捉得到动态图空间嵌入表示;根据时间注意力网络对所述动态图数据中的节点间的时间相关性进行捕获,得到动态图时间嵌入表示;对所述动态图空间嵌入表示和动态图时间嵌入表示输入进行非线性激活和线性组合获得动态图嵌入;将动态图嵌入作为起始嵌入和预先设置的最后一个对抗节点嵌入定义为上下文节点嵌入作为策略网络的输入;在所述策略网络中根据多头注意力机制对所述上下文节点进行更新,得到更新后的初始节点嵌入;利用所述更新后的初始节点嵌入计算下一个节点概率,选择最高概率的节点在所有节点中作为下一采样的对抗节点;向所述策略网络中施加对抗节点,根据施加对抗节点前后的预测性能变化设置策略网络的对抗奖励函数和损失函数;利用所述对抗奖励函数和损失函数对所述策略网络进行训练,根据训练好的策略网络输出更新后的对抗节点;根据更新后的对抗节点更新所述动态图,对所述更新后的动态图进行空间相关性捕获和时间相关性捕获,得到当前网络设备对应的流量预测结果。
2.根据权利要求1所述的方法,其特征在于,利用自适应图卷积网络通过学习动态图数据中的节点和边的动态变化捕捉得到动态图空间相关性,包括:利用自适应图卷积网络通过学习动态图数据中的节点和边的动态变化捕捉得到动态图空间相关性为其中,N是动态图中总的节点数量,σ是Sigmoid激活函数,i是是当前节点,j是其邻居节点,k表示所有可能影响节点i的其他节点,I N 是单位矩阵,I表示输入的动态图数据,O表示输出的动态图空间相关性, 是邻接矩阵,D是度矩阵, 是节点嵌入矩阵, 是权重池, 是偏置池,其中d是嵌入维度,C是特征维度,F是输出特征维度,ReLU为激活函数, 表示Hadamard积,M用于调整每个元素的权重,B为偏置矩阵,R A 为自适应图矩阵,在训练过程中自动更新,exp是指数函数,用于计算e的指数次幂。
3.根据权利要求1所述的方法,其特征在于,所述时间注意力网络包括编码模块、图注意力模块、多层捕获模块、特征重构模块、重要特征矩阵模块和特征学习模块;根据时间注意力网络对所述动态图数据中的节点间的时间相关性进行捕获,得到动态图时间嵌入表示,包括:根据所述编码模块对输入的动态图数据进行编码,得到节点特征矩阵和时间戳节点特征矩阵;在所述图注意力模块中对根据输入的节点特征矩阵和时间戳节点特征矩阵计算得到融合注意力矩阵;在所述多层捕获模块中对融合注意力矩阵进行更新,得到更新后的节点矩阵;在所述特征重构模块对所述更新后的节点矩阵进行重构,通过计算图静态注意力输出的特征和图动态注意力输出的特征的差值对当前时刻的节点特征进行特征补充,得到重构后的特征;在所述重要特征矩阵模块根据自注意力机制对重构的特征进行处理,得到重要特征矩阵;在所述特征学习模块对所述重要特征矩阵进行特征学习,得到动态图时间嵌入表示。
4.根据权利要求3所述的方法,其特征在于,在所述图注意力模块中对根据输入的节点特征矩阵和时间戳节点特征矩阵计算得到融合注意力矩阵,包括在所述图注意力模块中对根据输入的节点特征矩阵计算得到图静态注意力矩阵为A static =softmax(HW static H T )其中,H是节点特征矩阵,上标T表示转置运算,W static 表示静态特征的权重矩阵,softmax表示归一化指数函数,用于将向量转换为概率分布;根据输入的时间戳节点特征矩阵计算得到图动态注意力矩阵为其中,W dynamic 表示动态权重矩阵;将图静态注意力矩阵和图动态注意力矩阵通过加权相加的方式融合,得到融合注意力矩阵为A combined =αA static +(1-α)A dynamic其中,α是权重参数,用于控制静态和动态注意力机制对融合注意力矩阵的贡献。
5.根据权利要求3所述的方法,其特征在于,在所述多层捕获模块中对融合注意力矩阵进行更新,得到更新后的节点矩阵,包括:在所述多层捕获模块中对融合注意力矩阵进行更新,得到更新后的节点矩阵为其中,A combined 表示融合注意力矩阵,ReLU为激活函数, 是归一化后的度矩阵,H (l) 是第l层的节点特征矩阵, 是第l层的特征权重矩阵。
6.根据权利要求3所述的方法,其特征在于,在所述特征学习模块对所述重要特征矩阵进行特征学习,得到动态图时间嵌入表示,包括:在所述特征学习模块对所述重要特征矩阵进行特征学习,得到动态图时间嵌入表示为其中,F att 表示重要特征矩阵,R A 表示自适应图矩阵,E表示动态图中流量数据的长时期动态时间关系,tanh为激活函数,[·]表示连接操作,⊙表示元素对元素的乘积操作,z和r分别是复位门和更新门,t表示当前时刻,σ表示Sigmoid激活函数, 表示当前时刻的候选隐藏状态,h t-1 表示当前时刻的上一时刻的动态图时间嵌入表示,softmax表示归一化指数函数,用于将向量转换为概率分布, 为中间变量,表示推断出的节点之间的依赖性,W z 、W z 、 b z 、b r 以及 表示不同的可学习参数,ReLU为激活函数,上标T表示转置运算。
7.根据权利要求1所述的方法,其特征在于,在所述策略网络中根据多头注意力机制对所述上下文节点进行更新,得到更新后的节点嵌入,包括:在所述策略网络中根据多头注意力机制对所述上下文节点进行更新,得到更新后的节点嵌入为其中,||表示串联操作,J是多头注意力的头数,MHA j 是第j个头的多头注意力机制,计算公式如下:注意力机制中查询向量q (c) ,键向量k j 和值向量v j 的定义为如下:其中,U (c) 表示上下文节点嵌入, 是线性变换矩阵,H′是上一层的输出。
8.根据权利要求1所述的方法,其特征在于,利用所述更新后的初始节点嵌入计算下一个节点概率,包括:根据初始节点嵌入计算查询向量q和节点i键向量k i ,公式如下:q=W Q U (c) ′,k i =W K H i ′其中,W Q 是用于生成查询向量的权重矩阵,W K 是用于生成键向量的权重矩阵;利用单头注意力计算logit对更新后的上下文节点与所有节点进行查询:其中C是常数,d k 是键向量的维度,r j 是节点j的注意力得分,tanh为激活函数,上标T表示转置运算,k j 是键向量;在每一步k,选择一个节点ω k ,不仅需要考虑当前图节点嵌入,还要考虑所有之前选择的节点的输出ω k′ ,对于所有k′<k,被选中的节点用r j =-∞或计算机所能表达的最小负数来掩码,然后使用softmax函数计算下一个节点概率为其中,p i 是节点i被选择的概率,ω k 是当前节点,s是当前状态,ω 1:k-1 是之前选择的节点序列,r i 是节点i的注意力得分,p θ 表示在给定预测模型参数θ下的概率分布。
9.根据权利要求1所述的方法,其特征在于,设置策略网络的对抗奖励函数为其中,Ω是选择的节点集,r(Ω)表示内部损失, 是均方误差损失函数,X′ t 是t时刻经过对抗扰动后的历史数据,G是动态图数据,r KD 是知识蒸馏奖励,L KD 是知识蒸馏损失, 是上一次训练的教师网络,T K (d)表示计算距离方法, 表示当前网络与教师网络之间的马尔可夫距离,c是常数,α 1 和α 2 是控制从教师网络转移的知识量和马尔可夫距离奖励权重的参数,max函数用于找出一组值中的最大值。
10.根据权利要求9所述的方法,其特征在于,设置策略网络的损失函数为其中,c是一个常数,s表示为问题实例,由从时间点t-T+1到时间点t的流量数据组成,p φ (Ω∣s)表示在问题实例s下选择节点集Ω的概率,φ是策略网络的参数,log是对数概率, 表示梯度。
暂无引用专利




