1.一种基于Transformer的智能电网5G移动终端多轨迹预测方法,其特征在于,包括以下步骤:S1:设定部署范围,收集部署范围内移动终端的移动轨迹数据;S2:处理移动轨迹数据;对移动轨迹数据进行平滑处理并剔除异常数据,划分训练样本和测试样本;S3:构建双层Transformer模型,第一层Transformer对每个移动终端的历史和当前预测轨迹进行编码;第二层Transformer对移动终端之间的关系和运动模式进行捕获并进一步建模,包括将每个终端的内在特征作为输入,进一步进行注意力编码;S4:训练并测试双层Transformer模型,将训练好的双层Transformer模型部署到处理中心;S5:对部署范围内的移动终端轨迹跟踪,通过双层Transformer模型输出轨迹预测结果。
2.根据权利要求1所述的一种基于Transformer的智能电网5G移动终端多轨迹预测方法,其特征在于,所述的步骤S1具体包括以下过程:S101:设定智能电网覆盖的区域的长度和宽度;S102:分别收集5G终端设备的移动轨迹数据;S103:给定以相同的采样间隔同时采样的长度为p的g个移动终端轨数据。
3.根据权利要求1或2所述的一种基于Transformer的智能电网5G移动终端多轨迹预测方法,其特征在于,所述的步骤S2中,通过高斯算法对移动轨迹数据进行平滑处理;高斯算法的过滤函数为:其中,(x,y)为移动轨迹数据的点坐标;σ为标准差。
4.根据权利要求1所述的一种基于Transformer的智能电网5G移动终端多轨迹预测方法,其特征在于,所述的第一层Transformer包括编码器和解码器组成;编码器包括若干个第一Layer,每个第一Layer包含多头自注意模块和前馈网络模块,每层均会进行残差连接和归一化;解码器包括若干个第二Layer,每个第二Layer包含屏蔽多头自注意模块、多头自注意模块和前馈网络模块,每层均会进行残差连接和归一化。
5.根据权利要求4所述的一种基于Transformer的智能电网5G移动终端多轨迹预测方法,其特征在于,所述的第一层Transformer的操作过程为:A1:输入序列T={t 1 ,t 2 ,...,t p }输入到第一层Transformer;通过线性变换,将每个时间步的坐标映射到高维嵌入空间;A2:对于输入序列中的位置信息,通过不同频率的正弦和余弦函数来编码位置特征,在编码器和解码器的底端嵌入位置编码;A3:将步骤A1和步骤A2中的输出相加,获得x,通过三个权重矩阵W q 、W k 和W v 分别转换为Query向量、Key向量和Value向量;A4:前馈网络模块包含两个线性层和一个非线性激活函数,具体计算过程为:FFN(x)=ReLU(W 1 x+b 1 )W 2 +b 2其中,W 1 和W 2 是两个线性层的参数矩阵,b1和b2为线性层的偏置参数;A5:残差连接和归一化的具体过程为:x=LayerNorm(x+Operation(x))其中,Operation(·)表示自注意力操作或前馈网络,LayerNorm(·)表示层归一化操作;A6:解码网络采用两个自注意力模型结构;第一个自注意力模型对输入{t zero ,t p+1 ,t p+2 ,t p+3 ,t p+4 }进行编码,作为第二个自注意力模型的Query向量;第二个注意力模型的输出采用前馈网络、残差连接和归一化模块,最后的输出是每个轨迹位置点对应的D维特征向量,并作为第二层Transformer的输入。
6.根据权利要求1或4或5所述的一种基于Transformer的智能电网5G移动终端多轨迹预测方法,其特征在于,所述的第二层Transformer包括多头自注意模块、前馈网络模块、残差连接模块和归一化模块,得到增强的特征序列后,使用线性变换将输出增强特征向量映射到二维坐标位置,从而得到最终的预测轨迹坐标位置。
7.根据权利要求6所述的一种基于Transformer的智能电网5G移动终端多轨迹预测方法,其特征在于,所述的第二层Transformer的操作过程为:B1:第二层Transformer的输入为每个移动终端每一个预测时间步的高维嵌入 共D维;B2:三个权重矩阵W q 、W k 和W v 将输入分别转换为Query向量、Key向量和Value向量;B3:嵌入前馈网络模块,前馈网络模块包含两个线性层和一个非线性激活函数,具体计算过程为:FFN(x)=ReLU(W 1 x+b 1 )W 2 +b 2其中,W 1 和W 2 是两个线性层的参数矩阵,b1和b2为线性层的偏置参数;B4:残差连接和归一化的具体过程为:x=LayerNorm(x+Operation(x)0其中,Operation(·)表示自注意力操作或前馈网络,LayerNorm(·)表示层归一化操作;B5:对于输出的每个移动终端的强化特征向量,使用线性变换将其映射为该移动终端在这一时间步的二维坐标位置,从而得到最后的预测轨迹坐标位置。
8.根据权利要求1所述的一种基于Transformer的智能电网5G移动终端多轨迹预测方法,其特征在于,所述的步骤S4包括以下步骤:S401:设置训练的学习率为0.01,epoch为300,batch size为100;S402:在训练的过程中,采用MSE作为学习的误差函数:其中,t i 为实际的移动终端轨迹坐标位置, 为预测的移动终端轨迹坐标位置;S403:采用Adam优化器来优化网络参数,逐步降低误差函数loss值。