一种时延优化的卫星网络自适应路由方法及系统

1.一种时延优化的卫星网络自适应路由方法，其特征在于，包括以下步骤：S1：多跳信息年龄的构建，具体为：S11：在低轨卫星星座系统模型中，假设用 表示数据流 的第 跳卫星节点在时隙 的瞬时信息年龄，计算瞬时信息年龄；S12：引入二进制变量 表示数据流 的第 跳卫星节点在时隙 是否接收到第 个数据包；当第 跳卫星节点在时隙 成功接收到第 个更新包时， =1；否则 =0；S13：描述当前卫星节点的信息年龄与上一跳卫星节点的信息年龄的关系为：如果在 时刻接收到数据包，将信息年龄表示为 ；如果没有接收数据包，将信息年龄表示为 ；构建信息年龄的基本模型；S14：将每个卫星节点视为一个服务单元，具有有限的服务能力和队列来存储等待处理的数据包；采用先到先服务的排队论理论建模数据包在队列中的等待时间；S15：通过卫星节点的服务速率和数据包生成速率之间的比较来衡量卫星网络的拥塞程度，对网络拥塞程度进行建模；S16：对卫星网络连通性约束进行建模；S17：构建最小化信息年龄模型；S2：多路径路由，通过基于多跳信息年龄优化的路径搜索算法以动态计算多条不相交的候选路径，实现流量分流；S3：链路状态感知，每颗卫星周期性向控制卫星发送链路状态信息，包含卫星节点接收新数据包的容量、当前卫星节点的队列长度、当前网络拓扑信息、网络的整体指数；S4：流量分割自适应路由，在路径选择的基础上，通过深度强化学习方法，根据动态链路参数对流量分配比率和数据生成速率进行优化；S5：动态路由决策，根据S4持续迭代训练，智能代理动态调整流量分配比率和数据包生成速率；利用奖励函数计算即时奖励，持续优化策略网络和Q值网络，使信息年龄最小化；完成训练后，代理定期收集网络状态，并根据训练后的策略网络进行流量分割决策。 2.根据权利要求1所述的时延优化的卫星网络自适应路由方法，其特征在于：所述S11中计算瞬时信息年龄，具体为：瞬时信息年龄表示为如下公式：其中， 表示数据流 的第 个数据包的生成时间；所述S13构建信息年龄的基本模型 具体为：基于当前卫星节点的信息年龄与上一跳卫星节点的信息年龄之间的关系构建信息年龄的基本模型，表示为如下公式：其中， 表示数据流总数： 表示数据流 中的数据包总数； 表示是二进制变量，表示在时隙 是否成功接收数据包 ；所述S14，具体为：在数据包到达节点 时，将拥塞对信息年龄的影响建模为队列的等待时间 的增加，表示为如下公式：其中， 表示数据包 k 在 时刻的信息年龄； 表示为数据包 k 在源节点的生成时刻； 是数据包 k 在队列中的等待时间；设每个卫星节点 的服务速率为 ，表示节点每秒能处理数据包数量；设到达率 ，表示数据包到达卫星节点 的平均速率；设队列长度为 ，表示在时间 时刻，卫星节点 的队列中等待处理数据包的数量，表示为如下公式：其中， 表示时间间隔； 表示到达率；平均服务时间为 ，数据包在队列中的等待时间 可以表示为如下公式：所述S15，具体为：定义拥塞指标 来表示卫星节点 在时间 时刻的拥塞程度，表示为如下公式：其中， 表示卫星节点 在 时刻的达到率；当 时，表示卫星节点 处于拥塞状态；当 时，表示卫星节点 有剩余处理能力；当 时，表示卫星节点 正好达到平衡状态；数据包生成速率根据当前网络拥塞情况状态和卫星节点的剩余容量，动态调整数据包生成速率 ；调整公式表示为如下公式：其中， 是调整后的数据包生成速率， 是根据拥塞指标和节点剩余容量调整数据包生成速率的函数；所述S16，具体为：对于每个源节点 和目的节点 ，存在一个路径 集使得： 其中， 表示路径 上的边， 表示边 的容量， 表示源节点流量需求量；所述S17，具体为：将卫星网络建模为一个时空图，表示为如下公式：其中， 卫星集合表示为 ， 为链路集合表示为 ， 是由 个时隙组成的向量，其时间间隔为 ；在时间片 内，存在的链路数表示为 ；任意节点之间的 条路径定义为 ，以实现有效的流量分流，表示为如下公式：其中， 表示时间片 内所有路径集； 表示时间片 内第一个数据流的第一条传输路径； 表示时间片 内第一个数据流的第 条传输路径； 表示时间片 内第 个数据流的第 条传输路径；假设路径空间 在观测时间 的最大流量 ；其中 的最大流量为链路的最大容量；根据相关路径的带宽资源，每个源节点可以将流拆分为同时经过 K 条路径的 M 个子流。 3.根据权利要求1所述的时延优化的卫星网络自适应路由方法，其特征在于：所述S2，具体包括以下步骤：S21：输入源卫星节点和目的卫星节点对、星历信息和预定义的随机权重范围，并进行初始化，具体为：输入源节点和目标节点的卫星对集合 、星历信息，以及预定义的随机权重范围 ，初始化链路的权重矩阵 和候选路径集合 为空集合，链路占用频率 设为0，其中 表示链路， 表示时间片；S22：对于每个时间片 ，利用基于信息年龄的Dijkstra最短路径算法计算当前时间片内的最短路径 ，如果链路在最短路径中，则更新链路占用频率，为防止算法陷入局部最优，采用阈值设定的方法，如果链路的占用频率 小于给定的阈值 ，地面控制中心随机分配一个介于 和 之间的整数作为新的链路度量；否则将链路的度量设为介于 和 之间的随机整数；S23：将信息年龄最短传输路径中的链路删除，在剩余的链路用最短路径算法继续筛选次短路径，充分利用空闲链路。 4.根据权利要求1所述的时延优化的卫星网络自适应路由方法，其特征在于：所述S3，具体为：将每个卫星节点的状态 包含以下要素： ：卫星节点接收新数据包的容量； ：当前卫星节点的队列长度； ：当前网络拓扑信息； ：网络的整体指数。 5.根据权利要求1所述的时延优化的卫星网络自适应路由方法，其特征在于：所述S4，具体为：S41：设状态S包括 以及 ； 表示卫星节点接收新数据包的容量； 表示当前卫星节点的队列长度； 表示当前网络拓扑信息； 表示网络的整体指数；动作A为所有节点对之间的候选路径的流量占比和数据包生成速率表示为： ，每个动作 包含：路径流量分配权重,数据包生成速率 、奖励R为数据信息年龄和节点拥塞程度的加权和，表示为如下公式：其中， 表示在状态 做出动作 的奖励； 表示在状态 做出动作 的信息年龄； 表示状态 下的链路拥塞程度； 和 分别为信息年龄和拥塞程度的权重系数，奖励值越大，表示路径选择和流量分配策略对信息年龄优化越有效；S42：将步骤S2中基于多跳信息年龄优化的路径搜索算法获取的路径和步骤S3获取的链路状态信息输入到强化学习中，通过训练智能体决策为每条传输路径分配的流量比和数据传输的速率；其中最优策略的更新满足如下公式：其中， 表示期望； 为温度系数，用于调节熵在目标函数中的重要性； 为折扣因子； 表示状态 情况下发生动作 的奖励； 为熵函数，表示状态 时策略的熵，表示为如下公式：价值函数 定义为如下公式：其中， 从经验回放池 D 中采样获得； 表示价值函数，表示在状态 下，遵循策略 时的期望回报；状态价值函数 表示在某个状态下预期得到的奖励，其定义为如下公式： 。 6.一种时延优化的卫星网络自适应路由系统，其特征在于，包括：路径选择模块：在已知的星历信息基础上，通过对卫星节点的实时位置构建网络拓扑快照图；每个时间片构成一个拓扑图，并通过多路径路由算法计算满足可行路径约束的多条候选路径；数据包生成速率调节模块：依据卫星节点的处理能力与网络拥塞度调整数据包生成速率，并将调整后的数据包生成速率反馈给流量分配模块；数据包生成速率的调整影响后续路径选择与流量分配；信息年龄计算模块：计算并更新每个卫星节点的信息年龄，为路径选择模块提供数据，帮助选择最适合的路径；还将信息年龄反馈给流量分配模块，影响数据流的优化分配；更新信息年龄后，将计算结果反馈给强化学习模块，提供模型学习和调整策略；路径选择模块：根据卫星星历信息和链路状态，选择最优的多跳路径，并将选择结果反馈给流量分配模块；流量分配模块：依据信息年龄、网络拥塞情况及卫星节点队列长度，优化流量分配，并将流量调度结果反馈给数据包生成速率调节模块和路径选择模块；通过优化流量分配，影响数据的转发速率与路径选择策略；强化学习模块：基于网络状态，调整路径选择与流量分配策略，并优化长期性能；该模块与系统中的其他模块交互以动态调整与优化自适应。