有效
一种无线边缘算力网络中任务预编码和资源分配优化方法
卢云龙、刘佳佳、吴昊、艾渤、代玥玥、杨汨、马国玉
北京交通大学
摘要
本发明提供了一种无线边缘算力网络中任务预编码和资源分配优化方法。该方法包括:构建无线边缘算力网络架构模型,建立任务执行时延和能耗模型,建立算力网络中以任务执行时延最小化为目标的算力调度与资源分配的联合优化问题;进一步,将联合优化问题分解为任务预编码子问题和联合任务划分、算力关联和算力分配子问题。通过基于凸优化的方法和一种多智能体强化学习算法的联合设计,有效应对动态复杂环境下任务传输的通信开销、算力未充分利用、任务的隐私安全等挑战。本发明方法可以在保证效率和稳定性能的同时有效指导智能体以更快的收敛速度获得任务预编码、算力关联和资源优化的最优策略。
1.一种无线边缘算力网络中任务预编码和资源分配优化方法,其特征在于,包括:构建无线边缘算力网络系统架构模型;基于所述无线边缘算力网络系统架构模型,建立无线边缘算力网络中以任务执行时延最小化为目标的算力调度与资源分配的联合优化问题;利用双层优化算法将所述联合优化问题分解为任务预编码子问题和联合任务划分、算力关联和算力分配子问题;对所述任务预编码子问题经过等价分析后,通过设计基于凸优化的算法求解得到预编码策略;通过设计一种多智能体深度强化学习算法对所述联合任务划分、算力关联和算力分配子问题进行求解,得到任务划分、算力关联和资源分配的优化策略;所述的利用双层优化算法将所述联合优化问题分解为任务预编码子问题和联合任务划分、算力关联和算力分配子问题,包括:设计双层优化算法将所述联合优化问题分解为任务预编码子问题和联合任务划分、算力关联和算力分配子问题;在给定任务划分、算力关联和算力分配的情况下,将所述任务预编码子问题P2表述为:将所述联合任务划分、算力关联和算力分配子问题P3表述为:上述公式(8)和公式(9)的目标函数表示的是最小化所有任务的执行时间T n ,ε,A,Υ,F是优化变量,分别表示为任务表达率、任务关联、任务划分和算力分配变量;其中 是二进制变量, 表示任务节点与算力节点相关联,否则 约束条件中ε n ∈(0,1]表示任务节点的平均任务表达率范围, 表示任务的执行性能 需要大于阈值 表示算力节点的总能耗开销不得超过其最大能量预算 表示任务节点的所有子任务之间没有重叠, 代表任务节点本地执行的任务比例, 是任务节点分配给所有服务设备的任务比例和, 是任务节点u n 分配给服务设备u d 的任务比例, 是任务节点分配给所有服务器计算节点的任务比例和, 是任务节点u n 分配给服务器计算节点u s 的任务比例, 代表任务划分的范围限制; 表示只有任务与算力节点关联时才能分配任务; 代表节点的计算能力范围;所述的通过设计一种多智能体深度强化学习算法对所述联合任务划分、算力关联和算力分配子问题进行求解,得到任务划分、算力关联和资源分配的优化策略,包括:将所述联合任务划分、算力关联和算力分配子问题P3转换为马尔科夫决策过程,建立多智能体强化学习算法的状态空间、动作空间和奖励函数;(1)确定状态空间;在每个时隙,智能体划分任务和算力资源, 表示所有代理agent的联合观测空间,每个agent从环境中得到的部分观测值o n (t)表示为 表示环境的全局状态, 是任务节点与算力节点的距离集合, 是任务节点与算力节点之间的信道增益集合,在每个时隙表示为: 表示所有代理的联合动作空间,每个agent需要对任务划分、算力关联和算力分配做出决策,agent在时隙的动作表示为 所有agent的动作表示为 将奖励函数设计为与约束和优化目标一致的混合奖励函数;通过多智能体深度强化学习算法对所述联合任务划分、算力关联和算力分配子问题进行求解,得到任务划分、算力关联和资源分配策略,即任务与哪些算力节点相关联、算力节点执行任务的比例以及算力节点用于执行任务时分配的计算资源。
2.根据权利要求1所述的方法,其特征在于,所述的构建无线边缘算力网络系统架构模型,包括:构建包括无线边缘接入层、算力适配层和应用层的无线边缘算力网络WECPN架构,在无线边缘接入层设置生成计算任务的节点为任务节点,在算力适配层设置利用算力资源进行计算和通信的算力节点,在WECPN架构中,假设存在N个异构、泛在的算力节点,用算力节点集合 表示,其中N=K+M,算力节点集合 分为终端服务设备计算节点集合 和服务器计算节点集合 假设算力节点和任务节点的索引分别表示为i和n,算力节点的状态表示为 其中ζ(f i )和f i 表示算力节点i的CPU的当前计算能力和CPU计算频率,χ i 表示算力节点i的位置;设置三元组Γ n =<D n ,ψ n ,τ n >表示生成的计算任务,其中D n 是计算任务大小,ψ n 是计算密度,即完成一个1比特计算任务所需的CPU周期数,τ n 表示完成计算任务的最大可容忍延迟。
3.根据权利要求2所述的方法,其特征在于,所述的基于所述无线边缘算力网络系统架构模型,建立无线边缘算力网络中以任务执行时延最小化为目标的算力调度与资源分配的联合优化问题,包括:设置无线边缘算力网络中的任务执行时延包括任务预编码开销、任务计算和通信时延开销,将任务n的平均任务表达率表示为ε n ,ε n ∈(0,1],用户在预编码阶段中在第t个时隙内处理的任务大小表示为: 对于每个用户u n ,从原始任务n中提取任务表示的计算时间为:其中 是提取任务表示所需的计算量, 是提取任务表示可获得的算力资源,对于用户u n ,任务的执行性能和任务表达式的提取率建模为:当选择本地计算模式时,计算子任务将在终端设备u n 上本地执行,本地的总执行时间就是计算时间,在时隙t中执行任务u n 所需的估计时间表示为:其中 是本地执行的任务比例, 是本地计算任务的算力大小,ψ n 是计算密度,D n (t)是当前的计算任务大小;当选择服务设备计算时,假设 是服务设备需要执行的比例大小,将u n 执行的子任务通过无线通信在时隙t上卸载到服务设备u d , 并远程执行;u n -u d 上行链路传输: 其中 是传输速率,B nd (t)是任务节点u n 与服务设备u d 之间的带宽,P nd (t)是任务节点u n 传输任务给服务设备u d 的发送功率,|h nd (t)| 2 和 分别是任务节点u n 和服务设备u d 间的信道系数和路径损失,σ 2 是噪声功率谱密度,u d 计算: 其中 是服务设备u d 为任务节点u n 的任务分配的算力大小;u d -u n 下行链路传输: 其中 是服务设备u d 到任务节点u n 的下行传输速率, 是服务设备u d 向任务节点u n 传输计算结果的发送功率, 是两者间信道系数,γ back 是计算结果相对于原始任务的比例系数;服务设备计算能力节点的总任务执行时间表示为:u n -u s 上行链路传输: 其中 是服务器计算节点执行的任务比例,P ns (t)是任务节点u n 向服务器计算节点u s 传输子任务的发送功率,|h ns (t)| 2 和 分别是两者间信道系数和路径损失;u s 计算: 其中 是服务器节点u s 为任务节点u n 的任务提供的算力资源大小;服务器节点的协同计算时间表示为:将T n 作为计算任务对应的任务执行时延,表示为:假设在满足的任何子任务之间没有重叠,即满足 是任务节点分配给所有服务设备的任务比例和, 是任务节点分配给所有服务器计算节点的任务比例和;执行任务的计算能耗: 则执行整个计算任务的所有计算节点的能耗为 其中 表示执行任务的所有计算节点集合,κ i 是有效开关电容;通信能耗: 则所有计算节点的非链路任务传输能耗表示为: 总能耗: 建立无线边缘算力网络中以任务执行时延最小化为目标的算力调度与资源分配的联合优化问题P1为:s.t.ε n ∈(0,1]其中ε,A,Υ,F是优化变量,分别表示为任务表达率、任务关联、任务划分和算力分配变量;约束条件中ε n ∈(0,1]表示任务节点的平均任务表达率范围, 是任务关联二进制变量, 表示任务的执行性能 需要大于阈值 表示算力节点的总能耗开销不得超过其最大能量预算 表示任务节点的所有子任务之间没有重叠, 代表任务节点本地执行的任务比例, 是任务节点分配给所有服务设备的任务比例和, 是任务节点u n 分配给服务设备u d 的任务比例, 是任务节点分配给所有服务器计算节点的任务比例和, 是任务节点u n 分配给服务器计算节点u s 的任务比例, 代表任务划分的范围限制; 表示只有任务与算力节点关联时才能分配任务; 代表节点的计算能力范围。
4.根据权利要求3所述的方法,其特征在于,所述的对所述任务预编码子问题经过等价分析后,通过设计基于凸优化的算法求解得到预编码策略,包括:分析任务性能和计算量函数的变化趋势,给出计算量和计算性能与任务表达率关系的表达式,对于附加的计算量和任务性能函数,采用拟合算法求解,对所述任务预编码子问题进行等价分析,将所述任务预编码子问题转为凸优化问题,用卡罗需-库恩-塔克KKT条件对所述凸优化问题进行求解,得到预编码策略的最优解ε,即任务表达率。
5.根据权利要求4所述的方法,其特征在于,所述奖励函数包括:即时奖励和长期奖励,即时奖励是每个任务完成后对结果进行评估的奖励,涉及约束和优化目标一致的混合奖励;长期奖励使用折扣因子在即时奖励和长期奖励之间取得平衡,智能体不断与环境进行交互,以最大化长期折扣奖励;状态归一化:采用状态归一化来缩放状态,将它们置于[0,1]的范围内;动作掩码:将任务划分、算力关联和算力分配所有连续变量约束为[0,1],将任务划分变量从集合(0,0.01,0.02,…,1)中取值;所有计算任务节点的总奖励为:其中R n 是智能体执行动作后获得奖励;长期累积奖励R,计算为:其中γ是累积折扣因子。
暂无引用专利




