一种基于强化学习的主动配电网有功无功联合控制方法

1.一种基于强化学习的主动配电网有功无功联合控制方法，其特征在于，该方法首先分别建立主动配电网的近似仿真模型和有功无功联合控制的优化模型，根据该两个模型，建立基于马尔科夫过程决策的交互训练环境，通过采集各时刻主动配电网各节点有功功率、无功功率以及各节点电压的组成状态向量以及各智能逆变器的有功功率、无功功率和各无功补偿装置的无功功率构成训练样本；通过强化学习中的深度确定性策略梯度算法，并运用经验优化回放技术训练主动配电网有功无功联合控制智能体；利用训练完毕的智能体通过各时刻主动配电网的状态计算得到该时刻各智能逆变器的有功、无功功率和无功补偿装置的无功功率的优化结果，实现对主动配电网的控制；该方法包括以下步骤：1)建立主动配电网近似仿真模型，具体如下：记主动配电网包含n+1节点，构建该主动配电网对应的无向图 其中 ...,n为配电网的节点集合，节点0为主动配电网连接到外部电网的耦合节点； 为支路集合，其中i，j分别代表支路两端的节点；在所有n+1个节点中，有n SI 个节点上的分布式电源装有智能逆变器，有n CD 个节点装有无功补偿装置；其中，所述n SI 个节点与所述n CD 个节点不重合，n SI +n CD ≤n；智能逆变器的有功无功可控范围和无功补偿器的无功可控范围由式(1)确定：其中，P SIi ,Q SIi 分别为第i台智能逆变器的有功功率和无功功率； 分别为第i台智能逆变器的有功功率上限和设计容量；Q CDi 为第i台无功补偿装置的无功功率； 分别为第i台无功补偿装置的无功功率下限和上限； 为智能逆变器接入节点组成的集合； 为无功补偿装置接入节点组成的集合；主动配电网潮流方程如式(2)所示：其中，P ij ,Q ij 分别为支路ij的有功功率和无功功率；P j ,Q j 分别为节点j的有功功率、无功功率；V i 为节点i的电压；r ij ,x ij 分别为支路ij的电阻和电抗；2)建立主动配电网有功无功联合控制的二阶锥优化模型，表达式如下：其中，P loss 为主动配电网的网络损耗；P 0 为连接到外部电网的耦合节点的有功功率；P Dj 为第j个分布式电源的有功功率； 分别为节点i的电压下限和电压上限；l ij ，V i 为辅助变量 3)结合步骤1)的仿真模型和步骤2)的优化模型，建立基于马尔科夫过程MDP决策的交互训练环境；具体方法如下：建立t时刻的马尔科夫过程状态变量，如式(6)所示：s t ＝(P(t),Q(t),V(t),t) (6)其中，P(t),Q(t)分别为t时刻主动配电网各节点有功功率P j 、无功功率Q j 构成的向量；V(t)为t时刻主动配电网各节点电压V i (t)构成的向量；t代表时刻；对于步骤2)建立的优化模型，构建t时刻的回馈变量r t 如式(7)所示：其中，C v 为电压越限惩罚系数；V v 为电压越限总量；构建强化学习智能体t时刻动作变量a t ，如式(8)所示：a t ＝(θ SI (t),A SI (t),Q CD (t)) (8)其中，θ SI (t)为t时刻各智能逆变器的功率因数θ SIi (t)构成的向量，θ SIi (t)＝arctan(P SIi (t)/Q SIi (t)),θ SI ∈[0,π]；A SI (t)为t时刻各智能逆变器有功功率、无功功率的平方和A SIi (t)构成的向量 Q CD (t)为t时刻各无功补偿器无功功率Q CD (t)构成的向量；基于θ SI (t)和A SI (t)，则t时刻各智能逆变器的有功功率和无功功率为：4)通过强化学习中的深度确定性策略梯度DDPG算法，并运用经验优化回放技术离线训练主动配电网有功无功联合控制智能体：具体步骤如下：4-1)在训练过程中，从主动配电网获取由各时刻的(s t ,a t ,r t ,s t+1 )组成的MDP样本，将所有的MDP样本(s t ,a t ,r t ,s t+1 )存储到初始为空的经验池 中；分别建立策略网络μ θ (s)、价值在线网络Q φ (s,a)和价值目标网络 三个神经网络，其中θ,φ, 分别为策略网络、价值在线网络和价值目标网络的参数；同时训练两组价值在线网络参数φ 1 ,φ 2 ，并且用参数较小的价值在线网络 作为当前价值目标网络 并且通过设定的延迟更新参数延迟更新φ i ,i∈{1,2}，将更新后的价值在线网络参数记为 因此，第i个价值在线网络 的每个样本(s t ,a t ,r t ,s t+1 )的时序差分定义如式(10)所示：其中γ为折扣因子，a t ＝μ θ (s t )，a t+1 ＝μ θ (s t+1 )；价值目标网络根据下式(11)进行训练：策略网络的策略π的目标为最大化状态价值函数 如式(12)所示：引入优先经验回放技术从经验池中选取时序差分绝对值最大的k个样本进行训练，具体方法如下：首先对经验池中各样本加入其对应的时序差分绝对值，将各样本更新为(s t ,a t ,r t ,s t+1 ,|δ| t )，其中各样本时序差分绝对值的计算表达式为|δ| t ＝(|δ 1 | t +|δ 2 | t )/2；其中|δ i | t 表示样本(s t ,a t ,r t ,s t+1 )在第i个价值在线网络 的时序差分δ it 的绝对值；根据式(13)的softmax概率分布P从经验池 中选取时序差分绝对值最大k个样本进行训练：其中，p i ＝|δ| i +ε为样本i的修正时序差分，ε为正数；α为衰减指数，a∈(0,2)；N为经验池 的长度；通过重要性采样技术，对经验池 中每个样本赋予权重，如式(14)所示：其中，w i 为经验池 中第i个样本的权重因子，β为递增指数，β∈(0,1)；则式(11)和(12)转换成如式(15)和(16)所示：4-2)具体的离线训练过程如下：4-2-1)初始化经验池 为空，初始化策略网络参数θ＝0，初始化两个价值在线神经网络参数φ 1 ＝φ 2 ＝0，初始化两个价值目标网络的参数 初始化价值网络更新速率η q ＝0.001，初始化策略网络更新速率η π ＝0.001，初始化训练回合数eps＝1；4-2-2)初始化训练时刻t＝1；4-2-3)获取主动配电网当前时刻t的状态s t ，得到当前时刻智能体的动作a t ＝μ θ (s t )；4-2-4)根据a t 和式(9)计算各智能逆变器的有功功率、无功功率和各无功补偿装置的无功功率，并下发给各智能逆变器和无功补偿装置；4-2-5)根据式(7)计算当前时段的回馈变量r t ；4-2-6)获取下一时刻的主动配电网状态s t+1 ，然后将样本(s t ,a t ,r t ,s t+1 )存入经验池 中；4-2-7)判定：若经验池 中样本数大于等于k，则根据式(13)计算的概率分布P从经验池 中选出k个样本，进入步骤4-2-8)；否则令t＝t+1，然后重新回到步骤4-2-3)；4-2-8)对于经过步骤4-2-7)选取的k个样本，根据w i ＝(NP(i)) -b /max(w i )更新每个样本的权重因子，然后根据式(10)计算各样本的δ 1i ,δ 2i 并得到每个样本的时序差分绝对值|δ| i ＝(|δ 1 | i +|δ 2 | i )/2；更新p i ＝|δ| i +ε， 4-2-9)根据式(15)、式(16)以及下式(17)更新各神经网络的参数；4-2-10)更新t＝t+1，然后判定：若时刻t达到设定的最大训练时刻数，则一个训练回合结束，进入步骤4-2-11)；否则重新回到步骤4-2-3)；4-2-11)令训练回合数eps＝eps+1，并判定：若eps达到设定的最大回合数，则离线训练结束，得到离线训练完毕的智能体，该智能体包含离线训练完毕的策略网络、两个价值在线网络和两个价值目标网络；否则重新回到步骤4-2-2)；5)将步骤4)离线训练完毕的智能体投入在线运行，该训练完毕的智能体在每个时刻根据主动配电网的状态s t ＝(P(t),Q(t),V(t),t)，选取动作a t ＝μ θ (s t )，进而计算得到各智能逆变器的有功功率P SIi (t)、无功功率Q SIi (t)和无功补偿装置的无功功率Q CD (t)并下发给对应的各装置，以实现对主动配电网有功无功的联合控制；其中P SIi (t)和Q SIi (t)根据式(9)确定。 2.如权利要求1所述一种基于强化学习的主动配电网有功无功联合控制方法，其特征在于，该方法还包括以下步骤：6)经过步骤4)离线训练完毕的智能体根据每个时刻新获取的主动配电网的状态和所选取的动作进行在线持续训练；具体步骤如下：6-1)初始化经验池 为空，初始化各神经网络包括：1个策略网络、两个价值在线网络和两个价值目标网络的参数为步骤4)离线训练得到的参数，初始化价值网络更新速率η q ＝0.001，初始化策略网络更新速率η π ＝0.001；6-2)初始化在线持续训练时刻t＝1；6-3)获取主动配电网当前时刻t的状态s t ，得到当前时刻智能体的动作a t ＝μ θ (s t )；6-4)根据a t 和式(9)计算各智能逆变器的有功功率、无功功率和各无功补偿装置的无功功率，并下发给各智能逆变器和无功补偿装置；6-5)根据式(7)计算当前时段的回馈变量r t ；6-6)获取下一时刻的主动配电网状态s t+1 ，然后将样本(s t ,a t ,r t ,s t+1 )存入经验池 中；6-7)判定：若经验池 中样本数大于等于k，则根据式(13)计算的概率分布P从经验池 中选出k个样本，进入步骤6-8)；否则令t＝t+1，然后重新回到步骤6-3)；6-8)对于经过步骤6-7)选取的k个样本，根据w i ＝(NP(i)) -b /max(w i )更新每个样本的权重因子，然后根据式(10)计算各样本的δ 1i ,δ 2i 并得到每个样本的时序差分绝对值|δ| i ＝(|δ 1 | i +|δ 2 | i )/2，更新p i ＝|δ| i +ε， 6-9)根据式(15)、式(16)以及式(17)更新各神经网络的参数，得到更新后的智能体；6-10)更新t＝t+1，然后重新回到步骤6-3)。