一种基于强化学习的微电网频率控制方法

1.一种基于强化学习的微电网频率控制的方法，所述方法包括：步骤1建立微电网频率控制模型；所述的微电网频率控制的方法是对微电网频率偏离预期值时进行频率的恢复控制；将分布式电源并联连接，当线路上的电感值远大于电阻值时，可以得到逆变器输出有功功率为：式中，δ 1 为一号分布式电源的电压功角，U 1 为其输出电压幅值，E为公共点电压幅值，X为线路阻抗；因此可以采取控制频率和电压幅值的方式控制输出的功率，有功部分的下垂控制方程如下：f＝f 0 -k p (P-P * )    式(2)式中:f 0 为额定频率，p * 为额定有功功率，k p 为有功下垂系数；当微电网供需功率不平衡时，运行频率偏移期望，可以通过调节下垂参数进行调频控制，控制方式如下：f＝f 0 -k p (P-P * -ΔP * )    式(3)式中,ΔP * 为P * 的修正量；步骤2基于强化学习的频率控制策略；所述的控制策略是通过采用强化学习下的Q学习算法对下垂控制参数进行调节，实现频率恢复控制，其步骤如下：步骤2.1：电力系统在运行时其频率应当保持在50±0.2Hz的范围以内，采用自动控制的电力系统频率应保证在50±0.15Hz的范围以内；因此以电力系统的频率偏差为依据，对微电网的状态进行定义，划分不同的状态空间，再根据微电网中可控电源可用于调频控制的容量设计出所需的动作集，来对系统的额定有功功率进行修正，调节分布式电源的输出功率，以此来稳定微电网频率；步骤2.2：根据步骤2.1的状态空间来设计奖励函数，奖励函数r(s i ,a i )表示对s i 状态下采取a i 动作给予的奖励值，定义其为：r(s i ,a i )＝∑r j (s i ,a i )    式(4)式中:r j (s i ,a i )表示第j个可控电源的奖励，其定义为：式中:Δf表示系统实际频率和50Hz规定频率的差值，f 0 为发生频率偏差的临界值，α 1 、α 2 、α 3 、β 1 和β 2 皆为固定的参数，其中f 0 <0.15，α 3 >α 2 >α 1 ，β 1 <β 2 ，即频率偏差越大，奖励越小；步骤2.3：对系统次数的运行频率进行测量，确定系统目前处于哪种状态F i ，并选取下垂参数修正量p i ，之后再对下一时刻的系统运行频率进行测量，得到下一时刻的系统状态F i+1 ，根据公式(5)计算奖励函数r(F i ,P i )，最后再i+1时刻对Q表进行更新；此时Q表更新方式为：Q k+1 (F i ,P i )＝Q k (F i ,P i )+α(r(F i ,P i )+γmax Q k (F i+1 ,P i+1 )-Q k (F i ,P i ))    式(8)式中:F i 表示i时刻的系统状态,P i 表示i时刻选取的P * 修正量；根据训练后的Q表，选取最优的修正量：ΔP * ＝arg max Q * (F i ,P i )    式(7)步骤3建立基于强化学习的微电网频率控制系统；建立模块，搭建微电网模型，根据步骤一和步骤二，利用Q学习算法动态修正下垂控制参数，协调微电网多个分布式电源进行频率恢复控制，对不同的分布式电源接入场景进行学习。