一种采用Q学习的高比例光伏微网无功均分控制方法

1.一种采用Q学习的高比例光伏微网无功均分控制方法，其特征在于，具体包括以下步骤：步骤1，构造基于Q学习的高比例光伏微电网无功控制模型：针对采用下垂控制的分布式光伏，定义Q学习重要变量状态集S、动作集A、奖励函数R的具体方法为:步骤1.1：定义状态集S；微网中各分布式光伏发出的无功功率视作环境状态；无功偏差ΔQ reac 划分为一系列的离散区间，{ΔQ 1 ，ΔQ 2 ，…，ΔQ m }，其对应的环境状态集S为{s 1 ，s 2 ，…，s m }；每个PV的状态集表示为：Q avg ＝Q load /N                            式(2)式中：Q i,reac 为PV i 的无功输出值；Q avg 为微电网稳定运行时平均无功；Q load 为系统无功负荷；N为分布式光伏总数；步骤1.2：定义动作集A；动作集A含义是：使微网当下时刻的某状态s过转变到更佳状态s′的动作策略的集合；故每个PV的动作集A定义为：A＝{a 1 ,a 2 ,…,a L }＝{k q Q 1 ,k q Q 2 ,…,k q Q L }                 式(3)式中：a jj ＝k q Q jj ，jj∈{1,…,L}；下标L为动作数目；步骤1.3：定义奖励函数R；动作执行后的立即奖励值会直接影响Q值，而Q值大小可以直接体现所选动作执行效果的好坏；对于考虑电压不越限的无功均分问题，执行基于Q算法所选动作后，会产生两种差异显著的结果：一是系统仍存在未实现无功均分，说明Q学习还未完成，为此，将总无功偏差ΔQ total 对应的奖励值r i 设置为负值；二是系统实现无功均分，对此，将ΔQ total 对应的奖励值置零；使用ΔQ total 定义奖励值，如式(4)所示：式中：b 1 ～b 4 、μ 1 ～μ 4 为固定参数，且μ 1 <μ 2 <μ 3 <μ 4 ；ΔQ total 为全部PV的Q i,reac 与微网均值Q avg 间差的绝对值和；动作a的全局奖励值由各DG奖励值累加所得；步骤2：采集各光伏无功偏差量，并作为状态变量对全局反馈奖励值进行评估以及优化修正，同时更新Q值函数，具体的Q学习过程如下；根据采集到各光伏的无功偏差量对全局反馈奖励值进行评估以及优化修正，并更新Q值函数；Q学习法作用于状态-动作对对应的值函数，用Q(s,a)表示该值函数，其含义是在状态s时采用动作a后所得累计奖励值，如式(7)所式：式中：s为当前时刻环境状态；s′为动作后的新环境状态；a、a′为各自状态中采取的动作；γ表示折扣率，γ∈[0,1]，显然，γ＝0时，系统只考虑立即奖励；γ＝1时，长期奖励和立即奖励地位一样；通过在线学习获得上述的Q值；进入新状态后，得到奖励值反馈并更新Q值；其更新公式为式(8)：式中：Q i 为第i次迭代的Q值；a为学习因子，0<a<1；a较大，算法的收敛速度快，而a值较小，则能保证算法有一定的搜索空间，提升了算法收敛稳定性；a * ＝argmaxQ * (s,a)       式(9)在Q学习过程中，Q值不断进行更新一直到稳定收敛为最大Q * (s,a)为止；对于每个系统状态使用贪婪选择策略进行最优动作a * ；步骤3，监测微网运行状态，当光伏无功不均分时，采用基于Q学习的微电网无功均分控制方法修正光伏无功分配，实现含高比例光伏微网下垂控制一次控制的无功均分，具体实现方法如下所示：一直对微网状态进行检测，当光伏无功功率不均分，则根据当前策略选出最优动作作用于所辖微网环境进行控制，再根据Q值最大对应的动作转变到新状态，并更新策略和下一步的动作；该Q学习过程如此反复，直到所辖区域内实现基于高比例光伏微网无功电压下垂控制下的无功均分效果的最佳化为止；改进后的本地无功电压控制器下垂公式，迭代过程如下：式中：U 0i 为微网稳定工作PV i 的初始电压幅值；U ki 为PV i 第k次迭代后得到的电压幅值；k q 为电压下垂增益；Qi值直接决定无功电压关系线的整体下降幅度，其中动作k q Q i 是通过Q学习得到的；根据最大奖励Q值对应动作控制分布式光伏输出电压幅值，将各光伏电压调节的值作为无功电压控制二次控制的补偿值，进而协调控制分布式光伏无功输出，实现含高比例光伏微网下垂控制一次控制的无功均分。