1.一种部分可观配电网的无功电压优化方法,其特征在于,包括:对部分可观配电网构建优化目标包含网络损失最小化的无功电压优化模型;将所述无功电压优化模型转化为部分可观察马尔可夫决策过程模型,所述部分可观察马尔可夫决策过程模型的奖励函数中包含所述网络损失;利用神经网络拟合所述奖励函数中网络损失部分,应用TD3算法完成对所述神经网络的训练;利用训练完毕的所述神经网络输出所述网络损失的近似值,以实现所述配电网的无功电压优化;其中,所述无功电压优化模型表达式如下:s.t.f(x,u,θ)=0h(x,u,θ)≤0其中,c为包含网络损失的优化目标;f and h为运行约束;x and u分别为电网的状态变量和控制变量,θ为电网参数;所述部分可观察马尔可夫决策过程模型,包括:1)将无功电压优化模型中的状态变量作为部分可观察马尔可夫决策过程模型的状态向量记为s∈S,S为状态集合;任一时刻的状态向量 其中P i,t ,Q i,t 分别为节点i在t时刻的有功注入功率和无功注入功率,V i,t 为节点i在t时刻的电压幅值;t为时刻,N为所有节点的集合,T为时刻集合;2)构建可观空间o∈O,O为可观空间集合;任一时刻的可观空间 其中N′为可观节点的集合;3)将无功电压优化模型中的控制变量作为部分可观察马尔可夫决策过程模型的动作,其中,节点i的动作a i 由节点i所有的可控的无功设备的出力组成:a i ={Q IBVR,j ,Q SVC,k },j∈N IBVR ,k∈N SVC其中,Q IBVR,j 为节点j的DG无功出力,Q SVC,k 为节点k的静止无功补偿器无功出力,N IBVR ,N SVC 分别为包含DG设备的节点集合和包含SVC设备的节点集合,i∈N IBVR ∪N SVC ;4)构建奖励函数;其中,t时刻的奖励函数表达式如下:R t =ω 1 R 1,t +ω 2 R 2,t其中,R t 为t时刻的奖励函数,ω i 为第i个奖励项的权重系数,i=1,2;t时刻第1个奖励项R 1,t 为t时刻所有可观节点的注入电流的平方和以代表网络损失,t时刻第2个奖励项R 2,t 为t时刻所有可观节点的电压的偏差, 分别为电压幅值的下限和上限;所述利用神经网络拟合所述奖励函数中网络损失部分,表达式如下:其中,R' 1,t 为R 1,t 的近似值,I i,t 为t时刻第i个节点的注入电流,F 2 为神经网络的拟合函数。
2.根据权利要求1所述的方法,其特征在于,所述神经网络采用深度Q网络。
3.根据权利要求2所述的方法,其特征在于,所述应用TD3算法完成对所述神经网络的训练,包括:构建关键方程如下:其中,o t 为t时刻的可观空间,a t 为t时刻的动作,o t 和a t 组成t时刻的动作-可观集合对; 为t时刻动作-可观集合对的历史数据所构成的信念状态,表示为状态上的概率分布;其中,定义 如下:其中,l为历史经验动作-可观集合对的长度,l≤t;a 0 ,o 0 分别为动作初值和可观空间初值;如果l≥1,t≥1,则 在t时刻的值为过去的l对动作-可观集合对; 为t时刻目标动作, 和θ i ′分别为actor目标网络和critic目标网络的参数;ε~clip(N(0,σ),-c,c)表示ε噪声服从截断的正态分布,(-c,c)为截断区间,β t 为t时刻方程的系数;每次训练时从存储<o t ,a t ,r t ,o t+1 >的经验缓冲池D中随机抽样M条样本构成训练样本集合 以用于训练神经网络;Critic网络的学习由回归实现,表达式如下:其中j∈{1,2};当网络损失的近似值不再发生变化时,算法收敛,神经网络训练完毕。
4.根据权利要求3所述的方法,其特征在于,所述利用训练完毕的所述神经网络输出所述网络损失的近似值,以实现所述配电网的无功电压优化,包括:将可观节点的注入电流输入训练完毕的神经网络,所述神经网络输出网络损失的近似值;将所述网络损失的近似值代入所述无功电压优化模型,求解所述无功电压优化模型,得到所述配电网的无功电压优化结果。
5.一种执行如权利要求1所述方法的部分可观配电网的无功电压优化装置,其特征在于,包括:无功电压优化模型构建模块,用于对部分可观配电网构建优化目标包含网络损失最小化的无功电压优化模型;马尔可夫决策过程模型构建模块,用于将所述无功电压优化模型转化为部分可观察马尔可夫决策过程模型,所述部分可观察马尔可夫决策过程模型的奖励函数中包含所述网络损失;神经网络拟合模块,用于利用神经网络拟合所述奖励函数中网络损失部分,应用TD3算法完成对所述神经网络的训练;无功电压优化模块,用于利用训练完毕的所述神经网络输出所述网络损失的近似值,以实现所述配电网的无功电压优化。
6.一种电子设备,其特征在于,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被设置为用于执行上述权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行权利要求1-4任一项所述的方法。