配用电系统分布式用能优化方法、装置和计算机设备

1.一种配用电系统分布式用能优化方法，其特征在于，所述方法包括：获取电力系统的电力供需数据；根据所述电力供需数据，分析获得用户侧的至少一类负荷的用电行为特性；根据至少一类负荷的用电行为特性，确定各类负荷的负荷曲线；构建用户侧与电网侧之间的多智能体强化学习模型，所述多智能体强化学习模型用于对多个智能体在共享环境中进行决策和交互；将负荷峰谷差最小化和用电成本最小化作为约束条件，对所述多智能体强化学习模型进行优化；获取实时电价数据和电力系统状态数据；所述优化后的多智能体强化学习模型包括用户侧的每类负荷和电网侧各自对应的智能体；初始化用户侧的每类负荷和电网侧各自对应的智能体；将所述实时电价数据和所述电力系统状态数据输入至所有优化后的多智能体强化学习模型中，利用多智能体深度确定性策略梯度算法对多智能体进行求解，得到动作指令；根据动作指令的执行反馈结果，调整每个智能体的负荷调度策略，优化各类负荷的负荷曲线；在负荷类型为电动汽车负荷的情况下，电动汽车负荷对应的智能体包括：状态空间： ；其中， 表示电动汽车的电池荷电状态， 表示电动汽车的充放电状态， 表示电动汽车仅与电网连接，不处于充放电状态， 表示电动汽车处于充电状态， 表示电动汽车处于放电状态；P charge 表示电动汽车的充电功率，P discharge 表示电动汽车的放电功率， 表示电动汽车的充电效率， 表示电动汽车的放电效率； 表示电动汽车预计离网时间， 表示电动汽车的预计接入电网时间， 表示电动汽车的预计行驶距离， 表示负荷调度后与原始负荷值的差异， 为实时电价；动作空间： ；根据动态电价的一般变化周期将时间步长调整为1h，电动汽车的状态包括：充电状态、放电状态以及连接电网但既不处于充电状态又不处于放电状态， 表示电动汽车仅与电网连接，不处于充放电状态， 表示电动汽车处于充电状态， 表示电动汽车处于放电状态；奖励函数： ； ； ； ； ；其中， 、 、 、 是各项子目标的权重，各个子奖励函数 分别表示负荷调度、电网稳定性、经济收益和电池健康的奖励； 是奖励系数， 和 分别表示放电和充电功率，奖励鼓励放电 并减少充电 ，从而帮助电网在需要时获得支持； 和 ，是权重系数， 是当前电网负荷， 是电网的最大负荷， 是指示函数，当电网负荷超过最大负荷时，奖励激励电动汽车进行适当地放电，促使电动汽车在电网负荷较高时进行放电，帮助电网平衡负荷； 是经济奖励的权重系数，奖励鼓励电动汽车在电价高时放电，在电价低时充电，最大化经济效益； 是电池健康奖励的权重系数，奖励通过惩罚过度充放电以保护电池健康； ； ； ； ；其中， 表示有关电池荷电状态的惩罚函数， 表示有关充放电行为的惩罚函数， 表示对电动汽车同时进行充电和放电的惩罚函数； 为拟合的参数， 表示电动汽车 的最大荷电状态， 表示电动汽车 的最小荷电状态，将电动汽车的动作进行解码得到 和 ，分别代表电动汽车处于充电状态和放电状态，当 表示电动汽车处于充电状态，当 表示电动汽车不处于充电状态；当 表示电动汽车处于放电状态，当 表示电动汽车不处于放电状态； 表示负荷高峰时段， 表示负荷低谷时段。 2.根据权利要求1所述的方法，其特征在于，负荷的类型包括空调负荷，空调负荷对应的智能体包括：状态空间： ；其中， 表示室外温度， 表示房间当前的温度， 表示室内空调设定温度， 表示室内温度与设定目标温度之间的差值， 表示负荷调度后与原始负荷值的差值， 表示实时电价， 表示空调的性能系数；奖励函数： ；其中，A AC （i）表示空调的开关状态，当 表示空调处于工作状态，当 时表示处于待机状态； 为参与需求响应的空调个数； 为补偿电价； 为空调 的运行功率； 表示每进行一次调度的时长间隔；λ为拟合参数；T max 和T min 分别表示房间当前的温度所能调整的上下限。 3.根据权利要求1所述的方法，其特征在于，负荷的类型包括工业负荷，工业负荷对应的智能体包括：状态空间： ；其中， 表示工业负荷的累计调度量， 表示工业生产计划要求的负荷需求， 表示工业负荷能够响应负荷调度的最短时间， 表示负荷调度后与原始负荷值的差异， 为实时电价；动作空间： ；其中， 和 分别表示单位时间内工业负荷 所能调整的上下限，R为任意自然数；奖励函数： ；其中， 为工业用户的动作空间，具体指用电负荷改变量， 为电价折扣率， 为实时电价， 为工业负荷的惩罚函数。 4.根据权利要求1所述的方法，其特征在于，所述电网侧对应的智能体包括：状态空间： ；其中， 表示空调负荷参与需求响应之后的负荷调整量， 表示电动汽车负荷参与需求响应之后的负荷调整量， 表示工业负荷参与需求响应之后的负荷调整量， 表示空调负荷参与需求响应获得的总补偿， 表示电动汽车负荷参与需求响应获得的总补偿， 表示工业负荷参与需求响应获得的总补偿， 表示实时电价；动作空间： ；其中， 表示电网的动作空间， 和 分别表示实时电价 的上下限，R为任意自然数。 5.一种配用电系统分布式用能优化装置，其特征在于，所述装置包括：数据获取模块，用于获取电力系统的电力供需数据；数据分析模块，用于根据所述电力供需数据，分析获得用户侧的至少一类负荷的用电行为特性；负荷曲线确定模块，用于根据至少一类负荷的用电行为特性，确定各类负荷的负荷曲线；模型构建模块，用于构建用户侧与电网侧之间的多智能体强化学习模型，所述多智能体强化学习模型用于对多个智能体在共享环境中进行决策和交互；模型优化模块，用于将负荷峰谷差最小化和用电成本最小化作为约束条件，对多智能体强化学习模型进行优化；数据获取模块，还用于获取实时电价数据和电力系统状态数据；所述优化后的多智能体强化学习模型包括用户侧的每类负荷和电网侧各自对应的智能体；负荷曲线优化模块，用于初始化用户侧的每类负荷和电网侧各自对应的智能体；将所述实时电价数据和所述电力系统状态数据输入至所有优化后的多智能体强化学习模型中，利用多智能体深度确定性策略梯度算法对多智能体进行求解，得到动作指令；根据动作指令的执行反馈结果，调整每个智能体的负荷调度策略，优化各类负荷的负荷曲线；在负荷类型为电动汽车负荷的情况下，电动汽车负荷对应的智能体包括：状态空间： ；其中， 表示电动汽车的电池荷电状态， 表示电动汽车的充放电状态， 表示电动汽车仅与电网连接，不处于充放电状态， 表示电动汽车处于充电状态， 表示电动汽车处于放电状态；P charge 表示电动汽车的充电功率，P discharge 表示电动汽车的放电功率， 表示电动汽车的充电效率， 表示电动汽车的放电效率； 表示电动汽车预计离网时间， 表示电动汽车的预计接入电网时间， 表示电动汽车的预计行驶距离， 表示负荷调度后与原始负荷值的差异， 为实时电价；动作空间： ；根据动态电价的一般变化周期将时间步长调整为1h，电动汽车的状态包括：充电状态、放电状态以及连接电网但既不处于充电状态又不处于放电状态， 表示电动汽车仅与电网连接，不处于充放电状态， 表示电动汽车处于充电状态， 表示电动汽车处于放电状态；奖励函数： ； ； ； ； ；其中， 、 、 、 是各项子目标的权重，各个子奖励函数 分别表示负荷调度、电网稳定性、经济收益和电池健康的奖励； 是奖励系数， 和 分别表示放电和充电功率，奖励鼓励放电 并减少充电 ，从而帮助电网在需要时获得支持； 和 ，是权重系数， 是当前电网负荷， 是电网的最大负荷， 是指示函数，当电网负荷超过最大负荷时，奖励激励电动汽车进行适当地放电，促使电动汽车在电网负荷较高时进行放电，帮助电网平衡负荷； 是经济奖励的权重系数，奖励鼓励电动汽车在电价高时放电，在电价低时充电，最大化经济效益； 是电池健康奖励的权重系数，奖励通过惩罚过度充放电以保护电池健康； ； ； ； ；其中， 表示有关电池荷电状态的惩罚函数， 表示有关充放电行为的惩罚函数， 表示对电动汽车同时进行充电和放电的惩罚函数； 为拟合的参数， 表示电动汽车 的最大荷电状态， 表示电动汽车 的最小荷电状态，将电动汽车的动作进行解码得到 和 ，分别代表电动汽车处于充电状态和放电状态，当 表示电动汽车处于充电状态，当 表示电动汽车不处于充电状态；当 表示电动汽车处于放电状态，当 表示电动汽车不处于放电状态； 表示负荷高峰时段， 表示负荷低谷时段。 6.根据权利要求5所述的装置，其特征在于，负荷的类型包括空调负荷，空调负荷对应的智能体包括：状态空间： ；其中， 表示室外温度， 表示房间当前的温度， 表示室内空调设定温度， 表示室内温度与设定目标温度之间的差值， 表示负荷调度后与原始负荷值的差值， 表示实时电价， 表示空调的性能系数；奖励函数： ；其中，A AC （i）表示空调的开关状态，当 表示空调处于工作状态，当 时表示处于待机状态； 为参与需求响应的空调个数； 为补偿电价； 为空调 的运行功率； 表示每进行一次调度的时长间隔；λ为拟合参数；T max 和T min 分别表示房间当前的温度所能调整的上下限。 7.根据权利要求5所述的装置，其特征在于，负荷的类型包括工业负荷，工业负荷对应的智能体包括：状态空间： ；其中， 表示工业负荷的累计调度量， 表示工业生产计划要求的负荷需求， 表示工业负荷能够响应负荷调度的最短时间， 表示负荷调度后与原始负荷值的差异， 为实时电价；动作空间： ；其中， 和 分别表示单位时间内工业负荷 所能调整的上下限，R为任意自然数；奖励函数： ；其中， 为工业用户的动作空间，具体指用电负荷改变量， 为电价折扣率， 为实时电价， 为工业负荷的惩罚函数。 8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。 9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。 10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。