有效
一种电网调度知识图谱数据优化方法及系统
唐宁恺、陆继翔、旷文腾、谢峰、严晴、李红
国电南瑞科技股份有限公司
摘要
本发明公开了一种电网调度知识图谱数据优化方法及系统,本发明的方法首先利用深度学习方法,对领域高质量短语进行自动挖掘,完成调度实体自动识别和等价消岐;再根据深度学习技术完成调度实体全局关系抽取,从而完成实体关系的识别和校验,达到建立初始电网调度知识图谱的目的;在完成上两步的基础上,使用自然语言学习知识融合技术,基于时间戳对新增调度计划数据进行增量训练;同时,在各步骤完成的过程中引入知识图谱知识内容的生命周期管理;最终在以上步骤的共同协作下完成可持续学习的动态知识图谱。本发明保证电网调度优化决策知识图谱的高精确度,保证了对增量知识动态更新的同时降低了更新训练时的计算资源及时间消耗。
1.一种电网调度知识图谱数据优化方法,其特征在于,包括以下步骤:步骤一.建立基于图数据库的电网调度知识图谱模型,包括电网历史文本类子图和电网设备子图,各电网历史文本类子图的记录通过相关的厂站、线路、设备与电网设备子图连接;步骤二.识别并抽取电网调度实体;步骤三.对抽取的电网调度实体数据原始语料,利用开源分词工具对语句进行中文分词,并对分词结果进行评估;步骤四.初始化实体关系三元组;步骤五.构建及训练基于深度神经网络的实体识别模型与关系识别模型 , 生成准确的实体与关系;步骤六.进行增量数据更新及知识融合,包括:61)在步骤五中,已训练好的实体识别模型和关系识别模型基础上,以电网设备信息和电网调度知识构建实体识别模型和关系识别模型的训练集,所述训练集分别为实体识别模型和关系识别模型的核心集;62)对于随着时间在不断变化的新增调度计划类新增数据,使用已有的实体识别模型和关系识别模型自动完成实体抽取和关系抽取,构建新增数据训练集,并在已构建好的核心集上,实体识别模型和关系识别模型增量学习新增数据训练集;63)根据不同场景采取对应知识图谱实例层更新规则,使用经过深度学习的调度计划文本中的电力关键信息,获取实体及实体关系;64)针对增量型修正案例、规程经验数据,构建子图谱从而扩增原知识图谱;65)针对时效型基础数据,复制电网拓扑图谱叠加时效型数据构建成新的拓扑图谱;66)在增量学习并更新电网调度知识图谱模型后,进行实体对齐、属性对齐;完成冲突检测并消解冲突;进行概念合并、概念上下位关系合并以及概念的属性定义合并;步骤七.进行基于时间断面的知识动态更新、存储及恢复,包括:使用开源图数据库用于图谱存储,首先对电网调度知识图谱的图数据库中的实体、关系以及实体、关系属性分别打上timestamp标记,timestamp包含两个时间戳,一个开始时间戳,一个结束时间戳,开始时间戳是添加进知识图谱的时间,结束时间戳是从知识图谱中删除的时间;当某个实体、关系打上结束时间戳时,表示相关知识全生命周期的结束;电网调度知识图谱中批量实体、关系的删除均做备份,以便后期图谱的恢复查询;实体、关系以及实体、关系的属性的插入、删除、更新时,对应的timestamp也进行更新;当有特定历史时刻电网调度知识图谱恢复的需求,只删除指定时刻后数据库的改变,即恢复到指定时刻的数据库;通过负载均衡实现知识图谱存储的可扩展性,负载均衡具体方法为:按故障发生的时间对新增的电网故障数据做分片存储;将新增电网故障数据分布式存储于集群节点上,集群节点根据内存权重存储配比;对集群节点存储数据量进行监控,如果知识图谱节点存储数据量超过设定数据量,则通过增加集群节点保持图谱线性增长。
2.根据权利要求1所述的电网调度知识图谱数据优化方法,其特征在于:在步骤二中,识别并抽取电网调度实体,包括以下步骤:调度优化决策涉及多类数据,包括结构化数据和文本类数据;所述结构化数据从电网实时数据库中导出,使用规则化提取为三元组并存入电网调度知识图谱;所述文本类数据采用数据清洗或接口转化方法对文档内容进行遍历,并根据篇章结关联模型划分文档,统一原始数据格式。
3.根据权利要求1所述的电网调度知识图谱数据优化方法,其特征在于:在步骤三中,具体包括以下步骤:31)采用中文分词方法对原始语料数据进行短语切分;32)使用基于深度神经网络的半监督学习方法完成统计指标特征的迭代计算;并使用半监督学习方法进行短语质量评价;使用基于深度神经网络的半监督学习方法对词汇进行迭代挖掘,挖掘出高质量词汇及新词;采用半监督学习方法建立命名实体分类体系;33)使用开源自然语言预处理模型进行实体识别,对调度优化决策类实体进行相应的分类与聚类,抽取调度实体、属性的专有名词,抽取实体信息;34)利用深度学习中的迭代训练方式对同名异意实体、异名同意实体做出归纳区分。
4.根据权利要求1所述的电网调度知识图谱数据优化方法,其特征在于:在步骤四中,具体包括以下步骤:41)利用实体之间的距离限制和关系指示词的位置限制,自动获取实体-关系-实体的三元组,并对实体进行校验标注;42)标注出可信和不可信的关系三元组,并使用朴素贝叶斯分类器将关系三元组训练分类为可信及不可信,从而得出关系表示模型;43)通过训练得出的关系表示模型,叠加特征数据,在训练好的分类器上进行关系识别,获取候选关系三元组;44)合并所有近似关系候选三元组,并通过统计概率分布情况计算出各关系三元组可信度。
5.根据权利要求1所述的电网调度知识图谱数据优化方法,其特征在于:在步骤五中,具体包括以下步骤:51)构建基于深度神经网络的实体识别模型,完成实体识别模型训练后,在电网调度知识图谱所有数据范围内,对调度计划文本中的实体关系进行标注,标注出实体具体对应的类型,然后使用标注好的语料训练基于卷积神经网络的关系识别模型;52)使用已完成训练的关系识别模型对未标注的调度计划文本中的调度实体关系进行识别;53)基于步骤52)的识别结果进一步校验实体关系,实现实体关系的一致性,并根据电网调度知识图谱校验关系类型是否存在于关系集合中,若不存在,则提示审核;反之,通过实体语义特征搜索到电网调度知识图谱中相匹配的实体,若匹配识别得到的实体-关系-实体三元组和搜索电网调度知识图谱得到的实体-关系-实体三元组不一致,则需提示再次审核,若一致则不用提示继续审核。
6.一种电网调度知识图谱数据优化系统,其特征在于,包括以下程序模块:模型建立模块:建立基于图数据库的电网调度知识图谱模型,包括电网历史文本类子图和电网设备子图,各电网历史文本类子图的记录通过相关的厂站、线路、设备与电网设备子图连接;实体抽取模块:识别并抽取电网调度实体;分词模块:对抽取的电网调度实体数据原始语料,利用开源分词工具对语句进行中文分词,并对分词结果进行评估;实体关系三元组模块:初始化实体关系三元组;神经网络训练模块:构建及训练基于深度神经网络的实体识别模型与关系识别模型,生成准确的实体与关系;增量数据更新及知识融合模块,执行以下步骤:61)已训练好的实体识别模型和关系识别模型基础上,以电网设备信息和电网调度知识构建实体识别模型和关系识别模型的训练集,所述训练集分别为实体识别模型和关系识别模型的核心集;62)对于随着时间在不断变化的新增调度计划类新增数据,使用已有的实体识别模型和关系识别模型自动完成实体抽取和关系抽取,构建新增数据训练集,并在已构建好的核心集上,实体识别模型和关系识别模型增量学习新增数据训练集;63)根据不同场景采取对应知识图谱实例层更新规则,使用经过深度学习的调度计划文本中的电力关键信息,获取实体及实体关系;64)针对增量型修正案例、规程经验数据,构建子图谱从而扩增原知识图谱;65)针对时效型基础数据,复制电网拓扑图谱叠加时效型数据构建成新的拓扑图谱;66)在增量学习并更新电网调度知识图谱模型后,进行实体对齐、属性对齐;完成冲突检测并消解冲突;进行概念合并、概念上下位关系合并以及概念的属性定义合并;知识动态更新、存储及恢复模块,执行以下步骤:使用开源图数据库用于图谱存储,首先对电网调度知识图谱的图数据库中的实体、关系以及实体、关系属性分别打上timestamp标记,timestamp包含两个时间戳,一个开始时间戳,一个结束时间戳,开始时间戳是添加进知识图谱的时间,结束时间戳是从知识图谱中删除的时间;当某个实体、关系打上结束时间戳时,表示相关知识全生命周期的结束;电网调度知识图谱中批量实体、关系的删除均做备份,以便后期图谱的恢复查询;实体、关系以及实体、关系的属性的插入、删除、更新时,对应的timestamp也进行更新;当有特定历史时刻电网调度知识图谱恢复的需求,只删除指定时刻后数据库的改变,即恢复到指定时刻的数据库;通过负载均衡实现知识图谱存储的可扩展性,负载均衡具体方法为:按故障发生的时间对新增的电网故障数据做分片存储;将新增电网故障数据分布式存储于集群节点上,集群节点根据内存权重存储配比;对集群节点存储数据量进行监控,如果知识图谱节点存储数据量超过设定数据量,则通过增加集群节点保持图谱线性增长。



