支持一体化部署及监控的保护运行大数据支撑平台

1.支持一体化部署及监控的保护运行大数据支撑平台，其特征是，包括：多源异构保护运行数据集成模块、分布式大数据存储模块、分布式大数据分析模块、资源管理模块和监控模块；多源异构保护运行数据集成模块，用于从外部系统及保护运行设备中获取保护运行大数据，对数据进行抽取并将数据转换为所需的数据结构存储到分布式大数据存储模块，将分布式大数据分析模块的分析结果回写入分布式大数据存储模块中，并实现通过统一接口对外提供数据检索；分布式大数据存储模块，用于存储从多源异构保护运行数据集成模块获取的保护运行大数据，为分布式大数据分析模块的分析业务提供数据基础；分布式大数据分析模块，用于根据资源管理模块提交的作业，对存储在分布式大数据存储模块中的保护运行大数据进行分析处理，挖掘数据价值，将分析结果反馈给用户，并将分析结果存储到分布式大数据存储模块中；资源管理模块，用于接收用户请求，进行资源管理及作业调度，支撑与用户的可视化交互；监控模块，通过对集群作业及资源管理模块产生的日志等进行监控分析，实现对运行作业的各环节执行时间、使用资源的实时监控，为用户直观展示集群及作业的运行情况，为分析计算性能的优化提供支撑。 2.如权利要求1所述的支持一体化部署及监控的保护运行大数据支撑平台，其特征是，所述外部系统及保护运行设备，包括：变电站保护及辅助装置、互联网、通信通道管控系统、保信系统、能源管理系统、GIS系统。 3.如权利要求1所述的支持一体化部署及监控的保护运行大数据支撑平台，其特征是，所述保护运行大数据，包括：各类设备或设施的静态属性数据，描述设备、设施或系统之间的关联关系的数据，各类实时在线监测数据及历史记录，设备或设施的运行维护数据，异常或故障事件过程记录，环境数据。 4.如权利要求1所述的支持一体化部署及监控的保护运行大数据支撑平台，其特征是，所述多源异构保护运行数据集成模块，包括：数据接口适配器、数据抽取引擎、数据爬取模块、数据转换引擎、数据回写模块；所述数据接口适配器，用于实现对变电站保护及辅助装置采集数据的规约适配，以及对通信通道管控系统、保信系统、能源管理系统、GIS系统接口的自动适配，支持关系型数据库和非关系型数据库的数据抽取，使用工厂模式为创建对象提供接口，并通过接口的自动适配实现统一接口对外提供数据检索；所述数据抽取引擎，用于通过数据接口适配器从外部系统及保护运行设备中抽取出数据，数据的抽取方式支持Sqoop、Kettle、OGG和自定义java类抽取；对于数据抽取任务，实现配置、定时管理，并且支持抽取超时的配置及处理；所述数据爬取模块，用于通过网络爬虫从互联网上获取所需的气象数据，为保护运行大数据分析提供所需的外部数据基础；所述数据转换引擎，用于实现通过数据抽取引擎和数据爬取模块获取的不同数据库间的数据结构、数据表的转换和统一；根据制定的转换策略清洗数据，对字段统一定义规划；所述数据回写模块，用于将经过数据转换引擎处理后的数据写入分布式大数据存储模块，以及分布式大数据分析模块的分析结果回写入分布式大数据存储模块中。 5.如权利要求1所述的支持一体化部署及监控的保护运行大数据支撑平台，其特征是，所述分布式大数据存储模块，包括：大数据管理引擎、副本机制管理模块、机架感知机制管理模块、负载均衡机制管理模块以及数据存储模块；所述大数据管理引擎，用于实现对大数据存储过程的管理，提高存储性能及查询效率；大数据管理引擎从副本机制管理模块、机架感知机制管理模块、负载均衡机制管理模块获取根据实际业务情况设置的副本机制、机架感知机制、负载均衡机制，根据副本机制动态地将数据分为多个副本，根据机架感知机制将副本放置到相应的机架，根据负载均衡机制动态地将存储或查询任务分发至负载低的分布式存储从节点，实现对保护运行大数据的存储管理；所述副本机制管理模块，用于管理数据的副本数量以及在副本间的流转方式，为大数据管理引擎提供副本机制数据支持；所述机架感知机制管理模块，用于管理数据副本放置策略，为大数据管理引擎提供机架感知机制数据支持；所述负载均衡机制管理模块，用于管理负载均衡机制，为大数据管理引擎提供负载均衡机制数据支持，从而实现数据读取或存储任务的动态分配；所述数据存储模块，用于接收数据回写模块待写入的待分析的保护运行大数据及分析结果，并根据大数据管理引擎提供的管理策略，实现对保护运行大数据的存储。 6.如权利要求5所述的支持一体化部署及监控的保护运行大数据支撑平台，其特征是，所述数据存储模块，包括：HDFS和HBase，所述HBase用于存放在计算过程中被频繁读取的数据，如档案数据和配置参数等；所述HDFS存放用于计算的保护运行数据；所述数据存储模块由分布式存储主节点以及若干个分布式存储从节点组成，分布式存储主节点用于接收大数据管理引擎的管理策略，根据策略向分布式存储从节点动态分配存储及查询任务；分布式存储从节点用于具体存储保护运行大数据，根据实际业务的存储规模，增减从节点数量，实现动态扩展；所述分析处理采用并行计算方式，基于MapReduce或Spark大数据计算框架，针对离线计算任务和实时计算分别进行并行化处理，将计算任务分配至多个工作节点完成。 7.如权利要求1所述的支持一体化部署及监控的保护运行大数据支撑平台，其特征是，所述分布式大数据分析模块，包括：大数据作业转换引擎、作业发布引擎、作业调度引擎、容错机制管理模块、作业超时机制管理模块和分布式运算框架；所述大数据作业转换引擎，用于接收资源管理模块发送的数据计算作业，将数据计算作业转换为MapReduce作业；所述作业发布引擎，用于根据MapReduce或Spark作业，自动将作业发布到离线作业计算框架MapReduce或在线作业计算框架Spark；所述作业调度引擎，用于在计算框架确定的基础上，根据作业所需计算资源情况及分布式运算框架中工作节点的资源使用情况，实现作业的具体分配；分配过程中根据容错机制管理模块和作业超时机制管理模块提供的容错机制及作业超时机制保证作业计算的可靠性；所述容错机制管理模块，用于管理容错机制，为作业调度引擎提供容错机制数据，对故障节点的任务进行恢复，提高整个计算过程的可靠性；所述作业超时机制管理模块，用于管理作业超时机制，为作业调度引擎提供作业超时机制数据，对超时作业进行及时处理，降低作业执行时间，保证作业实时性；所述分布式运算框架，用于具体的作业计算处理，作业调度引擎将作业分配至相应计算框架的若干个工作节点实现并行处理，分布式运算框架根据作业数据需求从数据存储模块中获取保护运行大数据，将分析结果反馈给用户，并将分析结果发送给数据回写模块，通过数据回写模块存储到数据存储模块中。 8.如权利要求1所述的支持一体化部署及监控的保护运行大数据支撑平台，其特征是，所述资源管理模块，包括：作业部署与管理模块、任务调度优化模块、集群搭建与管理模块、系统资源配置评估模块、集群配置优化模块；作业部署与管理模块，用于接收用户保护运行业务请求，形成数据计算作业，发送给大数据作业转换引擎，支持根据集群负载数据动态的对作业进行任务调度，减少同一时间产生若干个等待任务，避免集群由于任务堆积出现异常；任务调度优化模块，用于实现分布式运算框架中对计算任务的定时有序管理，提供对计算任务的负载均衡处理策略，提供失败重试管理策略；集群搭建与管理模块，用于引导用户实现集群的搭建和管理，支持全界面化的平台一体化部署；采用向导安装方式，实现集群环境的半自动安装，同时安装过程中支持安装前环境检测、自定义选择组件安装、集群重要参数配置和日志路径的配置；以集群逻辑架构展示各组件信息，同时支持对集群中组件的启停，支持集群参数的动态调整；系统资源配置评估模块，用于通过测试作业运行获取每个作业的资源消耗情况，计算整套系统运行所需的最低配置、最优配置，或根据制定配置评估集群负载功能，方便用户根据自身需要进行调整；集群配置优化模块，用于根据监控数据来动态的分析当前集群状态，并对超出阀值或配置不合理的地方进行记录，同时提供动态的优化配置方案反馈给用户，协助用户更智能的对集群进行优化配置。 9.如权利要求1所述的支持一体化部署及监控的保护运行大数据支撑平台，其特征是，所述监控模块，包括：集群资源监控模块、服务器负载监控模块、任务执行资源监控模块、任务资源消耗评估模块、定制化任务报表工具和图表展示工具；所述集群资源监控模块，用于对集群使用CPU、内存、container数情况的监控，同时提供对集群所部署的服务器的各类资源消耗情况的监控；所述服务器负载监控模块，用于对集群内每台服务器使用CPU、内存、网络、磁盘IO等进行采集及监控；所述任务执行资源监控模块，用于对集群中单个大级别作业的运行时间、使用资源进行数据采集，提供实时运行作业使用资源情况的监控；所述任务资源消耗评估模块，用于评估单个大级别作业资源消耗情况，反馈给作业调度引擎用于优化作业调度；所述定制化任务报表工具，用于提供可定制任务报表，使用户可配置需要展示的监控信息。 10.如权利要求9所述的支持一体化部署及监控的保护运行大数据支撑平台，其特征是，所述图表展示工具，用于为用户直观展示集群及作业的运行情况，基于组件化的可视化应用框架，实现数据的多种展示方式，通过棒图、曲线、文字表格方式或多种组合方式展现历史数据的统计分析结果，以及通过单线图方式展示模型数据。