一种基于spark技术的配电网海量数据的处理及分析方法

本发明公开了一种基于spark技术的配电网海量数据的处理及分析方法，包含以下步骤：配电网设备地理信息与拓扑信息文件解析研究；将配电网拓扑数据由半结构化数据转为结构化数据；配电网拓扑数据构建；基于spark技术对配电网拓扑数据进行分析合并，本发明主要针对配电网的半结构数据提出了一种基于spark技术的配电网海量数据的处理及分析方法，首先将配电网设备地理坐标与拓扑信息(CIM/XML)按照一定的方法进行提取，将提取出的转化为结构化数据，最后通过spark对配电网拓扑数据进行分析实现数据的快速处理。