基于Spark技术的计量设备典型运行曲线评估方法及系统

本发明公开了一种基于Spark技术的计量设备典型运行曲线评估方法及系统。目前的评估方法采用简单的可靠性分析手段，不具备计量设备运行数据隐藏价值的挖掘能力。本发明包括：基于HDFS的分布式运行数据存储；基于Spark并行计算框架的MLlib机器学习算法应用：基于海量的运行数据，采用Spark离线计算的方式进行聚类挖掘分析，生成计量设备典型环境下运行的典型聚类曲线；基于可视化技术实现计量运行数据典型曲线聚类可视化。本发明通过对计量设备运行数据进行深度挖掘其隐藏价值，实现计量海量数据大应用；利用聚类分析方法，对计量设备运行结果进行典型曲线聚类分析，能够得到不同环境条件下计量设备整体的典型曲线运行趋势，为计量设备的研究提供重要的参考作用。