有效

一种并行处理铁路检测大数据的方法及系统

杜翠、张千里、陈锋、刘杰、程远水、郭浏卉、张栋、张新冈、刘景宇、邓逆涛
中国铁道科学研究院集团有限公司铁道建筑研究所

摘要

本发明提供了一种并行处理铁路检测大数据的方法及系统,该方法将采集的检测数据进行划分,并按照设定的存储策略将划分后的检测数据进行存储;通过根据检测数据的工程性质需求和解释目标需求,创建检测数据需进行的多个信号处理算法的组合作为常规类工作流和迭代类工作流,进而利用设计的并行节点架构并行调取存储的检测数据,并分别按照匹配工作流的调度策略实现基于常规类运算和迭代类运算的并行处理。采用上述方案,克服了现有数据处理技术中运算负载失衡和易独占运算模块内存的问题,本发明基于特有的并行节点架构,结合制定的不同调度策略,提高了处理过程的负载均衡性能和集群资源利用率,能满足当下及未来大规模检测数据的处理需求。