1.一种并行处理铁路检测大数据的方法,其特征在于,所述方法包括:数据存储步骤:将采集的检测数据进行划分,并按照设定的存储策略将划分后的检测数据进行存储;算法组合制定步骤:根据检测数据的工程性质需求和解释目标需求,创建对应的运算工作流,其中,所述运算工作流为检测数据需进行的多个信号处理算法的组合,包括常规类工作流和迭代类工作流;并行处理步骤:基于预先创建的并行节点架构并行调取存储的检测数据,并分别按照与所述运算工作流匹配的调度策略实现基于常规类运算和迭代类运算的并行处理;在所述数据存储步骤中,按照采集区域和采集设备类型对铁路检测数据进行划分,得到处理优先级不同的各级的检测数据;在存储划分后的检测数据时,采用关系型数据库和分布式数据库多种存储方式,结合优先级信息实现对多种格式检测数据的并行存储;其中,检测数据文件的数据体包括道头数据和数据内容,各检测数据的道头数据与文件头关联存储在关系型数据库中,各检测数据的数据内容存储在分布式数据库中;在所述并行处理步骤中,按照以下步骤实现基于常规类运算的并行处理:任务调度节点判断是否存在需要处理的检测数据,若存在,统计需处理检测数据的总道数x,启动读写节点和计算节点;依次循环执行如下步骤,直至所有待处理的检测数据运算完成,释放读写节点和计算节点:基于预先设置的调度基数K,由读写节点读取x/K道作为本轮处理数据;任务调度节点将本轮处理数据平均划分为N部分,分配至各个计算节点;各个计算节点根据常规类工作流并行执行运算;并行调度节点确认是否收到计算完成的已处理检测数据,若收到,将其传至读写节点,由读写节点按照对应的空间结构进行整合并写入存储区;其中,K为正整数,1≤K≤N。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述并行处理步骤中,进一步结合单位标记数据对应的道数S进行优化,确定调度基数K。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:节点架构创建步骤、设置一个主节点作为任务调度节点,与一个读写节点和N个计算节点共同构成并行节点架构。
4.根据权利要求1所述的方法,其特征在于,在所述并行处理步骤中,按照以下步骤实现基于迭代类运算的并行处理:任务调度节点判断是否存在需要处理的检测数据,若存在,统计需处理检测数据的总道数x,启动读写节点和计算节点;根据硬件资源、x以及该迭代类运算的计算单位大小设置调度基数K,由读写节点读取x/K道作为第一轮处理数据;任务调度节点将本轮处理数据平均划分为N部分,分配至各个计算节点;进而依次循环执行如下步骤,直至所有待处理的检测数据运算完成,释放读写节点和计算节点:任务调度节点实时统计处于空闲的计算节点数量n,读写节点读取 道数据,将其平均划分为n部分,分配至各个空闲的计算节点;各个计算节点根据迭代类工作流并行执行运算,并实时向任务调度节点反馈运算状态信息;并行调度节点确认是否收到计算完成的已处理检测数据,若收到,将其传至读写节点,由读写节点按照对应的空间结构进行整合并写入存储区。
5.一种存储介质,其特征在于,所述存储介质上存储有可实现如权利要求1~4中任一项所述方法的程序代码。
6.一种并行处理铁路检测大数据的系统,其特征在于,所述系统包括:数据存储模块,其配置为将采集的检测数据进行划分,并按照设定的存储策略将划分后的检测数据进行存储;算法组合制定模块,其配置为根据检测数据的工程性质需求和解释目标需求,创建对应的运算工作流,其中,所述运算工作流为检测数据需进行的多个信号处理算法的组合,包括常规类工作流和迭代类工作流;并行处理模块,其配置为基于预先创建的并行节点架构并行调取存储的检测数据,并分别按照与所述运算工作流匹配的调度策略实现基于常规类运算和迭代类运算的并行处理;所述数据存储模块配置为:按照采集区域和采集设备类型对铁路检测数据进行划分,得到处理优先级不同的各级的检测数据;在存储划分后的检测数据时,采用关系型数据库和分布式数据库多种存储方式,结合优先级信息实现对多种格式检测数据的并行存储;其中,检测数据文件的数据体包括道头数据和数据内容,各检测数据的道头数据与文件头关联存储在关系型数据库中,各检测数据的数据内容存储在分布式数据库中;所述并行处理模块按照以下操作实现基于常规类运算的并行处理:任务调度节点判断是否存在需要处理的检测数据,若存在,统计需处理检测数据的总道数x,启动读写节点和计算节点;依次循环执行如下步骤,直至所有待处理的检测数据运算完成,释放读写节点和计算节点:基于预先设置的调度基数K,由读写节点读取x/K道作为本轮处理数据;任务调度节点将本轮处理数据平均划分为N部分,分配至各个计算节点;各个计算节点根据常规类工作流并行执行运算;并行调度节点确认是否收到计算完成的已处理检测数据,若收到,将其传至读写节点,由读写节点按照对应的空间结构进行整合并写入存储区;其中,K为正整数,1≤K≤N。
7.根据权利要求6所述的系统,其特征在于,所述并行处理模块实现基于常规类运算的并行处理时,进一步结合单位标记数据对应的道数S进行优化,确定调度基数K。
8.根据权利要求6所述的系统,其特征在于,所述系统还包括:节点架构创建模块、其配置为设置一个主节点作为任务调度节点,与一个读写节点和N个计算节点共同构成并行节点架构。