1.一种铁路货运数据的数据项筛选方法,其特征在于,包括:步骤1,从多个数据源获取铁路货物运输的原始数据,并进行数据预处理;其中,原始数据包括 个数据项;步骤2,从原始数据的 个数据项中随机抽取不重复的 个数据项,作为初始备选货运数据集 ;并将初始备选货运数据集 存为当前价值数据集 ,以及将 存入记忆集合 ;其中, 为数据项筛选的目标项数, ;步骤3,计算数据集 的价值评估得分 ;其中, 为数据集价值评估函数;步骤4,利用 生成新的数据集 ,并将新的数据集 存入记忆集合 ;其中,函数 表示对数据集 中的数据项进行调整,具体为:从当前数据集 中选择 个数据项,将其替换为新的数据项,且 , ;步骤4中采用局部搜索和动态调整步长两种方法对数据集 中的数据项进行调整:(1)局部搜索是指,限制数据集 中参与调整的数据项变动范围,规定按数据项的编号顺序选择数据集 中参与调整的数据项;(2)动态调整步长是指,根据数据集得分变化的幅度动态调整数据项的替换个数;步骤5,计算数据集 的价值评估得分 ;步骤6,比较 与 数值大小:若 ,表示数据集 价值更高,直接进入步骤7;若 ,表示当前修改操作无效,再进一步判断记忆集合 是否已存放所有N个数据项组合的数据集,若是则结束筛选并返回当前价值数据集 作为最终筛选得到的数据集,否则返回步骤4,对数据集 进行重新调整;步骤7,将当前价值数据集 更新为数据集 ;步骤8,如果未达到终止条件,更新 ,转入步骤4进入下一轮;如果达到终止条件,则返回当前价值数据集 作为最终筛选得到的数据集。
2.根据权利要求1所述的铁路货运数据的数据项筛选方法,其特征在于,所述数据项的类型,属于客户信息类、运单数据类或者货票信息类,每种类型包括1种或多种数据项。
3.根据权利要求1所述的铁路货运数据的数据项筛选方法,其特征在于,所述数据预处理包括清洗、转换、归一化、缺失值处理和异常值处理。
4.根据权利要求1所述的铁路货运数据的数据项筛选方法,其特征在于,数据集价值评估函数 ,使用基于历史数据和专家打分获得的回归模型隐形表示;其中,基于历史数据和专家打分获得回归模型,包括以下步骤:(1)数据收集:收集历史数据项记录及专家对数据集的评价分数;(2)数据清洗:处理缺失值、异常值,对数据进行标准化操作;(3)构建训练集与测试集:将数据集按比例拆分为训练集和测试集,定义数据项集合为模型输入,专家打分数值为对应模型输出的目标变量;(4)模型训练与验证:选择回归模型与模型评估指标,使用训练集数据训练模型,优化模型参数,评估模型在测试集上的表现。
5.根据权利要求1所述的铁路货运数据的数据项筛选方法,其特征在于,参与调整的数据项个数 的动态调整方法为:(1)获取当前数据集 的得分 和新数据集 的得分 ,计算得分变化幅度 : ;(2)若得分变化幅度 大于预先设定的替换阈值上限,则在当前调整个数的基础上增加调整个数,用于下次迭代;(3)若得分变化幅度 小于预先设定的替换阈值下限,则在当前调整个数的基础上减少调整个数,用于下次迭代;(4)若得分变化幅度 在预先设定的替换阈值范围内,则下次迭代保持当前调整个数不变。
6.根据权利要求1所述的铁路货运数据的数据项筛选方法,其特征在于,步骤8的终止条件为以下其中之一:(1)记忆集合 已存放所有N个数据项组合的数据集;(2)相邻两次数据集的价值评估得分的变化率在预先设定的终止阈值内。
7.一种铁路货运数据的数据项筛选装置,其特征在于,包括:数据预处理模块,用于:对从多个数据源获取铁路货物运输的原始数据,进行数据预处理;其中,原始数据包括 个数据项;初始化模块,用于:从原始数据的 个数据项中随机抽取不重复的 个数据项,作为初始备选货运数据集 ;并将初始备选货运数据集 存为当前价值数据集 ,以及将 存入记忆集合 ;其中, 为数据项筛选的目标项数, ;价值评估模块,用于:计算任意数据集 的价值评估得分 ;其中, 为数据集价值评估函数;数据集调整模块,用于:利用 生成新的数据集 ,并将新的数据集 存入记忆集合 ;其中,函数 表示对数据集 中的数据项进行调整,具体为:从当前数据集 中选择 个数据项,将其替换为新的数据项,且 , ;其中采用局部搜索和动态调整步长两种方法对数据集 中的数据项进行调整:(1)局部搜索是指,限制数据集 中参与调整的数据项变动范围,规定按数据项的编号顺序选择数据集 中参与调整的数据项;(2)动态调整步长是指,根据数据集得分变化的幅度动态调整数据项的替换个数;数值比较模块,用于:比较 与 数值大小;价值数据集更新模块,用于:在数值比较模块判定 时,将当前价值数据集 更新为数据集 ;价值数据集输出模块,用于:在达到终止条件时,输出当前价值数据集 作为最终筛选得到的数据集。
8.一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1~6中任一项所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1~6中任一项所述的方法。