有效
一种重载机车行车提示数据的编制系统和方法
付建军、黄永聪、潘光云、张卫东、张俊杰、宋宗莹、魏东、蒋街平、沈洁、王准
中国神华能源股份有限公司
摘要
本发明公开了一种重载机车行车提示数据的编制系统和方法,包括如下步骤:S1、采集多模态数据并进行预处理;S2、利用基于Transformer的跨模态特征对齐机制进行时序对齐和关联分析;S3、利用门控循环单元结合三维地形模型与线路特征,构建列车运行的时空模型;S4、将列车运行的时空模型输入神经符号混合推理引擎,对列车操纵数据进行动态分析;S5、利用软行动演员‑评论家算法生成个性化操纵建议;S6、构建因果增强的变分神经网络进行设备预警;S7、生成实时应急操作建议并输出应急处理方案;S8、生成语音和图文提示并通过显示屏将行车提示信息提供给司机。本发明结合了多模态数据、神经符号推理和因果推断等技术,实现了重载机车行车提示数据编制。
1.一种重载机车行车提示数据的编制方法,其特征在于,包括如下步骤:S1、采集多模态数据并进行预处理,获得预处理多模态数据;S2、利用基于Transformer的跨模态特征对齐机制对所述预处理多模态数据进行时序对齐和关联分析,提取时间序列中的跨模态特征,生成多维特征表示;S3、基于所述多维特征表示,利用门控循环单元对动态运行轨迹进行时序建模,并结合三维地形模型与线路特征,构建列车运行的时空模型;S4、将所述列车运行的时空模型输入神经符号混合推理引擎,对列车操纵数据进行动态分析,通过符号逻辑模块处理显式规则数据并生成逻辑树,同时利用图神经网络提取隐式关联特征;S5、基于动态分析结果和司机的历史操作数据,利用软行动演员-评论家算法预测操纵行为,动态调整操纵提示规则并生成个性化操纵建议;S6、利用所述个性化操纵建议和实时运行数据,构建因果增强的变分神经网络,通过因果推断算法生成设备因果关系图进行设备预警;S7、根据设备预警结果和操作规则生成实时应急操作建议,并输出应急处理方案;S8、结合所述应急处理方案和列车运行的时空模型,利用自然语言生成技术生成语音和图文提示,并通过显示屏将行车提示信息提供给司机。
2.根据权利要求1所述的一种重载机车行车提示数据的编制方法,其特征在于,所述多模态数据包括视频数据和音频数据,所述预处理包括去噪和异常值处理。
3.根据权利要求1所述的一种重载机车行车提示数据的编制方法,其特征在于,所述S2具体包括:S21、对所述预处理多模态数据进行时间分片,将视频数据和音频数据按照时间窗口T w 分割为若干时间片段,生成长度为L的多模态时间序列;S22、利用卷积神经网络提取视频数据的空间特征F v (t),使用梅尔频率倒谱系数提取音频数据的频率特征F a (t);S23、利用基于Transformer的跨模态特征对齐机制,将视频数据的空间特征F v (t)和音频数据的频率特征F a (t)输入到Transformer模型中,通过嵌入层生成查询矩阵Q、键矩阵K和值矩阵V;S24、通过自注意力机制对跨模态特征进行时序对齐,计算模态间关联权重:其中,Attention表示自注意力机制,Softmax表示归一化函数,d k 表示键矩阵的维度;提取每个模态之间在时间序列上的关联特征;S25、基于多头注意力机制对跨模态特征进行对齐,将时间步长内的多模态数据进行融合,计算模态间的全局关联性特征,生成时间步级别的融合特征表示;S26、将对齐后的跨模态融合特征表示通过Transformer模型的全连接层进行进一步特征提炼,生成多维特征表示F ( t ) ,维度为[T,D],其中T表示时间步数,D表示融合后的特征维度。
4.根据权利要求1所述的一种重载机车行车提示数据的编制方法,其特征在于,所述S3具体包括:S31、将生成的多维特征表示F ( t)按时间步数T分段,提取时间序列动态特征作为时序建模的输入;S32、利用门控循环单元对所述时间序列动态特征进行建模,初始化门控循环单元的隐藏状态为零向量;对每一时间步t,输入特征和前一隐藏状态计算更新门和重置门:z t =σ(W z ·[h t-1 ,f t ]+b z );r t =σ(W r [h t-1 ,f t ]+b r );其中,z t 表示更新门,r t 表示重置门,σ表示激活函数,W z 表示更新门的权重矩阵,W r 表示重置门的权重矩阵,b z 表示更新门的偏置项,b r 表示重置门的偏置项,h t-1 表示上一时间步的隐藏状态,f t 表示当前时间步t的多模态输入特征;计算候选隐藏状态和当前隐藏状态:其中, 表示候选隐藏状态,h t 表示当前时间步t的隐藏状态,tanh表示双曲正切函数,W h 表示候选隐藏状态的权重矩阵,b h 表示候选隐藏状态的偏置项,⊙表示按元素乘法操作;S33、生成每个时间步的隐藏状态h t ,得到动态运行轨迹的隐藏状态序列H,用于表征列车动态运行轨迹,输出时序建模结果;S34、根据列车运行区域的地形数据G(x,y,z)建立地形点云数据,其中(x,y,z)表示地形的三维坐标,x表示水平位置坐标,y表示垂直位置坐标,z表示高度位置坐标;S35、利用线路特征数据结合地形点云数据生成综合网格模型,对所述综合网格模型进行优化,消除地形冗余信息,生成三维地形模型;S36、将动态运行轨迹的隐藏状态序列H映射到三维地形模型,构建列车运行的时空模型,所述列出运行的时空模型包括列出运行的轨迹序列和对应的三维空间位置。
5.根据权利要求1所述的一种重载机车行车提示数据的编制方法,其特征在于,所述S4具体包括:S41、将生成的列车运行的时空模型输入神经符号混合推理引擎,所述神经符号混合推理引擎包括符号逻辑模块、图神经网络模块和任务分流机制,用于对列车操纵数据进行动态分析;S42、利用所述符号逻辑模块对输入数据中的显式规则进行处理,提取列车运行的关键规则数据,所述关键规则数据包括分相距离、速度限制和坡度特征,构建规则集合,并基于所述规则集合生成层次化的符号逻辑树;S43、通过所述符号逻辑模块对所述符号逻辑树进行递归分析,结合输入数据计算显式规则的适用性,动态生成显式规则推理结果,输出适用于当前列车操纵状态的规则集合;S44、利用所述图神经网络模块对列车运行的时空模型中的隐式关联特征进行提取,将列车运行的时间步特征及地形与线路特征构建为节点和边,形成图结构,通过图的消息传递机制提取时间步间的关联性和运行环境的潜在影响;S45、在所述图神经网络模块中,通过多层节点特征更新和边权重调整,提取列车运行数据中的隐式关联信息,包括运行轨迹的动态变化趋势和运行环境之间的潜在关系,生成隐式关联特征分析结果;S46、通过所述任务分流机制,根据输入数据的属性和分析需求,将推理任务动态分配至符号逻辑模块或图神经网络模块,整合显式规则推理结果和隐式关联特征分析结果,由神经符号混合推理引擎输出动态分析结果,用于表征列车当前运行状态和操纵需求。
6.根据权利要求1所述的一种重载机车行车提示数据的编制方法,其特征在于,所述S5具体包括:S51、将生成的动态分析结果司机的历史操作数据输入软行动演员-评论家算法模型,所述动态分析结果包括列出当前运行状态和操纵需求,所述历史操作数据包括司机的操作行为记录和对应的运行环境特征;S52、在软行动演员-评论家算法中,定义环境状态、动作空间和奖励函数,其中环境状态表示为S t ,动作空间表示为A t ,奖励函数表示为R(S t ,A t ):R(S t ,A t )=-(∥S t -S target ∥+∥A t -A target ∥);其中,S target 表示目标状态,A target 表示目标动作,∥·∥表示向量的范数;S53、利用策略网络π θ ( A t |S t )根据当前环境状态预测操纵行为,生成当前时间步的最优操纵动作,其中π θ (A t |S t )是由策略网络参数θ学得的策略,表示在状态S t 下执行动作A t 的概率分布;S54、利用评论家网络对策略网络生成的操纵行为进行评估,评论家网络通过最小化损失函数 更新参数 其中, 表示损失函数, 表示状态S t 、动作A t 和即时奖励R t 下的期望值,γ表示折扣因子, 表示当前评论家网络参数,φ ′ 表示目标评论家网络参数, 表示当前评论家网络预测的动作值, 表示在下一个时间步t+1目标评论家网络所有可能动作A t+1 的最大预期动作值;S55、基于策略网络动态调整操纵提示规则,将列车的操纵需求与历史操作数据相结合,更新提示规则以适配当前运行环境,并生成操作提示内容;S56、根据调整后的操纵提示规则生成个性化操纵建议。
7.根据权利要求1所述的一种重载机车行车提示数据的编制方法,其特征在于,所述S6具体包括:S61、根据个性化操纵建议和实时运行数据,构建因果增强的变分神经网络,所述因果增强的变分神经网络用于捕捉操控行为与设备状态之间的潜在因果关系,输入列车的实时动态参数和历史操作数据;S62、在因果增强的变分神经网络中,通过因果推断算法识别并建立设备之间的因果关系,对设备和操作参数间的影响路径进行建模,生成设备因果关系图;S63、将设备因果关系图与历史操作数据相结合,利用变分推理方法对设备状态进行推断;S64、更新设备因果图中的关系权重,通过迭代调整设备之间的因果关系,优化设备因果关系图;S65、基于优化后的设备因果关系图结合实时运行数据,生成设备预警报告。
8.一种重载机车行车提示数据的编制系统,执行权利要求1至7任一项所述的重载机车行车提示数据的编制方法,其特征在于,包括硬件部分和软件部分,所述硬件部分包括显示屏、底座、通信线和扬声器;所述软件部分包括:数据采集模块,用于采集并预处理多模态数据;数据对齐与分析模块,用于进行跨模态特征对齐和时序关联分析,生成多维特征表示;时序建模与地形构建模块,用于基于多维特征表示进行时序建模,并结合三维地形模型与线路特征,构建列车运行的时空模型;神经符号推理模块,用于分析列车操纵数据,提取显式规则数据和隐式关联特征;操作预测模块,用于根据分析结果和历史数据预测操纵行为,并生成个性化操纵建议;设备预警模块,用于通过因果推断算法生成设备因果关系图进行设备预警;应急处理模块,用于生成并输出实时应急操作建议;提示信息生成模块,用于生成并输出语音和图文提示信息给司机。



