基于多模态联合学习的设备状态监测方法

本申请提供了一种基于多模态联合学习的设备状态监测方法。通过采集目标电气设备的多模态数据，对多模态数据进行预处理和特征编码，构建统一数据形式的多模态样本库，利用跨模态注意力单元融合各模态数据的时间、空间和语义特征，生成统一的语义嵌入表示，实现了多源信息的深度关联与互补，增强了特征融合的准确性和一致性。通过多任务联合模型，基于统一的语义嵌入表示同步执行多任务，实现了设备安全状态的综合判定，避免了传统方法中多任务串联处理带来的信息损失和效率低下问题，同步输出识别、检测和描述结果，显著提升了状态感知的整体效率和综合决策能力，最终有效提升了设备安全状态判定的有效性和实用性。