一种面向风电机组的多模态大模型可解释诊断方法及系统

1.一种面向风电机组的多模态大模型可解释诊断方法，其特征在于：包括，在风电机组运行过程中，同步采集多模态的监测数据与拓扑结构信息；对多模态的所述监测数据进行针对性预处理，实现数据净化与时空对齐；将预处理后的数据输入模态适配编码器，提取各模态特征，并通过统一投影实现特征维度一致性，得到跨模态四元组；利用跨模态四元组中，四模态对比学习与拓扑建模进行联合训练，优化特征对齐精度与物理一致性；将标准化模态特征与拓扑嵌入特征联合输入跨模态注意机制，计算跨模态注意力权重，生成特征融合向量；将融合向量输入分类器，输出初步诊断结果；通过动态提示生成与知识检索增强，获取故障背景信息，并通过多Agent决策模型对所述特征融合向量进行分析，加权融合各Agent输出概率，得到最终诊断结果。 2.如权利要求1所述的面向风电机组的多模态大模型可解释诊断方法，其特征在于：所述多模态的监测数据包含四种模态：振动数据、时序数据、图像数据，以及文本和日志数据；所述拓扑结构信息以风电机组物理结构为基础，生成拓扑图 ；其中，节点 表示核心部件，边 表示部件间的传动关系、能量流和控制关联，边权重基于部件耦合强度设定；所述针对性预处理包括，分别针对每种模态下的监测数据，采用对应的数据处理方法进行去噪；同时基于时间戳与部件编号建立文本与设备的关联映射。 3.如权利要求2所述的面向风电机组的多模态大模型可解释诊断方法，其特征在于：所述模态适配编码器包括，对振动数据采用基于ConvNeXt的改进网络进行编码：在ConvNeXt网络Stage2与Stage3之间嵌入频带自适应注意力层，通过小波包分解将STFT生成的时频图划分为多个关键频带区间，计算各频带与历史故障样本频带的互信息值，动态分配注意力权重；将原始单路径残差连接优化为双路径残差结构，主路径保留3×3深度可分离卷积，副路径增设1×1卷积与归一化层以捕捉低频稳态特征，主副路径特征通过频带能量占比动态调整的自适应权重融合；在网络输出端添加故障敏感特征增强层，基于风电机组故障机理，通过高斯核函数强化关键频带特征并抑制非故障频带噪声；其中，高斯核函数的特征增强系数由历史故障数据离线训练确定；对时序数据采用PatchTST模型编码，得到时序模态特征；对图像数据采用分层动态窗口Transformer模型进行编码，所述分层动态窗口Transformer模型通过三部分适配风电机组图像异常检测需求：第一部分为动态窗口生成机制，基于图像故障区域特性，通过边缘检测算法识别潜在异常区域，以异常区域为窗口中心，根据异常区域面积占比动态调整窗口大小；第二部分为跨层特征交互模块，在网络Stage1-Stage4之间设置跨层特征交互通道，将高层全局结构特征与低层局部细节特征通过异常区域置信度动态调整的注意力权重融合；第三部分是多尺度特征聚合输出，在网络输出端将Stage2-Stage4输出特征通过下采样和上采样操作，统一至相同分辨率，利用通过注意力机制计算各尺度特征贡献度并加权融合，得到图像模态特征；对文本和日志数据采用运维知识增强型动态掩码编码器进行编码：通过融入风电机组运维术语词典；增设时序注意力层，动态分配时序注意力权重以捕捉日志时序关联；多源文本融合机制和基于部件编号建立关联映射，通过交叉注意力计算语义关联度并加权融合，得到文本模态特征与日志模态特征；所述统一投影包括，采用自适应维度映射网络实现多模态特征维度一致性；所述自适应维度映射网络由3层全连接网络与动态激活函数组成，将各模态特征统一映射至d维特征空间，得到标准化模态特征 ；其中 为模态类型， 表示振动数据对应的模态， 表示时序数据对应的模态， 表示图像数据对应的模态， 表示文本和日志数据对应的模态； 表示在模态m下的准化模态特征；所述跨模态四元组表示为： 。 4.如权利要求3所述的面向风电机组的多模态大模型可解释诊断方法，其特征在于：所述四模态对比学习包括，对各模态特征进行随机掩码，通过解码器重建原始特征；针对同一设备样本的四模态特征 构建正样本对，强化同一故障场景下多模态特征的语义一致性，针对不同设备样本的四模态特征构建负样本对，突出不同运行状态下多模态特征的语义差异；同时，采用四模态特征的余弦相似度均值计算 以综合多模态关联信息、引入温度参数 调节相似度分布陡峭程度，通过对数似然形式构建损失函数以优化模型对正、负样本对的判别能力，实现无标注条件下多模态特征精准对齐；所述拓扑建模包括，基于拓扑图 ，采用动态拓扑嵌入网络生成部件拓扑嵌入 ；在所述拓扑建模后的图中，定义风电机组故障传播路径集合 ，路径 为拓扑图中从潜在故障源节点到目标节点的节点序列；故障传播路径得分 为路径中各边注意力权重之和。 5.如权利要求4所述的面向风电机组的多模态大模型可解释诊断方法，其特征在于：所述标准化模态特征与拓扑嵌入特征联合包括，将 通过跨模态映射至d维特征空间，得到拓扑嵌入特征 ；将各模态标准化特征 与拓扑嵌入特征 拼接，输入前馈神经网络生成跨模态融合查询向量 ， ；其中， 表示特征拼接操作；计算查询向量 与各模态标准化特征矩阵 的相似度，通过softmax函数得到各模态的注意力权重 ， ；其中， 表示m模态下，预设的标准化特征矩阵； 表示转置；根据注意力权重 对各模态特征进行加权求和，得到特征融合向量 ；将融合向量 输入分类器，输出初步故障类型 与故障部件定位结果 。 6.如权利要求5所述的面向风电机组的多模态大模型可解释诊断方法，其特征在于：所述动态提示生成与知识检索增强包括，三层优化机制：多模态异常特征加权筛选算法，从各模态标准化特征 的时频统计结果中，筛选异常特征时，引入模态重要性权重与特征敏感度系数；基于风电机组故障诊断中各模态的贡献度，通过熵权法计算各模态重要性权重，对每个模态下的特征，计算与正常状态特征的马氏距离 ；结合历史故障数据中，每个模态下特征的故障区分能力离线训练得到的特征敏感度系数 ，得到特征异常度评分 ，按 降序筛选Top-L个异常特征 ；其中， 表示在模态m下，第i时刻的马氏距离； 表示在模态m下，第i时刻的特征敏感度系数； 表示在模态m下，通过熵权法计算模态重要性权重；Top-L表示筛选序列前L个； 表示在模态m下，第i时刻的特征异常度评分；结构化提示动态增强机制，在结合风电机组拓扑关系 与日志摘要 生成结构化提示 时，引入拓扑-文本交叉注意力模块，将拓扑关系 转化为节点为部件、边为物理关联的图结构特征，通过图卷积网络提取拓扑嵌入向量 ，将日志摘要 通过所述运维知识增强型动态掩码编码器提取文本语义向量 ，计算 与 的交叉注意力权重 ；对异常特征 进行加权调整，实现异常特征与诊断设备的适应后，并输入预设模板生成增强型结构化提示 ；其中， 表示当前诊断设备的拓扑结构；语义-拓扑双维度案例重排算法，在知识库案例 中，筛选与当前故障场景相似的历史案例集合R，在筛选相似案例集合 并进行重排时，构建双维度匹配评分：语义维度采用余弦相似度计算增强型结构化提示 与相似案例集合 的语义相似度；拓扑维度提取相似案例集合 中单个案例 对应的故障传播路径 ，计算 与当前设备拓扑关系 的图编辑距离 并转化为拓扑匹配度 ，综合匹配度为 ，按 降序对案例集合 重排，得到增强上下文 ；其中， 表示OK-DME语义编码函数； 表示重新排序的规则函数。 7.如权利要求6所述的面向风电机组的多模态大模型可解释诊断方法，其特征在于：所述Agent决策模型包括，数据驱动Agent：采用动态前缀调优+故障类型自适应微调，设计动态前缀生成模块，根据增强上下文 中故障特征的类型，从前缀向量库中调用匹配的基础前缀 ，利用注意力机制将特征融合向量 的关键信息注入 ，生成动态前缀 ；优化后的增强上下文为 ，输入新增故障类型自适应层的LLM后，得到不同故障的概率；其中，所述故障类型自适应层，根据 预判的故障大类与特征融合向量 的相似度作为注意力，动态调整LLM的输出层权重；规则Agent：采用规则置信度动态修正+冲突消解机制，规则匹配阶段从规则库中匹配与 对应的规则时，引入规则激活度计算，对每条规则 ，提取前提条件与 的特征匹配率 ，激活度为 ；其中， 为规则历史准确率，离线统计更新；仅激活 的规则，以过滤低可靠性规则；概率输出阶段，对激活的规则输出的初始故障概率 引入环境因子修正，根据 中环境特征与规则适用环境的偏差 ，计算修正系数 ；最终故障概率为 ，若规则输出存在矛盾，则通过按规则激活度 加权投票的机制确定最终输出；其中， 表示在增强上下文 下，故障类型 的初始概率； 示在增强上下文 下，故障类型 的最终概率；拓扑一致Agent：采用路径可靠性评估+多路径融合，计算路径得分 时引入路径上部件的故障概率贡献，对路径 中的每个部件节点 ，提取标准化模态特征 对应的故障概率 ，路径 的得分修正为 ；对任意故障类型 对应的路径集合 ，按路径长度按照阈值分为短路径、中路径、长路径，分别计算短路径、中路径、长路径的平均得分 、 、 ，通过由历史故障中短路径、中路径、长路径的准确率动态调整的注意力权重 进行加权融合，得到故障类型 的最终故障概率： ；其中， 表示模态m下，部件节点 的准化模态特征； 表示节点v拓扑嵌入 ，通过全连接层预测的结果；对三种Agent的输出概率进行加权融合，得到故障融合概率 ；取融合概率最大的故障类型作为最终诊断结果 ；其中，若最大融合概率 或各Agent输出概率的KL分歧超过预设阈值，则触发不一致告警，重新进行知识检索与Agent决策；其中， 为预设置信度阈值。 8.一种面向风电机组的多模态大模型可解释诊断系统，基于权利要求1~7任一所述的面向风电机组的多模态大模型可解释诊断方法，其特征在于：包括，采集单元，在风电机组运行过程中，同步采集多模态的监测数据与拓扑结构信息；处理单元对多模态的所述监测数据进行针对性预处理，实现数据净化与时空对齐；投影单元，将预处理后的数据输入模态适配编码器，提取各模态特征，并通过统一投影实现特征维度一致性，得到跨模态四元组；处理单元，利用跨模态四元组中，四模态对比学习与拓扑建模进行联合训练，优化特征对齐精度与物理一致性；诊断单元，将标准化模态特征与拓扑嵌入特征联合输入跨模态注意机制，计算跨模态注意力权重，生成特征融合向量；将融合向量输入分类器，输出初步诊断结果；输出单元，通过动态提示生成与知识检索增强，获取故障背景信息，并通过多Agent决策模型对所述特征融合向量进行分析，加权融合各Agent输出概率，得到最终诊断结果。 9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1~7任一所述的面向风电机组的多模态大模型可解释诊断方法的步骤。 10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1~7任一所述的面向风电机组的多模态大模型可解释诊断方法的步骤。