1.一种基于知识图谱嵌入式的水利工程风险智能调控方法,其特征在于,所述风险智能调控方法包括:步骤S1:收集并整理目标水利工程的相关数据;步骤S2:以文本和图像数据为多模态输入,构建基于时序的多模态数据知识图谱,包括:将所收集数据进行结构化形成三元组,将头实体、关系、尾实体转化为独立的嵌入向量,通过嵌入层传递后生成密集向量;所述密集向量通过高阶连接嵌入至模型深层;采用TransE学习知识图谱的结构化表示,为实现实体文本中多模态相邻实体的信息聚集并丰富实体表示;通过实体编码器和注意力层,每个实体获取新的实体表示,将新的实体表示通过转译评分函数嵌入至知识图,将实体与关系转变为参数化向量并保留其中的关系推理;输出推荐层;步骤S3:将基于多模态知识图谱的输出推荐作为大语言模型输入;步骤S4:生成多模态。
2.根据权利要求1所述的一种基于知识图谱嵌入式的水利工程风险智能调控方法,其特征在于,所述步骤S1:收集并整理目标水利工程的相关数据具体包括:水利工程运行监测数据、调查报告、研究文献、应急预案、调度规程文件、运行监测图像、现场图像及水利工程风险相关文献。
3.根据权利要求1所述的一种基于知识图谱嵌入式的水利工程风险智能调控方法,其特征在于,所述输出推荐层具体包括:各实体通过知识图嵌入模块获取相应的输入,并推送至推荐模块中,同时采用注意力机制对信息进行聚合;采用层聚集机制将每一步的表示连接成单个向量,其数学表达式如下:式中,L为多模态知识图谱的注意力层数。
4.根据权利要求1所述的一种基于知识图谱嵌入式的水利工程风险智能调控方法,其特征在于,所述通过实体编码器和注意力层,每个实体获取新的实体表示,将新的实体表示通过转译评分函数嵌入至知识图,将实体与关系转变为参数化向量并保留其中的关系推理具体包括:翻译评分函数的表达式见式(7):goal(c,d,h)=||f c +f d -f h || 2 (7)知识图训练过程中,基于正确三元组与错误三元组的损失配对排名通过公式(7)进行两两排序以获取有效训练结果;α KG =∑ (c,d,h,h′)∈δ -lnθ(goal(c,d,h′)-goal(c,d,h)) (8)式中, (c,d,h′)是随机替换正确三元组中的实体所构成的错误三元组,θ表示sigmiod函数;层在三元组的粒度上对实体与关系进行建模以实现正则化,将直连输入至表示。
5.根据权利要求1所述的一种基于知识图谱嵌入式的水利工程风险智能调控方法,其特征在于,所述步骤S3:将基于多模态知识图谱的输出推荐作为大语言模型输入具体包括:多模态编码,经知识图谱输出的本文标记被嵌入至向量e t ∈R D ,经过预训练及视觉编码器将每个图像输入转换为特征e img ∈R D×32 ,嵌入被连接以创建输入提示特征;Vokens添加,添加特殊标记M img 作为大语言模型语料库的生成调用函数,其中M img 具体表示为:M img ={img1,img2,img3,…,imgn} (9)变量的隐藏输出状态被用于后续的图像生成,且变量的位置可用于表示交错图像的插入。
6.根据权利要求1所述的一种基于知识图谱嵌入式的水利工程风险智能调控方法,其特征在于,所述步骤S4:生成多模态具体包括:文本生成,按照随机语言建模的策略,在文本空间中联合生成文本和虚拟预期,并在训练中将“虚词”添加至实际图像的位置,同时训练模型在文本生成过程中预测“虚词”;生成词块表示为:Tk={t 1 ,t 2 ,t 3 ,…,t n } t i ∈V∪V img (10)文本-图像损失的定义为:式中,t i ∈V∪V img ;建立Voken特征进行图像生成。
7.根据权利要求6所述的一种基于知识图谱嵌入式的水利工程风险智能调控方法,其特征在于,所述建立Voken特征进行图像生成具体包括:将输出隐藏状态值与文本至图像生成模型的文本条件特征空间对齐,构造特征映射器模块,包含2层的MLP模型θ mlp 、一个基于Transformer的4层编码-解码模型θ enc-dec 以及一个可学习的解码特征序列q,其中,映射特征的数学表达式如下:采用潜在扩散损失模型LDM作为导向以保证所生成的图像真实度;过程中,预训练VAE将真实图像转化为潜在特征z 0 ,随后向z 0 中添加噪声以获取噪声的隐藏特征z t ,使用预训练的U-Net模型∈ ρ 计算LDM损失的原理见公式(13);