1.一种面向基础设施缺陷检测大模型的领域知识增强方法,其特征在于,包括以下步骤:构建基础设施缺陷检测领域的多模态数据集;利用所述多模态数据集,构建基础设施缺陷检测的领域知识库,包括基础设施知识背景和缺陷类型;基于所述领域知识库构建知识图谱,将领域知识库的实体和关系映射为知识图谱中的节点和关系;基于所述知识图谱,利用图神经网络生成包含领域知识的高维特征向量;对多模态数据中的每种模态提取单模态特征,再通过多模态数据融合生成多模态融合特征向量;将所述高维特征向量与多模态融合特征向量拼接,输入大模型进行训练;利用训练好的大模型进行基础设施缺陷检测。
2.根据权利要求1所述的方法,其特征在于,所述构建基础设施缺陷检测领域数据集包括:采集多模态数据,包括RGB图像、深度图像、点云数据及传感器数据;对数据进行真值标注,包括缺陷类型、位置、属性及环境信息;将数据划分为训练集、验证集和测试集。
3.根据权利要求1所述的方法,其特征在于,所述构建基础设施缺陷检测领域知识库包括:收集基础设施缺陷相关的文献、行业标准及专家经验;对缺陷类型按基础设施类别和缺陷性质进行分类;将分类后的缺陷数据预处理为结构化格式,并存储为表单化数据。
4.根据权利要求1所述的方法,其特征在于,所述构建知识图谱包括:定义基础设施类型节点、缺陷类型节点及环境条件节点;定义节点间的关系类型;将领域知识库中的结构化信息映射为知识图谱中的节点和边。
5.根据权利要求1所述的方法,其特征在于:所述利用图神经网络生成包括领域知识高维特征向量包括:为知识图谱中的节点初始化属性向量;使用图神经网络聚合邻居节点信息,逐层更新节点特征表示;生成包含领域知识的高维特征向量。
6.根据权利要求2所述的方法,其特征在于,所述多模态数据融合包括:分别提取RGB图像、深度图和点云数据的单模态特征;对单模态特征进行标准化处理;使用交叉注意力机制捕捉模态间相关性,并通过加权策略融合特征,得到多模态融合特征向量。
7.根据权利要求1所述的方法,其特征在于:所述大模型为CLIP或LLaMA,冻结大模型部分权重训练。
8.根据权利要求7所述的方法,其特征在于:所述方法还包括使用交叉熵损失函数优化所述大模型的参数。
9.一种电子设备,其特征在于,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于:所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。