1.一种基于多模态融合的桥梁病害识别方法,其特征在于,包括:获取待检测桥梁的红外光图像、可见光图像以及位置编码;将所述红外光图像输入预训练的第一卷积网络,得到第一图像特征;将所述可见光图像输入预训练的第二卷积网络,得到第二图像特征;将所述第二图像特征与位置编码叠加后输入到编码器,得到编码结果;将编码结果输入到解码器,得到第三图像特征;将所述第一图像特征与第三图像特征输入到预训练的多模态融合网络,得到多模态融合特征;将所述多模态融合特征输入到预训练的神经网络对桥梁病害进行预测,得到桥梁病害识别结果,所述桥梁病害识别结果包括:是否存在桥梁病害和/或桥梁病害类别;所述将所述第二图像特征与位置编码叠加后输入到编码器,得到编码结果,包括:将所述第二图像特征的维度 降维到 ,以使所述第二图像特征降维结果的维度与位置编码的维度一致,并将所述第二图像特征降维结果与位置编码进行叠加,得到叠加结果,其中, 为第二图像特征的数量, 为第二图像特征的宽度, 为第二图像特征的高度;将叠加结果输入到编码器,得到编码结果;所述将所述第一图像特征与第三图像特征输入到多模态融合网络,得到多模态融合特征,包括:将所述第一图像特征与第三图像特征进行拼接,所述第一图像特征的第一维度与第三图像特征的第一维度相等;将拼接后的特征输入到多模态融合网络的第三全连接层,得到多模态融合特征。
2.根据权利要求1所述的基于多模态融合的桥梁病害识别方法,其特征在于,所述将所述红外光图像输入第一卷积网络,得到第一图像特征,包括:将所述红外光图像进行预处理,得到预处理结果;将所述预处理结果进行图像增强,得到图像增强结果;将所述图像增强结果输入第一卷积网络,得到第一图像特征。
3.根据权利要求2所述的基于多模态融合的桥梁病害识别方法,其特征在于,所述第一卷积网络包括:第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层和第二全连接层;所述将所述图像增强结果输入第一卷积网络,得到第一图像特征,包括如下步骤:采用步长为2且卷积核为 的第一卷积层以及步长为2且卷积核为 的第一池化层对所述图像增强结果进行特征提取,得到隐藏层特征;将所述隐藏层特征输入到步长为2且卷积核为 的第二卷积层以及步长为2且卷积核为 的第二池化层,得到特征图谱;将所述特征图谱输入到第一全连接层,将第一全连接层输出的结果输入到第二全连接层,得到第一图像特征。
4.根据权利要求1所述的基于多模态融合的桥梁病害识别方法,其特征在于,所述第二卷积网络包括残差模块和与残差模块相连接的多个卷积核。
5. 根据权利要求1所述的基于多模态融合的桥梁病害识别方法,其特征在于,所述神经网络包括:用于边界框预测的第一前馈神经网络以及用于类别预测的第二前馈神经网络; 所述将所述多模态融合特征输入到预训练的神经网络对桥梁病害进行预测,得到桥梁病害识别结果,包括:将所述多模态融合特征输入到第一前馈神经网络,得到带桥梁病害边界框的多模态融合特征;将带桥梁病害边界框的多模态融合特征输入到第二前馈神经网络,得到桥梁病害识别结果。
6.一种基于多模态融合的桥梁病害识别装置,其特征在于,包括:数据获取模块,用于获取待检测桥梁病害的红外光图像、可见光图像以及位置编码;第一图像特征获取模块,用于将所述红外光图像输入第一卷积网络,得到第一图像特征;第二图像特征获取模块,用于将所述可见光图像输入第二卷积网络,得到第二图像特征;编码模块,用于将所述第二图像特征与位置编码叠加后输入到编码器,得到编码结果;第三图像特征获取模块,用于将编码结果输入到解码器,得到第三图像特征;特征融合模块,用于将所述第一图像特征与第三图像特征输入到多模态融合网络,得到多模态融合特征;结果预测模块,用于将所述多模态融合特征输入到神经网络进行预测,得到桥梁病害识别结果;所述编码模块用于:将所述第二图像特征的维度 降维到 ,以使所述第二图像特征降维结果的维度与位置编码的维度一致,并将所述第二图像特征降维结果与位置编码进行叠加,得到叠加结果,其中, 为第二图像特征的数量, 为第二图像特征的宽度, 为第二图像特征的高度;将叠加结果输入到编码器,得到编码结果;所述特征融合模块用于:将所述第一图像特征与第三图像特征进行拼接,所述第一图像特征的第一维度与第三图像特征的第一维度相等;将拼接后的特征输入到多模态融合网络的第三全连接层,得到多模态融合特征。
7.一种计算机程序产品,其特征在于,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现如权利要求1-5任一项所述的基于多模态融合的桥梁病害识别方法的步骤。
8.一种电子设备,其特征在于,包括:一个或多个处理器,以及存储器,所述存储器存储指令,当所述指令被所述一个或多个处理器执行时,使得所述一个或多个处理器执行权利要求1~5任一项所述的基于多模态融合的桥梁病害识别方法。
9.一种计算机可读存储介质,其特征在于,其存储有可执行指令,所述指令当被执行时使得处理器执行权利要求1~5任一项所述的基于多模态融合的桥梁病害识别方法。