有效

一种基于多模态融合的桥梁病害识别方法及装置

尹京、尚培培、鞠晓臣、王新让、袁磊、苏永华、谷牧、窦俊鹏、李克冰、肖鑫、陈浩瑞、朱颖、潘永杰
国能朔黄铁路发展有限责任公司

摘要

本申请提出一种基于多模态融合的桥梁病害识别方法及装置,属于多模态深度学习技术领域,方法包括:获取待检测桥梁的红外光图像、可见光图像及位置编码;将红外光图像输入第一卷积网络,得到第一图像特征;将可见光图像输入第二卷积网络,得到第二图像特征;将第二图像特征与位置编码叠加后输入到编码器,得到编码结果;将编码结果输入到解码器,得到第三图像特征;将第一图像特征与第三图像特征输入到多模态融合网络,得到多模态融合特征;将多模态融合特征输入到预训练的神经网络对桥梁病害进行预测,得到桥梁病害识别结果。本申请综合利用红外光图像和可见光图像的特征信息,提升了桥梁病害检测任务的准确性,加强了检测模型的鲁棒性。