一种多模态的红外到可见光图像转换方法

本发明公开了一种多模态的红外到可见光图像转换方法，包括：构建图像数据集，图像数据集包括若干具有第一文本描述且未配对的第一红外图像与第一可见光图像；构建多模态的红外到可见光图像转换模型，并训练红外到可见光图像转换模型，红外到可见光图像转换模型包括边缘检测器、压缩感知模型、文本编码器、图像编码器以及条件潜扩散模型；将具有第二文本描述且未配对、待转换的第二红外图像及第二可见光图像输入训练后的红外到可见光图像转换模型，得到转换后的输出可见光图像。本发明应用于图像转换领域，能够有效地解决红外图像转换为可见光图像中存在的颜色泄露或混淆、细节丢失或模糊、边缘失真以及语义混淆等问题。