💡这项突破是什么?
中国科学院合肥物质科学研究院智能机械研究所仿生智能感知与控制团队提出了一种创新的文本引导多模态融合框架（TMMFNet）。该框架首先基于多模态大语言模型（MLLMs），结合超分辨率模型、地理空间分割模型以及思维链（CoT）提示技术，为LRMS图像生成高质量的语义描述文本，从而构建了面向全色锐化的多模态遥感数据集。此基础上，团队设计了文本增强模块（TEB）与文本调制模块（TMB）两个核心融合单元，能够将文本中所蕴含的高层语义信息有效注入融合网络，从而引导并优化视觉特征的融合过程。在WorldView-II、GaoFen2和WorldView-III等多个公开卫星数据集上的实验结果表明，所提方法在峰值信噪比（PSNR）和结构相似性（SSIM）等关键评价指标上均表现出优越性能。
硕士生李薛恒为论文第一作者，谢成军研究员、张洁副研究员为论文通讯作者。该项工作得到了安徽省自然科学基金、合肥市自然科学基金项目的支持。
论文链接：https://ieeexplore.ieee.org/abstract/document/11145881
图 1 基于视觉-文本多模态融合的遥感图像全色锐化网络
图 2 多光谱影像语义描述生成方法
表1 模型在不同数据集下的实验结果
图 3 不同全色锐化模型在WorldView-II数据集上的实验结果比较
