💡这项突破是什么?
能够对疾病描述进行语义校准与结构化重构,生成同时具备解剖精准性与临床标准化的病理描述文本,增强医学语义的表达一致性。最终,通过跨模态语义对齐模块实现多粒度信息的互补融合,有效提升了模型在零样本条件下的病灶识别与诊断性能。实验结果显示,MultiXpert在四个单标签公共数据集上平均AUC提升达7.5%,在零样本场景下较主流视觉语言模型平均提升3.9%。在来自十家医院的多中心私有数据上,MultiXpert较传统监督模型(如ConvNeXt)提升13.9-22.6%,充分证明了其优异的跨中心泛化性能与临床可迁移性。
该项研究为胸片零样本智能诊断提供了新的技术路径,也为医学AI从“依赖标注”迈向“自主理解”提供了新范式,标志着医疗AI在零样本学习领域的新突破。李海研究员团队长期聚焦于AI+医学影像研究,致力于推进智慧医疗的技术创新和临床转化。未来,团队将进一步拓展该模型在多病种、多模态影像(如:X光、超声、CT、MRI)中的应用,推动其在临床场景中的落地转化,助力构建更加智能、精准、可解释的医学影像分析体系。
该论文第一作者为中国科学技术大学2023级博士研究生王俊杰,通讯作者为健康所李海研究员和王腾飞博士。本研究得到了国家自然科学基金和安徽省重点研发项目的支持。
文章链接:https://doi.org/10.1016/j.ipm.2025.104468

多模态双流协同增强模型(MultiXpert)结构示意图



