基于多模态大模型的消化系统肿瘤诊疗技术研究及示范应用

20251127

卫生和社会工作

本课题聚焦消化系统肿瘤诊疗领域，通过融合多模态数据处理、人工智能模型构建、大语言模型优化和智能诊疗系统设计，已形成一系列具备较高成熟度的科技成果，具备良好的工程化能力和成果转化基础，处于可推广应用的中试阶段向实际部署阶段过渡。课题已构建完成的核心成果包括：“MuMo多模态融合智能诊疗模型”与“多模态大模型辅助诊疗软件框架”。目前系统已实现完整功能闭环，覆盖数据处理、信息融合、诊疗推荐与交互支持多个关键环节。1. 模型性能指标。MuMo模型可融合处理病理图像（HE/IHC）、影像学数据（DICOM格式CT/MRI）以及结构化临床数据，采用模态内融合、模态间融合与患者信息融合机制，在真实世界数据集上，诊疗决策模型的准确率优于传统单模态模型。针对缺失模态场景，模型表现出良好鲁棒性。2. 大语言模型能力优化。 结合医疗任务定制的大模型提示工程与微调技术，开发了智能诊疗问答与病历解析能力，模型通过优化后平均准确率有较大提高。3. 系统响应与并发能力。多模态诊疗系统在模拟临床工作流下平均响应时间<1秒，具备30并发用户处理能力。核心模块（病历处理、影像加载、模型推理）均已模块化部署，支持Docker容器化与GPU并行推理，具备较强的可扩展性与集成能力。 目前课题成果整体已进入从“功能原型”向“临床可用产品”过渡阶段，处于科技成果转化的中期，具有良好的推广基础和商业转化潜力。 本项目成果技术成熟度高、模块清晰、接口规范，适合快速部署在具备一定信息化基础的医疗机构，并可根据不同使用场景（科研、临床、教学）灵活定制。未来可在以下方向推进转化。

为推动本课题成果的产业化与临床应用落地，需与具备医疗信息化或AI技术转化能力的合作方开展联合转化。合作过程中，拟对合作方在以下方面提出基础支持需求： 1.资金支持：用于系统产品化开发、功能模块扩展、适配部署及后期临床验证，包括模型优化、界面升级、合规审查等相关投入。 2. 场地资源：提供用于系统测试、用户反馈收集及示范应用的实际临床环境，优先考虑消化系统肿瘤相关专科或具有真实病例数据的合作医疗单位。 3. 软硬件设备：需具备基础服务器资源（包括GPU计算能力）、数据管理平台及网络环境，用于部署AI模型和保障系统稳定运行。 4. 人员配合：配备技术对接人员（如IT工程师、数据管理员）及医学专家团队，协助系统集成、临床需求反馈、实际应用测试与优化。 本课题团队可提供核心技术支持、系统部署方案与模型调优服务，合作目标为形成具备市场化能力的智能诊疗系统，共同推进成果落地和产业化进程。

仅限国内转让

本课题研发的多模态大模型智能诊疗系统面向消化系统肿瘤诊疗中的关键需求，具备良好的技术先进性与临床适应性，转化后预计将取得显著的经济与社会效益。 1.经济效益 成果转化可形成具备商业化能力的智能辅助诊疗产品，适用于三甲医院、区域医疗中心、肿瘤专科医院及AI医疗企业。通过系统部署、定制服务、SaaS平台授权、模型优化与技术转让等方式，将带来持续的收入来源，预期可实现稳定的市场回报。随着国家对智慧医疗、分级诊疗等政策的持续推动，系统在全国范围内的推广潜力巨大，具备良好的产业化价值。 2.社会效益 该系统有望有效提升消化系统肿瘤的诊疗效率和决策精准度，辅助医生在疾病分型、治疗路径选择和疗效评估等关键环节做出科学判断，从而减少误诊漏诊，提升患者生存质量。系统还可降低医生工作负担，优化医疗资源配置，特别是在基层医疗机构或资源薄弱地区提供智能辅助支持，促进优质医疗服务均衡化。此外，系统构建的医学知识图谱和多模态数据平台也将为医学科研、教学与技术创新提供基础支撑。 综上，该科技成果具有良好的经济回报前景和广泛的社会价值，具备推广应用和持续迭代的潜力，符合国家对“创新引领、健康中国”建设的战略方向。

中央引导地方专项

北京市科学技术委员会;中关村科技园区管理委员会

本科技成果来源于北京市科技计划课题《基于多模态融合与大模型技术的消化系统肿瘤智能诊疗关键技术研究与应用》。该成果聚焦于临床对消化系统肿瘤精准诊疗的迫切需求，针对传统诊疗模式中存在的多模态数据融合难、诊疗流程割裂、人工依赖度高等问题，构建了一套面向真实医疗场景的多模态大模型智能诊疗系统，提供从数据采集到智能决策的全流程技术支撑。 该成果核心技术原理基于深度学习与大语言模型的协同架构设计，通过临床结构化数据、医学影像、病理图像等多模态信息融合建模，构建了一个具备可解释性、可扩展性的智能诊疗算法体系。其中，采用多模态特征提取与跨模态对齐机制，确保不同类型医疗数据之间的有效协同；在诊疗决策模块中，结合大语言模型进行微调与提示工程优化，实现对临床任务的个性化理解与推理；同时，通过构建医学知识向量数据库与快速语义检索模块，实现复杂医学语义与病例知识的高效匹配，为医生提供基于证据的诊疗建议。成果的关键技术指标包括： （1）研发消化系统肿瘤多模态数 据处理工具，响应时间小于 1 秒； （2）收集消化道肿瘤患者多模态数据 1000 例； （3）建 立基于多模态融合的可循证诊疗决策模型，准确率大于等于 0.75，召回率大于等于 0.75； （4）研究基于微调和提示工程的大模型算法，准确率大于等于 70%，召回率大于等于 70%； （5）建立基于消化系统肿瘤知识的向量数据库不少于 10 万条； （6）构建面向消化系统肿 瘤诊疗的多模态大模型软件框架，系统并发数大于等于 30 个； （7）面向消化系统肿瘤诊 疗的多模态大模型软件框架，提供统一的操作界面和服务接口；实现多模态医疗数据收集、存储和多模态融合处理；实现消化系统肿瘤诊疗的决策方案推荐输出； 本成果已在北京肿瘤医院开展临床应用验证，获得良好反馈。未来，该成果可广泛推广应用于消化道肿瘤各亚型诊疗辅助系统建设，也可拓展至肺癌、乳腺癌等其他重大实体瘤疾病的智能诊疗。同时，其核心技术具备向区域医疗大模型平台、科研决策系统以及智慧医院信息系统迁移的能力，具有良好的产业化基础和广阔的社会应用前景。