能力解耦可持续学习的多模态智能体技术研究及示范应用

信息传输、软件和信息技术服务业

技术成熟，已在多个领域形成示范应用。

待具体协商。

可国（境）内外转让

预计产生数十亿元经济收益。

中央引导地方专项

北京市科学技术委员会;中关村科技园区管理委员会

课题《能力解耦可持续学习的多模态智能体技术研究及示范应用》，2024年9月18日立项，科技经费1000万，由中科紫东太初（北京）科技有限公司（以下简称“中科紫东太初”）承担。课题实施期1年，至2025年9月17日结题。项目来源于北京市科技计划中央引导地方专项。 本课题构建了一套多模态智能体技术，在智能体设计方面，开展多模态感认知增强的智能体设计课题，解决数据关联跨模态语义关联对齐等难点，实现多模态感认知能力增强，支持图文交错理解与生成;在智能体优化方面，开展通用多模态智能体训练和优化课题、动态场景下智能体规划和持续学习课题，分别克服超长上下文训练，动态场景规划决策和持续学习的难点，实现200k以上的长序列推理与长时空动态环境下的复杂规划和自我反思。相关技术已用于紫东太初智能体应用开发平台，支持了多个商业项目的交付落地。 在项目实施周期内，团队优化了多模态大模型，夯实了多模态智能体技术。先后发布了紫东太初3.0多模态智能体大模型、紫东太初4.0多模态推理大模型，从纯文本思考升级到细粒度多模态交互思考，通过真实事件模拟多角色数据增强、批判式多轮反思学习、难度自主感知动态强化训练，完成了感知理解、静态推理、动态推理的综合能力提升。在智能体复杂任务规划方面进展显著，其中，带图思考、复杂多模态推理、工具调用能力超越GPT-5。在此基础之上，团队再次升级了多模态RAG，从最初的纯文本RAG到富文档多模态RAG，再到开辟了视频问答新范式。框架提出动态聚焦双层理解方法，先对长视频做全局高效感知，之后动态聚焦相关片段，其次通过局部深度理解完成精准作答。框架首次支持180分钟长视频深度理解秒级精准作答；在长视频推理问答、多模态检索取得6项数据集新SOTA。 项目期间，公司已完成首轮数亿元融资。本轮融资由中科创星领投，粤民投、武汉同为、中财金控、长兴基金等多家投资机构跟投。由产业发展战略伙伴中科融合创新加速器担任财务顾问，融资资金将用于公司在多模态人工智能技术研发与应用，致力于通用人工智能（AGI）使生活更加美好，同时加强在“人工智能+”领域进行深层次、宽领域、多维度的产业布局，加速科技成果向现实生产力转化。 截止目前，项目相关内容转化合同总金额3974万元。 应用方面，公司与全球人用狂犬疫苗领军企业辽宁成大生物股份有限公司开展合作。推动AI技术在研发、生产、运营及管理环节的深度赋能，助力公司全面提质增效。双方的合作将基于四个方向展开：一是数据整合与分析平台建设。成大生物与中科紫东太初将整合病毒基因库、临床试验等数据资源，构建高保守序列数据库与标准化数据集，实现数据标注、知识检索及学术信息智能推送功能；二是疫苗研发AI工具集开发。双方将合作开发涵盖增量学术/专利信息推送、存量论文智能筛选、蛋白质语言特征分析、T细胞表位预测、病毒高保守序列挖掘等功能的工具及数据库，并搭建集成化AI工具平台，提升研发效率；三是科学服务平台搭建。紫东太初的3.0科学智能平台可以提供文献深度理解、实验方案辅助设计、模型调用及科研工作流定制服务，支持成大生物的研发团队灵活调用；四是行业影响力共建，双方将通过举办学术论坛、成果展示与推广等活动，加速“AI+疫苗”技术成果转化，推动产业链上下游协同创新。 与长春市共同打造的“紫东长空”低空大模型，从流程优化到决策升级，以AI技术驱动低空经济与长春本地优势产业的融合发展，实现了效率的跨越式提升，助力全产业链条的数智化升级。在城市治理领域，基于政府跨部门协同机制，构建“一网统管”智能响应、智能决策体系，通过多维度事项分类、政策案例整合及语义分析，提升基层治理数字化协同能力与执法精准度。在低空经济领域，依托政府的资源整合工作，以无人机应用为核心，构建空天地一体化智能巡检体系，针对典型城市治理场景开展多模态模型训练与系统集成，实现违建巡查、环境监测等场景的自动化智能识别，显著提升低空巡检效率与感知精度，为低空经济与城市治理融合提供技术示范。在政务服务领域，响应政府数字化转型战略，创新“拟人化”智能交互模式，构建动态知识库，并集成多模态交互引擎，打造兼具文本生成、语音播报、形象互动能力的政务问答助手，推动政务服务从被动查询向主动化、个性化服务升级，优化政务服务体验与效能。 与中国科学院植物研究所打造植物多样性大模型。在植物学领域，传统的分类与识别方法高度依赖于专家的经验知识，这不仅效率低下，难以满足快速发展的需求，也对专业知识的积累和传承提出了挑战。针对这些问题，研发新的多模态大模型，利用植物图像、形态描述等多源异构数据，通过深度学习算法进行训练，以实现自动化、智能化的植物分类与识别。 未来将持续推动紫东太初相关技术在京转化，启动第二轮融资，在北京文旅、医疗、生命科学等行业与合作伙伴开展应用，促进“人工智能+”的落地。