支持超大模型研发和产业应用的深度学习框架研发

核心问题

在大模型研发和产业应用中，存在大模型训练和推理基础支撑能力不足、多后端国产硬件支持不完善、长序列数据处理困难、低精度训练和量化感知训练效率低、大模型高效压缩和推理技术缺乏、软件质量保障手段不足、开源社区生态发展缺乏有效度量方法等痛点问题。

解决方案

1. 飞桨深度学习框架3.0代码实现：以新的深度学习中间表示PIR为核心，神经网络编译器和高效执行引擎为支撑，支持动静统一的自动并行，以及高鲁棒性的大规模集群训练，提升大模型训推基础支撑能力。
2. 基于飞桨的大模型训练、压缩、推理全流程关键技术实现代码：包括面向多后端国产硬件支持的分布式集合通信库、面向长序列数据的灵活自适应的分布式并行技术方案、高效深度学习低精度训练加速及量化感知训练技术方案、面向大模型研发和产业应用的高效压缩和推理技术方案。
3. 基于飞桨的大模型套件关键技术方案代码：包括有限显存条件的超长序列预训练建模技术、自适应低资源精调算法及高效领域任务预训练方法，研制面向医疗、金融和计算机学科的三个百亿级垂直领域大模型；研发基于大模型的向量检索应用技术，构建端到端高性能语义检索系统。
4. 研究可信深度学习框架软件质量保障技术：形成一套可信深度学习框架软件研发及质量分析和检测工具，发现并自动修复软件缺陷，输出质量评估报告；研究数据驱动的大型深度学习框架软件研发项目度量方法，产出相关指标和方法，实现集成的开源软件度量平台，输出生态度量报告。

竞争优势

1. 效益：有力推动国产化人工智能技术方案应用落地，取得显著成效，提升了大模型训推基础支撑能力，完善了飞桨训压推全流程技术。
2. 竞争优势：代码实现涵盖框架基础架构、全流程关键技术、大模型套件关键技术，形成完整的技术体系；支持多后端国产硬件，具有广泛的适用性；研究软件质量保障技术和项目度量方法，提升软件质量和开源社区生态发展水平。
3. 创新性：原始创新成果，以新的深度学习中间表示PIR为核心，提出动静统一的自动并行、高鲁棒性的大规模集群训练等技术，研制多个百亿级垂直领域大模型，构建端到端高性能语义检索系统，形成可信深度学习框架软件研发及质量分析和检测工具、开源软件度量平台等创新成果。