有效

基于CPU-NPU协同的高扩展节点系统及训练方法

田永鸿、陈文光、高文、王丙强、林哲、章弋嘉
鹏城实验室

摘要

本发明公开了一种基于CPU‑NPU协同的高扩展节点系统及训练方法,所述系统包括:通用算力模块、AI算力模块、层次访存模块、数据缓存模块和网络接口模块;通用算力模块和AI算力模块进行分组互连,用于AI节点内片间互连的扩展;层次访存模块用于在通用算力模块与AI算力模块处理数据时提供通用计算的大内存和AI计算的高带宽;数据缓存模块用于处理通用算力模块在计算时的数据IO吞吐;网络接口模块用于将通用算力模块和AI算力模块在计算时进行分离通信。本发明从AI节点的互连、访存、存储、网络接口出发提出高扩展节点架构,实现AI算力‑层次访存‑片间互连均衡设计,以满足AI大模型训练需求。