在审

一种异构算力混训方法及系统

王子鉴、王彦棡、王珏、曹荣强、王晓光、万萌、李凯、张闻彬
中国科学院计算机网络信息中心

摘要

一种异构算力混训方法及系统,方法包括:将模型计算图转换为与硬件无关的通用指令,封装异构芯片GPU、CPU、MLU的硬件差异,并根据算子特性自动分配任务至最优硬件;通过PCI e P2P直连技术实现MLU与GPU直接通信,结合梯度压缩与异步通信机制,以降低传输延迟并隐藏通信开销;针对x86、ARM、RI SC‑V架构的通信库及依赖项进行容器化封装,集成指令集适配的组件,以实现跨架构一键部署与兼容性保障;基于深度强化学习实时采集节点负载与资源状态,动态调整任务分配比例。本方法能够有效提高异构算力混训的效率、稳定性和易用性。

暂无引用专利