有效

一种面向张量结构等价的多流GPU显存复用方法及装置

万萌、曹荣强、李杨灏、李凯、王晓光、王珏、王彦棡
中国科学院计算机网络信息中心

专利价值洞察

基于大模型深度解析专利商业价值

解决问题

如何在多流GPU环境中复用显存空间以降低峰值占用。

达成效果

通过复用显存空间,显著降低GPU显存峰值占用。

主要用途

适用于多流GPU计算环境下的显存管理,尤其在深度学习中的张量处理。

摘要

一种面向张量结构等价的多流GPU显存复用方法,一个计算流的显存块被释放后,放入显存共享池,方法包括:提取张量的结构信息,包括维度、数据类型和步长布局,基于张量的结构信息生成唯一结构标识;构建并维护映射表,映射表中存储多个键值对,键为唯一结构标识,值为显存地址,显存块位于显存共享池中;为张量显存分配时,结合当前执行上下文标识,查询映射表中是否存在与唯一结构标识匹配且未被占用的显存地址,存在的情况下,调整指针指向显存地址,为张量分配未被占用的显存;在不存在的情况下申请显存地址并更新映射表。本方法能够在不改变原始网络结构与执行逻辑的前提下,可复用大量生命周期不重叠的张量空间,显著降低显存峰值占用。