在审

一种用于图算一体的AI芯片的内存分配方法和装置

汪天寿、崔文朋、郑哲、池颖英、刘羽、邢增强、卢玉华、李长柏、贾晓光、门浩、任丛林、谢璐阳、李凡、田英杰
北京智芯微电子科技有限公司

摘要

本公开涉及一种本公开涉及人工智能技术领域,具体涉及一种用于图算一体的AI芯片的内存分配方法和装置,所述方法包括:在按照多个计算节点之间的执行顺序关系执行运算时,根据输出张量的生命周期动态分配AI芯片的内存;并按照第一预设分配顺序根据指定规则为所述生命周期重叠的输出张量进行第一次预分配,在所述第一次预分配成功后,分配所述AI芯片的可用存储空间;失败后则按照第二预设分配顺序根据所述指定规则为所述生命周期重叠的输出张量分配所述AI芯片的可用存储空间。本公开在满足计算图中各类输出张量的计算需求时,降低内存碎片的产生,减少数据在存储单元与计算单元之间的传输,提升了内存分配的效率。

暂无引用专利