有效

一种NUMA感知的DNN编译系统优化方法及系统

董攀、方孝翔、谭郁松、余杰、李宝、马俊、张建锋、贾周阳、谭霜、郭勇、王怡琦、丁滟、蹇松雷、任怡
中国人民解放军国防科技大学
董攀 专利 132
中国人民解放军国防科技大学
计算机安全程序控制装置电子数据处理
方孝翔 专利 3
中国人民解放军国防科技大学
生物模型计算计算模型系统计算技术
谭郁松 专利 172
中国人民解放军国防科技大学
程序控制装置计算机安全软件工程设计
余杰 专利 152
中国人民解放军国防科技大学
程序控制装置知识系统软件工程设计
李宝 专利 110
中国人民解放军国防科技大学
程序控制装置计算机安全电子数据处理
马俊 专利 71
中国人民解放军国防科技大学
软件工程设计程序控制装置电子数据处理
张建锋 专利 121
中国人民解放军国防科学技术大学
程序控制装置计算机安全电子数据处理
贾周阳 专利 41
中国人民解放军国防科技大学
软件工程设计错误处理电子数据处理
谭霜 专利 95
中国人民解放军国防科技大学
程序控制装置计算机安全电子数据处理
郭勇 专利 46
中国人民解放军国防科技大学
计算模型系统生物模型计算电子数据处理
王怡琦 专利 45
中国人民解放军国防科技大学
计算模型系统生物模型计算电子数据处理
丁滟 专利 136
中国人民解放军国防科技大学
计算机安全程序控制装置电子数据处理
蹇松雷 专利 92
中国人民解放军国防科技大学
程序控制装置计算机安全计算模型系统
任怡 专利 87
中国人民解放军国防科技大学
程序控制装置电子数据处理计算模型系统

摘要

本发明公开了一种NUMA感知的DNN编译系统优化方法及系统,本发明方法包括初始化线程‑节点映射;初始化可用内存;获取DNN的计算图中的计算节点,为每个计算节点构造参数节点并预分配模型参数内存,并更新可用内存;将各个计算节点分配优先级排序;按照分配优先级为计算节点构造副本参数节点并更新可用内存直至可用内存耗尽;遍历计算节点以将副本参数节点的内存分配NUMA节点使所有线程当中与数据距离最大值最小化;针对各个计算节点对应的算子执行算子优化直至优化目标完成。本发明旨在基于神经网络涉及数据的特性、适应NUMA架构服务器的访存特性来实现将神经网络推理作业均匀地分配内存,提高本地访存比率。