在审

一种基于可重配置近似乘法器的神经网络加速方法及装置

张建民、孙岩、温志强、庞征斌、徐佳庆、吕方旭、欧洋、熊泽宇、赵云平、刘谱光、张伟、李志星
中国人民解放军国防科技大学

摘要

本发明公开了一种基于可重配置近似乘法器的神经网络加速方法及装置,本发明方法包括神经网络模型各网络层量化后的权重数据划分为多个权重区间并进行近似乘法器单独替换,结合近似替换后的网络精度和乘累加计算量将所有权重区间排序为权重区间队列;针对权重区间队列依次进行AX2、AX1近似模式的近似乘法器替换,直至替换后的神经网络模型推理的网络精度达到精度下降阈值;最终生成神经网络模型各个网络层下各个权重区间的可重配置近似乘法器替换配置。本发明旨在综合考虑神经网络权重重要性差异以及计算负载的差异,为不同的权重动态分配不同的近似乘法器近似模式以实现能量节省。

暂无引用专利