一种基于流式计算的神经网络加速装置和方法

本发明提供了一种基于流式计算的神经网络加速装置和方法，该装置被配置为：根据多层神经网络的结构，为多层神经网络的每层分别构建用于处理该层任务的层模块，其中，每个层模块以向量粒度处理数据；在每两个层模块之间，建立向量级的模块间流水线，该流水线被配置为：当上游的层模块完成部分向量的相关计算后，且下游的层模块已准备好接收该部分向量对应中间结果时，在两个层模块间即时传递该中间结果；该装置在保证计算精度的前提下，通过对硬件架构与计算流程的创新性优化，显著减少了计算延迟、数据传输延迟和资源浪费，从而大幅提升整体计算性能和资源利用率，最终提高了加速装置的能效比。