在审

面向多核向量处理器的稀疏bert模型加速方法、装置、设备及介质

姜晶菲、李娅琳、许金伟、苏华友、陈抗抗、王庆林、高蕾、李荣春、乔鹏
中国人民解放军国防科技大学

摘要

本申请公开了面向多核向量处理器的稀疏bert模型加速方法、装置、设备及介质,涉及向量处理器技术领域,构建预训练语言模进行调整优化;确定图优化操作的类型;类型为算子微调,利用优化后的预训练语言模型和多核向量处理器,结合层归一化和矩阵转置,实现对目标应用场景的图优化操作;类型为算子融合,基于多核向量处理器对优化后的预训练语言模型中的各层编码器进行算子融合,实现对目标应用场景的图优化操作;类型为存储优化,基于多核向量处理器对优化后的预训练语言模型进行数据存储结构优化和数据重用设计,实现对目标应用场景的图优化操作,能充分发挥多核向量处理器并行计算能力,提高数据复用性及数据存储效果。

暂无引用专利