有效
向量处理器的低位宽数据矩阵向量化列裁剪方法及系统
苏华友、陈抗抗、刘朝润、姜晶菲、王庆林、许金伟、高蕾、窦勇
中国人民解放军国防科技大学
摘要
本发明公开了一种向量处理器的低位宽数据矩阵向量化列裁剪方法及系统,方法包括:将低位宽数据矩阵存储在双倍速率同步动态随机存储器中;调用直接存储器访问操作,将低位宽数据矩阵从双倍速率同步动态随机存储器加载到片上阵列存储器AM空间;在AM空间中,对加载到片上AM空间后的矩阵进行列裁剪处理,得到列裁剪后的矩阵。本发明能够高效的实现低位宽数据矩阵的列裁剪操作。
1.一种向量处理器的低位宽数据矩阵向量化列裁剪方法,其特征在于,包括:将低位宽数据矩阵存储在双倍速率同步动态随机存储器中;调用直接存储器访问操作,将所述低位宽数据矩阵从所述双倍速率同步动态随机存储器加载到片上阵列存储器AM空间;在AM空间中,对加载到片上AM空间后的矩阵进行列裁剪处理,得到列裁剪后的矩阵;在所述AM空间中,对加载到所述片上AM空间后的矩阵进行列裁剪处理,得到列裁剪后的矩阵,包括:步骤1、令offset0=2,offset1=0,令AM0为AM上半空间起始地址,AM1为AM下半空间起始地址,AM2与AM3为AM0偏移0个低位宽数据后的地址,矩阵A的子矩阵为A’,矩阵B的子矩阵为B’;步骤2、判断N是否超过预设阈值,其中,所述预设阈值需小于空间大小,如果超过,则跳转至步骤19,否则,跳转到步骤3;步骤3、基于直接存储器访问,将子矩阵A’中的前N-2个数据传输到子矩阵B’;步骤4、基于直接存储器访问,将子矩阵A’从第N-2数据开始从双倍速率同步动态随机存储器加载到片上空间AM0;步骤5、使用向量加载指令,从AM2开始,将低位宽1xL的数据按照半字向量加载到向量寄存器VR0,从第AM2+L-2开始,将低位宽1xL的数据按照半字向量加载到向量寄存器VR1,从AM2+offset0开始,按照半字向量加载到向量寄存器VR10,AM2自增2×(L-2)个低位宽数据,其中,L表示向量处理单元中向量处理部件的数量;步骤6、使用扩展指令,对向量寄存器VR0数据进行低位低位宽扩展操作,并加载到向量寄存器VR32;步骤7、使用扩展指令,对向量寄存器VR10数据进行低位低位宽扩展操作,并加载到向量寄存器VR33;步骤8、使用向量存储指令,将向量寄存器VR32中数据按照字向量存回片上空间AM1;步骤9、使用向量存储指令,将向量寄存器VR33中数据按照字向量存回片上空间AM1+offset0;步骤10、使用向量加载指令,将存储回AM1+offset1的数据按照字向量加载到向量寄存器VR0;步骤11、使用向量存储指令,将向量寄存器VR0中数据按照半字向量存回片上空间AM3,AM3自增L-2个低位宽数据大小;步骤12、将向量寄存器VR1中的数据加载到向量寄存器VR0中;步骤13、使用向量加载指令,从AM2开始,将低位宽1xL的数据按照半字向量加载到向量寄存器VR1,AM2自增L-2个低位宽数据;步骤14、使用扩展指令,对向量寄存器VR0数据进行低位低位宽扩展操作,并加载到向量寄存器VR32;步骤15、使用向量存储指令,将向量寄存器VR32中数据按照字向量存回片上空间AM1;步骤16、使用向量加载指令,将存储回AM1的数据偏移2个低位宽数据,按照字向量加载到向量寄存器VR0;步骤17、使用向量存储指令,将向量寄存器VR0中数据按照半字向量存回片上空间AM3,AM3自增L-2个低位宽数据大小;步骤18、一直循环步骤12-17,直至完成数据的裁剪或者所占AM空间已经超过阈值,如果停止条件为完成数据的裁剪,则跳转至步骤24,否则,跳转至步骤22;步骤19、基于直接存储器访问,根据AM空间大小,将子矩阵A’中的前N-2个数据分批次传输到子矩阵B’;步骤20、令offset0=2,offset1=0,令AM0为AM上半空间起始地址,AM1为AM下半空间起始地址,AM2与AM3为AM0偏移0个低位宽数据后的地址,矩阵A的子矩阵为A’,矩阵B的子矩阵为B’,基于直接存储器访问,将子矩阵A’中从N-11个数据分批次传输到AM0中;步骤21、执行步骤4-16,计算剩余需要传输的数据下标X;步骤22、令offset0=0,offset1=1,令AM0为AM上半空间起始地址,AM1为AM下半空间起始地址,AM2与AM3为AM0偏移0个低位宽数据后的地址,矩阵A的子矩阵为A’,矩阵B的子矩阵为B’,基于直接存储器访问,将子矩阵A’中从N-11个数据分批次传输到AM0中,基于直接存储器访问,将子矩阵A’中从下标为X的数据开始,将数据分批次传输到AM0中;步骤23、执行步骤5-16,计算剩余需要传输的数据下标X,如果剩余的数据大于0,跳转至步骤22,否则,跳转至步骤24;步骤24、基于直接存储器访问,将矩阵存储回双倍速率同步动态随机存储器中,完成子矩阵列裁剪操作;步骤25、当M为偶数时,按照上述方法,对各个子矩阵进行列裁剪,最终可完成整个矩阵[M×N]的列裁剪;当M是奇数时,对各个子矩阵进行列裁剪,可完成将对矩阵[(M-1)×N]的列裁剪,并且基于直接存储器访问,将第M行的数据进行对应传输,最终可完成整个矩阵[M×N]的列裁剪。
2.根据权利要求1所述的方法,其特征在于,所述低位宽数据矩阵A ddr 的维度为M×N。
3.根据权利要求2所述的方法,其特征在于,所述调用直接存储器访问操作,将低位宽数据矩阵从所述双倍速率同步动态随机存储器加载到片上AM空间,包括:调用直接存储器访问操作,将所述低位宽数据矩阵A ddr 的子矩阵[2×N]分批次加载到片上AM空间中,其中,批次数量由AM空间大小决定。
4.一种向量处理器的低位宽数据矩阵向量化列裁剪系统,其特征在于,包括:存储模块,用于将低位宽数据矩阵存储在双倍速率同步动态随机存储器中;加载模块,用于调用直接存储器访问操作,将所述低位宽数据矩阵从所述双倍速率同步动态随机存储器加载到片上阵列存储器AM空间;列裁剪模块,用于在AM空间中,对加载到所述片上AM空间后的矩阵进行列裁剪处理,得到列裁剪后的矩阵;所述列裁剪模块具体用于执行以下步骤:步骤1、令offset0=2,offset1=0,令AM0为AM上半空间起始地址,AM1为AM下半空间起始地址,AM2与AM3为AM0偏移0个低位宽数据后的地址,矩阵A的子矩阵为A’,矩阵B的子矩阵为B’;步骤2、判断N是否超过预设阈值,其中,所述预设阈值需小于空间大小,如果超过,则跳转至步骤19,否则,跳转到步骤3;步骤3、基于直接存储器访问,将子矩阵A’中的前N-2个数据传输到子矩阵B’;步骤4、基于直接存储器访问,将子矩阵A’从第N-2数据开始从双倍速率同步动态随机存储器加载到片上空间AM0;步骤5、使用向量加载指令,从AM2开始,将低位宽1xL的数据按照半字向量加载到向量寄存器VR0,从第AM2+L-2开始,将低位宽1xL的数据按照半字向量加载到向量寄存器VR1,从AM2+offset0开始,按照半字向量加载到向量寄存器VR10,AM2自增2×(L-2)个低位宽数据,其中,L表示向量处理单元中向量处理部件的数量;步骤6、使用扩展指令,对向量寄存器VR0数据进行低位低位宽扩展操作,并加载到向量寄存器VR32;步骤7、使用扩展指令,对向量寄存器VR10数据进行低位低位宽扩展操作,并加载到向量寄存器VR33;步骤8、使用向量存储指令,将向量寄存器VR32中数据按照字向量存回片上空间AM1;步骤9、使用向量存储指令,将向量寄存器VR33中数据按照字向量存回片上空间AM1+offset0;步骤10、使用向量加载指令,将存储回AM1+offset1的数据按照字向量加载到向量寄存器VR0;步骤11、使用向量存储指令,将向量寄存器VR0中数据按照半字向量存回片上空间AM3,AM3自增L-2个低位宽数据大小;步骤12、将向量寄存器VR1中的数据加载到向量寄存器VR0中;步骤13、使用向量加载指令,从AM2开始,将低位宽1xL的数据按照半字向量加载到向量寄存器VR1,AM2自增L-2个低位宽数据;步骤14、使用扩展指令,对向量寄存器VR0数据进行低位低位宽扩展操作,并加载到向量寄存器VR32;步骤15、使用向量存储指令,将向量寄存器VR32中数据按照字向量存回片上空间AM1;步骤16、使用向量加载指令,将存储回AM1的数据偏移2个低位宽数据,按照字向量加载到向量寄存器VR0;步骤17、使用向量存储指令,将向量寄存器VR0中数据按照半字向量存回片上空间AM3,AM3自增L-2个低位宽数据大小;步骤18、一直循环步骤12-17,直至完成数据的裁剪或者所占AM空间已经超过阈值,如果停止条件为完成数据的裁剪,则跳转至步骤24,否则,跳转至步骤22;步骤19、基于直接存储器访问,根据AM空间大小,将子矩阵A’中的前N-2个数据分批次传输到子矩阵B’;步骤20、令offset0=2,offset1=0,令AM0为AM上半空间起始地址,AM1为AM下半空间起始地址,AM2与AM3为AM0偏移0个低位宽数据后的地址,矩阵A的子矩阵为A’,矩阵B的子矩阵为B’,基于直接存储器访问,将子矩阵A’中从N-11个数据分批次传输到AM0中;步骤21、执行步骤4-16,计算剩余需要传输的数据下标X;步骤22、令offset0=0,offset1=1,令AM0为AM上半空间起始地址,AM1为AM下半空间起始地址,AM2与AM3为AM0偏移0个低位宽数据后的地址,矩阵A的子矩阵为A’,矩阵B的子矩阵为B’,基于直接存储器访问,将子矩阵A’中从N-11个数据分批次传输到AM0中,基于直接存储器访问,将子矩阵A’中从下标为X的数据开始,将数据分批次传输到AM0中;步骤23、执行步骤5-16,计算剩余需要传输的数据下标X,如果剩余的数据大于0,跳转至步骤22,否则,跳转至步骤24;步骤24、基于直接存储器访问,将矩阵存储回双倍速率同步动态随机存储器中,完成子矩阵列裁剪操作;步骤25、当M为偶数时,按照上述方法,对各个子矩阵进行列裁剪,最终可完成整个矩阵[M×N]的列裁剪;当M是奇数时,对各个子矩阵进行列裁剪,可完成将对矩阵[(M-1)×N]的列裁剪,并且基于直接存储器访问,将第M行的数据进行对应传输,最终可完成整个矩阵[M×N]的列裁剪。
5.根据权利要求4所述的系统,其特征在于,所述低位宽数据矩阵A ddr 的维度为M×N。
6.根据权利要求5所述的系统,其特征在于,所述加载模块具体用于:调用直接存储器访问操作,将所述低位宽数据矩阵A ddr 的子矩阵[2×N]分批次加载到片上AM空间中,其中,批次数量由AM空间大小决定。




