1.一种通信能效优化方法,其特征在于,应用于发送端芯片,所述方法包括:获取传输分配比例,所述传输分配比例为从智算集群中选取一个基准芯片组,获取所述基准芯片组的基准传输参数,并根据所述基准传输参数计算得到的,所述基准芯片组包括基准发送芯片和基准接收芯片;在进行分布式数据并行的模型训练过程时,获取待同步张量,基于所述传输分配比例将所述待同步张量分为NPU数据块和CPU数据块;将所述CPU数据块传输至DRAM缓冲区,利用选取的压缩器生成所述CPU数据块对应的压缩数据块,将所述压缩数据块通过CPU通信路径传输至对应的接收端芯片的DRAM缓冲区;将所述NPU数据块通过NPU通信路径传输至所述接收端芯片的HBM内存;根据所述基准传输参数计算得到所述传输分配比例,包括:获取所述基准芯片组中至少包括所述CPU通信路径的CPU带宽、所述NPU通信路径的NPU带宽、所述基准发送芯片或所述基准接收芯片中HBM内存与DRAM缓冲区之间的拷贝带宽在内的所述基准传输参数;设定比例参数,根据所述比例参数和基准数据包的数据大小得到基准NPU数据和基准CPU数据;根据所述基准NPU数据、所述基准CPU数据、所述CPU带宽、所述NPU带宽、所述拷贝带宽计算总通信时长;基于所述总通信时长构建总能耗,最小化所述总能耗得到目标优化函数,求解所述目标优化函数,得到所述比例参数的最优解作为所述传输分配比例。
2.根据权利要求1所述的通信能效优化方法,其特征在于,所述根据所述基准NPU数据、所述基准CPU数据、所述CPU带宽、所述NPU带宽、所述拷贝带宽计算总通信时长,包括:根据所述基准NPU数据和所述NPU带宽计算NPU时延,根据所述基准CPU数据、所述压缩器的压缩比和所述CPU带宽计算外部传输时延,根据所述比例参数、所述数据大小、所述拷贝带宽计算内部传输时延,并根据所述外部传输时延和所述内部传输时延计算CPU时延;获取所述基准数据包的压缩时长,根据所述比例参数和所述压缩时长得到压缩时延;根据所述CPU时延与所述压缩时延计算CPU总时延,设定所述CPU总时延与所述NPU时延的最大值作为所述总通信时长。
3.根据权利要求2所述的通信能效优化方法,其特征在于,所述基于所述总通信时长构建所述总能耗,包括:获取压缩功率参数、所述CPU通信路径的CPU功率参数、所述NPU通信路径的NPU功率参数、CPU空闲功率和NPU空闲功率;计算所述总通信时长分别与所述CPU时延、所述NPU时延的差值,得到CPU空闲时间和NPU空闲时间;根据所述压缩时延与所述压缩功率参数的乘积得到压缩能耗,根据所述CPU时延与所述CPU功率参数的乘积得到CPU传输能耗,根据所述CPU空闲功率与所述CPU空闲时间的乘积得到CPU空闲能耗,根据所述NPU时延与所述NPU功率参数的乘积得到NPU传输能耗,根据所述NPU空闲功率与所述NPU空闲时间的乘积得到NPU空闲能耗;累加所述压缩能耗、所述CPU传输能耗、所述CPU空闲能耗、所述NPU传输能耗、所述NPU空闲能耗得到所述总能耗。
4.根据权利要求3所述的通信能效优化方法,其特征在于,所述求解所述目标优化函数,得到所述比例参数的最优解作为所述传输分配比例,包括:利用凸函数优化求解方法求解所述目标优化函数,设定所述CPU时延与所述压缩时延的和与所述NPU时延一致时对应的解为所述比例参数的突变点;计算所述比例参数为两个端点值以及所述突变点时分别对应的能耗值,选取最小的所述能耗值对应的所述比例参数为所述传输分配比例。
5.一种通信能效优化方法,其特征在于,应用于接收端芯片,所述方法包括:获取由发送端芯片通过CPU通信路径传输至DRAM缓冲区的压缩数据块;获取由所述发送端芯片通过NPU通信路径传输至HBM内存的NPU数据块,所述压缩数据块和所述NPU数据块为所述发送端芯片根据权利要求1至4任一项所述的通信能效优化方法得到;对所述压缩数据块进行解压操作,得到解压数据块,将所述解压数据块传输至所述HBM内存中,并将所述解压数据块和所述NPU数据块进行合并,得到与所述待同步张量对应的目标数据。
6.一种通信能效优化装置,其特征在于,应用于发送端芯片,所述装置包括:参数获取模块:用于获取传输分配比例,所述传输分配比例为从智算集群中选取一个基准芯片组,获取所述基准芯片组的基准传输参数,并根据所述基准传输参数计算得到的,所述基准芯片组包括基准发送芯片和基准接收芯片;数据分配模块:用于在进行分布式数据并行的模型训练过程时,获取待同步张量,基于所述传输分配比例将所述待同步张量分为NPU数据块和CPU数据块;CPU数据传输模块:用于将所述CPU数据块传输至DRAM缓冲区,利用选取的压缩器生成所述CPU数据块对应的压缩数据块,将所述压缩数据块通过CPU通信路径传输至对应的接收端芯片的DRAM缓冲区;NPU数据传输模块:用于将所述NPU数据块通过NPU通信路径传输至所述接收端芯片的HBM内存;根据所述基准传输参数计算得到所述传输分配比例,包括:获取所述基准芯片组中至少包括所述CPU通信路径的CPU带宽、所述NPU通信路径的NPU带宽、所述基准发送芯片或所述基准接收芯片中HBM内存与DRAM缓冲区之间的拷贝带宽在内的所述基准传输参数;设定比例参数,根据所述比例参数和基准数据包的数据大小得到基准NPU数据和基准CPU数据;根据所述基准NPU数据、所述基准CPU数据、所述CPU带宽、所述NPU带宽、所述拷贝带宽计算总通信时长;基于所述总通信时长构建总能耗,最小化所述总能耗得到目标优化函数,求解所述目标优化函数,得到所述比例参数的最优解作为所述传输分配比例。
7.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的通信能效优化方法。
8.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的通信能效优化方法。