预训练模型训练处理方法、装置、电子设备及存储介质
关注'%3e%3cg%3e%3cpath%20d='M18,16L13,16L10,19L7,16L2,16L2,3L18,3L18,16ZM12.3787,14.5L10,16.878700000000002L7.62132,14.5L3.5,14.5L3.5,4.5L16.5,4.5L16.5,14.5L12.3787,14.5Z'%20fill-rule='evenodd'%20fill='%23FFFFFF'%20fill-opacity='1'/%3e%3c/g%3e%3cg%3e%3cg%3e%3cellipse%20cx='6'%20cy='9.5'%20rx='1'%20ry='1'%20fill='%23FFFFFF'%20fill-opacity='1'/%3e%3c/g%3e%3cg%3e%3cellipse%20cx='10'%20cy='9.5'%20rx='1'%20ry='1'%20fill='%23FFFFFF'%20fill-opacity='1'/%3e%3c/g%3e%3cg%3e%3cellipse%20cx='14'%20cy='9.5'%20rx='1'%20ry='1'%20fill='%23FFFFFF'%20fill-opacity='1'/%3e%3c/g%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
联系合作 
'%3e%3cg%3e%3cpath%20d='M5,4L5,10.50879C5,11.30408,5.471198,12.0238,6.2001100000000005,12.3419L9.200109999999999,13.651C9.710149999999999,13.8735,10.289850000000001,13.8735,10.799890000000001,13.651L13.79989,12.3419C14.5288,12.0238,15,11.30408,15,10.50879L15,4C15,2.895431,14.10457,2,13,2L7,2C5.895431,2,5,2.895431,5,4ZM6.5,4L6.5,10.50879Q6.5,10.83614,6.80003,10.96706L9.80003,12.2761Q10,12.3634,10.19997,12.2761L13.19997,10.96706Q13.5,10.83614,13.5,10.50879L13.5,4Q13.5,3.79289,13.35355,3.6464499999999997Q13.20711,3.5,13,3.5L7,3.5Q6.5,3.5,6.5,4Z'%20fill-rule='evenodd'%20fill='%23FFFFFF'%20fill-opacity='1'/%3e%3c/g%3e%3cg%3e%3cpath%20d='M9.25,17L9.25,13L10.75,13L10.75,17L9.25,17Z'%20fill-rule='evenodd'%20fill='%23FFFFFF'%20fill-opacity='1'/%3e%3c/g%3e%3cg%3e%3cpath%20d='M14,17.75L6,17.75L6,16.25L14,16.25L14,17.75Z'%20fill-rule='evenodd'%20fill='%23FFFFFF'%20fill-opacity='1'/%3e%3c/g%3e%3cg%3e%3cpath%20d='M16.57439,8.41198L13.776817,9.28398L14.223183,10.71602L17.02076,9.84402Q17.56916,9.67309,17.90958,9.21041Q18.25,8.74773,18.25,8.173300000000001L18.25,5Q18.25,4.275126,17.73744,3.762563Q17.22487,3.25,16.5,3.25L14,3.25L14,4.75L16.5,4.75Q16.60355,4.75,16.67678,4.8232230000000005Q16.75,4.896446,16.75,5L16.75,8.173300000000001Q16.75,8.357240000000001,16.57439,8.41198Z'%20fill-rule='evenodd'%20fill='%23FFFFFF'%20fill-opacity='1'/%3e%3c/g%3e%3cg%20transform='matrix(-1,0,0,1,12,0)'%3e%3cpath%20d='M8.574390000000001,8.41198L5.776817,9.28398L6.223183,10.71602L9.02076,9.84402Q9.56916,9.67309,9.90958,9.21041Q10.25,8.74773,10.25,8.173300000000001L10.25,5Q10.25,4.275126,9.73744,3.762563Q9.22487,3.25,8.5,3.25L6,3.25L6,4.75L8.5,4.75Q8.60355,4.75,8.67678,4.8232230000000005Q8.75,4.896446,8.75,5L8.75,8.173300000000001Q8.75,8.357240000000001,8.574390000000001,8.41198Z'%20fill-rule='evenodd'%20fill='%23FFFFFF'%20fill-opacity='1'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
核心问题
在深度学习模型训练中，大规模预训练模型的处理对计算资源要求极高，单一图形处理器（GPU）难以满足高效训练的需求，导致训练时间长、资源利用率低的问题。
解决方案
本发明提出一种预训练模型训练处理方法，通过服务器中的多个图形处理器协同工作，实现训练数据的分摊与分布式计算。方法包括：将训练数据均匀分配至各GPU；利用数据并行技术，使各GPU并行处理数据，计算模型参数；进一步将模型参数也分摊至各GPU进行再次分布式计算，以实现更高效的模型训练。特别是，通过第一GPU发起请求，获取其他GPU的模型参数，进行综合计算后释放参数，优化了GPU间的通信与协作。
竞争优势
本方法显著提高了模型训练的效率与资源利用率，通过多GPU的分布式计算，有效缩短了大规模预训练模型的训练时间。同时，优化的GPU间通信机制减少了数据传输延迟，提升了训练过程的整体性能。该技术在小试阶段已展现出良好的加速效果与扩展性，为深度学习模型的高效训练提供了强有力的技术支持，具有显著的创新性和应用前景。
成果公开日期
20231206
所属产业领域
科学研究和技术服务业
转化意向范围
可国（境）内外转让
项目名称
新型研发机构
项目课题来源
北京市海淀区人民政府
摘要
所述方法应用于对待处理模型进行推理处理的服务器，所述方法包括：确定所述待处理模型，其中，所述待处理模型采用高比特浮点数进行表示且通过预训练得到，所述高比特浮点数的位数大于或等于第一位数阈值；基于模型量化技术，将所述待处理模型的模型参数由采用所述高比特浮点数表示转化为采用低比特定点数表示，用以实现对所述待处理模型进行加速推理处理，其中，所述低比特定点数的位数小于或等于第二位数阈值。根据本发明提供的一种预训练模型推理处理方法，所述模型参数包括所述待处理模型的线性层参数，所述基于模型量化技术，将所述待处理模型的模型参数由采用所述高比特浮点数表示转化为采用低比特定点数表示，包括：基于模型量化计算，对所述线性层参数进行量化处理，得到量化后的线性层参数，其中，所述量化后的线性层参数采用所述低比特定点数表示。根据本发明提供的一种预训练模型推理处理方法，在对所述待处理模型进行加速推理处理的过程中，所述方法还包括：基于模型量化技术，对所述待处理模型的隐状态进行量化处理，得到量化后的隐状态，其中，所述量化后的隐状态采用所述低比特定点数表示；基于所述量化后的线性层参数和所述量化后的隐状态进行关于推理处理的运算，得到推理处理运算结果；对所述推理处理运算结果进行反量化处理，得到反量化处理后的推理处理运算结果，并将所述反量化处理后的推理处理运算结果作为加速推理处理运算结果，其中，所述反量化处理后的推理处理运算结果采用所述高比特浮点数表示。
