有效
模型转换方法、相关装置和介质
刘子鑫、池虹雨、王耀威、郑清芳
鹏城实验室
摘要
本公开实施例提供了一种模型转换方法、相关装置和介质。该方法将模型转换镜像部署至目标芯片所在节点,通过模型转换镜像将原始模型转换为与目标芯片对应的目标模型。再通过原始模型校验镜像和目标模型校验镜像分别对转换前的原始模型和转换后的目标模型进行校验,根据第一校验结果和第二校验结果得到能够判断模型转换效果的转换偏差值,实现对转换后的目标模型的自动校验。基于校验结果(转换偏差值),对满足要求的目标模型构建镜像并存入镜像仓库中以便后续对其进行调用。本公开实施例旨在能够保证转换后的模型的可用性。本公开实施例可应用于计算机视觉、自然语言处理、语音识别、自动驾驶、边缘计算等场景。
1.一种模型转换方法,其特征在于,所述方法包括:从镜像仓库中获取目标镜像,其中,所述目标镜像包括模型转换镜像、原始模型校验镜像、目标模型校验镜像、原始模型测评镜像、目标模型测评镜像;将所述模型转换镜像部署至具备目标芯片的节点上;通过所述模型转换镜像获取原始模型并将所述原始模型转换为目标模型,其中,所述目标模型能够部署在所述目标芯片上;调用所述原始模型校验镜像对所述原始模型进行校验,得到第一校验结果;调用所述目标模型校验镜像对所述目标模型进行校验,得到第二校验结果;根据所述第一校验结果和所述第二校验结果,确定转换偏差值;在所述转换偏差值小于预设阈值的情况下,构建目标模型镜像;将所述目标模型镜像发送至所述镜像仓库;所述方法还包括:获取测评任务信息,根据所述测评任务信息生成第一测评配置文件、第二测评配置文件;在所述目标模型进行量化的情况下,根据所述第一测评配置文件,发送原始模型测评镜像地址、数据集地址、原始模型地址至人工智能开发平台;调用所述人工智能开发平台通过所述原始模型测评镜像地址、所述数据集地址、所述原始模型地址,拉取所述原始模型测评镜像、第一测评数据集、所述原始模型,以使所述人工智能开发平台通过所述原始模型测评镜像根据所述第一测评数据集对所述原始模型进行测评,得到第一性能结果;调用所述目标模型测评镜像对量化后的目标模型进行测评,得到量化后的目标模型的第二性能结果;所述在所述转换偏差值小于预设阈值的情况下,构建目标模型镜像,包括:根据所述转换偏差值、所述第一性能结果、所述第二性能结果,确定构建所述目标模型镜像。
2.根据权利要求1所述的方法,其特征在于,所述调用所述目标模型测评镜像对量化后的目标模型进行测评,得到量化后的目标模型的第二性能结果,包括:根据所述第二测评配置文件,发送目标模型测评镜像地址、所述数据集地址、目标模型地址至容器集群管理平台;调用所述容器集群管理平台通过所述目标模型测评镜像地址、所述数据集地址、所述目标模型地址,拉取所述目标模型测评镜像、第二测评数据集、所述目标模型,以使所述容器集群管理平台通过所述目标模型测评镜像根据所述第二测评数据集对所述目标模型进行测评,得到所述第二性能结果。
3.根据权利要求1所述的方法,其特征在于,所述目标镜像还包括数据初始化镜像;所述通过所述模型转换镜像获取原始模型并将所述原始模型转换为目标模型,包括:将所述数据初始化镜像部署至具备目标芯片的节点上;通过所述数据初始化镜像获取所述原始模型对应的数据,并共享至所述模型转换镜像;通过所述模型转换镜像基于所述原始模型对应的数据确定所述原始模型,并将所述原始模型转换为所述目标模型。
4.根据权利要求1所述的方法,其特征在于,所述调用所述原始模型校验镜像对所述原始模型进行校验,得到第一校验结果,包括:获取校验任务信息,根据所述校验任务信息生成第一校验配置文件;根据所述第一校验配置文件,发送原始模型校验镜像地址、原始模型地址至人工智能开发平台;调度所述人工智能开发平台通过所述原始模型校验镜像地址、所述原始模型地址,拉取所述原始模型校验镜像、所述原始模型,以使所述人工智能开发平台通过所述原始模型校验镜像对所述原始模型进行校验,得到所述第一校验结果。
5.根据权利要求1所述的方法,其特征在于,所述调用所述目标模型校验镜像对所述目标模型进行校验,得到第二校验结果,包括:获取校验任务信息,根据所述校验任务信息生成第二校验配置文件;根据所述第二校验配置文件,发送目标模型校验镜像地址、目标模型地址至容器集群管理平台;调度所述容器集群管理平台通过所述目标模型校验镜像地址、所述目标模型地址,拉取所述目标模型校验镜像、所述目标模型,以使所述容器集群管理平台通过所述目标模型校验镜像对所述目标模型进行校验,得到所述第二校验结果。
6.根据权利要求1所述的方法,其特征在于,所述在所述转换偏差值小于预设阈值的情况下,构建目标模型镜像,包括:在所述转换偏差值小于预设阈值的情况下,生成镜像构建文件,其中,所述镜像构建文件用于生成所述目标模型镜像;将所述镜像构建文件、所述目标模型封装为构建数据包,并将所述构建数据包发送至容器集群管理平台;调度所述容器集群管理平台对所述构建数据包进行拆解,以使所述容器集群管理平台根据所述镜像构建文件、所述目标模型构建所述目标模型镜像;调用所述容器集群管理平台将所述目标模型上传至存储服务;记录所述目标模型镜像与所述目标模型的存储路径关联。
7.一种模型转换系统,其特征在于,包括:第一设备,用于从镜像仓库中获取目标镜像,其中,所述目标镜像包括模型转换镜像、原始模型校验镜像、目标模型校验镜像、原始模型测评镜像、目标模型测评镜像;所述第一设备,用于将所述模型转换镜像部署至具备目标芯片的第二设备上;所述第二设备,用于通过所述模型转换镜像获取原始模型并将所述原始模型转换为目标模型,其中,所述目标模型能够部署在所述目标芯片上;所述第二设备,用于调用所述原始模型校验镜像对所述原始模型进行校验,得到第一校验结果;所述第二设备,用于调用所述目标模型校验镜像对所述目标模型进行校验,得到第二校验结果;所述第二设备,用于根据所述第一校验结果和所述第二校验结果,确定转换偏差值;所述第二设备,用于在所述转换偏差值小于预设阈值的情况下,构建目标模型镜像;所述第二设备,用于将所述目标模型镜像发送至所述镜像仓库;所述第一设备,用于获取测评任务信息,根据所述测评任务信息生成第一测评配置文件、第二测评配置文件;在所述目标模型进行量化的情况下,所述第一设备,还用于根据所述第一测评配置文件,发送原始模型测评镜像地址、数据集地址、原始模型地址至所述第二设备;所述第二设备通过所述原始模型测评镜像地址、所述数据集地址、所述原始模型地址,拉取所述原始模型测评镜像、第一测评数据集、所述原始模型;所述第二设备通过所述原始模型测评镜像根据所述第一测评数据集对所述原始模型进行测评,得到第一性能结果;所述第二设备调用所述目标模型测评镜像对量化后的目标模型进行测评,得到量化后的目标模型的第二性能结果;所述第二设备具体用于根据所述转换偏差值、所述第一性能结果、所述第二性能结果,确定构建所述目标模型镜像。
8.一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的模型转换方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行计算机程序时实现如权利要求1至6任一项所述的模型转换方法。
10.一种计算机程序产品,包括计算机程序或计算机指令,其特征在于,所述计算机程序或所述计算机指令存储在计算机可读存储介质中,计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序或所述计算机指令,所述处理器执行所述计算机程序或所述计算机指令,使得所述计算机设备执行如权利要求1至6中任意一项所述的模型转换方法。



