1.一种分布式LoRA卸载运算方法，其特征在于，所述方法包括：初始化分别用于管理分片存储和节点间通信的Kademlia DHT和通信协议；将各个Peer节点加入到DHT中，形成一个分布式网络；所述Peer节点是具有内存资源和计算资源的逻辑进程或物理节点；所述DHT用于提供存储池和计算池的分布式资源管理服务，每个Peer利用DHT进行分片存储的管理；将预训练模型权重矩阵W、LoRA矩阵F和G进行分片，并将得到的分片存储到对应存储管理器，对分片信息通过DHT进行管理；所述存储管理器是用于存储卸载任务的Peer节点；根据计算公式生成计算任务上下文；计算管理器根据所述计算任务上下文，动态查询所需的存储信息，通过通信协议从所述存储管理器拉取所需的数据分片，并在所述计算管理器上执行计算任务；所述计算管理器是用于计算卸载任务的Peer节点；通过集合通信协议将得到的任务计算结果进行汇总，得到最终的计算结果；将所述最终的计算结果返回给用户或存储到指定的存储位置。
2.根据权利要求1所述的分布式LoRA卸载运算方法，其特征在于，所述集合通信协议用于在节点间进行点对点或集合通信，支持发送、接收、广播、聚集和归约操作；Kademlia DHT用于提供高效的分布式哈希表功能，支持分片的插入、查询和删除操作。
3.根据权利要求2所述的分布式LoRA卸载运算方法，其特征在于，所述集合通信是指支持一组节点间进行单向或双向通信；包括：一对多通信、多对一通信、多对一通信和会聚。
4.根据权利要求1所述的分布式LoRA卸载运算方法，其特征在于，将预训练模型权重矩阵W、LoRA矩阵F和G进行分片，并将得到的分片存储到对应存储管理器，对分片信息通过DHT进行管理，包括：将预训练模型权重矩阵W、LoRA矩阵F和G按照行索引、列索引或自定义方式分解为子矩阵，将每一个子矩阵作为一个分片；其中，每个分片的标识符对应矩阵的名称和索引的拼接字符串，分片的值为张量类型，能独立存储到不同的节点的内存；将每个分片根据其标识符存储到对应存储管理器，如果需要容错存储，则通过pickle序列化存储到各个节点的文件系统；对分片信息通过DHT进行管理，支持分片的插入、查询和删除操作。
5.根据权利要求1所述的分布式LoRA卸载运算方法，其特征在于，根据计算公式生成计算任务上下文，包括：根据计算公式生成计算任务上下文；所述计算任务上下文包含所需的分片标识符和计算公式；所述计算任务上下文用于指导计算管理器在执行计算任务时，动态查询所需的存储信息，并通过通信协议拉取所需的数据分片；所述计算公式为：其中， W 为预训练模型权重矩阵， 为计算任务上下文，F和G为LoRA矩阵。
6.根据权利要求1所述的分布式LoRA卸载运算方法，其特征在于，计算任务执行过程包括：矩阵乘法和加法操作。
7.根据权利要求1所述的分布式LoRA卸载运算方法，其特征在于，通过集合通信协议将得到的任务计算结果进行汇总，得到最终的计算结果，包括：计算管理器将得到的任务计算结果通过集合通信协议发送到汇总节点，进行任务计算结果的聚集和规约操作，得到最终的计算结果。
8.根据权利要求1所述的分布式LoRA卸载运算方法，其特征在于，计算管理器根据所述计算任务上下文，动态查询所需的存储信息，通过通信协议从所述存储管理器拉取所需的数据分片，并在所述计算管理器上执行计算任务，包括：计算管理器根据计算任务上下文和预训练模型权重矩阵W、LoRA矩阵F和G的分片索引动态查询所需的存储信息，通过通信协议从存储管理器拉取所需的数据分片；其中数据分片查询通过DHT进行管理，支持分片的插入、查询和删除操作；计算管理器通过通信协议从所述存储管理器拉取所需的数据分片，并在所述计算管理器上执行计算任务。
9.一种分布式LoRA卸载运算系统，其特征在于，所述系统包括：顶层调度器、存储池以及计算池，所述计算池包括若干个计算管理器，所述存储池包括若干个存储管理器；所述顶层调度器，用于初始化分别用于管理分片存储和节点间通信的Kademlia DHT和通信协议；将各个Peer节点加入到DHT中，形成一个分布式网络；还用于将预训练模型权重矩阵W、LoRA矩阵F和G进行分片，并将得到的分片存储到对应存储管理器，对分片信息通过DHT进行管理；还用于根据计算公式生成计算任务上下文，并将所述计算任务上下文推送到对应计算管理器中；所述Peer节点是具有内存资源和计算资源的逻辑进程或物理节点；所述DHT用于提供存储池和计算池的分布式资源管理服务，每个Peer利用DHT进行分片存储的管理；所述存储管理器是用于存储卸载任务的Peer节点；所述计算管理器是用于计算卸载任务的Peer节点，用于接收所述顶层调度器推送的计算任务上下文，并根据计算任务上下文，动态查询所需的存储信息，通过通信协议从所述存储管理器拉取所需的数据分片，并执行计算任务，并将任务计算结果发送至通过通信协议发送至汇总节点，进行结果的聚集和归约操作，得到最终的计算结果，并将所述最终的计算结果返回给用户或存储到指定的存储位置。
10.根据权利要求9所述的分布式LoRA卸载运算系统，其特征在于，所述存储池的每个节点通过一个词典维护分片的存储，词典的键值对分别对应分片的标识符、矩阵的值。
