一种基于矩阵运算的大模型API并行调度方法及系统

本发明提供了一种基于矩阵运算的大模型API并行调度方法及系统，涉及计算机调度与优化技术领域。方法包括：将待处理的API调用任务及其特征表示为任务特征矩阵；确定任务特征矩阵对应的特征权重向量和当前系统约束向量以及运行状态；根据任务特征矩阵对应的特征权重向量计算得到目标任务的基础得分向量；根据当前系统约束向量以及运行状态确定约束符合度向量；根据基础得分向量和约束符合度向量，通过元素级乘法计算得到有效得分向量；根据有效得分向量选择一个或多个任务进行调度执行；在任务执行后更新任务特征矩阵、系统约束和运行状态。本发明解决了现有技术中并行API调用管理方法调度不够智能、适应性差、难以优化整体性能的问题。