一种边缘大模型轻量化部署方法及系统

本申请公开了一种边缘大模型轻量化部署方法，包括：对用户输入的自然语言描述进行语义理解，提取任务类别，生成任务向量；解析边缘资源侧输入，进行标准化表示，生成资源向量；将任务向量与资源向量进行拼接，形成任务与资源嵌入向量；构建预训练小模型库，根据任务与资源嵌入向量，在预训练小模型库中筛选候选模型，并从离散的策略空间中自动生成压缩策略；结合部署性能偏差分析与压缩参数微调，生成自动修复机制及生成最优压缩策略，触发重部署策略，实现边缘大模型的轻量化部署。本申请能够实现“任务理解、资源感知、模型选择、压缩策略生成、部署反馈修复”的边缘大模型轻量化部署。