一种基于多模态大模型的自适应视觉标记剪枝方法及装置

本发明公开了一种基于多模态大模型的自适应视觉标记剪枝方法及装置，方法包括：计算视觉标记的两个初始分布；根据二分查找算法初始化误差阈值；使用贪心算法删除对两个初始分布影响最小的视觉标记直到两个初始分布的误差均达到误差阈值，得到两组候选删除标记并取交集，基于交集对视觉标记进行删除；根据删除完视觉标记的模型运算量与目标计算量更新误差阈值边界；重复删除与更新步骤直到达到停止条件，计算一批数据平均每层视觉标记删除的数量作为删除策略；对待删除的视觉标记进行排序后再记按照删除策略进行删除。本发明通过自动识别和移除冗余视觉标记来优化计算资源的使用，在不牺牲模型性能的前提下降低运行成本、加速模型的推理速度。