在审
面向深水监测的云边协同大模型可学习量化方法及系统
摘要
本发明公开一种面向深水监测的云边协同大模型可学习量化方法及系统。通过云边协同框架实现:边缘监测设备将简单任务在本地使用轻量级模型处理,而对于复杂任务则触发云端协同流程。在云端,通过LQGDC对选定的基座大模型进行定制化量化。LQGDC算法通过可学习变换和分布校正引导的参数优化进行模型量化。从而最大限度地保留信息,确保了量化块的输出在数值和语义方向上与全精度模型对齐,更关键的是引入误差校正项,主动补偿和纠正逐层累积的量化误差,打破了误差链式传递的限制。经过定制化量化并性能验证后的最优轻量化模型,会被安全地分发至发起请求的边缘设备,用于高效执行水环境风险预判、多源数据融合验证等离线推理任务。
暂无引用专利





