基于奇异值分解引导和秩估计的词向量压缩方法

本发明提出了一种基于奇异值分解引导和秩估计的词向量压缩方法，实现步骤为：基于奇异值分解得到词向量信息量评分和注意力评分计算词向量综合重要性分数；基于对特征矩阵的秩估计对词向量进行剪枝；基于综合重要性分数对词向量合并。本发明通过对词向量特征矩阵的奇异值分解，计算每个词向量的信息量评分，并结合注意力评分计算综合重要性分数，能够准确判断词向量的重要性，在压缩时保留重要词向量信息，从而提高推理精度；同时基于对特征矩阵的秩估计确定待剪枝的词向量数量，实现针对不同输入样本的自适应词向量压缩量判断，有效避免了现有方法因固定比例或阈值进行词向量压缩导致的压缩不足或过度压缩问题，有效提高了模型的泛化能力。