1.一种基于特征重要度的长文本分类方法,其特征在于,所述方法包括:获取待分类的原始文本语料;所述待分类的原始文本语料包含多个长文本;对所述长文本进行数据处理,得到原始文本;根据BoW模型对所述原始文本进行特征寻找,得到特征字段;利用梯度推进分类器计算所述特征字段的重要性,将所述特征字段的重要性从高到低排列,得到特征字段重要度排列表;从所述原始文本中选择头部和尾部的数量字段添作为新文本的开头和结尾,根据所述特征字段重要度排列表来从所述原始文本中搜索字段填充所述新文本,得到标准长度的文本;利用分类模型对所述标准长度的文本进行分类,得到分类结果;从所述原始文本中选择头部和尾部的数量字段添作为新文本的开头和结尾,根据所述特征字段重要度排列表来从所述原始文本中搜索字段填充所述新文本,得到标准长度的文本,包括:从所述原始文本中选择头部的Part1*NTA数量字段添加到新文本的开头并删除原始文本中的该字段,选取原始文本尾部的Part2*NTA数量字段添加到新字段的结尾并删除该字段,其中Part1+Part2<<1;根据所述特征字段重要度排列表来从所述原始文本中搜索字段填充所述新文本,得到标准长度的文本;根据所述特征字段重要度排列表来从所述原始文本中搜索字段填充所述新文本,得到标准长度的文本,包括:设新文本Part3=1-Part1-Part2,根据所述特征字段重要度排列表选取新文本Part3*NTA数量字段的中间字段部分,按顺序从高到低在所述原始文本的中间部分进行特征字段检索,如果所述特征字段存在就抽取该特征字段及其前后字段,如果不存在就继续查看下一特征字段,选中的字段从原始文本中删除;将选取出的字段添加到新文本中,直到新文本的字段数达到NTA数量或遍历完所述特征重要度列表,得到标准长度的文本;根据BoW模型对所述原始文本进行特征寻找,BoW模型输出特征字段列表和特征字段在每个文本中出现的次数,选择互信息最高的N个特征作为特征字段;利用梯度推进分类器计算所述特征字段的重要性,将所述特征字段的重要性从高到低排列,得到特征字段重要度排列表,包括:利用梯度推进分类器使用不同特征字段的分类效果计算得到各特征字段的重要性,按照重要性从高到低对分类器使用的特征进行排序,得到特征字段重要度排列表。
2.根据权利要求1所述的方法,其特征在于,对所述待分类的长文本进行数据处理,得到原始文本,包括:对所述待分类的长文本进行数据处理,去掉待分类的长文本的无用信息,得到原始文本;所述无用信息包括特殊符号、图片、停用词、url。
3.根据权利要求1所述的方法,其特征在于,所述分类模型优选为Transformer模型。
4.一种基于特征重要度的长文本分类装置,其特征在于,所述装置包括:数据处理模块,用于获取待分类的原始文本语料;待分类的原始文本语料包含多个长文本;对长文本进行数据处理,得到原始文本;计算字段重要性模块,用于根据BoW模型对原始文本进行特征寻找,得到特征字段;利用梯度推进分类器计算特征字段的重要性,将特征字段的重要性从高到低排列,得到特征字段重要度排列表;文本导游和分类模块,用于从原始文本中选择头部和尾部的数量字段添作为新文本的开头和结尾,根据特征字段重要度排列表来从原始文本中搜索字段填充新文本,得到标准长度的文本;利用分类模型对标准长度的文本进行分类,得到分类结果;文本导游和分类模块还用于从所述原始文本中选择头部的Part1*NTA数量字段添加到新文本的开头并删除原始文本中的该字段,选取原始文本尾部的Part2*NTA数量字段添加到新字段的结尾并删除该字段,其中Part1+Part2<<1;根据所述特征字段重要度排列表来从所述原始文本中搜索字段填充所述新文本,得到标准长度的文本;根据所述特征字段重要度排列表来从所述原始文本中搜索字段填充所述新文本,得到标准长度的文本,包括:设新文本Part3=1-Part1-Part2,根据所述特征字段重要度排列表选取新文本Part3*NTA数量字段的中间字段部分,按顺序从高到低在所述原始文本的中间部分进行特征字段检索,如果所述特征字段存在就抽取该特征字段及其前后字段,如果不存在就继续查看下一特征字段,选中的字段从原始文本中删除;将选取出的字段添加到新文本中,直到新文本的字段数达到NTA数量或遍历完所述特征重要度列表,得到标准长度的文本;计算字段重要性模块还用于根据BoW模型对所述原始文本进行特征寻找,BoW模型输出特征字段列表和特征字段在每个文本中出现的次数,选择互信息最高的N个特征作为特征字段;利用梯度推进分类器计算所述特征字段的重要性,将所述特征字段的重要性从高到低排列,得到特征字段重要度排列表,包括:利用梯度推进分类器使用不同特征字段的分类效果计算得到各特征字段的重要性,按照重要性从高到低对分类器使用的特征进行排序,得到特征字段重要度排列表。
5.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。