失效
一种基于BERT的汉语句子简化方法
摘要
本发明公开了一种基于BERT的汉语句子简化方法,包括以下步骤:步骤1)获取汉语常用词词频表,预训练汉语嵌入模型,义元数据库并获取词语集合,词频,词向量表示与义元表示;步骤2)假设需要简化的句子为,利用分词工具对进行分词和词性标注;步骤3)根据词性对内容词进行筛选;步骤4)对句子中的内容词,利用BERT中文模型,获取该词的候选替代词语集合并过滤噪声词;步骤5)利用多个特征,对每个复杂词的候选替代词语集合进行排序;步骤6)确定最终的替代词。本发明没有利用任何标注的平行语料,充分利用预训练语言模型,填补了中文文本简化领域的空白并取得了良好的效果。
暂无引用专利



