一种针对电力标准的长文本匹配优化的检索系统

1.一种针对电力标准的长文本匹配优化的检索系统，其特征在于，包括词汇提取终端、预训练BERT编码终端、词汇处理终端以及语义长文本排序终端；所述词汇提取终端输出端与预训练BERT编码终端输入端电性连接，所述预训练BERT编码终端输出端与词汇处理终端输入端电性连接，所述词汇处理终端输出端与语义长文本排序终端输入端电性连接；词汇提取终端将电力标准文本中所有章节的文档和标题作为段落和对应的检索词进行提取，其中段落记为d，对应的检索词记为q；领域适应的无监督语义相似度模型对于检索词q和段落d，均采取无监督的方法分别训练两个BERT无监督语义相似度表示数据；预训练BERT编码终端采用两个不同的预训练BERT编码，对段落d和对应的检索词q进行编码，得到不同的向量，不同的向量表示为d-vecor，q-vecor，再对两者计算余弦相似度，作为两者的关联度得分；预训练BERT编码终端内部包括扩充单元，每个文档对应的检索词通过扩充单元进行扩充；词汇处理终端内部包括两种模型，分别为领域适应的BERT预训练语言模型和领域适应的无监督语义相似度模型；领域适应的BERT预训练语言模型强制模型学习词汇级别的上下文，同时取消NSP任务；分别针对性的构建检索词，文档段落的BERT语义相似度表示模型，分别称为q-BERT，d-BERT；语义长文本排序终端用于构建深度语义长文本排序模型，使适合q-d匹配的BERT进行表示；语义长文本排序终端用于构建深度语义长文本排序模型，针对q-d匹配算法的正负样本的构造方法如下：步骤一、针对具有完整语义关系的检索词，使用其他章节的q-d对，使用其他章节的d作为负例，具有完整语义关系检索词q匹配的段落d作为正例；步骤二、针对不具有完整语义关系的检索词，构建使用不具有完整语义关系的检索词q的分词，其他章节的段落d作为负例，不具有完整语义关系的检索词q匹配的段落d作为正例；步骤三、训练中，在每个batch中，假设batch的大小为batch_size，将每个检索词对应的正例文档段落作为正样本，其他batch_size-1个样本中的文档段落作为负例，从而构造出样本对进行训练；使用上面得到q-BERT和d-BERT分别编码检索词和文档段落作为初始化表示，目标是学习编码器d-encoder和q-encoder，分别对检索词q和文档段落d编码成同一个向量空间，在同一向量空间中，相关性强的(q，d)对比相关性弱的(q，d)对的距离更近，对此设计如下损失函数：该损失函数是正例的负对数似然函数，其中，q i 为检索词， 为相关性强的正例文档段落， 为负例。