一种基于多重注意力机制的法律文本阅读理解问答模型

本发明提出了一种基于多重注意力机制的法律文本阅读理解问答模型，所述方法包括以下步骤：首先将法律文本进行分片，输入至预训练模型中进行编码，然后为了解决分片后文本片段间远程注意力不足的问题，将加入一个Memory Attention的模块，对分片后的文本片段的嵌入向量进行全局信息的增强。在问题也送入编码层后，增强过的上下文信息和问题的嵌入向量将会进行双向的attention，得到上下文和问题双向编码向量后，将其作为多任务模块的输入，最终得到最后答案和线索句子的输出。目前针对中文机器阅读理解问答的数据集和研究还较少，尤其是在特定的领域内的研究。本发明解决了法律长文本超出预训练模型字数限制的问题，提高了线索句子判别的准确率，从而优化了机器阅读理解问答，对实现司法智能化有着非常重要的作用。