“智枢” 自然资源管理知识库大模型应用研究

本申请涉及一种基于大语言模型的企业级知识中枢系统构建方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：对目标企业数据进行预处理，通过结合少样本学习和迁移学习的知识抽取机制对处理后的目标企业数据提取结构化知识信息；根据所述结构化知识信息构建多模态知识图谱；对所述目标企业数据中多模态数据分别提取特征，通过注意力机制动态调整各模态权重并进行特征融合，将融合后的知识融入所述多模态知识图谱；响应于用户请求，通过结合检索增强生成模型、大语言模型和所述多模态知识图谱的智能问答系统，生成答复内容。采用本方法能够满足企业高效智能的知识管理需求。

基于检索增强生成的知识库存储检索系统和方法，主要内容是：(1)文档提取与分块模块，把加入知识库的文档切分为文档块，形成文档列表和关键字列表；(2)文档向量化与存储模块，把向量化后的文档列表和关键字列表存贮到向量库中；(3)文档窗口设置模块，根据用户的提问信息，确定文档窗口值W的大小；(4)初步检索模块，提取出文档相似度值最大的前W个文档，作为初步检索结果；(5)混合重排序模块根据综合相似度s值的大小，从初步检索结果中返回W/2个文档作为最终检索结果。本发明对多模态问答大模型具有支持能力。

一种基于大模型的多模态智能问答系统和方法，系统包括信令处理模块、文档预处理模块、语音预处理模块、检索召回模块、RAG处理链模块和知识库模块；方法包括：(1)知识库离线构建步骤；(2)知识库在线构建步骤；(3)实时问答步骤；本发明所提出的系统和方法能够结合讲演者预先上传的包含文字、图片、图表等丰富内容的材料，以及实时的讲演内容，利用文字、图片、语音等多模态讲演信息，为观众提供个性化的智能问答服务，不仅能够解答观众的即时疑问，还能根据讲演内容与材料提供延伸性的知识补充。