一种政务问答大模型的评估方法、装置、设备及存储介质

1.一种政务问答大模型的评估方法，其特征在于，所述方法包括：基于待评估政务问答大模型，生成多个综合测试数据；对所述多个综合测试数据进行分析，得到每一综合测试数据的意图标签和建议评估维度，形成评估背景文档；基于所述评估背景文档，确定评估流程建议和多个评估智能体；基于所述多个评估智能体和所述评估流程建议，生成评估流程；采用所述多个评估智能体，根据所述评估流程对所述待评估政务问答大模型进行评估，生成评估报告；其中，所述对所述多个综合测试数据进行分析，得到每一综合测试数据的意图标签和建议评估维度，形成评估背景文档，包括：采用评估分析模型，对于每一综合测试数据，对所述综合测试数据的政务问题进行语义解析，得到语义解析结果；对所述语义解析结果进行意图识别，得到所述综合测试数据的意图标签；对所述语义解析结果进行实体抽取，得到所述综合测试数据的实体列表；对所述实体列表进行要素提取，得到关联要素集合；基于所述关联要素集合进行知识检索，得到知识检索结果；基于所述综合测试数据的意图标签、关联要素集合和知识检索结果进行推导，得到建议评估维度；基于每一综合测试数据的意图标签和建议评估维度分别进行聚类，形成所述评估背景文档；所述基于所述评估背景文档，确定评估流程建议和多个评估智能体，包括：采用所述评估分析模型，确定所述评估背景文档中每一建议评估维度的适用标准；计算每一建议评估维度与其对应的适用标准之间的匹配权重；对所有建议评估维度进行冲突检测，得到冲突评估维度；基于每一冲突评估维度与其对应的适用标准之间的匹配权重，对所述冲突评估维度进行冲突消解，得到多个目标评估维度；基于所述多个目标评估维度之间的语义关联关系，生成所述评估流程建议；采用所述评估分析模型，基于所述评估背景文档中的每一意图标签，从智能体模型库中选择初始智能体；基于所述意图标签对应的建议评估维度在多个预设政务问答知识库中进行语义匹配，得到目标知识库；采用所述目标知识库对所述初始智能体进行微调，得到所述意图标签对应的评估智能体。 2.根据权利要求1所述的方法，其特征在于，所述基于待评估政务问答大模型，生成多个综合测试数据，包括：获取所述待评估政务问答大模型的历史政务问题及其对应的历史模型回答；获取每一历史政务问题的第一人工回答；获取通用性政务问题及其对应的第二人工回答；对于每一通用性政务问题，基于所述待评估政务问答大模型，生成对应的通用模型回答；基于所述历史政务问题、所述历史模型回答、所述第一人工回答、所述通用性政务问题、所述第二人工回答以及所述通用模型回答，按照政务问题-模型回答-人工回答的三元组形式，生成所述多个综合测试数据。 3.根据权利要求1所述的方法，其特征在于，所述对所述多个综合测试数据进行分析，得到每一综合测试数据的意图标签和建议评估维度，形成评估背景文档之前，所述方法还包括：获取初始大语言模型；获取多个政务领域数据，每一政务领域数据包括政务问题、意图标签和建议评估维度；采用所述政务领域数据对所述初始大语言模型进行微调，得到评估分析模型。 4.根据权利要求1所述的方法，其特征在于，所述基于所述多个评估智能体和所述评估流程建议，生成评估流程，包括：以所述多个评估智能体作为节点，以所述评估流程建议作为背景，生成初始评估流程；在所述初始评估流程中加入共性评估环节，得到中间评估流程；基于所述中间评估流程进行定制化编辑，得到所述评估流程。 5.一种政务问答大模型的评估装置，其特征在于，所述装置包括：第一生成模块，用于基于待评估政务问答大模型，生成多个综合测试数据；分析模块，用于对所述多个综合测试数据进行分析，得到每一综合测试数据的意图标签和建议评估维度，形成评估背景文档；第二生成模块，用于基于所述评估背景文档，确定评估流程建议和多个评估智能体；第三生成模块，用于基于所述多个评估智能体和所述评估流程建议，生成评估流程；评估模块，用于采用所述多个评估智能体，根据所述评估流程对所述待评估政务问答大模型进行评估，生成评估报告；其中，所述分析模块，具体用于：采用评估分析模型，对于每一综合测试数据，对所述综合测试数据的政务问题进行语义解析，得到语义解析结果；对所述语义解析结果进行意图识别，得到所述综合测试数据的意图标签；对所述语义解析结果进行实体抽取，得到所述综合测试数据的实体列表；对所述实体列表进行要素提取，得到关联要素集合；基于所述关联要素集合进行知识检索，得到知识检索结果；基于所述综合测试数据的意图标签、关联要素集合和知识检索结果进行推导，得到建议评估维度；基于每一综合测试数据的意图标签和建议评估维度分别进行聚类，形成所述评估背景文档；所述第二生成模块，具体用于：采用所述评估分析模型，确定所述评估背景文档中每一建议评估维度的适用标准；计算每一建议评估维度与其对应的适用标准之间的匹配权重；对所有建议评估维度进行冲突检测，得到冲突评估维度；基于每一冲突评估维度与其对应的适用标准之间的匹配权重，对所述冲突评估维度进行冲突消解，得到多个目标评估维度；基于所述多个目标评估维度之间的语义关联关系，生成所述评估流程建议；采用所述评估分析模型，基于所述评估背景文档中的每一意图标签，从智能体模型库中选择初始智能体；基于所述意图标签对应的建议评估维度在多个预设政务问答知识库中进行语义匹配，得到目标知识库；采用所述目标知识库对所述初始智能体进行微调，得到所述意图标签对应的评估智能体。 6.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至4中任一项所述的政务问答大模型的评估方法。 7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至4中任一项所述的政务问答大模型的评估方法。