有效
文件结构化信息的提取方法、装置、设备、介质和产品
徐澳、张二青、徐宏
杭州浩联智能科技有限公司
摘要
本发明公开了一种文件结构化信息的提取方法、装置、设备、介质和产品,涉及数据处理技术领域,包括:确定待处理文件的文件内容类型;在确定文件内容类型为图像内容文件的情况下,对待处理文件进行文本识别,确定待处理文件包含的待处理文本以及待处理文本在待处理文件中对应的文本区域坐标;对待处理文本进行结构化内容实体识别,确定待处理文本包含的结构化内容实体以及各结构化内容实体在文本区域坐标中分别对应的内容实体坐标;根据各内容实体坐标构建各结构化内容实体之间的内容实体关系数据,并根据内容实体关系数据对待处理文本进行结构化信息提取,得到待处理文件包含的目标结构化信息。本发明能够提升结构化信息提取的准确性及完整性。
1.一种文件结构化信息的提取方法,其特征在于,所述方法包括:获取需提取结构化信息的待处理文件,并确定所述待处理文件的文件内容类型;其中,所述文件内容类型为文本内容文件或图像内容文件;在确定所述文件内容类型为所述图像内容文件的情况下,对所述待处理文件进行文本识别,并根据文本识别结果确定所述待处理文件包含的待处理文本,以及,所述待处理文本在所述待处理文件中对应的文本区域坐标;对所述待处理文本进行结构化内容实体识别,确定所述待处理文本包含的至少一种结构化内容实体,以及,各所述结构化内容实体在所述文本区域坐标中分别对应的内容实体坐标;根据各所述内容实体坐标构建各所述结构化内容实体之间的内容实体关系数据,并根据所述内容实体关系数据对所述待处理文本进行结构化信息提取,得到所述待处理文件包含的目标结构化信息;其中,所述根据所述内容实体关系数据对所述待处理文本进行结构化信息提取,得到所述待处理文件包含的目标结构化信息,包括:从指令数据库中获取预设的结构信息提取指令,并将所述结构信息提取指令、所述待处理文本和所述内容实体关系数据,输入至大语言模型中;通过所述大语言模型根据所述结构信息提取指令,利用所述内容实体关系数据从所述待处理文本中提取各所述结构化内容实体分别对应的结构化内容文本;对具有内容实体关系的各所述结构化内容文本分别进行语义相似度计算,确定具有内容实体关系的各所述结构化内容文本之间的语义相似度;根据所述语义相似度从具有内容实体关系的各所述结构化内容文本中确定语义相似内容文本,并对各所述语义相似内容文本进行文本关联,得到所述目标结构化信息。
2.根据权利要求1所述的方法,其特征在于,所述根据各所述内容实体坐标构建各所述结构化内容实体之间的内容实体关系数据,包括:根据各所述内容实体坐标确定各所述结构化内容实体之间的坐标距离;根据所述坐标距离确定各所述结构化内容实体之间的距离权重信息,并根据所述距离权重信息从各所述结构化内容实体中确定相近结构化内容实体;对各所述相近结构化内容实体进行实体关系构建,生成所述内容实体关系数据。
3.根据权利要求1所述的方法,其特征在于,所述根据所述内容实体关系数据对所述待处理文本进行结构化信息提取,得到所述待处理文件包含的目标结构化信息之前,还包括:在所述文件内容类型为所述文本内容文件的情况下,获取在所述待处理文件中预设的结构化内容层级标签;根据所述结构化内容层级标签构建各所述结构化内容实体之间的内容实体关系数据。
4.根据权利要求1所述的方法,其特征在于,所述确定所述待处理文件的文件内容类型之后,还包括:在确定所述文件内容类型为所述文本内容文件的情况下,对所述待处理文件进行文本提取,确定所述待处理文件包含的待处理文本,以及,所述待处理文本在所述待处理文件中对应的文本区域坐标。
5.根据权利要求1所述的方法,其特征在于,所述得到所述目标结构化信息之后,还包括:将所述目标结构化信息的信息标识和所述结构信息提取指令进行关联存储,并生成所述信息标识和所述结构信息提取指令之间的存储关联关系;确定所述目标结构化信息是否存在异常,并在确定所述目标结构化信息存在异常的情况下,根据所述信息标识和所述存储关联关系,获取所述结构信息提取指令;对所述结构信息提取指令进行微调,得到所述结构信息提取指令对应的微调指令,并将所述微调指令更新至所述指令数据库中。
6.根据权利要求5所述的方法,其特征在于,所述确定所述目标结构化信息是否存在异常,包括:确定所述目标结构化信息包括的标题结构化文本,与所述内容实体关系数据包括的标题文本之间的字符相似度;根据所述目标结构化信息包括的表格结构化文本,与所述待处理文本包括的表格文本计算表格文本提取率;根据所述目标结构化信息包括的列表项结构化文本,与所述待处理文本包括的列表项文本计算列表项文本提取率;确定所述目标结构化信息与所述待处理文本之间的文本相似度;在所述字符相似度小于第一阈值、所述表格文本提取率小于第二阈值、所述列表项文本提取率小于第三阈值、或者所述文本相似度小于第四阈值的情况下,确定所述目标结构化信息存在异常。
7.根据权利要求1所述的方法,其特征在于,所述得到所述待处理文件包含的目标结构化信息之后,还包括:将所述目标结构化信息与所述内容实体关系数据关联存储至目标知识库中。
8.一种文件结构化信息的提取装置,其特征在于,所述装置包括:文件内容类型确定模块,用于获取需提取结构化信息的待处理文件,并确定所述待处理文件的文件内容类型;其中,所述文件内容类型为文本内容文件或图像内容文件;文本识别模块,用于在确定所述文件内容类型为所述图像内容文件的情况下,对所述待处理文件进行文本识别,并根据文本识别结果确定所述待处理文件包含的待处理文本,以及,所述待处理文本在所述待处理文件中对应的文本区域坐标;结构化内容实体识别模块,用于对所述待处理文本进行结构化内容实体识别,确定所述待处理文本包含的至少一种结构化内容实体,以及,各所述结构化内容实体在所述文本区域坐标中分别对应的内容实体坐标;结构化信息提取模块,用于根据各所述内容实体坐标构建各所述结构化内容实体之间的内容实体关系数据,并根据所述内容实体关系数据对所述待处理文本进行结构化信息提取,得到所述待处理文件包含的目标结构化信息;其中,所述结构化信息提取模块,具体用于:从指令数据库中获取预设的结构信息提取指令,并将所述结构信息提取指令、所述待处理文本和所述内容实体关系数据,输入至大语言模型中;通过所述大语言模型根据所述结构信息提取指令,利用所述内容实体关系数据从所述待处理文本中提取各所述结构化内容实体分别对应的结构化内容文本;对具有内容实体关系的各所述结构化内容文本分别进行语义相似度计算,确定具有内容实体关系的各所述结构化内容文本之间的语义相似度;根据所述语义相似度从具有内容实体关系的各所述结构化内容文本中确定语义相似内容文本,并对各所述语义相似内容文本进行文本关联,得到所述目标结构化信息。
9.一种电子设备,其特征在于,所述电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的文件结构化信息的提取方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行权利要求1-7中任一项所述的文件结构化信息的提取方法。
11.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的文件结构化信息的提取方法。



