一种基于大模型的生成式视觉文档零样本信息抽取方法

本发明提供一种基于大模型的生成式视觉文档零样本信息抽取方法，包括六个单元架构：数据预处理、多模态特征提取任务、基于大语言模型的布局增强任务、特征融合任务、适配器预训练任务以及基于大语言模型的信息抽取任务；本发明进行特征的融合和处理，以供大语言模型执行信息抽取任务；通过文本区域预测任务和坐标映射文本恢复任务进行训练，以增强特征处理能力；充分利用视觉文档的各方面特征和大语言模型理解能力，提升文档信息抽取的准确性，无需预定义实体类别的文档信息抽取，从而快速扩展供应链语义词典的业务范围，并显著提高信息处理的灵活性与效率，适合推广应用。