一种基于大模型的多模态化学反应信息提取与结构化方法

本发明涉及一种基于大模型的多模态化学反应信息提取与结构化方法，包括如下步骤：选取公开化学反应原始数据集，对化学反应原始数据集进行结构化处理得到基础样本集；根据对应提示模板，对基础样本集进行数据增强得到训练集D；构建多任务解析模型M及模型损失函数，所述M包括化学文本共享编码层、各任务特定编码层、跨任务交叉注意力层和各任务特定解码层；对M进行训练得到最终训练好的M’；选取文献Y，利用M’提取文本模态数据，然后结合图模态数据提取出Y中的对应需要的化学信息。本发明所述方法可以从相关文献中端到端提取反应物、生成物、反应条件等化学反应要素，并融合文本与图像语义实现化学反应信息的结构化表达与可溯源管理。