基于全局目标感知的视觉关系抽取方法

本发明公开了基于全局目标感知的视觉关系抽取方法，所述方法包括：构建视觉关系抽取模型，包括预训练视觉模型、全局目标感知模块和关系预测层，使用预训练视觉模型提取图片特征；根据图片特征和目标区域标注获得所有目标的特征表示；构建全局目标特征矩阵；使用全局目标感知模块增强全局目标特征矩阵；把增强后的全局目标特征矩阵输入关系预测层，预测目标间的关系；计算关系抽取损失函数，用关系抽取损失函数优化视觉关系抽取模型，用优化后的视觉关系抽取模型进行视觉关系抽取。本发明创新性地提出了全局目标感知模块，使模型在判断目标间关系时能够综合考虑全局目标对，增强模型的多跳目标关系推理能力，提高视觉关系抽取的准确率。