一种用于多模态命名实体识别的交互对比学习方法

本发明公开了一种用于多模态命名实体识别的交互对比学习方法，包括以下步骤：将文本和图像分割成具有不同粒度的特征，并将它们交叉进行对比学习，具体包括多模态表示、多模态交互对比学习；以文本侧为主体构建查询，以图像侧为主体构造关键字和值，进行交互式注意力计算，得到融合了视觉特征增强的文本表示；使用视觉门控机制以动态选择对文本更有价值的视觉特征，避免视觉噪声对识别性能产生负面影响；使用CRF层确定文本中包含的实体的类型，利用交叉熵来优化模型的参数。本发明减少不同模态特征之间的差异和视觉噪声的影响；增强模态之间的信息交互；以动态选择视觉特征，提高MNER任务的有效性。