有效

基于特征表示增强的视频时刻检索方法

王笛、卢宪涛、王泉、万波、罗雪梅、王义峰、刘锦辉、赵辉、潘蓉、田玉敏
西安电子科技大学

摘要

本发明公开了一种基于特征表示增强的视频时刻检索方法,其步骤为:生成训练集;构建视频时刻检索网络;训练视频时刻检索网络;检索视频时刻。本发明构建了基于特征表示增强的视频时刻检索网络,在查询特征提取模块加入查询时序修正操作,使待查询语句中描述不同动作的所有主谓宾三元组按照其对应动作发生的时间顺序排列,实现跨模态特征序列顺序匹配,降低跨模态语义对齐难度。本发明构建了双连接图卷积模块,将候选片段特征作为图节点,通过图卷积将候选片段与前后两部分的全局候选片段连接,实现候选片段特征与视频全局特征的融合,提高候选片段特征表示质量。