在审

基于问题理解和时序引导的视频问答方法及系统

游思思、鲍秉坤、鲁家豪
南京邮电大学

摘要

本发明公开基于问题理解和时序引导的视频问答方法及系统,属于视频问答技术领域;方法包括:用视频编码器从原始视频中提取视频特征,使用文本编码器从给定问题和候选答案中提取问题‑答案特征;通过负样本筛选策略构建负样本问题,并使用负样本问题训练视频问答模型;对视频类型进行划分,通过时序扰乱方法构建负样本视频,并使用负样本视频训练视频问答模型;将视频、问题和候选答案输入训练好的视频问答模型,预测答案;视频问答模型包括:视频编码器、文本编码器,以及一个包含自注意力层、交叉注意力层和前向传播层的跨模态特征提取器,跨模态特征提取器将问题‑答案特征作为查询向量,将视频特征作为键值向量进行跨模态交互。

暂无引用专利