在审

一种基于超图任务重构的视频问答方法及系统

李一鸣、游思思、鲍秉坤
南京邮电大学

摘要

本发明公开了一种基于超图任务重构的视频问答方法及系统,涉及视频问答技术领域,包括:获取视频,将视频基于时空语义提取得到视频超图,将视频超图输入至预先建立的视频问答模型内,基于随机遮盖的图补全任务进行预训练,得到预训练视频问答模型;获取问题文本,将问题文本处理为图结构,将图结构问题文本与视频图输入至预先建立的图网络内,通过融合文本与视觉信息,输出得到图结构的问题提示;将图结构的问题提示输入至预训练视频问答模型内,输出得到预测的视频问答结果;从动态场景图中继承视频理解能力,从而预测正确的答案。

暂无引用专利