有效

基于双层路由稀疏注意力和空间像素重标定的视频摘要生成方法

肖遥舸、张云佐、张志国、陈丹
石家庄铁道大学

摘要

本发明公开了一种基于双层路由稀疏注意力和空间像素重标定的视频摘要生成方法,属于计算机视觉领域。所述方法包括:读取输入视频并提取帧级特征向量;构造视频摘要生成模型,对帧级特征向量进行通道增强,得到增强特征;对增强特征执行双层路由稀疏注意力与空间像素重标定,并融合得到融合特征;将融合特征输入重要性评分回归网络,输出帧重要性分数并选帧生成视频摘要。本发明通过结合双层路由稀疏注意力与空间像素重标定,有效融合全局依赖关系与局部细节信息,在降低计算复杂度的同时能够精确识别视频中的关键片段。基于SumMe和TVSum基准数据集的实验结果表明,本发明方法在视频摘要生成任务中表现出良好的效果。