1.一种基于双层路由稀疏注意力和空间像素重标定的视频摘要生成方法,其特征在于,包括以下步骤:S1:读取输入视频,对所述输入视频进行帧采样,并提取各视频帧对应的帧级特征向量;S2:将帧级特征向量输入视频摘要生成模型,预测各视频帧的帧级重要性分数,所述视频摘要生成模型包括:通道增强模块:所述通道增强模块接收帧级特征向量,经卷积运算与非线性激活处理并引入空洞卷积得到中间特征;随后,将所述中间特征输入通道特征重校准单元进行通道级加权处理;最后,通过残差连接输出增强特征表示;双层路由稀疏注意力模块:所述双层路由稀疏注意力模块接收通道增强模块输出的增强特征表示,先基于区域级特征相关性构建区域路由关系并筛选候选区域,再在所筛选的区域内执行像素级稀疏注意力计算,最后引入局部位置编码增强与输出映射得到双层路由稀疏注意力模块的输出特征表示;空间像素重标定模块:所述双层路由稀疏注意力模块的输出作为空间像素重标定模块的输入,通过卷积运算得到空间像素特征,基于所述空间像素特征生成权重信息,并利用所述权重信息对所述空间像素特征进行逐位置加权处理,输出重标定后的特征表示;S3:将所述双层路由稀疏注意力模块的输出和空间像素重标定模块的输出融合后输入重要性评分回归网络,输出帧级重要性分数,选择出最具代表性的帧,并生成最终的视频摘要。
2.如权利要求1所述的基于双层路由稀疏注意力和空间像素重标定的视频摘要生成方法,其特征在于,所述通道增强模块对输入的帧级特征向量执行多层卷积运算以进行特征提取,并在相邻的卷积运算之间引入修正线性单元激活函数,且在所述卷积运算中引入空洞卷积;随后,将卷积运算得到的中间特征输入通道特征重校准单元进行通道级加权处理;最后,通过残差连接将模块输入特征与经通道级加权处理后的特征进行融合,输出增强特征表示。
3.如权利要求2所述的基于双层路由稀疏注意力和空间像素重标定的视频摘要生成方法,其特征在于,所述通道增强模块中的通道特征重校准单元对输入特征执行全局平均池化操作,以获取各通道对应的统计向量,并对所述统计向量执行一维卷积变换以生成通道权重,利用所述通道权重对输入特征进行逐通道加权处理。
4.如权利要求1所述的基于双层路由稀疏注意力和空间像素重标定的视频摘要生成方法,其特征在于,所述双层路由稀疏注意力模块,包括区域级路由选择、像素级稀疏注意力计算和引入局部位置编码增强与输出映射三个阶段:在所述区域级路由选择阶段,将输入的增强特征表示按预设区域尺寸划分为多个区域,分别生成查询特征Q与键特征K和值特征V,并对Q和K在各区域内执行区域平均操作得到区域级查询特征Q_region与区域级键特征K_region;基于所述区域级查询特征与区域级键特征计算区域相关性,并从所述区域相关性中选取相关性最大的预设数量的候选区域,得到区域路由索引;在像素级稀疏注意力计算阶段,依据所述区域路由索引从原始键特征K与值特征V中提取候选区域对应的特征子集,形成聚合后的键特征K_g与值特征V_g,然后对查询特征Q与聚合后的键特征K_g执行稀疏注意力计算,得到像素级注意力权重并与对候选区域值特征执行像素级二次筛选后的值特征集合进行加权求和,得到像素级稀疏注意力输出;在引入局部位置编码增强与输出映射阶段,首先对值特征V引入局部位置编码补偿项,生成局部位置编码补偿项L,然后将像素级稀疏注意力输出O与所述局部位置编码补偿项L进行融合,并通过输出映射得到所述双层路由稀疏注意力模块的输出特征表示。
5.如权利要求1所述的基于双层路由稀疏注意力和空间像素重标定的视频摘要生成方法,其特征在于,所述空间像素重标定模块,包括,首先对输入特征执行深度可分离卷积提取局部特征,生成空间像素特征表示;然后对所述空间像素特征表示执行全局平均池化操作,并经归一化处理后生成空间位置对应的空间权重信息,将所述空间权重信息与所述空间像素特征表示进行逐位置加权运算;最后进行平滑非线性变换,并通过逐点卷积后生成空间像素重标定模块的输出特征。
6.如权利要求1所述的基于双层路由稀疏注意力和空间像素重标定的视频摘要生成方法,其特征在于,所述重要性评分回归网络对融合特征依次执行正则化处理、线性映射与非线性变换,并在所述线性映射之间引入随机失活操作,最终通过输出激活函数生成各视频帧对应的帧级重要性分数。