基于优先级划分的视频语义传输方法

1.一种基于优先级划分的视频语义传输方法，其特征在于，所述方法包括：获取待传输视频对应的图像组，并对所述图像组进行基于多任务的特征提取，得到所述待传输视频的动作向量特征、背景特征以及物体特征；对所述动作向量特征、所述背景特征以及所述物体特征进行特征优先级划分，并根据动态的特征筛选阈值对划分后的特征进行筛选，得到融合特征，其中，所述特征筛选阈值是根据传输信道的信噪比映射得到的，所述信噪比与所述特征筛选阈值的映射遵从负相关关系；将所述融合特征对应的优先级权重映射处理为概率分布，根据所述概率分布对所述融合特征进行算术编码和算术解码，得到对应的视频语义特征，其中，所述优先级权重用于表征所述待传输视频中动作与背景物体的相关程度；将所述视频语义特征进行语义解码处理，并将解码得到的图像组进行重构，得到传输后的视频；所述传输后的视频是调用视频语义传输模型对所述待传输视频进行语义传输后构建得到的，所述视频语义传输模型的训练方法包括：获取视频样本；将所述视频样本输入到所述视频语义传输模型中进行正向传播，得到重构视频，并在正向传播时确定所述视频样本的动作预测标签；基于所述重构视频以及所述动作预测标签构建所述视频语义传输模型的最终损失函数；通过所述最终损失函数在所述视频语义传输模型进行反向传播，以更新所述视频语义传输模型的参数；所述视频样本携带有动作类别的真实分类标签，所述基于所述重构视频以及所述动作预测标签构建所述视频语义传输模型的最终损失函数，包括：根据所述真实分类标签和所述动作预测标签构建交叉熵损失函数，作为所述视频语义传输模型的动作分类损失函数；根据所述视频样本中的真实视频帧和所述重构视频中的重构视频帧，构建均方误差损失函数，作为所述视频语义传输模型的视频重构损失函数；预设动作分类损失权重以及视频重构损失权重，并通过所述动作分类损失权重对所述动作分类损失函数进行加权，得到动作分类加权损失，通过所述视频重构损失权重对所述视频重构损失函数进行加权，得到视频重构加权损失；将所述动作分类加权损失和所述视频重构加权损失进行求和，得到所述视频语义传输模型的最终损失函数。 2.根据权利要求1所述的基于优先级划分的视频语义传输方法，其特征在于，所述对所述图像组进行基于多任务的特征提取，得到所述待传输视频的动作向量特征、背景特征以及物体特征，包括：获取基于多任务训练的特征提取模型，其中，所述特征提取模型训练时选择的多任务包括动作特征提取任务、动作分类任务、背景提取任务；调用所述特征提取模型对所述图像组中每一帧图像进行特征提取，得到所述待传输视频的动作向量特征、背景特征以及物体特征。 3.根据权利要求1所述的基于优先级划分的视频语义传输方法，其特征在于，所述对所述动作向量特征、所述背景特征以及所述物体特征进行特征优先级划分，包括：将所述背景特征和所述背景特征组成背景物体特征序列；对所述动作向量特征、所述背景物体特征序列进行多头注意力计算，得到所述背景物体特征序列对应的一组注意力得分；将所述注意力得分作为分配权重，对所述背景物体特征序列中的特征元素进行加权求和，并将加权求和得到的结果与所述动作向量特征进行融合。 4.根据权利要求3所述的基于优先级划分的视频语义传输方法，其特征在于，所述对所述动作向量特征、所述背景物体特征序列进行多头注意力计算，得到所述背景物体特征序列对应的一组注意力得分，包括：将所述动作向量特征组成的序列作为查询向量，将所述背景物体特征序列分别作为键向量和值向量；将所述查询向量、所述键向量以及所述值向量输入到多个注意力头中进行注意力计算，输出一组注意力得分，所述注意力得分为所述动作向量特征中每个特征元素，与所述背景物体特征序列中特征元素之间的注意力计算值。 5.一种基于优先级划分的视频语义传输装置，其特征在于，所述装置包括：视频特征提取模块，用于获取待传输视频对应的图像组，并对所述图像组进行基于多任务的特征提取，得到所述待传输视频的动作向量特征、背景特征以及物体特征；特征优先级划分模块，用于对所述动作向量特征、所述背景特征以及所述物体特征进行特征优先级划分，并根据动态的特征筛选阈值对划分后的特征进行筛选，得到融合特征，其中，所述特征筛选阈值是根据传输信道的信噪比映射得到的，所述信噪比与所述特征筛选阈值的映射遵从负相关关系；特征动态传输模块，用于将所述融合特征对应的优先级权重映射处理为概率分布，根据所述概率分布对所述融合特征进行算术编码和算术解码，得到对应的视频语义特征，其中，所述优先级权重用于表征所述待传输视频中动作与背景物体的相关程度；视频特征重构模块，用于将所述视频语义特征进行语义解码处理，并将解码得到的图像组进行重构，得到传输后的视频；所述传输后的视频是调用视频语义传输模型对所述待传输视频进行语义传输后构建得到的，所述视频语义传输模型的训练方法包括：获取视频样本；将所述视频样本输入到所述视频语义传输模型中进行正向传播，得到重构视频，并在正向传播时确定所述视频样本的动作预测标签；基于所述重构视频以及所述动作预测标签构建所述视频语义传输模型的最终损失函数；通过所述最终损失函数在所述视频语义传输模型进行反向传播，以更新所述视频语义传输模型的参数；所述视频样本携带有动作类别的真实分类标签，所述基于所述重构视频以及所述动作预测标签构建所述视频语义传输模型的最终损失函数，包括：根据所述真实分类标签和所述动作预测标签构建交叉熵损失函数，作为所述视频语义传输模型的动作分类损失函数；根据所述视频样本中的真实视频帧和所述重构视频中的重构视频帧，构建均方误差损失函数，作为所述视频语义传输模型的视频重构损失函数；预设动作分类损失权重以及视频重构损失权重，并通过所述动作分类损失权重对所述动作分类损失函数进行加权，得到动作分类加权损失，通过所述视频重构损失权重对所述视频重构损失函数进行加权，得到视频重构加权损失；将所述动作分类加权损失和所述视频重构加权损失进行求和，得到所述视频语义传输模型的最终损失函数。 6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述基于优先级划分的视频语义传输方法。 7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于优先级划分的视频语义传输方法。 8.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于优先级划分的视频语义传输方法。