基于动态结构感知的跨模态知识蒸馏方法及系统

1.一种基于动态结构感知的跨模态知识蒸馏方法，其特征在于，所述方法包括：接收目标任务数据集，从所述目标任务数据集中划分得到训练集，将所述训练集输入至预设教师模型得到文本特征，将所述训练集输入至预设学生模型得到视觉特征；确定当前所述预设教师模型的教师参数向量，确定当前所述预设学生模型的学生参数向量，通过欧几里得范数，基于所述教师参数向量和所述学生参数向量实时确定结构差异指标，基于所述结构差异指标，通过稀疏度计算规则确定基础稀疏度，确定文本特征对应的文本特征维度和视觉特征对应的视觉特征维度，基于所述文本特征维度、所述视觉特征维度和所述基础稀疏度构建初始投影矩阵，基于所述基础稀疏度和所述文本特征维度确定投影保留值，对于所述初始投影矩阵中每行的矩阵元素，确定各所述矩阵元素的投影权重，保留所述投影权重的绝对值中最大的前所述投影保留值的投影权重所对应的矩阵元素，得到保留矩阵元素，并将非所述保留矩阵元素的值重置为0，得到投影矩阵，其中，所述欧几里得范数表达式为： ，其中， 表示所述结构差异指标，θ_tea表示所述教师参数向量，θ_stu表示所述学生参数向量， 表示L2范数运算符，所述稀疏度计算规则包括： ，其中， 表示所述基础稀疏度，tanh表示双曲正切函数， 表示所述结构差异指标，所述投影矩阵用于对齐所述文本特征的特征维度和所述视觉特征的特征维度；基于实时的所述投影矩阵得到对应的传输矩阵，并提取所述预设教师模型的注意力分布信息，基于当前所述传输矩阵和所述注意力分布信息确定所述预设教师模型所保留的网络层，以完成所述预设教师模型至所述预设学生模型的知识蒸馏，基于当前已知识蒸馏的所述预设教师模型和所述预设学生模型对所述目标任务数据集进行语义分割，得到语义分割结果。 2.根据权利要求1所述的方法，其特征在于，所述基于实时的所述投影矩阵得到对应的传输矩阵，包括：对于每一所述视觉特征，确定各所述文本特征与当前所述视觉特征的匹配程度，将所述匹配程度超过预设匹配程度的文本特征确定为匹配文本特征；基于当前所述视觉特征与所述匹配文本特征构建训练正样本对，并基于当前所述视觉特征与非所述匹配文本特征构建训练负样本对；将所述训练正样本对和所述训练负样本对确定为训练样本对，通过跨模态特征相似度规则确定各所述训练样本对应的跨模态特征相似度，所述跨模态特征相似度规则包括： ，其中，a表示所述文本特征，b表示所述视觉特征， 表示向量点积， 表示向量的L2函数运算符；基于所述跨模态特征相似度构建对应的代价矩阵，基于所述代价矩阵得到初始传输矩阵，并按照预设约束散度处理所述初始传输矩阵，得到传输矩阵。 3.根据权利要求2所述的方法，其特征在于，在所述通过跨模态特征相似度规则确定各所述训练样本对应的跨模态特征相似度之后，还包括：基于各所述训练样本对对应的所述跨模态特征相似度，确定各所述训练样本对对应的结构敏感因子；基于当前所述训练样本对的所述跨模态特征相似度和所述结构敏感因子，确定当前所述训练样本对对应的训练样本对损失函数；确定所有所述训练样本对的损失函数，得到对比损失函数值，基于所述对比损失函数调整所述预设学生模型的模型参数，以优化所述文本特征与所述视觉特征的对齐质量。 4.根据权利要求2所述的方法，其特征在于，所述基于所述跨模态特征相似度构建对应的代价矩阵，基于所述代价矩阵得到初始传输矩阵，并按照预设约束散度处理所述初始传输矩阵，得到传输矩阵，包括：对所述跨模态特征相似度进行取反，并归一化已取反的所述跨模态特征相似度，得到对应的代价矩阵；通过熵正则系数初始化所述代价矩阵，得到初始传输矩阵，对所述初始传输矩阵交替进行行归一化和列归一化，得到处理传输矩阵；基于所述代价矩阵与所述处理传输矩阵，通过传输距离计算规则确定所述文本特征与所述视觉特征之间的传输距离，并按照所述预设约束散度约束和所述传输距离优化所述初始传输矩阵，得到传输矩阵；所述传输距离计算规则包括： ，其中，D表示所述传输距离，C表示所述代价矩阵，Γ表示所述传输矩阵， 表示所述熵正则系数，H( )表示熵函数， 表示内积运算符。 5.根据权利要求1所述的方法，其特征在于，所述提取所述预设教师模型的注意力分布信息，基于当前所述传输矩阵和所述注意力分布信息确定所述预设教师模型所保留的网络层，包括：提取所述预设教师模型的注意力分布信息，基于所述传输矩阵和所述注意力分布信息确定所述预设教师模型中各网络层的重要性指标；对所述重要性指标进行由高至低的排序，得到排序结果，按照预设保留比例和所述排序结果确定所述预设教师模型的保留层。 6.一种基于动态结构感知的跨模态知识蒸馏系统，其特征在于，所述系统包括：划分模块，用于接收目标任务数据集，从所述目标任务数据集中划分得到训练集，将所述训练集输入至预设教师模型得到文本特征，将所述训练集输入至预设学生模型得到视觉特征；投影模块，用于确定当前所述预设教师模型的教师参数向量，确定当前所述预设学生模型的学生参数向量，通过欧几里得范数，基于所述教师参数向量和所述学生参数向量实时确定结构差异指标，基于所述结构差异指标，通过稀疏度计算规则确定基础稀疏度，确定文本特征对应的文本特征维度和视觉特征对应的视觉特征维度，基于所述文本特征维度、所述视觉特征维度和所述基础稀疏度构建初始投影矩阵，基于所述基础稀疏度和所述文本特征维度确定投影保留值，对于所述初始投影矩阵中每行的矩阵元素，确定各所述矩阵元素的投影权重，保留所述投影权重的绝对值中最大的前所述投影保留值的投影权重所对应的矩阵元素，得到保留矩阵元素，并将非所述保留矩阵元素的值重置为0，得到投影矩阵，其中，所述欧几里得范数表达式为： ，其中， 表示所述结构差异指标，θ_tea表示所述教师参数向量，θ_stu表示所述学生参数向量， 表示L2范数运算符，所述稀疏度计算规则包括： ，其中， 表示所述基础稀疏度，tanh表示双曲正切函数， 表示所述结构差异指标，所述投影矩阵用于对齐所述文本特征的特征维度和所述视觉特征的特征维度；分割模块，用于基于实时的所述投影矩阵得到对应的传输矩阵，并提取所述预设教师模型的注意力分布信息，基于当前所述传输矩阵和所述注意力分布信息确定所述预设教师模型所保留的网络层，以完成所述预设教师模型至所述预设学生模型的知识蒸馏，基于当前已知识蒸馏的所述预设教师模型和所述预设学生模型对所述目标任务数据集进行语义分割，得到语义分割结果。 7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5任一项所述的基于动态结构感知的跨模态知识蒸馏方法的步骤。 8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5任一项所述的基于动态结构感知的跨模态知识蒸馏方法的步骤。