基于正交旋转的流式时序模型持续学习方法、装置及设备

1.一种基于正交旋转的流式时序模型持续学习方法，其特征在于，所述方法包括：获取包括浅层与深层网络的预训练时序基础模型，并锁定深层网络的参数；获取历史训练数据，其包括划分为多个时间窗口的道路车流量历史数据段，从各道路车流量历史数据段中按照预设比例进行随机采样，得到对应的多个子数据集；将各所述子数据集按照时间依次输入至浅层网络进行多次轻量梯度更新，在每一次轻量梯度更新后，提取当前更新后浅层网络的输入键矩阵以及输出值矩阵，并将所述输入键矩阵与上一次轻量梯度更新后的输入键矩阵进行拼接，得到拼接键矩阵；基于所述浅层网络的当前权重矩阵的行空间基，将所述拼接键矩阵投影至所述权重矩阵的行空间中，对投影结果进行奇异值分解得到输入空间对齐正交矩阵；根据所述输入空间对齐正交矩阵计算得到的中间输出矩阵，以及输出值矩阵构建协方差矩阵，再对所述协方差矩阵进行奇异值分解，根据分解结果构建满足预设条件的输出空间校正正交矩阵；根据所述输出空间校正正交矩阵对所述浅层网络的当前权重矩阵进行更新，利用权重矩阵更新后的浅层网络再进行下一次的轻量梯度更新，直至满足预设条件，则得到适配当前交通流分布的拥堵预测模型；将实时道路车流量数据段输入至所述拥堵预测模型中，得到未来目标时间点的道路拥堵情况预测结果。 2.根据权利要求1所述的基于正交旋转的流式时序模型持续学习方法，其特征在于，所述时序基础模型采用Transformer架构；所述浅层网络为Transformer架构的前1至2层；所述深层网络为Transformer架构的第3层及之后所有层。 3.根据权利要求2所述的基于正交旋转的流式时序模型持续学习方法，其特征在于，所述输入空间对齐正交矩阵为，对所述投影结果执行奇异值分解，分解结果中的右奇异向量矩阵。 4.根据权利要求3所述的基于正交旋转的流式时序模型持续学习方法，其特征在于，根据所述输入空间对齐正交矩阵计算得到的中间输出矩阵，以及输出值矩阵构建协方差矩阵，包括：基于所述输入空间对齐正交矩阵以及权重矩阵，分别根据当前输入键矩阵与上一次轻量梯度更新后的输入键矩阵构建第一中间输出矩阵以及第二中间输出矩阵；根据所述第一中间输出矩阵、第二中间输出矩阵、当前输出值矩阵与上一次轻量梯度更新后的输出值矩阵构建所述协方差矩阵。 5.根据权利要求4所述的基于正交旋转的流式时序模型持续学习方法，其特征在于，所述协方差矩阵的奇异值分解结果构建满足预设条件的输出空间校正正交矩阵包括：所述协方差矩阵的奇异值分解结果包括左奇异向量矩阵与右奇异向量矩阵；所述输出空间校正正交矩阵通过所述左奇异向量矩阵与右奇异向量矩阵的转置相乘构建得到；所述预设条件包括：所述输出空间校正正交矩阵满足自身转置与自身相乘等于单位矩阵的正交约束；以及，所述输出空间校正正交矩阵需使得下述公式最小： ；在上式中， 表示所述输出空间校正正交矩阵， 和 分别表示所述第一中间输出矩阵、第二中间输出矩阵， 和 分别表示当前输出值矩阵与上一次轻量梯度更新后的输出值矩阵。 6.根据权利要求5所述的基于正交旋转的流式时序模型持续学习方法，其特征在于，在根据所述输出空间校正正交矩阵对所述浅层网络的当前权重矩阵进行更新时，采用以下公式： ；在上式中， 和 分别表示更新后的权重矩阵以及当前权重矩阵， 表示所述输出空间校正正交矩阵， 表示所述输入空间对齐正交矩阵的转置。 7.根据权利要求5所述的基于正交旋转的流式时序模型持续学习方法，其特征在于，在对所述浅层网络的当前权重矩阵更新前：对当前权重矩阵执行截断奇异值分解，根据前预设数量的最大奇异值对应的分量构建低秩近似矩阵；在将所述拼接键矩阵投影至所述权重矩阵的行空间中，以及对所述协方差矩阵进行奇异值分解时均基于所述低秩近似矩阵。 8.一种基于正交旋转的流式时序模型持续学习装置，其特征在于，所述装置包括：预训练时序基础模型获取模块，用于获取包括浅层与深层网络的预训练时序基础模型，并锁定深层网络的参数；子数据集获取模块，用于获取历史训练数据，其包括划分为多个时间窗口的道路车流量历史数据段，从各道路车流量历史数据段中按照预设比例进行随机采样，得到对应的多个子数据集；拼接键矩阵得到模块，用于将各所述子数据集按照时间依次输入至浅层网络进行多次轻量梯度更新，在每一次轻量梯度更新后，提取当前更新后浅层网络的输入键矩阵以及输出值矩阵，并将所述输入键矩阵与上一次轻量梯度更新后的输入键矩阵进行拼接，得到拼接键矩阵；输入空间对齐正交矩阵得到模块，用于基于所述浅层网络的当前权重矩阵的行空间基，将所述拼接键矩阵投影至所述权重矩阵的行空间中，对投影结果进行奇异值分解得到输入空间对齐正交矩阵；输出空间校正正交矩阵得到模块，用于根据所述输入空间对齐正交矩阵计算得到的中间输出矩阵，以及输出值矩阵构建协方差矩阵，再对所述协方差矩阵进行奇异值分解，根据分解结果构建满足预设条件的输出空间校正正交矩阵；拥堵预测模型得到模块，用于根据所述输出空间校正正交矩阵对所述浅层网络的当前权重矩阵进行更新，利用权重矩阵更新后的浅层网络再进行下一次的轻量梯度更新，直至满足预设条件，则得到适配当前交通流分布的拥堵预测模型；道路拥堵情况预测模块，用于将实时道路车流量数据段输入至所述拥堵预测模型中，得到未来目标时间点的道路拥堵情况预测结果。 9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。