1.一种基于多模态时序信息融合的工程进度确定方法,其特征在于,包括:获取当前工程进度信息,以及与各所述工程进度信息对应的历史工程进度信息;分别根据各所述当前工程进度信息,以及与各所述当前工程进度信息对应的历史工程进度信息确定各时序工程特征;将各所述时序工程特征输入至基于维度解耦的多模态融合模块中,得到融合后的多模态时序信息;根据所述融合后的多模态时序信息确定当前工程进度;其中,所述当前工程进度信息包括:工地图像信息、工地人员构成信息以及工地建材仓储信息中的至少两项;所述时序工程特征包括:时序工地图像信息、时序工地人员构成信息以及时序工地建材仓储信息中的至少两项;其中,所述分别根据各所述当前工程进行信息当前工程进度信息,以及与各所述当前工程进度信息对应的历史工程进度信息确定各时序工程特征,包括:按照时间先后顺序将所述当前工程进度信息以及与所述当前工程进度信息对应的历史工程进度信息进行排序,得到时序工程进度信息;将所述时序工程进度信息输入至时序工程特征提取模块中进行特征提取,得到所述时序工程特征;所述根据所述融合后的多模态时序信息确定当前工程进度,包括:将所述融合后的多模态时序信息展开为一个一维向量;将所述一维向量输入至分类器中,得到当前工程进度;其中,将所述时序工程进度信息输入至时序工程特征提取模块中进行特征提取,得到所述时序工程特征的过程中,对于任一模态的输入X,所述时序工程特征提取模块具体进行以下操作: ; ; ; ; ;其中,W_K, W_Q, W_V均为学习的参数矩阵,d_k为K的特征维度数量,LN()为层正则化操作,Linear()为带偏置的线性层;Softmax()和Tanh()均为对应的激活函数;在将各所述时序工程特征输入至基于维度解耦的多模态融合模块中,得到融合后的多模态时序信息的过程中,所述基于维度解耦的多模态融合模块对三个模态的输入X1,X2和X3的具体操作步骤为: ; ; ; ; ; ; ; ;其中,Concat()为矩阵拼接函数,reshape()为矩阵元素重排列函数,ReLU()为相应激活函数,Bias为可学习的归纳偏执向量;M、L、D分别为各模态的时序工程特征;所述将各所述时序工程特征输入至基于维度解耦的多模态融合模块中,得到融合后的多模态时序信息,包括:通过所述基于维度解耦的多模态融合模块将各所述时序工程特征组合为一个三维空间张量;对所述三维空间张量进行维度解耦,并在解耦后的三维空间张量中得到多模态时序信息。
2.根据权利要求1所述的方法,其特征在于,所述将所述时序工程进度信息输入至时序工程特征提取模块中进行特征提取,得到所述时序工程特征,包括:时序工程特征提取模块基于自注意力机制捕获所述时序工程进度信息中满足时序差异阈值的信息,并为所述信息分配目标权重;根据各所述目标权重得到所述时序工程特征。
3.根据权利要求1所述的方法,其特征在于,在得到融合后的多模态时序信息之前,还包括:将基于维度解耦的多模态融合模块的输出结果继续输入至下一个基于维度解耦的多模态融合模块中,直至满足预设停止条件为止。
4.根据权利要求1所述的方法,其特征在于,所述融合后的多模态时序信息为一个三维张量。
5.一种基于多模态时序信息融合的工程进度确定装置,其特征在于,包括:获取模块,用于获取当前工程进度信息,以及与各所述工程进度信息对应的历史工程进度信息;时序工程特征确定模块,用于分别根据各所述当前工程进度信息,以及与各所述当前工程进度信息对应的历史工程进度信息确定各时序工程特征;多模态时序信息确定模块,用于将各所述时序工程特征输入至基于维度解耦的多模态融合模块中,得到融合后的多模态时序信息;当前工程进度确定模块,用于根据所述融合后的多模态时序信息确定当前工程进度;其中,所述当前工程进度信息包括:工地图像信息、工地人员构成信息以及工地建材仓储信息中的至少两项;所述时序工程特征包括:时序工地图像信息、时序工地人员构成信息以及时序工地建材仓储信息中的至少两项;其中,所述时序工程特征确定模块,具体用于按照时间先后顺序将所述当前工程进度信息以及与所述当前工程进度信息对应的历史工程进度信息进行排序,得到时序工程进度信息;将所述时序工程进度信息输入至时序工程特征提取模块中进行特征提取,得到所述时序工程特征;所述当前工程进度确定模块,具体用于将所述融合后的多模态时序信息展开为一个一维向量;将所述一维向量输入至分类器中,得到当前工程进度;其中,对于任一模态的输入X,所述时序工程特征提取模块具体进行以下操作: ; ; ; ; ;其中,W_K, W_Q, W_V均为学习的参数矩阵,d_k为K的特征维度数量,LN()为层正则化操作,Linear()为带偏置的线性层;Softmax()和Tanh()均为对应的激活函数;所述基于维度解耦的多模态融合模块对三个模态的输入X1,X2和X3的具体操作步骤为: ; ; ; ; ; ; ; ;其中,Concat()为矩阵拼接函数,reshape()为矩阵元素重排列函数,ReLU()为相应激活函数,Bias为可学习的归纳偏执向量;M、L、D分别为各模态的时序工程特征;所述多模态时序信息确定模块,具体用于通过所述基于维度解耦的多模态融合模块将各所述时序工程特征组合为一个三维空间张量;对所述三维空间张量进行维度解耦,并在解耦后的三维空间张量中得到多模态时序信息。
6. 一种电子设备,其特征在于,所述电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4中任一项所述的基于多模态时序信息融合的工程进度确定方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-4中任一项所述的基于多模态时序信息融合的工程进度确定方法。