1.一种基于隐表示的非完整多模态深度聚类方法,其特征在于,所述方法包括:获取多模态数据、模态缺失指示向量以及划分类别数;所述多模态数据包括 N 个样本的 V 个模态数据;所述模态缺失指示向量用于指示样本的第 v 模态缺失或可见;初始化 N 个样本的隐表示,利用 V 个神经网络分别将各样本的隐表示映射到对应模态的特征空间,得到样本各模态的重构数据表示,根据模态缺失指示向量获取各样本的缺失模态,利用缺失模态的重构数据表示对缺失模态数据进行补全,根据各样本的可见模态数据和补全后的缺失模态数据得到完整多模态数据;对完整多模态数据中各模态数据和各样本隐表示的线性核矩阵进行核对齐,对各模态的核对齐损失进行加权融合得到数据对齐损失;根据各重构数据表示和对应模态数据间的距离构建数据重构损失,根据所述数据重构损失和所述数据对齐损失得到总损失函数;对所述总损失函数进行优化,利用优化后的各样本的隐表示进行聚类,得到各划分类别的数据标签;所述根据各重构数据表示和对应模态数据间的距离构建数据重构损失包括:根据各重构数据表示和对应模态数据间的距离构建数据重构损失为: ;其中, 为数据重构损失, 为样本个数, 为模态数量, 为第 个样本的可见模态数量, 为模态缺失指示向量, 为第 个样本的第 模态数据的重构数据表示, 为第 个样本的第 模态数据, 为欧几里得距离;对完整多模态数据中各模态数据和各样本隐表示的线性核矩阵进行核对齐包括:计算完整多模态数据中各样本隐表示的线性核矩阵,得到隐表示核矩阵;计算完整多模态数据中各模态的线性核矩阵,得到各模态对应的模态核矩阵;通过最大化隐表示核矩阵与各模态核矩阵的相似度进行核矩阵对齐;所述重构数据表示为: ;其中, 为第 个样本第 模态的重构数据表示, 为第 个样本的隐表示, 表示第 个神经网络的参数。
2.根据权利要求1述的方法,其特征在于,对各模态的核对齐损失进行加权融合得到数据对齐损失包括:对各模态的核对齐损失进行加权融合得到数据对齐损失为: ;其中, 为数据对齐损失, 为第 个模态的权重, 为第 个模态的核齐损失。
3.根据权利要求1所述的方法,其特征在于,对所述总损失函数进行优化包括:对数据重构损失和数据对齐损失进行优化,得到优化后的神经网络参数、各样本的隐表示和各模态的权重参数。
4.根据权利要求1所述的方法,其特征在于,所述总损失函数为: ;其中, 为总损失函数, 为数据重构损失, 为数据对齐损失, 为超参数。
5.一种实施于如权利要求1-4任一项所述方法的基于隐表示的非完整多模态深度聚类装置,其特征在于,所述装置包括:数据获取模块,用于获取多模态数据、模态缺失指示向量以及划分类别数;所述多模态数据包括 N 个样本的 V 个模态数据;所述模态缺失指示向量用于指示样本的第 v 模态缺失或可见;数据重构模块,用于初始化 N 个样本的隐表示,利用 V 个神经网络分别将各样本的隐表示映射到对应模态的特征空间,得到样本各模态的重构数据表示,根据模态缺失指示向量获取各样本的缺失模态,利用缺失模态的重构数据表示对缺失模态数据进行补全,根据各样本的可见模态数据和补全后的缺失模态数据得到完整多模态数据;数据对齐模块,用于对完整多模态数据中各模态数据和各样本隐表示的线性核矩阵进行核对齐,对各模态的核对齐损失进行加权融合得到数据对齐损失;损失构建模块,用于根据各重构数据表示和对应模态数据间的距离构建数据重构损失,根据所述数据重构损失和所述数据对齐损失得到总损失函数;结果输出模块,用于对所述总损失函数进行优化,利用优化后的各样本的隐表示进行聚类,得到各划分类别的数据标签。
6.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。