有效

基于隐表示的非完整多模态深度聚类方法、装置和计算机设备

刘吉元、汪睿祺、钱嘉宝、鞠儒生、胡星辰、许凯、尹全军
中国人民解放军国防科技大学

摘要

本申请涉及一种基于隐表示的非完整多模态深度聚类方法、装置和计算机设备。方法包括:分别将各样本的隐表示映射到对应模态的特征空间得到样本各模态的重构数据表示,根据模态缺失指示向量获取各样本的缺失模态,利用缺失模态的重构数据表示对缺失模态数据进行补全,以得到完整多模态数据;对完整多模态数据中各模态数据和各样本隐表示的线性核矩阵进行核对齐,根据各模态的核对齐损失得到数据对齐损失;根据各重构数据表示和对应模态数据间的距离构建数据重构损失,优化数据重构损失和数据对齐损失,利用优化后的各样本的隐表示进行聚类得到各划分类别的数据标签。采用本方法能够提高非完整多模态深度聚类的效率与准确性。