有效

基于多模态特征和对比学习的语音情感识别方法及装置

谭真、张俊丰、赵翔、唐九阳、王俞涵、吴菲、葛斌
中国人民解放军国防科技大学

摘要

本申请涉及一种基于多模态特征和对比学习的语音情感识别方法及装置。所述方法包括:构建的语音情感识别模型,利用Fast RCNN预处理模型、双向GRU模型以及进行3D卷积网络特征提取,得到语音情感特、文本情感特征和高级情感特征;根据对比学习方法进行情感特征增强表示,将增强后的情感特征进行拼接,然后解码输出情感类别的概率分布;根据情感类别的概率分布和标注的真实情感类别标签构建交叉熵损失函数,利用交叉熵损失函数和对比学习中的损失函数对预先构建的语音情感识别模型进行训练,根据训练好的语音情感识别模型对待识别的语音视频数据进行语音情感识别。采用本方法能够提高语音情感识别准确率。