1.一种基于双流特征表示学习的多模态推荐方法,其特征是,包括:对于多个物品中的每一个物品,将所述物品对应的多种模态的原始模态特征分别映射到模态对齐的空间和模态特有的空间,在所述模态对齐的空间内得到每一个所述模态对应的模态对齐特征,在所述模态特有的空间内得到每一个所述模态对应的模态唯一特征;基于所述模态对齐特征构建第一跨模态物品-物品图,并获取第一增强物品模态特征表示,以及基于所述模态唯一特征构建第二跨模态物品-物品图,并获取每个所述模态对应的第二增强物品模态特征表示;在用户-物品历史交互图上使用用户偏好特征、所述第一增强物品模态特征表示和所述第二增强物品模态特征表示执行图卷积操作,得到第一用户特征表示、第一物品特征表示、第二用户特征表示和每个所述模态对应的第二物品特征表示,所述用户-物品历史交互图基于用户和物品的交互历史数据生成,所述用户偏好特征通过随机初始化得到;基于用户融合特征和物品融合特征进行预测,得到推荐结果,所述用户融合特征为所述第一用户特征表示和所述第二用户特征表示融合得到,所述物品融合特征为所述第一物品特征表示和所述第二物品特征表示融合得到。
2.如权利要求1所述的方法,其特征是,所述基于所述模态对齐特征构建第一跨模态物品-物品图,并获取第一增强物品模态特征表示,包括:基于所述模态对应的所述模态对齐特征计算任意两个所述物品之间的语义相似度,得到第一语义相似度矩阵;将所述第一语义相似度矩阵转换为第一物品-物品关系图边值矩阵,得到所述模态对应的第一单模态图;将多个所述模态对应的第一单模态图的边进行聚合,得到所述第一跨模态物品-物品图;将所述第一跨模态物品-物品图输入图卷积模块进行处理,得到第一增强物品模态特征表示。
3.如权利要求1所述的方法,其特征是,所述基于所述模态唯一特征构建第二跨模态物品-物品图,并获取每个所述模态对应的第二增强物品模态特征表示,包括:基于所述模态对应的所述模态唯一特征计算任意两个所述物品之间的语义相似度,得到第二语义相似度矩阵;将所述第二语义相似度矩阵转换为第二物品-物品关系图边值矩阵,得到所述模态对应的第二单模态图;在多个所述模态对应的第二单模态图的基础上确定多个所述模态间节点之间的连接,得到所述第二跨模态物品-物品图;将所述第二跨模态物品-物品图输入图卷积模块进行处理,得到每个所述模态对应的第二增强物品模态特征表示。
4.如权利要求3所述的方法,其特征是,所述在多个所述模态对应的第二单模态图的基础上构建模态间节点之间的连接,得到所述第二跨模态物品-物品图,包括:使用余弦相似度和top-n策略构建多个所述模态间节点的连接;基于多个所述模态间节点的连接和所述多个所述模态对应的第二单模态图确定跨模态物品-物品图的边矩阵;基于所述跨模态物品-物品图的边矩阵生成所述第二跨模态物品-物品图。
5.如权利要求1所述的方法,其特征是,所述在用户-物品历史交互图上使用用户偏好特征、所述第一增强物品模态特征表示和每个所述模态对应的所述第二增强物品模态特征表示执行图卷积操作,得到第一用户特征表示、第一物品特征表示、第二用户特征表示和每个所述模态对应的第二物品特征表示,包括:基于用户和物品的交互历史数据生成用户-物品历史交互图,并随机初始化得到用户偏好特征,所述用户偏好特征包括用户对齐特征和每个所述模态对应的用户唯一特征;在所述用户-物品历史交互图上使用所述用户对齐特征和所述第一增强物品模态特征表示执行图卷积操作,得到所述第一用户特征表示和所述第一物品特征表示;在所述用户-物品历史交互图上使用所述模态对应的用户唯一特征和所述模态对应的第二增强物品模态特征表示执行图卷积操作,得到每个所述模态对应的所述第二用户特征表示和每个所述模态对应的所述第二物品特征表示。
6.如权利要求1所述的方法,其特征是,所述基于用户融合特征和物品融合特征进行预测,得到推荐结果,包括:将所述第一用户特征表示和所述第二用户特征表示输入多头注意力特征融合模块进行融合处理,得到所述用户融合特征,以及将所述第一物品特征表示和所述第二物品特征表示输入所述多头注意力特征融合模块进行融合处理,得到所述物品融合特征;基于所述用户融合特征和每一个所述物品的所述物品融合特征计算每一个所述物品对应的预测分数;基于所述预测分数确定为推荐结果。
7.如权利要求6所述的方法,其特征是,所述基于所述预测分数确定为推荐结果,包括:将所述预测分数按降序排列在前K个的物品确定为所述推荐结果。
8.一种基于双流特征表示学习的多模态推荐装置,其特征是,包括:映射模块,用于对于多个物品中的每一个物品,将所述物品对应的多种模态的原始模态特征分别映射到模态对齐的空间和模态特有的空间,在所述模态对齐的空间内得到每一个所述模态对应的模态对齐特征,在所述模态特有的空间内得到每一个所述模态对应的模态唯一特征;处理模块,用于基于所述模态对齐特征构建第一跨模态物品-物品图,并获取第一增强物品模态特征表示,以及基于所述模态唯一特征构建第二跨模态物品-物品图,并获取每个所述模态对应的第二增强物品模态特征表示;学习模块,用于在用户-物品历史交互图上使用用户偏好特征、所述第一增强物品模态特征表示和所述第二增强物品模态特征表示执行图卷积操作,得到第一用户特征表示、第一物品特征表示、第二用户特征表示和每个所述模态对应的第二物品特征表示,所述用户-物品历史交互图基于用户和物品的交互历史数据生成,所述用户偏好特征通过随机初始化得到;预测模块,用于基于用户融合特征和物品融合特征进行预测,得到推荐结果,所述用户融合特征为所述第一用户特征表示和所述第二用户特征表示融合得到,所述物品融合特征为所述第一物品特征表示和所述第二物品特征表示融合得到。
9.一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;其特征是,所述处理器,用于读取存储器中的程序实现如权利要求1至7中任一项所述的基于双流特征表示学习的多模态推荐方法中的步骤。
10.一种可读存储介质,用于存储程序,其特征是,所述程序被处理器执行时实现如权利要求1至7中任一项所述的基于双流特征表示学习的多模态推荐方法中的步骤。