1.一种可解释的跨媒体智能体决策路径追踪方法,其特征在于,所述方法包括:接收目标任务对应的待决策数据,提取所述待决策数据的数据特征,得到待决策特征,所述待决策特征包括待决策文本特征、待决策图像特征和待决策音频特征;通过所述决策注意力机制中稀疏注意力确定所述待决策文本特征、所述待决策图像特征和所述待决策音频特征之间的关联度,基于所述关联度生成初始待决策权重矩阵;通过可解释性约束对所述初始待决策权重矩阵进行显著性分析,得到所述待决策文本特征、所述待决策图像特征和所述待决策音频特征分别对应的待决策权重,通过已训练的跨模态数据融合模型和所述待决策权重处理所述待决策特征,得到融合特征,并基于所述融合特征确定所述目标任务的分类标签;按照处理顺序逐步记录得到所述融合特征的融合过程和得到所述分类标签的分类过程,将所述融合过程和所述分类过程确定为处理过程;将所述处理过程按照所述处理顺序逐步同步至可视化决策路径中,并通过所述可视化决策路径显示每步所述处理过程对应的输入数据、输出数据和处理方式,其中,所述可视化决策路径为通过图结构构建得到,所述图结构的边表示处理过程中的数据流向、处理方式和处理权重,所述图结构的每一节点对应每步处理过程,所述处理权重基于待决策权重和所述目标任务得到。
2.根据权利要求1所述的方法,其特征在于,所述待决策数据包括文本数据、图像数据和音频数据;所述提取所述待决策数据的数据特征,得到待决策特征,包括:通过预训练的词向量模型将文本数据映射为低维语义向量,得到文本数据对应的待决策特征;通过卷积神经网络提取所述图像数据的局部特征和全局特征,将所述局部特征和所述全局特征确定为所述图像数据对应的待决策特征;通过短时傅里叶变换处理所述音频数据,生成所述音频数据对应的频谱图,并通过循环神经网络提取所述频谱图的特征,得到所述音频数据对应的待决策特征。
3.根据权利要求1所述的方法,其特征在于,在所述基于所述融合特征确定所述目标任务的分类标签之后,还包括:实时监测所述待决策数据的统计特征,在所述统计特征发生变化的情况下,确定与已更新的所述待决策数据之间的数据相似度超过预设数据相似度阈值的历史待决策数据,并接收所述历史待决策数据对应的历史分类标签,所述统计特征包括方差、均值、分布中的至少一项;对比所述历史分类标签和当前所述待决策数据对应的所述分类标签,当所述历史分类标签与当前所述分类标签之间的标签相似度小于预设标签相似度的情况下,调整所述可视化决策路径,并基于已调整的所述可视化决策路径更新当前所述分类标签。
4.根据权利要求1所述的方法,其特征在于,在所述基于所述融合特征确定所述目标任务的分类标签之后,还包括:确定所述分类标签的置信度,在所述置信度小于预设置信度阈值的情况下,回溯所述融合过程中通过决策注意力机制确定所述待决策特征的待决策权重的步骤,得到已更新的所述待决策权重;基于已更新的所述待决策权重,通过梯度反向传播方式调整所述跨模态数据融合模型的模型参数,并基于已更新的所述模型参数同步更新所述可视化决策路径中对应的所述节点的所述处理过程。
5.根据权利要求1所述的方法,其特征在于,所述通过所述可视化决策路径显示每步所述处理过程对应的输入数据、输出数据和处理方式,包括:基于每个所述节点对应的所述输出数据生成对应的自然语言描述,并将所述自然语言描述显示至终端设备的显示屏幕上;检测到所述边对应的所述处理权重的变化量超过预设变化阈值的情况下,高亮显示所述边对应的所述可视化决策路径,并显示所述变化量的变化原因。
6.根据权利要求1所述的方法,其特征在于,在所述通过所述可视化决策路径显示每步所述处理过程对应的输入数据、输出数据和处理方式之后,还包括:接收对所述分类标签的修正操作,将所述修正操作转化为所述可视化决策路径中的奖励信号;基于近端策略优化方式调整所述可视化决策路径的更新策略,并在累计的所述奖励信号达到预设奖励阈值的情况下,基于已调整的所述更新策略更新所述跨模态数据融合模型。
7.一种可解释的跨媒体智能体决策路径追踪装置,其特征在于,所述装置包括:提取模块,用于接收目标任务对应的待决策数据,提取所述待决策数据的数据特征,得到待决策特征,所述待决策特征包括待决策文本特征、待决策图像特征和待决策音频特征;分类模块,用于通过所述决策注意力机制中稀疏注意力确定所述待决策文本特征、所述待决策图像特征和所述待决策音频特征之间的关联度,基于所述关联度生成初始待决策权重矩阵;通过可解释性约束对所述初始待决策权重矩阵进行显著性分析,得到所述待决策文本特征、所述待决策图像特征和所述待决策音频特征分别对应的待决策权重,通过已训练的跨模态数据融合模型和所述待决策权重处理所述待决策特征,得到融合特征,并基于所述融合特征确定所述目标任务的分类标签;处理模块,用于按照处理顺序逐步记录得到所述融合特征的融合过程和得到所述分类标签的分类过程,将所述融合过程和所述分类过程确定为处理过程;决策模块,用于将所述处理过程按照所述处理顺序逐步同步至可视化决策路径中,并通过所述可视化决策路径显示每步所述处理过程对应的输入数据、输出数据和处理方式,其中,所述可视化决策路径为通过图结构构建得到,所述图结构的边表示处理过程中的数据流向、处理方式和处理权重,所述图结构的每一节点对应每步处理过程,所述处理权重基于待决策权重和所述目标任务得到。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至6任一项所述的一种可解释的跨媒体智能体决策路径追踪方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6任一项所述的一种可解释的跨媒体智能体决策路径追踪方法的步骤。