1.一种多模态大模型构建方法,其特征在于,包括:获取多模态数据,所述多模态数据包括语音数据、文本数据、图像数据、音频数据和视频数据中的至少两种;将所述多模态数据进行预处理和转换,融合转换后的多模态数据;生成基于融合后的多模态数据的大模型训练语料;对所述训练语料进行特征提取与分析,将提取的特征与当前特征库进行对比,迭代更新优化当前特征库的内容;基于提取的特征构建提示内容,并对所述提示内容进行编码和大模型嵌入;封装并部署应用大模型;其中,所述对所述提示内容进行编码和大模型嵌入,具体包括:通过词级的语义压缩大模型对提示内容数据进行压缩,采用低秩权重矩阵分解大模型,将提示内容数据的目标权重矩阵表示为稀疏系数矩阵和密集权重矩阵;将压缩后的提示内容数据和对所述多模态数据预处理得到的已编码文本数据输入至大模型的嵌入层;所述对所述训练语料进行特征提取与分析,将提取的特征与当前特征库进行对比,迭代更新优化当前特征库的内容,具体包括:对结构数据和非结构数据提取特征;当当前特征库中不存在提取的特征时,对提取的特征进行编码并添加提取的特征到当前特征库中。
2.根据权利要求1所述的多模态大模型构建方法,其特征在于,所述获取多模态数据,具体包括:多模态数据获取渠道初始化;获取数据采集装置所采集的多模态数据,和/或,获取自客户终端传输的多模态数据。
3.根据权利要求1所述的多模态大模型构建方法,其特征在于,所述多模态数据包括语音数据、文本数据、图像数据、音频数据和视频数据。
4.根据权利要求3所述的多模态大模型构建方法,其特征在于,所述将所述多模态数据进行预处理和转换,具体包括:对所述多模态数据进行清洗和格式转换;对所述视频数据进行语音图像分离,获得分离后的视频语音数据和视频图像数据;对文本数据进行预处理;对图像数据和视频图像数据进行标准化调整处理。
5.根据权利要求4所述的多模态大模型构建方法,其特征在于,所述将所述多模态数据进行预处理和转换,还包括:提取所述语音数据和视频语音数据特征,得到语音特征;将所述语音特征输入语音识别卷积神经网络得到输出文本数据;将所述输出文本数据序列通过连接时序分类方法与所述语音特征序列对齐;将所述输出文本数据经全连接层组合后,输出至分类函数计算得分得到语音文本数据。
6.根据权利要求4所述的多模态大模型构建方法,其特征在于,所述将所述多模态数据进行预处理和转换,还包括:获取图像数据和视频图像数据的图像特征序列;通过基于时空和长距离依赖特征的蒸馏扩散深度融合大模型得到图像语义表示;通过连接时序分类和全连接层将图像语义进行输出。
7.根据权利要求6所述的多模态大模型构建方法,其特征在于,所述通过基于时空和长距离依赖特征的蒸馏扩散深度融合大模型得到图像语义表示,具体包括:蒸馏扩散深度融合大模型训练好后,将教师模型引入一个时间和空间连续的学生模型,得到与教师模型具有相同参数的学生模型;将蒸馏大模型转为离散时间步且步数短的学生模型,重复进行上述步骤,直到将教师模型蒸馏为学生模型的一半步数。
8.根据权利要求1所述的多模态大模型构建方法,其特征在于,还包括:获取历史多模态数据,将历史多模态数据向量化处理后映射于同一向量空间进行迁移学习。
9.根据权利要求1所述的多模态大模型构建方法,其特征在于,所述生成基于融合后的多模态数据的大模型训练语料,具体包括:根据数据训练类型,生成监督学习、半监督学习和无监督学习类型的大模型训练语料。
10.根据权利要求1所述的多模态大模型构建方法,其特征在于,所述部署应用所述大模型,包括:获取大模型服务申请;审核授权后,将接口与大模型进行对接,调用大模型;对大模型在使用过程中的性能和状态进行实时监控,记录调用数据和性能数据。
11.一种多模态大模型构建系统,其特征在于,包括:数据获取模块,其被配置为获取多模态数据,所述多模态数据包括语音数据、文本数据、图像数据、音频数据和视频数据中的至少两种;数据处理模块,其被配置为将所述多模态数据进行预处理和转换,融合转换后的多模态数据;语料生成模块,其被配置为生成基于融合后的多模态数据的大模型训练语料;特征库构建模块,其被配置为对所述训练语料进行特征提取与分析,将提取的特征与当前特征库进行对比,迭代更新优化特征库的内容;基于提取的特征构建提示内容,并对所述提示内容进行编码和大模型嵌入;基于所述提示内容对大模型进行训练调整;所述基于提取的特征构建提示内容,并对所述提示内容进行编码和大模型嵌入,具体包括:通过词级的语义压缩大模型对提示内容数据进行压缩,采用低秩权重矩阵分解大模型,将提示内容数据的目标权重矩阵表示为稀疏系数矩阵和密集权重矩阵;将压缩后的提示内容数据和对所述多模态数据预处理得到的已编码文本数据输入至大模型的嵌入层;所述对所述训练语料进行特征提取与分析,将提取的特征与当前特征库进行对比,迭代更新优化当前特征库的内容,具体包括:对结构数据和非结构数据提取特征;当当前特征库中不存在提取的特征时,对提取的特征进行编码并添加提取的特征到当前特征库中;大模型应用模块,其被配置为封装并部署应用所述大模型。
12.一种制冷设备,其特征在于,包括:存储器,用于存储可执行指令;处理器,用于运行所述存储器存储的可执行指令时,实现权利要求1至10任一项所述的多模态大模型构建方法。
13.一种存储介质,其存储有可执行指令,其特征在于,所述可执行指令被处理器执行时实现权利要求1至10任一项所述的多模态大模型构建方法。