一种多模态数据处理方法及终端

1.一种多模态数据处理方法，其特征在于，包括步骤：获取混合数据，所述混合数据包括图像数据以及文本数据；根据预设的符号表获取所述文本数据对应的文本编码；将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码；将所述文本编码与所述图像编码合并处理后输入嵌入层网络进行维度变换，得到嵌入特征；所述符号表包括文字符号名称与第一编码；所述根据预设的符号表获取所述文本数据对应的文本编码包括：根据所述文本数据中每一个文字对所述文字符号名称进行检索，确定每一个所述文字对应的第一编码，并将所述文本数据对应的所有第一编码以数组格式进行存储，得到文本编码；所述符号表包括图像哈希符号名称与第二编码；所述将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码包括：将所述图像数据进行预处理，得到多个待处理图像；将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据；将所述多个指纹数据分别转换为字符数据，根据所述字符数据中每一个字符对所述图像哈希符号名称进行检索，确定每一个所述字符数据对应的第二编码，并将所述第二编码以数组格式进行存储，得到图像编码。 2.根据权利要求1所述的一种多模态数据处理方法，其特征在于，所述将所述图像数据进行预处理，得到多个待处理图像具体为：将所述图像数据根据预设比例进行缩放，得到预处理图像；将所述预处理图像根据预设大小进行分割，得到多个待处理图像；所述将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据具体为：将所述待处理图像缩小为预设尺寸，并转换为灰度图像，计算灰度阈值以及所述灰度图像中每一个像素对应的灰度值；将所述灰度值与所述灰度阈值比较，若所述灰度值大于或等于所述灰度阈值，则所述灰度值对应的像素的标记号为1；若所述灰度值小于灰度阈值，则所述灰度值对应的像素的标记号为0，得到所述待处理图像的指纹数据。 3.根据权利要求2所述的一种多模态数据处理方法，其特征在于，所述计算灰度阈值具体为：A=0.9A’×A’+0.99A’；其中，A为灰度阈值，A’为所述灰度图像的灰度平均值。 4.一种多模态数据处理终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：获取混合数据，所述混合数据包括图像数据以及文本数据；根据预设的符号表获取所述文本数据对应的文本编码；将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码；将所述文本编码与所述图像编码合并处理后输入嵌入层网络进行维度变换，得到嵌入特征；所述符号表包括文字符号名称与第一编码；所述根据预设的符号表获取所述文本数据对应的文本编码包括：根据所述文本数据中每一个文字对所述文字符号名称进行检索，确定每一个所述文字对应的第一编码，并将所述文本数据对应的所有第一编码以数组格式进行存储，得到文本编码；所述符号表包括图像哈希符号名称与第二编码；所述将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码包括：将所述图像数据进行预处理，得到多个待处理图像；将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据；将所述多个指纹数据分别转换为字符数据，根据所述字符数据中每一个字符对所述图像哈希符号名称进行检索，确定每一个所述字符数据对应的第二编码，并将所述第二编码以数组格式进行存储，得到图像编码。 5.根据权利要求4所述的一种多模态数据处理终端，其特征在于，所述将所述图像数据进行预处理，得到多个待处理图像具体为：将所述图像数据根据预设比例进行缩放，得到预处理图像；将所述预处理图像根据预设大小进行分割，得到多个待处理图像；所述将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据具体为：将所述待处理图像缩小为预设尺寸，并转换为灰度图像，计算灰度阈值以及所述灰度图像中每一个像素对应的灰度值；将所述灰度值与所述灰度阈值比较，若所述灰度值大于或等于所述灰度阈值，则所述灰度值对应的像素的标记号为1；若所述灰度值小于灰度阈值，则所述灰度值对应的像素的标记号为0，得到所述待处理图像的指纹数据。 6.根据权利要求5所述的一种多模态数据处理终端，其特征在于，所述计算灰度阈值具体为：A=0.9A’×A’+0.99A’；其中，A为灰度阈值，A’为所述灰度图像的灰度平均值。