1.一种无需元数据的常数空间数据压缩方法,其特征在于,所述方法包括:将获取的高维数据表示为向量,将所述向量的每个元素在向量存储区的数组偏移量作为坐标索引;根据所述坐标索引采用预设方法进行处理,对得到的处理结果通过取模运算,将坐标索引对应的向量映射到桶数组;所述桶数组包括多个桶,每个桶包括固定长度的多维向量;所述预设方法为:采用随机哈希函数,计算哈希值,或者采用向量存储区布局函数,根据向量的存储区布局直接检索数组所在索引;采用累积函数将所述桶数组中每个桶的向量元素的值累积到选择的桶;在查询时,根据查询向量坐标采用对应的所述预设方法进行处理,对得到的处理结果通过相同的取模运算,选择相同的桶数组;将选择的桶数组的值通过聚合函数进行处理,得到查询结果。
2.根据权利要求1所述的无需元数据的常数空间数据压缩方法,其特征在于,根据所述坐标索引采用预设方法进行处理,对得到的处理结果通过取模运算,将坐标索引对应的向量映射到桶数组,包括:对于向量各元素,采用随机哈希函数根据所述坐标索引计算哈希值,通过取模运算,选择1个或者k个桶数组,将向量映射到桶数组;其中k为大于0的整数;或者,对于向量各元素,采用向量存储区布局函数,根据向量的存储区布局直接检索数组所在索引,通过取模运算,选择1个或者k个桶数组,将向量映射到桶数组。
3.根据权利要求1所述的无需元数据的常数空间数据压缩方法,其特征在于,所述累积函数为:代数和或加权代数和。
4.根据权利要求1所述的无需元数据的常数空间数据压缩方法,其特征在于,所述聚合函数为:最小值、中间值、最大值或均值。
5.根据权利要求1所述的无需元数据的常数空间数据压缩方法,其特征在于,所述累积函数为智能累积函数;所述智能累积函数通过基于Transformer的编码器实现;所述编码器包括嵌入层、编码层以及压缩层;所述编码层包括多个Transformer 编码器层;每个编码器层包含多头自注意力机制和前馈神经网络;采用累积函数将所述桶数组中每个桶的向量元素的值累积到选择的桶,包括:将输入向量X通过嵌入层、编码层、压缩层转换,然后存储到桶的编码域;所述桶的编码域为: ; ; ;其中, 为桶的编码域,ReLU为激活函数, 为编码特征, 和 是压缩层的权重和偏置;其中, 为嵌入特征, 为输入向量X, 和 是嵌入层的权重和偏置, 为编码层;将输入向量X的各个元素,通过编码器转换,更新桶的编码域。
6.根据权利要求5所述的无需元数据的常数空间数据压缩方法,其特征在于,所述聚合函数为智能聚合函数;所述智能聚合函数通过解码器实现;所述解码器包括解码嵌入层、解码层以及解压层;所述解码层包括多个Transformer解码器层,每个Transformer解码器层包括多头自注意力机制和前馈神经网络;将选择的桶数组的值通过聚合函数进行处理,得到查询结果,包括:选择桶编码域,通过解码嵌入层、解码层、解压层转换,得到解码表示为: ; ; ;其中, 为解码表示, 为解码层输出特征, 和 是解压层的权重和偏置, 为解码嵌入层输出特征, 为桶的编码域, 和 是解码嵌入层的权重和偏置, 为解码层;将所述解码表示,整理为向量形式,得到查询结果;其中查询结果中向量的各个元素的顺序和插入到桶的顺序序列一致。
7.根据权利要求1所述的无需元数据的常数空间数据压缩方法,其特征在于,当多维向量的维度为1时则坍塌为1个计数值;当多维向量的维度大于1时,则表示插入到桶的向量的细粒度信息;桶的数量代表了需要压缩的目标大小。
8.一种无需元数据的常数空间数据压缩装置,其特征在于,所述装置包括:数据表示模块,用于将获取的高维数据表示为向量,将所述向量的每个元素在向量存储区的数组偏移量作为坐标索引;压缩模块,用于根据所述坐标索引采用预设方法进行处理,对得到的处理结果通过取模运算,将坐标索引对应的向量映射到桶数组;所述桶数组包括多个桶,每个桶包括固定长度的多维向量;所述预设方法为:采用随机哈希函数,计算哈希值,或者采用向量存储区布局函数,根据向量的存储区布局直接检索数组所在索引;采用累积函数将所述桶数组中每个桶的向量元素的值累积到选择的桶;查询模块,用于在查询时,根据查询向量坐标采用对应的所述预设方法进行处理,对得到的处理结果通过相同的取模运算,选择相同的桶数组;将选择的桶数组的值通过聚合函数进行处理,得到查询结果。
9.根据权利要求8所述的无需元数据的常数空间数据压缩装置,其特征在于,压缩模块,还用于对于向量各元素,采用随机哈希函数根据所述坐标索引计算哈希值,通过取模运算,选择1个或者k个桶数组,将向量映射到桶数组;其中k为大于0的整数;或者,对于向量各元素,采用向量存储区布局函数,根据向量的存储区布局直接检索数组所在索引,通过取模运算,选择1个或者k个桶数组,将向量映射到桶数组。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的无需元数据的常数空间数据压缩方法。