一种基于大数据平台的高维天气预报数据降维方法

1.一种基于大数据平台的高维天气预报数据降维方法，其特征在于，包括以下步骤：步骤1，构建大数据平台，获取多源气象数据；步骤2，通过所述大数据平台进行所述多源气象数据的融合，形成数值天气预报数据；步骤3，对所述数值天气预报数据进行数据预处理；步骤4，进行所述数值天气预报数据的维度筛选；步骤5，对所述高维天气预报数据进行降维；所述步骤5，对所述高维天气预报数据进行降维，具体包括：步骤5-1，将所述高维天气预报数据的每一维度减去该维度的均值，进行样本矩阵中心化，得到高维天气预报数据中心化矩阵X m×n ；步骤5-2，计算维度协方差矩阵；步骤5-3，计算所述维度协方差矩阵的特征向量和特征值；步骤5-4，选择最大的k个特征值对应的k个特征向量分别作为列向量组成特征向量矩阵V n×k ；其中，最大的k个特征值表示主成分的个数，数量k的选择由特征值贡献率确定；步骤5-5，计算对所述高维天气预报数据降维的结果Y＝V n×k T ×X m×n ；其中，所述步骤5-2，计算维度的协方差矩阵，具体包括：步骤5-2-1，从所述高维天气预报数据中选择多个维度样本子集；步骤5-2-2，为每个样本子集中的每个样本提取d维特征向量，其中所述特征向量包括指向相应样本和样本属性的索引；步骤5-2-3，将每个样本子集的特征向量组合成d×d的特征向量协方差矩阵，作为相应样本子集的描述符；所述特征向量协方差矩阵 其中，p表示子集中的样本个数，V表示特征向量，μ是特征均值，T表示转置；步骤5-2-4，确定每一对特征向量协方差矩阵之间的成对距离值，以测量样本子集之间的相似度；所述距离值 其中，λ i (C1，C2)，i＝1,…p是两个协方差矩阵C1和C2的广义特征值；步骤5-2-5，定义距离阈值，筛选符合条件的成对协方差距离；步骤5-2-6，根据成对协方差距离值构造d×d维的距离矩阵；步骤5-2-7，并将所述距离矩阵作为高维天气预报数据维度协方差矩阵。 2.根据权利要求1所述的方法，其中，所述步骤2，通过所述大数据平台进行所述多源气象数据的融合，形成数值天气预报数据，具体包括：步骤2-1，为每类气象数据分配初始权重；步骤2-2，基于权重的分布，对每类气象数据样本进行采样；步骤2-3，为每类气象数据并行地迭代训练弱分类器；步骤2-4，选择具有最低训练误差率的样本所对应的弱分类器，并根据该迭代的最低训练误差率计算与所选择的弱分类器相关联的组合权重值；步骤2-5，为每类气象数据分配更新权重，更新后的权重分布对应最低训练误差率的迭代函数；步骤2-6，重复所述步骤2-2至2-5，执行预定次数的迭代；步骤2-7，形成最终分类器，所述最终分类器是每次迭代时通过更新的组合权重值加权的所选择的弱分类器的总和。 3.根据权利要求1所述的方法，其中，所述步骤3，对所述数值天气预报数据进行数据预处理，具体包括：将所述数值天气预报数据转换为ASCII文本数据，进行数据质量控制。 4.根据权利要求3所述的方法，其中，将所述数值天气预报数据转换为ASCII文本数据，进行数据质量控制，具体包括：步骤3-1，对数值天气预报数据进行格式识别，如果数据格式为ASCII文本格式数据，则直接导入数据库进行数据质量控制，否则，进行转换；步骤3-2，将数据转化为ASCII文本数据；步骤3-3，从逻辑性、时间连续性、空间一致性方面进行数据质量控制，实现自动入库。 5.根据权利要求1所述的方法，其中，所述步骤4，进行所述数值天气预报数据的维度筛选，维度的信息熵值越大，其所包含的原始数据的信息量越大，属于应该保留的特征；如果某个维度的信息熵越低，说明该维度所含有的数据信息量越少，属于应该被剔除的特征；所述步骤4具体包括：步骤4-1，计算所述高维天气预报数据的每个维度a i 的信息熵值H(a i )；步骤4-2，预设信息熵阈值δ；步骤4-3，如果所述高维天气预报数据的每个维度a i 的信息熵值H(a i )大于δ，保留维度a i ；否则，剔除维度a i 。 6.根据权利要求1所述的方法，其中，所述其中，所述步骤5-2，计算维度协方差矩阵，还包括：步骤5-2-8，配置N个映射函数Mapper；步骤5-2-9，配置一个归约函数Reducer，所述Reducer的输入是每个所述Mapper的输出结果；步骤5-2-10，将所述Reducer的汇总结果代入高维天气预报数据维度协方差矩阵的计算。