1.一种适用于军事行动大数据的数据存储方法,其特征在于,包括:将面向军事行动大数据的数据分散存储在多台独立的存储服务器上,实现分布式存储;利用所述多台独立的存储服务器构成可扩展的分布式存储架构,其中,所述分布式存储架构包括多层,分层存储所述数据;以及采用所述分布式存储架构中的数据模型存储结果数据,其中,所述结果数据包括结构化数据、半结构化数据和非结构化数据;其中,所述分布式存储架构包括至少三层,其中,第一层用于集中存储引接的面向军事行动大数据的原始数据,第二层用于对数据模型进行统一管理,第三层用于存储通过所述数据模型智能分析原始数据产生的所述结果数据;其中,针对Oracle数据库、MySQL数据库和postgres数据库,存储结构化数据;采用所述分布式存储架构中的数据模型存储结构化数据,包括:通过数据分类管理构建标准的数据分类体系,以树形结构展示数据分类,对所述数据分类进行添加、修改、删除和检索;基于所述数据分类管理设计第一数据模型,其中,所述第一数据模型包括并行载入、分布式执行、向量化执行、资源管理和自动故障检测中的任意一个或多个,第一数据模型还包括跨库访问Oracle数据库和MPP DB;多个第一数据模型进行协同分析,存储结构化数据。
2.根据权利要求1所述的方法,其特征在于,基于所述数据分类管理设计并行载入,包括:通过数据加载机上的数据并行加载工具读取磁盘上的文件,将所述文件按照预设大小分片并将分片后的数据下发至各个数据节点,其中,所述数据并行加载工具包括GDS;由所述数据节点接收所述分片后的数据并进行重分布,充分利用各个数据节点的能力执行分布式并行载入;资料节点直连并行批量加载,通过使各个数据节点都参与数据汇聚接入,充分利用各个存储服务器的计算能力和网络带宽。
3.根据权利要求1所述的方法,其特征在于,基于所述数据分类管理设计分布式执行,包括:协调端解析和优化数据查询请求,并向数据节点下发任务;所述数据节点上运行的查询执行进程基于所述数据节点存储的数据执行所述任务;分布式执行过程中的每个片段均为接收下级任务输入的数据,并向上级任务输出数据。
4.根据权利要求1所述的方法,其特征在于,采用所述分布式存储架构中的数据模型存储半结构化数据,包括:采用第二数据模型存储半结构化数据,其中,所述第二数据模型包括扁平数据结构、元数据散列和无状态集群中的任意一个或多个。
5.根据权利要求4所述的方法,其特征在于,采用所述元数据散列存储半结构化数据,包括:所有接入节点均可以提供元数据服务,元数据分片按照相同的散列算法均匀分散保存在存储节点上;在系统并发性要求增加时,对所述元数据服务的请求由接入节点集群分摊,并根据需要增加所述接入节点的个数。
6.根据权利要求4所述的方法,其特征在于,采用所述无状态集群存储半结构化数据,包括:对象存储接入节点以集群方式组网;基于对象存储和一次简单寻址的分布式哈希算法,建立接入节点和存储节点之间的松耦合关系,使得所述接入节点成为无状态服务节点;任何服务请求均可以通过负荷分担机制由任一无状态服务节点提供服务。
7.根据权利要求1所述的方法,其特征在于,采用所述分布式存储架构中的数据模型存储非结构化数据,包括:设计基于Elasticsearch的分布式文件系统,存储非结构化数据;其中,所述分布式文件系统采用主从分离的读写方式,将耗费资源的文件访问、读写操作分离到文件系统服务器,以降低服务器压力,分担服务器的I/O操作和流量负载。
8.一种适用于军事行动大数据的数据存储装置,其特征在于,包括:分散存储单元,用于将面向军事行动大数据的数据分散存储在多台独立的存储服务器上,实现分布式存储;分层存储单元,用于利用所述多台独立的存储服务器构成可扩展的分布式存储架构,其中,所述分布式存储架构包括多层,分层存储所述数据;以及结果数据存储单元,用于采用所述分布式存储架构中的数据模型存储结果数据,其中,所述结果数据包括结构化数据、半结构化数据和非结构化数据;其中,所述分布式存储架构包括至少三层,其中,第一层用于集中存储引接的面向军事行动大数据的原始数据,第二层用于对数据模型进行统一管理,第三层用于存储通过所述数据模型智能分析原始数据产生的所述结果数据;其中,针对Oracle数据库、MySQL数据库和postgres数据库,存储结构化数据;采用所述分布式存储架构中的数据模型存储结构化数据,包括:通过数据分类管理构建标准的数据分类体系,以树形结构展示数据分类,对所述数据分类进行添加、修改、删除和检索;基于所述数据分类管理设计第一数据模型,其中,所述第一数据模型包括并行载入、分布式执行、向量化执行、资源管理和自动故障检测中的任意一个或多个,第一数据模型还包括跨库访问Oracle数据库和MPP DB;多个第一数据模型进行协同分析,存储结构化数据。