一种基于Hadoop的海量矢量数据划分方法及系统

新一代信息技术

本发明涉及一种基于Hadoop的海量矢量数据划分方法及系统。该方法包括：基于Hilbert空间填充曲线对空间数据集中的空间要素进行空间编码；通过Map函数和Reduce函数实现空间要素的键值化，并生成空间数据样本信息集；根据所述空间数据样本信息集生成空间数据划分矩阵；根据所述空间数据划分矩阵将各个空间要素划分入对应的存储数据块中，同时将相邻数据块分发至同一集群节点上。本发明系统将Hilbert空间填充曲线引入到数据抽样和划分规则中，充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响要素，不仅保证了样本信息集的空间分布特征，提高了海量矢量数据的空间索引效率；同时也保证了基于HDFS数据块存储的负载均衡。

产业化应用