基于Hadoop云计算平台的海量数据挖掘研究与应用

本研究低成本搭建了弹性可扩展的Hadoop云计算平台

中山大学 2021-04-10

一种基于带宽感知的 Hadoop 调度方法和系统

本发明公开了一种基于带宽感知的 Hadoop 调度方法，包括：对Hadoop 任务调度建立一个作业时间完成模型，为 Hadoop 调度系统建立一个数学模型，将 Hadoop 的任务调度问题转化为一个为待调度的作业寻找一个使得该作业的作业完成时间最短的任务调度方法的问题；利用 SDN 提供的实时网络管理与流量控制功能，提出了一种基于时隙的网络带宽分配机制，将每一条链路的剩余带宽的占用期划分为相等的时隙，在作业完成时间模型和网络时隙带宽分配机制的基础之上；在为某个任务分配计算节点之前，综合考虑任务的本地性与实时网络带宽情况，为每一个任务分配一个能够提供最早完成时间的计算节点。本发明解决了现有方法中不能同时从全局视角和实际网络可用带宽两方面进行任务调度的问题。

华中科技大学 2021-04-11

一种基于Hadoop的海量矢量数据划分方法及系统

本发明涉及一种基于Hadoop的海量矢量数据划分方法及系统。该方法包括：基于Hilbert空间填充曲线对空间数据集中的空间要素进行空间编码；通过Map函数和Reduce函数实现空间要素的键值化，并生成空间数据样本信息集；根据所述空间数据样本信息集生成空间数据划分矩阵；根据所述空间数据划分矩阵将各个空间要素划分入对应的存储数据块中，同时将相邻数据块分发至同一集群节点上。本发明系统将Hilbert空间填充曲线引入到数据抽样和划分规则中，充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响要素，不仅保证了样本信息集的空间分布特征，提高了海量矢量数据的空间索引效率；同时也保证了基于HDFS数据块存储的负载均衡。

中国农业大学 2021-04-11

一种基于 Hadoop 多作业环境下的资源调度方法

本发明公开了一种基于 Hadoop 多作业环境下的资源调度方法， 包括：(1)实时采集集群负载、Hadoop 平台以及硬件三方监控信息，(2) 实时采集集群各计算节点上用户的作业执行监控信息，(3)汇总集群三 方监控数据，建模评估节点的计算能力，并将集群节点划分为优势计 算节点和劣势计算节点，(4)若节点为优势计算节点，则启动基于相似 度评估的作业任务资源需求配置策略，(5)若节点为劣势计算节点，则 还原为 Yarn

华中科技大学 2021-04-14