一种基于带宽感知的 Hadoop 调度方法和系统

电子信息

本发明公开了一种基于带宽感知的 Hadoop 调度方法，包括：对

Hadoop 任务调度建立一个作业时间完成模型，为 Hadoop 调度系统建

立一个数学模型，将 Hadoop 的任务调度问题转化为一个为待调度的作

业寻找一个使得该作业的作业完成时间最短的任务调度方法的问题；

利用 SDN 提供的实时网络管理与流量控制功能，提出了一种基于时隙

的网络带宽分配机制，将每一条链路的剩余带宽的占用期划分为相等

的时隙，在作业完成时间模型和网络时隙带宽分配机制的基础之上；

在为某个任务分配计算节点之前，综合考虑任务的本地性与实时网络

带宽情况，为每一个任务分配一个能够提供最早完成时间的计算节点。

本发明解决了现有方法中不能同时从全局视角和实际网络可用带宽两

方面进行任务调度的问题。

未应用