一种 MapReduce 带宽优化方法

电子信息

本发明公开了一种 MapReduce 带宽优化方法，包括：在 Hadoop

作业提交后，OpenFlow 控制器根据 JobTracker 发送的任务执行节点信

息，通过 Map 中间值路由策略确定执行 Map 中间值合并任务的节点，

更新对应流表项，并发送至 OpenFlow 交换机，OpenFlow 交换机通过

安全通道对其接收并安装，然后对接收到的数据包进行流表项匹配，

若其与合并 Map 中间值行为类型匹配，则对 Map 中间值进行合并。本

发明通过结合 OpenFlow 和 Hadoop，利用 OpenFlow 交换机的数据处

理能力，对 Map 中间值，即经 map()函数作用后得到的中间元组数据

提前进行合并处理，从而大大缓解了数据迁移过程中的网络拥塞问题，

显著提高了 Hadoop 工作效率。

未应用