一种基于多线程的 MapReduce 执行系统

新一代信息技术

本发明公开了一种基于多线程的 MapReduce 执行系统，包括：

实现一个多线程的MapReduce执行引擎：将原有Hadoop中Map/Reduce

任务的多进程执行模式改为多线程方式；提取 Map 任务和 Reduce 任

务中对内存使用的细节特征，根据这些特征将 MapReduce 流程细粒度

地分为多个阶段，并将原有 Hadoop 中 shuffle 过程由 Reduce 的拉取改

为 Map 的主动推送；在 MapRe

未应用