一种基于多线程的 MapReduce 执行系统

2021-04-14 00:00:00

云上高博会 https://heec.cahe.edu.cn

关键词： MapReduce

点击收藏

所属领域:

新一代信息技术

项目成果/简介:

本发明公开了一种基于多线程的 MapReduce 执行系统，包括：

实现一个多线程的MapReduce执行引擎：将原有Hadoop中Map/Reduce

任务的多进程执行模式改为多线程方式；提取 Map 任务和 Reduce 任

务中对内存使用的细节特征，根据这些特征将 MapReduce 流程细粒度

地分为多个阶段，并将原有 Hadoop 中 shuffle 过程由 Reduce 的拉取改

为 Map 的主动推送；在 MapRe

项目阶段:

未应用

会员登录可查看合作方式、专利情况及联系方式

扫码关注，查看更多科技成果

取消

确定