一种 MapReduce 带宽优化方法

本发明公开了一种 MapReduce 带宽优化方法，包括：在 Hadoop 作业提交后，OpenFlow 控制器根据 JobTracker 发送的任务执行节点信 息，通过 Map 中间值路由策略确定执行 Map 中间值合并任务的节点， 更新对应流表项，并发送至 OpenFlow 交换机，OpenFlow 交换机通过 安全通道对其接收并安装，然后对接收到的数据包进行流表项匹配， 若其与合并 Map 中间值行为类型匹配，则对 Map 中间值进行合并。本 发明通过结合 OpenFlow 和 Hadoop，利用 OpenFlow 交换机的数据处 理能力，对 Map 中间值，即经 map()函数作用后得到的中间元组数据 提前进行合并处理，从而大大缓解了数据迁移过程中的网络拥塞问题， 显著提高了 Hadoop 工作效率。

华中科技大学 2021-04-11

一种适合迭代计算的 MapReduce 优化方法

本发明公开了一种适合迭代计算的 MapReduce 优化方法，是应 用在一种 Hadoop 集群系统中，该集群系统包括一个主节点以及多个从 节点，所述方法包括：主节点接收用户提交的多个 Hadoop 作业，主节 点的作业服务进程将作业放入作业队列中，并等待主节点的作业调度 器进行作业调度，主节点等待从节点发来的任务请求，并在接收到任 务请求后，主节点的作业调度器优先调度本地化任务，如果在发出任 务请求的从节点上没有本

华中科技大学 2021-04-14

一种基于多线程的 MapReduce 执行系统

本发明公开了一种基于多线程的 MapReduce 执行系统，包括： 实现一个多线程的MapReduce执行引擎：将原有Hadoop中Map/Reduce 任务的多进程执行模式改为多线程方式；提取 Map 任务和 Reduce 任 务中对内存使用的细节特征，根据这些特征将 MapReduce 流程细粒度 地分为多个阶段，并将原有 Hadoop 中 shuffle 过程由 Reduce 的拉取改 为 Map 的主动推送；在 MapRe

华中科技大学 2021-04-14

一种基于MapReduce的矢量文件转换方法和装置

本发明提供了一种面向轨迹挖掘的数据预处理方法及系统，该方法包括：在原始数据库中提取离散的轨迹点，对轨迹点进行归类提取后形成若干个独立的轨迹段集合；对每一轨迹段集合中的轨迹点进行重复定位点检测，若判断该重复定位点为历史定位点，则删除；对每一轨迹段集合中的轨迹点进行定位异常点检测，若判断为定位异常点，则删除该轨迹点，得到若干条完整的轨迹；对所述完整的轨迹进行简化压缩，得到压缩轨迹；存储所述压缩轨迹；同时对系统运行状态进行监控，保证系统可以持续、稳定运行。本发明提供的方法通过对提取出的轨迹点进行重复定位点以及定位异常点清除，保证了轨迹数据的正确性和完整性，提高了轨迹数据挖掘的准确度。

中国农业大学 2021-04-11

一种基于 MapReduce 的负载自适应任务调度方法

本发明公开了一种基于 MapReduce 的负载自适应的任务调度方 法，包括：(1)动态监测 Hadoop 集群负载状态，(2)动态监测集群各执 行节点在执行任务过程中产生的软件信息，(3)动态监测集群各执行节 ·841·点在执行任务过程中的硬件信息，(4)汇总步骤(1)、步骤(2)及步骤(3) 中采集的集群各执行节点的负载监控信息、软件监控信息以及硬件监 控信息三方监控信息，建模计算集群各执行节点的计算能力，(5)执行

华中科技大学 2021-04-14

一种 GPU 上基于内存统一管理的 MapReduce 实现方法

本发明公开了一种 GPU 上基于内存统一管理的 MapReduce 实 现方法，包括：初始化 GPU 的块大小为 Bs，每个块中的线程数目 N， 输入数据量大小 M；在全局内存上为 GPU 的每个块分配一个中间数据 缓冲区，同时分配一个全局结果缓冲区；对 p%的输入数据进行预处理， 在中间数据缓冲区中收集 map 任务计算结果和归约频率信息；根据键 值对的归约频率，对中间结果进行排序，保存键值对索引信息到排序 结果缓

华中科技大学 2021-04-14