|
搜索
搜 索
高等教育领域数字化综合服务平台
一种 GPU 上基于内存统一管理的 MapReduce 实现方法
本发明公开了一种 GPU 上基于内存统一管理的 MapReduce 实 现方法，包括：初始化 GPU 的块大小为 Bs，每个块中的线程数目 N， 输入数据量大小 M；在全局内存上为 GPU 的每个块分配一个中间数据 缓冲区，同时分配一个全局结果缓冲区；对 p%的输入数据进行预处理， 在中间数据缓冲区中收集 map 任务计算结果和归约频率信息；根据键 值对的归约频率，对中间结果进行排序，保存键值对索引信息到排序 结果缓
华中科技大学
2021-04-14
一种 MapReduce 带宽优化方法
本发明公开了一种 MapReduce 带宽优化方法，包括：在 Hadoop 作业提交后，OpenFlow 控制器根据 JobTracker 发送的任务执行节点信 息，通过 Map 中间值路由策略确定执行 Map 中间值合并任务的节点， 更新对应流表项，并发送至 OpenFlow 交换机，OpenFlow 交换机通过 安全通道对其接收并安装，然后对接收到的数据包进行流表项匹配， 若其与合并 Map 中间值行为类型匹配，则对 Map 中间值进行合并。本 发明通过结合 OpenFlow 和 Hadoop，利用 OpenFlow 交换机的数据处 理能力，对 Map 中间值，即经 map()函数作用后得到的中间元组数据 提前进行合并处理，从而大大缓解了数据迁移过程中的网络拥塞问题， 显著提高了 Hadoop 工作效率。
华中科技大学
2021-04-11
一种适合迭代计算的 MapReduce 优化方法
本发明公开了一种适合迭代计算的 MapReduce 优化方法，是应 用在一种 Hadoop 集群系统中，该集群系统包括一个主节点以及多个从 节点，所述方法包括：主节点接收用户提交的多个 Hadoop 作业，主节 点的作业服务进程将作业放入作业队列中，并等待主节点的作业调度 器进行作业调度，主节点等待从节点发来的任务请求，并在接收到任 务请求后，主节点的作业调度器优先调度本地化任务，如果在发出任 务请求的从节点上没有本
华中科技大学
2021-04-14
一种基于MapReduce的矢量文件转换方法和装置
本发明提供了一种面向轨迹挖掘的数据预处理方法及系统，该方法包括：在原始数据库中提取离散的轨迹点，对轨迹点进行归类提取后形成若干个独立的轨迹段集合；对每一轨迹段集合中的轨迹点进行重复定位点检测，若判断该重复定位点为历史定位点，则删除；对每一轨迹段集合中的轨迹点进行定位异常点检测，若判断为定位异常点，则删除该轨迹点，得到若干条完整的轨迹；对所述完整的轨迹进行简化压缩，得到压缩轨迹；存储所述压缩轨迹；同时对系统运行状态进行监控，保证系统可以持续、稳定运行。本发明提供的方法通过对提取出的轨迹点进行重复定位点以及定位异常点清除，保证了轨迹数据的正确性和完整性，提高了轨迹数据挖掘的准确度。
中国农业大学
2021-04-11
一种基于 MapReduce 的负载自适应任务调度方法
本发明公开了一种基于 MapReduce 的负载自适应的任务调度方 法，包括：(1)动态监测 Hadoop 集群负载状态，(2)动态监测集群各执 行节点在执行任务过程中产生的软件信息，(3)动态监测集群各执行节 ·841·点在执行任务过程中的硬件信息，(4)汇总步骤(1)、步骤(2)及步骤(3) 中采集的集群各执行节点的负载监控信息、软件监控信息以及硬件监 控信息三方监控信息，建模计算集群各执行节点的计算能力，(5)执行
华中科技大学
2021-04-14
MU-MIMO预编码实现方法
本发明的方法比传统MU-MIMO预编码方法在获得更低复杂度的同时，提高了系统性能。
电子科技大学
2021-04-10
【央广网】高博会“改版升级” 实现三个“全面跃升”
为更好发挥高等教育在教育强国建设中的龙头作用，统筹推进教育科技人才一体发展，助力经济社会高质量发展，中国高等教育学会对高博会进行了“改版升级”，同期举办建设教育强国·高等教育改革发展论坛。
央广网
2025-05-25
一种基于多线程的 MapReduce 执行系统
本发明公开了一种基于多线程的 MapReduce 执行系统，包括： 实现一个多线程的MapReduce执行引擎：将原有Hadoop中Map/Reduce 任务的多进程执行模式改为多线程方式；提取 Map 任务和 Reduce 任 务中对内存使用的细节特征，根据这些特征将 MapReduce 流程细粒度 地分为多个阶段，并将原有 Hadoop 中 shuffle 过程由 Reduce 的拉取改 为 Map 的主动推送；在 MapRe
华中科技大学
2021-04-14
基于POWERLINK的openSAFETY功能安全实现方法
本发明提供了基于POWERLINK的openSAFETY功能安全实现方法，包含以下步骤：A.建立若干功能模块；B.将openSAFTY协议通过所述功能模块融合于POWERLINK协议栈中，替换POWERLINK应用层的CANopen协议，在POWERLINK协议上实现openSAFETY的功能安全应用；其中，所述功能模块包括：安全校验模块、参数配置模块及对象字典映射模块。本发明针对现有技术中的不足，提供了基于POWERLINK的openSAFETY功能安全实现方法，使用高速工业以太网Ethernet POWERLINK作为openSAFETY的底层通信协议，从而在POWERLINK协议上实现openSAFETY的功能安全应用。
浙江大学
2021-04-11
一种智能货架系统的实现方法
该成果属于物联网领域，通过智能识别商品的品类，能实现商品的自动出入库管理，商品定位，商品保管时间记录，过期提前预警等，技术可以推广到商品仓库管理，家庭物品管理检索等
中山大学
2021-04-10