基于内存计算的高时效大数据处理平台
小试阶段/n该平台继承了目前主流计算框架和编程模式,尤其是内存计算框架, 通用性强、时效性高。该平台从根本上解决了目前大数据处理中耗时过 长的问题,通过优化大数据处理系统的任务管理和内存管理,对用户提 供主流的简洁编程接口,与目前国际上主流系统对比,该平台可以大量 减少内存占用,最高性能提升可达 41 倍,。该平台同时从根本上解决了 大数据系统自动管理内存的开销,减少 90%以上的开销。该技术平台是一 种通用数据处理平台,不影响上层生态应用,可以适用于各类大数据生 态系统,包括机器学习与深度学习领域
华中科技大学
2021-01-12