高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
新型冠状病毒大数据交叉学科研究平台
2020年1月23日,国防科技大学系统工程学院与四川大学、电子科技大学共同组建新型冠状病毒大数据交叉学科研究平台,为新型流行病研究和防控贡献科学力量。 参与该平台组建的是国防科技大学系统工程学院吕欣教授牵头的大数据与复杂网络研究团队,该团队主要研究方向为大数据挖掘,应急管理与人类行为动力学分析,长期围绕地震、洪水、流行病等问题应用大数据技术开展应急救援工作,在海地地震与霍乱、孟加拉台风Mahasen、西非国家埃博拉、中国登革热等事件中得到广泛应用。 该团队基于新型冠状病毒大数据交叉学科研究平台,利用海量多源异构大数据,结合疫情发生发展规律,对人群流动及传播风险进行了综合建模和分析,为政府决策提供了参考依据。
国防科技大学 2021-04-10
大数据挖掘在植物表观遗传组学中的应用
近年随着测序技术的不断完善,生物领域积累了大量基因组、转录组、表观组学数据。怎样有效利用这些数据挖掘生物学新知识,是研究工作者在大数据时代面临的挑战。该研究以DNA甲基化测序数据入手,探索了大数据挖掘揭示生物学新知识的研究之路。翟继先课题组重新分析了公共数据库中来自不同实验室的约500余组Col-0型拟南芥DNA甲基化数据:通过比较单个突变体和多个野生型,鉴定了每个突变体中高置信度的DNA甲基化差异区域,进而分析了不同突变体间DNA甲基化差异区域的重合度,揭示控制DNA甲基化相关基因之间的联系。
南方科技大学 2021-04-13
技术需求、物联网可视化连接,大数据分析
物联网可视化连接,大数据分析
山东中拓信息科技有限公司 2021-06-15
基于AI大数据深度学习的胃肠道肿瘤辅助病理诊断系统的研发
针对植物油炼制过程产生的脱臭馏出物化合物因其组分结构相似和物化性质相近导致现有主要生产技 病理是肿瘤诊断的金标准。病理诊断的准确严重依赖病理科医生的经验。智能化数字病理是数字化病 术中分离选择性差等关键问题,提出了以离子液体类溶剂强化的维生素E提取技术,重点发展植物脱臭馏 理与人工智能(AI)的结合,其推广不但能减轻病理医生的工作负担,还能提高医疗欠发达地区的诊断水 出物中维生素E提取的连续萃取分离工艺。基于相平衡实验数据拟合热力学模型参数,构建离子液体类溶 平,是病理学发展的未来趋势。
中山大学 2021-04-10
基于排阵型湿地微生物燃料电池供电的电芬顿污水处理系统及处理方法
本发明公开了一种基于排阵型湿地微生物燃料电池供电的电芬顿污水处理系统及处理方法。系统包括:用于对污水进行预处理的纳米铁碳微电解反应区;用于对纳米铁碳微电解反应区出水进行处理的电芬顿系统反应区;用于对电芬顿系统反应区出水进行处理并对其进行供电的排阵型湿地微生物燃料电池;其中,所述的排阵型湿地微生物燃料电池为多个湿地微生物燃料电池相连形成的湿地微生物燃料电池组;湿地微生物燃料电池组的阴极、阳极分别通过导线与电芬顿系统反应区的对应的阳极、阴极连接。本发明还提供了污水处理方法。本发明通过整个系统的联合作用强化降解效果,无需外加能源,也无需投加药剂,是一种节能环保的水处理技术。
东南大学 2021-04-11
东南大学医学院生物信号采集与处理系统采购公开招标公告
东南大学医学院生物信号采集与处理系统采购招标项目的潜在投标人应在东南大学采购中心网(https://dnzb.seu.edu.cn/)获取招标文件,并于2022年07月06日09点30分(北京时间)前递交投标文件。
东南大学 2022-06-14
微曝气循环一体化污水生物生态处理系统及方法
一种微曝气循环一体化污水生物生态处理系统及方法,生活污水先由调节池均质均量,后送至表面布水式生物滤池,进行酸化水解降低部分有机物,然后自流进入循环生物强化接触池进行好氧生化处理去除绝大部分有机物,硝化反硝化脱氮,污泥好氧吸磷等生化作用,出水自流至斜板沉淀池进行固液分离后,上清液自流至竖向流湿地,废水中磷污染物进一步被滤池中富铁矿材料吸附去除,出水流至清水池排放或回用.本系统将表面布水式生物滤池,循环生物强化接触池,人工湿地进行一体化集成设计,各反应单元空间布局紧凑,占地面积小;工艺使用的设备少,废水主要靠重力流和推流,自动化强,运行管理简便;污泥回流量小,脱氮除磷处理效果好,尤其是磷去除率高.
重庆大学 2021-04-13
一种分开处理数据与元数据读写请求的方法
本发明公开了一种分开处理数据与元数据请求的方法。包括: 增加请求的元数据语义;为每个 SCSI 设备设置数据请求队列与元数据 请求队列,后者专门用来处理元数据请求,且对不同的请求采用不同 的处理方式。根据元数据请求粒度小、实时性强、分布分散的特点, 元数据请求队列采用优先响应处理的方式,请求不经过 I/O 调度层, 不在请求队列中延迟,直接下发到磁盘驱动器;对请求粒度大,频度 相对低,分布集中的数据请求,采用经过 I
华中科技大学 2021-04-14
基于大数据驱动的综合能源系统规划优化及关键技术研究与应用示范
项目开展的背景及意义 当前,我国经济发展进入新常态,能源转型面临需求放缓、传统产能过剩、环境问题突出、整体效率较低等问题,传统能源系统又存在着各能源子系统规划协调不足、弃风弃光现象突出、对化石能源依赖严重等现象,推进国家能源转型、构建新型能源系统势在必行。 综合能源系统是能源互联网建设的物理载体,是支撑国网战略目标落地的重要形式。综合能源系统能够拓宽国网公司发展业务,培育业务增长点和盈利模式增长点,是实现国网公司业务可持续发展的重要手段。 综合能源系统规划建设是项目成立的开端,规划优化效果最优是项目最好的投资、更是最好的节约。综合能源系统规划问题涉及源、网、荷、储协同,需要多维能源数据信息支撑,包括不同设备动态运行特征信息、多元用户负荷特性等数据。而大数据技术能够为综合能源系统规划建设提供基础的数据服务。  有助于可再生能源开发规模进一步提升,促进社会能源可持续发展; 有利于能源的投入产出效率进一步提升,减少能源消耗总量; 有利于社会资源配置进一步优化,降低能源系统建设成本;  有利于推动能源互联网的进一步实施和落地,助力国网实现具有中国特色国际领先的能源互联网企业的战略目标; 有助于电网公司新型业务进一步推进,扩展业务和收入增长点;  综合能源系统中的大数据——应用 在能源革命和数字革命的推动下,大数据技术在综合能源系统的中的应用越来越广泛,助力解决综合能源系统规划优化或运行优化多因素设备建模、设备运行状态诊断、用户用能画像、用能场景生成、优化策略生成的问题。  项目研究内容 项目研究成果 主要成果 本项目的应用示范能够指导综合能源系统工程实际落地,服务基础设施建设;能够指导综合能源系统规划效果评估,提供规划决策工具;能够指导不同区域典型综合能源系统场景示范推广,打造可推广的样板工程;能够深化综合能源系统一体化服务,助力综合能源系统广泛推广。项目发表学术论文5篇、申请发明专利10项、软件著作权5项。 示范应用 本项目预计在山东省内落地应用,打造不同行业的综合能源应用示范项目,目前在前期项目应用实施阶段,预计2021年底完成项目应用实施。  
华北电力大学 2021-05-10
首页 上一页 1 2
  • ...
  • 18 19 20
  • ...
  • 633 634 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    63届高博会于5月23日在长春举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1