高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
一种高含油量花生的定向筛选方法
本发明提供了一种高含油量花生的定向筛选方法,本发明利用在培养基中添加羟脯氨酸来筛选高含油量花生,在添加有羟脯氨酸的培养基中,耐脱水能力弱、一般含油量花生的细胞因失水而凋亡;耐脱水能力强、高含油量花生的细胞才能存活,凡是能在该培养基上成活和正常发育的花生细胞,其含油量必定是高的;凡是不能在该培养基上成活和正常发育的花生细胞,其含油量必定是低的;以此技术形成了高含油量花生的定向培育技术。本发明通过定向
青岛农业大学 2021-01-12
用于光纤激光、高功率激光传输的大模场光纤
项目简介 本成果提出大模场光纤的系列解决方案,基于新型环形纤芯、非对称型微结构包层、 以及模式正交耦合及分离技术获得新型大模场光纤,光纤同时具有大模场、低损耗、单 模传输特性,实现高质量光束输出。已申请发明专利 9 项,其中已授权发明专利 4 项 (ZL201010589053.3、ZL201010590795.8、ZL201110356877.0、ZL201210391185.4)。 性能指标 (1)模场面积可达 1500μm 2 以上。 (2)光纤可在弯曲半径为 20~30cm 的
江苏大学 2021-04-14
一种高孔隙率多孔陶瓷的制备方法
一种高孔隙率多孔陶瓷的制备方法,它涉及多孔陶瓷的制备方法。本发明要解决现 有直接发泡技术制备高孔隙率多孔陶瓷中,浆料发泡和泡沫固化过程相互分离及制备工艺复 杂的问题。本发明高孔隙率多孔陶瓷具有均匀的球状蜂窝孔结构单元,孔壁以多孔窗口相互连通,孔隙率可达 90%以上,制法:一、称取原料,球磨得浆料;二、将浆料置于真空室中 除气;三、测试浆料的过冷点;四、将浆料降温,得过冷浆料;五、将过冷浆料进行减压发 泡与泡沫固化;六、将固化泡沫材料干燥,得陶瓷素坯;七、烧结陶瓷素坯,得高孔隙率多 孔陶瓷。本发明将浆料发泡与泡沫固化过程有机结合,工艺简单,制备的陶瓷孔隙率为 90% 以上。本发明用于制备高孔隙率多孔陶瓷
安徽理工大学 2021-04-13
一种高性能高可靠的固态盘实现方法
本发明提供了一种高性能高可靠的固态盘实现方法,包括:(1) 将固态盘内部的所有闪存芯片分成若干组,每组由 N 个连续的闪存芯 片组成一个 RAID4 级别的闪存阵列;(2)通过缓冲区接收并存储数据, (3)判断缓冲区是否已满,若是,则进入步骤(4);若否,则返回步骤(2); (4)从缓冲区中取 N-1 个数据块,计算出所述 N-1 个数据块的校验值; 将所述 N-1 个数据块和所述校验值拼凑成满条带数据,写回闪存阵列;
华中科技大学 2021-04-14
一种高转矩密度的磁场调制型磁力齿轮
本发明公开了一种高转矩密度的磁场调制型磁力齿轮,包括由 外到内依次同心嵌套排列的永磁外定子、调制转子和永磁内转子;永 磁外定子与调制转子之间、调制转子与永磁内转子之间均具有气隙; 永磁外定子的外定子铁心内表面开有梯形槽,梯形槽内端两侧开有退 磁抑制槽;梯形槽内嵌有切向极化的倒梯形的外定子永磁体;退磁抑 制槽起到抑制外定子永磁体局部退磁的作用;调制转子包括多个调磁 铁轭和多个嵌有冲孔的非导磁材料,相邻调磁铁轭间嵌有冲孔的非导 磁材料;永磁内转子包括有外到内依次同心嵌套的内转子永磁体和内 转子铁心;其内
华中科技大学 2021-04-14
一种制备绝缘高导热复合材料的方法
本发明公开了一种制备绝缘高导热复合材料的方法。它高密度聚乙烯为基体,添加氮化铝、氧化铝、氮化硼三种不同粒径的导热填料和加工助剂,一并投入在高混机中预混合,经过双螺杆挤出机熔融共混、挤出、造粒,即可得到颗粒型绝缘高导热复合材料。
四川大学 2017-12-28
用于光纤激光、高功率激光传输的大模场光纤
本成果提出大模场光纤的系列解决方案,基于新型环形纤芯、非对称型微结构包层、以及模式正交耦合及分离技术获得新型大模场光纤,光纤同时具有大模场、低损耗、单模传输特性,实现高质量光束输出。已申请发明专利9项,其中已授权发明专利4项(ZL201010589053.3、ZL201010590795.8、ZL201110356877.0、ZL201210391185.4)。性能指标 (1)模场面积可达1500μm2以上。 (2)光纤可在弯曲半径为20~30cm的条件下
江苏大学 2021-04-14
超声纳米烧结快速实现高功率器件的封装互连
针对汽车电子、5G通讯基站、航空航天及电力电子设备等功率电子元器件难以在高温、大电流/电压、潮湿等恶劣工作环境下服役的难题,并且要求芯片封装互连接头尺寸更小、高温稳定性更好、可靠性更高,本团队首次采用超声辅助纳米烧结的新型互连工艺,利用纳米银包铜颗粒作为焊料,成功获得大功率器件高温高可靠服役要求的互连接头,为高功率芯片贴装高导热界面制造提供了新材料和新工艺。
哈尔滨工业大学 2021-04-14
一种高电压锂离子电池的制备方法
本项目是一种高电压锂离子电池的制备方法。按锂离子电池的常规方法组装制备,正极材料为碳包覆正极复合材料LiCoPO4/C,负极材料为锂或碳,电解液为加入添加剂的常规有机电解液,所述添加剂为噻吩、联苯和呋喃中的一种或两种以上任意比例的组合,添加剂的质量百分比用量为常规有机电解液的0.05-2%。本发明的优点是:1)通过对高电压正极材料进行碳包覆,可在材料颗粒表面形成均匀的导电薄膜,有助于锂离子的嵌入与脱出;2)噻吩等添加剂的作用保证了电解液组分的稳定性。该方法工艺简单、易于工业化,通过正极材料的改性和
南开大学 2021-04-14
首页 上一页 1 2
  • ...
  • 29 30 31
  • ...
  • 999 1000 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    64届高博会于2026年5月在南昌举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1