高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
一种可寻址测量局域波前的成像探测芯片
本发明公开了一种可寻址测量局域波前的成像探测芯片,包括可寻址加电液晶微光学结构、面阵可见光探测器和驱控预处理模块
华中科技大学 2021-04-10
一种自带可拆装盖板的多功能电机底座
本实用新型涉及电机产品技术领域,尤其为一种自带可拆装盖板的多功能电机底座,包括底座、电动伸缩杆和盖板,两个L型固定块之间活动插设有T型连接块,所述T型连接块远离底座的一端固定连接于电机上,底座中对称开设有安装孔,所述安装孔中固定插设有电动伸缩杆,电动伸缩杆远离安装孔一端固定有连接头,所述盖板槽中设置有盖板,盖板的一端连接有拉环,底座中心处开设有配重块槽,盖板一侧铺设有防腐层。本实用新型通过开关来控制电动伸缩杆,将盖板安装在电动伸缩杆上方的连接头内,这个可拆装的盖板能够起到保护的作用,底座内部开设的配
安徽建筑大学 2021-01-12
等效负折射率平板透镜(可交互全息空气影像)
等效负折射率平板透镜又称 DCT-plate,该技术通过光场重构原理,将发散的光线在空中重新汇聚,从而形成不需要介质承载的实像。根据场景需要,可设置不同的影像呈现角度,结合体感互动装置实现人与实像的直接交互。该技术现处于世界领先地位! 
中国科学技术大学 2021-04-14
多模式可重构超宽带通信及雷达集成收发芯片
面向日益复杂多样的电子产品应用场景,电子设备的小型化进程不断加快,对于高集成、多模式、多功能的芯片需求飞速高涨。本项研究成果针对生物医疗电子、个人无线体域网、近距离无感支付、车载定位、战场实时感知、无人机导航等应用需求,提出一种超宽带无线通信兼具FMCW雷达测距的复合型收发机创新性结构。收发机采用超宽带射频调频+可再生型鉴频技术,实现通信及雷达的共架构方案;提出多相中频时差测距机理,将分辨率提高2个数量级,达到mm级精确测距,动态范围扩大4倍;射频前端基于电流共享技术,实现射频振荡器+功放、低噪放+鉴频+混频的一体化实现,系统功耗优化40%;提出子载波发生器+频率校正环路的数字化复用结构,发射机可半数字化实现,从而得到一款支持无线数据传输、时差/频差/相差雷达测距的极低功耗复用型收发芯片。 图1.研制的通信+雷达集成收发机芯片显微照片
北京理工大学 2023-03-13
可降低细菌耐药性的群体感应抑制剂
细菌群体感应抑制剂是李红玉教授团队以嗜酸硫杆菌为研究材料,研发的一种可通过阻断细菌生物膜的形成从而显著降低细菌耐药性的群体感应抑制剂。细菌生物膜是大量细菌通过信号分子交流从而诱导特定基因表达凝聚成的具有高度抵抗力的结构性细菌群落,坚实稳定、不易破坏,抗生素等物质难以贯穿从而使得药物没有作用。该团队研发出的群体感应抑制剂是一种信号分子调节剂,在不影响细菌正常生长的前提下,可抑制细菌的交流从而阻止了细菌生物膜的形成(图 1),降低了细菌的抵抗力,从而降低其耐药性。该产品拥有国家发明专利,具有自主知识产权
兰州大学 2021-04-14
一种可寻址电调光反射率薄膜
本发明公开了一种可寻址电调光反射率薄膜。包括阴极,阳极阵列,以及设置在阴极和阳极阵列间的介电层;阳极阵列由 M×N 元阵列分布的阳极单元构成,阳极单元由规则排列且相互连通的多个子电极构成,可寻址电调光反射率薄膜被划分为 M×N 元阵列分布的电调光反射率单元,阳极单元与电调光反射率单元一一对应,构成电调光反射率单元的阳极,所有电调光反射率单元共用阴极;通过阳极单元和阴极对电调光反射率单元执行独立加电操作,进而通过调变加
华中科技大学 2021-04-14
一种可寻址测量局域波前的成像探测芯片
本发明公开了一种可寻址测量局域波前的成像探测芯片,包括可寻址加电液晶微光学结构、面阵可见光探测器和驱控预处理模块;液晶微光学结构被划分成可独立施加电驱控信号的多个液晶微光学块,各液晶微光学块具有相同的面形和结构尺寸,被加电液晶微光学块为液晶微透镜阵列块,其余未加电液晶微光学块为液晶相移板块;被液晶微光学块化的液晶微光学结构将与其对应的面阵可见光探测器划分成同等面形和规模的面阵可见光探测器块,并且各面阵可见光探
华中科技大学 2021-04-14
可生物降解的磁控PVA微马达血管支架
微马达是一种自驱动的微纳米机器人,具有优良的运动性能和精准导航的性能,在生物医学领域具有广阔的潜在应用前景,然而目前国内外均尚无市场化的微马达产品。 一、项目分类 关键核心技术突破 二、成果简介 血管支架植入是治疗心血管疾病的有效干预手段,但现有技术中,传统材料制备得到的血管支架存在生物相容性不足、需要手动导丝引入额外的形状扩张装置等问题,而且,为了确保植入的准确性,需要采用高侵入的介入方法,容易造成血管再狭窄和动脉损伤,从而降低了治疗的有效性。因此,需要研发一类能有效克服现有问题,能实现低侵入、高精准治疗的新型血管支架系统,以拓宽微马达在生物医学领域中的应用。 开发的磁性螺旋形形状记忆微马达血管支架,可以模拟细菌鞭毛的高效运动,无线旋转磁场下旋转并转化为平移运动,实现磁性微马达血管支架在血管内的精确无线三维导航。配合磁驱动马达的运动性能,控制血管支架在体内运动到达目标位置,微马达支架具有形状记忆功能,以对机体无害的无线超声触发形状恢复,可以撑开狭窄血管。整体设计可以简化支架植入流程,并且螺旋形的设计可以适应旋动流现象,使植入位点的血管壁切应力得到维持,抑制支架植入内膜增生不良反应的发生,降低侵入性和植入风险,并有望实现完全远程智能操控支架植入。
中山大学 2022-08-15
中国科大实现光子偏振态的可集成固态量子存储
郭光灿院士团队在固态量子存储领域取得重要进展。该团队李传锋、周宗权研究组基于自主加工的激光直写波导,实现了光子偏振态的可集成固态量子存储,存储保真度高达99.4±0.6%,该工作显著推进了可集成量子存储器在量子网络中的应用。
中国科学技术大学 2022-06-02
首页 上一页 1 2
  • ...
  • 32 33 34
  • ...
  • 53 54 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    63届高博会于5月23日在长春举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1