高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
一种可自动折展的可扩展箱式房
本发明涉及箱式房技术领域,公开一种可自动折展的可扩展箱式房,包括底板、顶板、两个侧板以及两个墙板,两个侧板相互远离的一侧设置均有顶升机构,顶升机构两端分别与底板、顶板连接,顶升机构包括与底板、顶板共同连接的剪叉杆,剪叉杆上安装有电缸,电缸伸展时带动剪叉杆竖向伸长,剪叉杆带动顶板竖向上升。通过顶升机构以及卷扬机构的驱动,折叠状态下的箱式房可自动展开至房屋构型,实现了箱式房折展运动的自动化,从而能够有效降低安装难度,提升安装效率,同时折叠状态下的箱式房更加便于运输,从而降低使用成本,丰富了适用场景。
南京工业大学 2021-01-12
算量软件和报价软件培训 全国造价员初级资格认证考试培训
项目概况 工程造价实训室可进行算量软件和报价软件的培训,培训内容是三维算量和未来软件报价,采用现场演示和互动答疑方式进行,不断推进造价人员的电算化水平,深入推广使用软件以减轻造价人员的工作量。 造价员资格证书是初入建设行业的造价人员的执业证书。主要特点 工程造价教研室师资力量雄厚,相关教师熟悉算量软件和报价软件的操作,能够指导初学者在短时间内学会相关软件的操作;同时可以对参加全国初级造价员资格认证的人员进行考前培训。该教研室教师所教授的学生在初级考试中通过率近60%,效果较好。技术指标   通过算量软件和报价软件的操作培训,以及造价员证书的培训,可以达到提高造价从业人员水平的目的。
南京工程学院 2021-04-13
一种利用多系统 GNSS 观测值的高精度基线解算方法
本发明公开了一种利用多系统 GNSS 观测值的高精度基线解算方法,首先通过对各 GNSS 系统各频 率的伪距、载波相位观测值在基线两端测站间做差构建站间单差观测值,之后选择某类观测值的伪距硬 件延迟作为基准以解决法方程秩亏问题,并根据各 GNSS 系统的性质对浮点单差模糊度估值处理去除组 合 UPD 影响,恢复单差模糊度的整周特性,进而实现基线高精度解算。本发明突破了现有多系统 GNSS 基线解算方法存在的缺陷,具有理论严密、模型简单、易于实现
武汉大学 2021-04-14
基于同质器件架构的感算存一体化神经形态硬件
该成果创新性地基于二维半导体的硅基同质器件,首次提出了类脑功能的“传感-计算-存储一体化”神经形态芯片架构,实现了光电传感、放大运算、信息存储功能的一体化集成,为突破冯·诺依曼瓶颈和实现类脑智能提供了一种全新思路。 缪向水教授团队,长期从事相变存储器芯片、存算一体忆阻器芯片技术研究。2018年出版了国内第一本忆阻器专著《忆阻器导论》,2019年团队93项三维相变存储器芯片专利许可给芯片公司并合作开发产品,并与行业龙头企业合作建立了联合实验室,推动存储器芯片技术的成果转化以及未来引领技术的探索。曾荣获国家科技进步奖2项、湖北省技术发明一等奖1项。 同质晶体管-存储器架构的原理及器件结构 缪向水团队长期从事相变存储器芯片、存算一体忆阻器芯片技术研究。2018年出版了国内第一本忆阻器专著《忆阻器导论》,2019年团队93项三维相变存储器芯片专利许可给芯片公司并合作开发产品,并与行业龙头企业合作建立了联合实验室,推动存储器芯片技术的成果转化以及未来引领技术的探索。曾荣获国家科技进步奖2项、湖北省技术发明一等奖1项。
华中科技大学 2022-08-12
音乐水型同步的可扩展喷泉控制系统及其方法
本发明公开一种音乐水型同步的可扩展喷泉控制系统和方法。系统采用EPA主干网、微网段组成的可扩展架构的控制网络;网络按需划分为若干控制区域,每个控制区域设1个微网段,微网段通过网桥/关与其它微网段隔离。EPA网络层支持多种主流的物理/数据链路层协议,可保护喷泉业现有投资;同时微网段提高了带宽利用率和实时性。参照步进电机矩频特性,设计步进电机S形加减速曲线,S曲线无加速度/力突变,提高了设备的可靠性。系统控制流程分为离线预编和在线音乐、水型、灯光三同步的控制流程;以音频数据的同步信号为基准:调节灯光、应用GPC预测控制算法控制水型,使水型、灯光的视觉感受和音乐的听觉感受溶为一体。
浙江大学 2021-04-13
多尺度疲劳裂纹扩展的试验、建模及疲劳寿命预测技术
工程实际中出现的疲劳损伤是一种在时间和空间上多尺度的现象,例如从纳米或亚微米级别的微观裂纹瞬时扩展行为到由于疲劳损伤导致的整体结构长期的性能退化现象。基于多尺度疲劳裂纹扩展模型的疲劳损伤研究和预测技术,可以在不同的时间和空间尺度下对疲劳损伤进行分析。 该技术通过研究在小时间和空间尺度下试验观测到的疲劳裂纹尖端的连续扩展行为,建立描述微观疲劳裂纹行为和机理的物理模型,然后在这个微观物理模型的基础上建立多尺度的疲劳裂纹扩展模型,并最终实现对疲劳损伤和疲劳寿命准确实时的分析预测。微观裂纹尖端在一个疲劳载荷周期内加载过程中的连续变化情况。
北京航空航天大学 2021-04-13
中央电教馆移动数字课堂应用扩展教学大班版
产品详细介绍 中央电教馆移动数字课堂解决方案涉及电化教育及计算机教育领域,尤其是针对多媒体教育和数字化教育具有积极的推广作用,特别是解决了教育资源公平化、信息化教学形式化、样子化的问题 方案特点 Ø  教育部“数字校园”入选认证产品; Ø  教育部中央电教馆移动数字课堂解决方案 Ø  全球独创Windows和安卓操作系统的双系统运行模式; Ø  国内独家可脱离外部电力供应,任意地点可运行完整教学的解决方案; Ø  国内独家将、平板电脑、服务器、无线AP、充电、后备电力、收纳管理完美集成于一体的解决方案。 Ø  独创的分离式结构,可迅速分解,方便教学楼内的上下楼移动。(MDC-C200和 MDC-D200可实现) 方案构成  方案名称  配套方案组成(硬件&软件)  MDC-D200 应用扩展教学大班版  45个学生终端+1台教师服务器+1套MDC-A200数字课堂充电储存箱+平台管理软件+安卓系统下数字课堂应用方案 注:方案中包含的硬件及软件请查看硬件产品介绍和软件产品介绍部分。  软件平台介绍 包含硬件介绍 1、移动电源适配器柜(集成无线AP、充电管理模块、自供电模块、安全断电管理模块) 2、平板电脑(ETODAY9.7寸屏平板电脑、键盘鼠标皮套) 可选择搭配硬件: 触控式一体机                  交互式电子白板                  投影设备                  录播设备 可选择教学资源: 全国各版本电子教材                  央馆教育资源库                  英语教学系统                  教师备课系统                  名师教学视频库                  
北京悠客网信息技术有限公司 2021-08-23
拨杆力测试装置
其他成果/n本发明涉及拨杆力测试装置,包括有支架、力臂、步进电机、牵引杆、拨头导向套、拨头推杆、电机座、位移传感器、位移传感器后支座、位移传感器前支座、拨头滑块、下夹板、杠杆轴、轮、轮轴、轴承、压力传感器、上夹板,本发明的有益效果在于:采用两边对称力臂的设计,力臂之间通过弹簧连接,使得拨杆受力均匀,很好的模拟人手推动时候的接触效果;并且两个力臂的设计,使得用户在测试时只需要一次性固定好试件的位置,而不需要在测试回程力的时候跟换试件的位置;同时位移传感器能根据拨杆的移动准确的测试出拨杆的位移,使得力的大小跟位移一一对应,很明确的看出拨杆行程中每一个位置力的大小,从而为设计者修改试件提供方便。
武汉理工大学 2021-04-11
51006机械运动和力
宁波华茂文教股份有限公司 2021-08-23
首页 上一页 1 2
  • ...
  • 5 6 7
  • ...
  • 27 28 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    64届高博会于2026年5月在南昌举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1