高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
表观遗传学相关的科研服务平台和新药研发
已有样品/n该项目瞄准肿瘤精准医疗技术发展中的关键问题,以肿瘤精准诊断和治疗为目标,围绕表观遗传组学在肿瘤预防、诊断和治疗中的研究和应用,开发表观遗传科学研究和表观药物高通量筛选开发的相关产品和服务平台,研发创新性表观靶点药物,为肿瘤精准医疗提供研究和诊疗的平台和药物。目前市场上大部分基因测序公司无法完成上游的ChIP 实验,项目具有很强的优势。较早的开发了ChIP 级别抗体库,在战略上具有领先优势。开
武汉大学 2021-01-12
基于Windows 7平台的Kinect休闲体感游戏Kinectoss
Ø 本软件项目的成果是一款基于Windows7系统的Kinect休闲体感游戏,项目委托人是第二届“中科杯”软件设计大赛,项目开发环境是Visual Studio 2010。
北京理工大学 2021-01-12
基于物联网技术的实验室安全管理平台
一种基于物联网技术的实验室安全管理平台,包括实验平台和安装在所述实验平台上的排风装置;所述排风装置为U形管状结构,一端固定在实验平台上,另一端设置吸风口,所述吸风口位于实验平台正上方,排风装置与吸风口连接端内壁设置环形凸沿,所述环形凸沿上端形成倒圆锥形截面,下端形成正圆锥形截面,环形凸沿上端与下端之间形成圆柱形通道。通过排风装置对实验平台产生的废气或烟雾进行排风时,由于环形凸沿的设置,一方面在可以增大排风抽力,使烟雾快速的吸入吸风口并经环形凸沿的圆柱形通道进入排风装置中,另一方面由于环
安徽建筑大学 2021-01-12
一种冲击高压试验的培训模拟平台以及方法
本发明涉及一种冲击高压试验的培训模拟平台以及方法,包括硬件和虚拟软件模块两个部分:硬件 包括冲击高压试验中所有操作按钮,类同于真实的冲击电压发生器操作平台。该平台通过 USB 接口连 接存有虚拟软件的 PC 上。虚拟软件模块基于 Visual C++编写,分两个部分,其一是界面,显示冲击电 压发生器本体和被试品;第二部分是计算和控制模块。优点如下:1、解决冲击高压发生器价格昂贵, 不能满足众多实习者现场操作的缺憾,完成所有实验培训过程所需费用远小于现场实验。2、模拟平台 可模拟冲击电压发生器实验的各种操作过程,仿真测量各种不同电压等级的被试品的 50%冲击击穿电压。 3、完成所有实验培训过程的安全性远高于现场实验。
武汉大学 2021-04-13
一种 Windows 平台下的通用数字版权保护方法
本发明公开了一种 Windows 平台下的通用数字版权保护方法,本发明通过硬件指纹验证能实现本地 自动解密授权使用受保护文件,当硬件验证不通过时还提供在线认证方式,满足了用户部分自主性,如 多台设备共享、硬件变更等。在文件 I/O 拦截的处理上,采用内核层文件过滤驱动和应用层 IAT?API?Hook 技术配合使用,内核层对文件读写内容进行拦截可以忽略应用层任何的文件读写细节,而且更准确和高 效;而 IAT?API?HOOK 与特定的应用程序紧密联系,相对于通过应用层键鼠钩子实现监控而言,将更 具有针对性地在应用层对复制粘贴、另存为等文件操作进行监控和限制。此外通过文件过滤驱动与明文 内存区权限设定的方法对内存中明文进行了较好的保护,极大地降低了内存明文被泄露的可能。 
武汉大学 2021-04-13
基于ASP的网络化制造应用集成服务平台
本项目以“基于ASP的网络化制造应用集成服务平台”作为系统实现的突破口,来解决应用与实践问题,其直接的目的是利用先进的互联网技术,为制造业提供一种新的集成构架、使能工具及平台,通过服务驱动的整体解决方案,采用“扁平式”网络化分散制造系统实现在低成本、高质量和短周期的前提下解决特定产品、零部件的生产问题,进而以双赢方式占领全球市场,并满足客户个性化需求。同时,为本专题的行业/区域现代集成制造系统的应用示范项目、相关的重点课题提供原型工具系统。
西安交通大学 2021-01-12
基于IPv6/OPC UA的工业互联网平台
重庆邮电大学工业互联网学院建设了基于IPv6/OPC UA的工业互联网平台,平台基于IPv6实现网络互联互通,OPC UA实现信息互联互懂的技术思想,形成了“以边缘网关为桥梁的全网统一设备描述XML、统一即时通信XPP、统一资源管理TR069与统一地址编码IPv6”的全互联制造网络总体架构,达到每个工业品“可寻址、可通信、可控制”的目标。本平台突破了自适应跳信道、精确时间同步、传感网安全等关键技术,核心技术正在形成专利池,相关研究成果得到了国际上的广泛认可,在业界形成了较突出的技术优势。这一平台作为学院的核心研发与教学平台,将促进面向智能制造、智能交通与智能网联汽车、天地一体化多智能体系统协同控制等多个工业互联网平台的建设发展。在未来,重邮工业互联网学院将以建立联合研发平台为纽带,从“双师双能”型教师队伍建设,企业技术人员培训、工程实践实训、科技成果转移转化等多个方面推进校企合作,构建“创新有团队、研发有平台、投入有产出、成果有转化、产业有链条”的协同创新体系。
重庆邮电大学 2021-04-11
基于音视频识别及语义分析的智能约谈平台
针对行政约谈场景中存在的人工记录效率低、内容理解偏差记录、资料追溯繁杂等问题,本成果开展了基于音视频识别及语义分析的智能约谈平台的研究。基于 AI 深度学习的音视频识别框架、复杂网络理论和语义知识本体的文本语义相似度计算方法,研究音视频识别的语音转写、对话管理、计算机视觉技术和内容分析的语义理解、语义优化、情感识别方法,实现网信约谈、纪委约谈、公安审讯、监狱谈话等多种行政约谈场景下的约谈智能化和数字化。其中,语音识别转写是开展智能约谈系统研究的前提和基础,本成果训练了声学模型和语言模型,构建编码器,通过音频角色分离和声纹识别技术分离说话人声音,编码器识别解码,经过文本语义处理转写为文本。而文本语义处理是智能约谈系统提升约谈效能的源动力,成果构建了基于语义本体的自动专家导引约谈知识库,通过基于复杂网络的语义相似度计算给约谈工作人员推荐约谈问题;约谈结束后,利用融合主题特征的文本自动摘要技术快速生成汇报摘要,利用基于分布式表示的事件抽取技术自动生成约谈报告。本成果研制高效、便捷的智能约谈音视频识别及语义分析平台,实现了在线约谈预约、人脸识别身份核验、语音实时转写、约谈问题智能引导提问、音视文同步显示、汇报摘要自动生成、约谈报告自动生成、约谈文件回溯、约谈大数据分析等功能。
西安电子科技大学 2022-12-15
一种水下平台控制的半实物仿真测试系统
本发明公开了一种水下平台控制的半实物仿真测试系统,包括水上控制系统、水下控制系统和半实物仿真系统,所述半实物仿真系统分别连接水上控制系统和水下控制系统。通过半实物仿真测试系统,对水上控制系统、水下控制系统和半实物仿真系统开展联合试验,以验证平台控制系统的接口、控制算法和控制逻辑,降低研发成本,缩短了开发周期;系统的可扩展性和仿真的实时性得到了极大的提高。
华中科技大学 2021-04-14
首页 上一页 1 2
  • ...
  • 38 39 40
  • ...
  • 999 1000 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    64届高博会于2026年5月在南昌举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1