高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
大数据应用的多样化 需要的计算模型、数据模型多样化; 目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。 多系统导致大数据分析平台非常复杂、效率低下。研究目标:研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个 方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键 值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计 算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这 套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于 大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面,分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合:设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、 文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据 分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。多计算模型融合:在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集 的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和 流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗, 提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储,面向应用负载和异构硬件特征进行自适应优化;对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等;在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效;而且我们也考虑到大数据分析过程中用户人工操作的时效性问题, 通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块, 能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持 到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提 升。亮点成果:融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。同时在双十一期间,基于智能交互向导技术,也面向电子商务应用 的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品 销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-04-10
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
技术需求、物联网可视化连接,大数据分析
物联网可视化连接,大数据分析
山东中拓信息科技有限公司 2021-06-15
基于大数据分析的小基站开关控制方法
本发明公开了一种基于大数据分析的小基站开关控制方法,包括:采集场景信息步骤;数据预处理步骤;提取特征步骤;选择并训练模型步骤;预测步骤。本发明利用特殊场景下时刻表以及小基站接入人数的历史记录,建立数学模型,预测未来小基站内的待服务人数,根据待服务人数去控制小基站的开关,达到节能、减少基站间干扰的目的。 在建立数学模型的过程中,本方法结合数据挖掘和机器学习,提高了预测的准确率和系统的实用性。
东南大学 2021-04-11
光伏优化器
组件级 MPPT,智能监控 PV 信息,高频电气隔离, 安全可靠,峰值效率大于 99.5%,优化器功率等级 300W。
扬州大学 2021-04-14
智能云光伏
“智能云光伏”是机器人技术、物联网技术、大数据技术和云计算技术在太阳能光伏发电生产中的综合运用,目标是将光伏电站的PR值提高15%以上,以提高光伏电站生产效率。 一、项目分类 显著效益成果转化 二、成果简介 1、 研发背景 太阳能是绿色环保的可再生能源,太阳能光伏发电产业蓬勃发展,中国光伏装机量已经达到了近70GWp,预计2020年,全球装机量达到540GWp。传统的人工光伏电站运维方式已经不能满足产业的发展需要,为了提高电站的生产水平,降低运维成本,必须实施智能化、无人化的光伏电站维护技术。 2、 技术说明 “智能云光伏”是机器人技术、物联网技术、大数据技术和云计算技术在太阳能光伏发电生产中的综合运用,目标是将光伏电站的PR值提高15%以上,以提高光伏电站生产效率。 采用智能电站运维机器人完成对太阳电池组件表面的清洁和缺陷检查,相比人工方式,可提高清洁水平,极大程度的减少水资源的使用,且降低30%左右的成本; 采用组件级别的电站运行数据的采集和分析系统,分析电站的运行性能瓶颈、预警潜在故障,提高电站的可靠性; 借助于智能云光伏技术,可极大的降低分布式光伏电站的运维成本。 3、 合作意向 太阳电池组件厂智能组件 大型光伏电站的运维与性能评估 分布式光伏电站的集中管理和低成本化 国家光伏扶贫工程
南开大学 2022-08-11
光伏水泵系统
成果简介本系统可以将太阳能电池组件接收到的太阳辐照能量逆变成标准的正弦交流电来驱动三相异步电机带动水泵实现扬水功能。 本系统具有最大功率点跟踪功能以及完善的保护功能。 此外, 还可以实现日出而作日落而歇的无人值守功能。成熟程度和所需建设条件样机基本完善, 初步具备了相关的功能, 后续需要一定的资金购买设备以便推出产品。技术指标基本符合国家标准。市场分析和应用前景本系统属于新能源发电范畴, 从国家的中长期
安徽工业大学 2021-04-14
光伏并网逆变器
Ø 光伏并网逆变系统可将光伏发电系统输出的电能转换为电网可接收的电能。本项目所开发的光伏并网逆变系统具有最大功率点跟踪功能和反孤岛能力。网侧采用VSI结构逆变器,通过网侧电抗器直接并网。这种并网结构确保了并网的灵活性和可靠性。利用升压变换器对光伏电池进行控制,实现最大功率点追踪。系统的效率在满功率20kW时达到了96.5%。
北京理工大学 2021-04-14
光伏组件生产仿真实训
光伏组件生产仿真实训让学员以车间技术人员的身份参与晶硅光伏组件的生产工作。学员按标准生产流程操作车间生产设备、检测生产样品以及了解生产车间的运作与问题返工流程。 一.1.1. 场景设计 场景由组件生产车间、材料准备区、固化房、分选检测区组成。场景素材从多个真实工厂采集而来,高保真还原车间设备与生产流程 场景模型主要包括:流水线传送带、全自动玻璃吸附机、EVA自动铺设机、串焊机、排列机、自动缓存机、EVA/TPT裁剪铺设机、EL检测仪、层压机、全自动修边机、翻转检查机、全自动装框机、灌胶机、全自动固化房、绝缘检测仪、组件IV分选检测仪、电烙铁。材料模型包括:钢化玻璃、EVA、TPT、焊带、156多晶太阳电池片、铝合金边框、玻璃胶、接线盒、助焊剂、MC4接头等... 一.1.2. 互动设计 第一人称视角控制主角场景漫游,学员可以在三维空间中自由活动和观察场景中的物体。 主角走到生产线相关岗位内,出现信息提示,点击弹出全息UI,动态图文与人工智能语音相结合提示关键知识点 与车间工程师对话了解生产相关知识 学员可操作车间里的检测设备,发现问题并进行问题组件返工。
广东顺德宙思信息科技有限公司 2025-06-02
一种光伏板清理装置及光伏系统
本申请公开了一种光伏板清理装置及光伏系统,涉及光伏维护技术领域,包括集水装置和清洗装置;集水装置限制出容纳雨水的容纳腔;清洗装置包括输水管,输水管位于相邻两个光伏板之间,且输水管上朝向至少一侧的光伏板设置有用于清洁光伏板的喷头,输水管与容纳腔连通。本申请提供的光伏板清理装置,可通过清洗装置的输水管伸入相邻两侧光伏板之间,从而可利用收集的雨水实现对多个光伏板的清洗效果,可减少人工操作,同时可通过一个输水管实现多个光伏板的清洗,提高了在干旱缺水地区清洗光伏板的便捷性和效率,且利用收集的雨水对光伏板进行清洁,可节约水资源成本,进而降低了光伏板的清洁成本。
兰州大学 2021-01-12
首页 上一页 1 2 3 4 5 6
  • ...
  • 164 165 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    64届高博会于2026年5月在南昌举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1