高等教育领域数字化综合服务平台
云上高博会服务平台
高校科技成果转化对接服务平台
大学生创新创业服务平台
登录
|
注册
|
搜索
搜 索
综合
项目
产品
日期筛选:
一周内
一月内
一年内
不限
融合架构
的
高时效可扩展大数据分析平台
大数据应用的多样化 需要的计算模型、数据模型多样化; 目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。 多系统导致大数据分析平台非常复杂、效率低下。研究目标:研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个 方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键 值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计 算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这 套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于 大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面,分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合:设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、 文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据 分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。多计算模型融合:在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集 的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和 流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗, 提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储,面向应用负载和异构硬件特征进行自适应优化;对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等;在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效;而且我们也考虑到大数据分析过程中用户人工操作的时效性问题, 通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块, 能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持 到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提 升。亮点成果:融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。同时在双十一期间,基于智能交互向导技术,也面向电子商务应用 的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品 销量变化的原因,以及促销的有效手段等。
中国人民大学
2021-04-10
纯电动车用电力驱动系统
的
研究与开发
纯电动车用电力驱动系统的额定功率7.5kW,额定转矩24Nm,峰值功率可以达到24kW,峰值转矩100Nm,效率大于92%,最高效率为96%,转速6000rpm,电力驱动系统与整车控制器配合完成21项功能和11项系统故障保护,与国内外类似产品相比综合技术指标达到了国际先进水平。
天津职业技术师范大学
2021-04-10
胶原纤维固化单宁对水体中铀
的
吸附回收
成果描述:利用胶原纤维与单宁的反应特性,通过“共价交联技术”将单宁固化在胶原纤维上,得到胶原纤维固化材料。该项技术已获得国家发明专利,专利号:ZL021341745。 该吸附材料与一般的吸附材料不同,它为颗粒纤维状,吸附是在材料的表面进行的。因此,吸附和解吸速度很快。该吸附材料的吸附能力是普通吸附剂(如活性炭)的5-10倍,价格只略高于活性炭。 胶原纤维固化单宁对水体中的铀离子具有较强的吸附能力,其吸附容量达到120-200mg/g。特别是吸附后很容易解吸,解吸液中铀离子的浓度至少是原液的20倍以上。不仅如此,该吸附材料还可从模拟海水中提取铀,具有对铀的高选择性吸附能力,这是其它吸附材料无法比拟的。该吸附材料适合于固定床(吸附柱)操作。即将吸附材料放入吸附柱中,原料液自上而下流过吸附柱即可,由于吸附材料是颗粒纤维状,因此床层的阻力很小。当吸附达饱和后,通过解吸将吸附的铀回收,而吸附柱又可以再使用。每个吸附柱至少可重复使用20次,其吸附性能基本不变。中试应用试验表明,将该吸附材料用于含铀萃余废水的处理时,废水可达标排放,而回收的铀可重新用于核燃料生产中。市场前景分析:用于铀加工过程废水中铀的回收,稀土的分离和回收,有用金属的回收。与同类成果相比的优势分析:对铀的吸附容量达到120-200mg/g,至少可重复使用20次。能高效回收废水中的铀,废水达标排放,吸附剂可多次重复使用。使用安全,废弃吸附剂可完全焚烧处理。国际先进。
四川大学
2021-04-10
增强免疫力保健食品壳寡糖胶囊
的
研发
成果描述:本产品选择以壳寡糖、壳聚糖为主要原料,以胶囊为该产品的剂型。易于携带、服用方便的胶囊剂是保健食品的常用剂型,能最大限度地提取和保留配方中的有效成分,发挥有效成分的综合作用确保功效。改胶囊利用壳寡糖易被生物细胞吸收和利用,可广泛地激活免疫系统;壳聚糖对人体具有广谱性生理功能;在此基础上又补充了有增强免疫功能表达其他成分和缓解由于配方组分中壳聚糖产生的便秘副作用的低聚木糖。各原料相辅相成,达到协同增强免疫力的保健效果,又能缓解因长期服用壳聚糖产生的便秘副作用,这是现在甲壳素类保健食品中比较少见的。现在大多数甲壳素类保健食品都是单独以壳聚糖或壳寡糖为原料例如海利惟康几丁聚糖胶囊、久康牌壳聚糖胶囊单以补充壳聚糖为主、软银壳寡糖胶囊也是以补充壳寡糖为主。因此,我们以现代医学理论为产品的设计基本依据,利用壳寡糖的功效和壳聚糖、低聚木糖等的协同作用效果,成功开发具有特殊保健功能的复方胶囊将有助于国内保健市场的多元化和保健胶囊的发展,并在开发增强免疫力的保健食品领域也具有非常现实而重要的意义。市场前景分析:小试成果。与同类成果相比的优势分析:所用原料符合中国卫生部关于保健食品的原料要求,产品的卫生指标、理化指标、功效成分指标和安全性指标等均符合卫生部关于保健食品的相关要求。
四川大学
2021-04-10
一种棕榈藤材藤皮藤芯
的
区分方法
项目成果/简介:本发明公开了一种棕榈藤材藤皮藤芯的区分方法,该方法采用生物解剖方法,每隔一固定距离对藤茎径向的藤材纤维比量,维管束密度,导管比量和薄壁组织比量进行系统测试,计算,分析和研究,根据藤材上述解剖构造特征的......
安徽农业大学
2021-04-10
Cl-通道对脑血管重构
的
作用及其机理研究
脑血管重构是引起脑卒中的关键性病理变化,但机理仍未清楚。本技术成果通过对Cl-通道对脑血管 重构的作用及机理进行研究.
中山大学
2021-04-10
南海红树林微生物中新
的
活性代谢产物
从南海红树林微生物中分离105种化合物,其中50种新结构, 26种对肿瘤细胞(包括耐药肿瘤细胞 株)有强细胞毒活性(IC50<10μg/mL)的化合物,部分化合物活性达到纳克级,22种有抗菌活性(包括 抗临床耐药性结核菌株),2种有神经原细胞保护活性。
中山大学
2021-04-10
基于PCB线圈
的
磁耦合谐振式无线输电系统
该成果采用PCB线圈组成的磁耦合谐振式无线电能传输系统可实现中短距离无线供电,该系统的创新在于采用PCB线圈替代传统的线绕线圈,铜线绕制的线圈容易变形而引起参数变化,对系统完全保持一致的谐振频率增加了难度而PCB 板生产出来的线圈参数几乎能完全保持一致,因此有利于保持系统的谐振频率一致。
电子科技大学
2021-04-10
利用大头金蝇生物转化餐厨垃圾
的
研究
目前,城市餐厨垃圾的处理方式主要有卫生填埋和焚烧,少部分用堆肥方式处理。因存在众多困难 与弊端,未能充分利用城市餐厨垃圾。通过生态调查,我们发现双翅目蝇类昆虫(大头金蝇蛆)为餐厨 垃圾的天然优势分解者。利用大头金蝇蛆强大的繁殖能力和快速生长潜力,对餐厨垃圾进行高效生物转 化,在清除餐厨垃圾污染的同时,还可得到大头金蝇蛆(可作为畜禽养殖业的鲜活饵料或烘干后制成昆 虫蛋白粉)和有机肥两个优质产品,实现餐厨垃圾的百分百减量化、无害化、快捷化和高值化资源再生 利用。以每转化100吨餐厨垃圾为例,只需5~6天,即可产出畜禽水产养殖业和有机种植业大量需求的 优质昆虫蛋白粉约2 .5~3 .0吨(均价约2 .5万元/吨)和有机肥约50~60吨(均价约2000元/吨),日新增产值 16.2~19.5万元。
中山大学
2021-04-10
O型口蹄疫VP1基因
的
多价混合DNA疫苗
各种病毒性疫病在世界各地 不断爆发,造成了惨重的损失, 并对人类健康造成了严重威胁。 由于病毒的快速变异,一般的疫 苗会丧失保护作用。
中山大学
2021-04-10
首页
上一页
1
2
...
995
996
997
998
999
1000
热搜推荐:
1
高校实验室分级分类管理平台
2
云上展厅已成功吸引1万余家企业入驻!
3
第62届高博会圆满落幕,明年春天相约春城!