高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
大数据应用的多样化 需要的计算模型、数据模型多样化; 目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。 多系统导致大数据分析平台非常复杂、效率低下。研究目标:研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个 方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键 值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计 算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这 套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于 大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面,分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合:设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、 文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据 分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。多计算模型融合:在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集 的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和 流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗, 提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储,面向应用负载和异构硬件特征进行自适应优化;对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等;在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效;而且我们也考虑到大数据分析过程中用户人工操作的时效性问题, 通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块, 能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持 到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提 升。亮点成果:融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。同时在双十一期间,基于智能交互向导技术,也面向电子商务应用 的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品 销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-04-10
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
基于极化码的分段CRC校验堆栈译码方法及架构
本发明公开了一种基于极化码的分段CRC校验堆栈译码方法,包括:将信息序列分为N部分;对每一段最后一位比特在极化码码字序列中的位置进行标记;在进行堆栈译码的过程中,当译码长度到达标记位置时,实施CRC检验,若通过,则该译码路径存活,若不通过,则该译码路径被淘汰。与传统的方法相比,本发明大大降低了算法复杂度并使译码性能得到提升,并提升了译码的正确率。此外,在译码方法的基础上,硬件架构同时被提出,资源占据较传统算法实现了降低。
东南大学 2021-04-14
基于ARM+μC/OS/GUI架构的智能控制系统
研发阶段/n内容简介:本系统是一个基于ARM内核,具有多任务强实时处理能力,同时具有窗口图形人机交互界面的嵌入式智能控制系统。系统硬件采用韩国现代公司推出的32位高性能嵌入式处理器HMS30C7202,集成了ARM7TDMICPU核,存储器管理单元(MMU),8KB的高速缓冲存储器以及写缓冲器,支持STN和TFT的LCD控制器、TOUCHPANEL控制器、CAN、USB、AID、红外等,主频为70MHz。软件系统采用嵌入式实时多任务操作系统μC/OS-Ⅱ,嵌入了图形用户界面μC/GUI。根据不同的应
湖北工业大学 2021-01-12
一种面向 NUMA 架构的虚拟 CPU 调度优化方法
本发明公开了一种面向 NUMA 架构的 VCPU 调度优化方法,具 体地:采集每个 VCPU 的访存信息,分析计算各 VCPU 的访存特征; 根据每个 VCPU 的内存块位置和类型,在将访存密集型 VCPU 平均分 配到不同 NUMA 节点的基础上,保证最大限度的本地内存访问;当存 在空闲的 CPU 时,根据 CPU 负载大小以及 CPU 所属节点信息,为该 空闲的 CPU 选取一个合适的 VCPU 来运行。本发明针对访存密集型应
华中科技大学 2021-04-14
DF-101S集热式磁力搅拌器
集热式磁力搅拌器型号:101S    产地:郑州技术参数DF-101S 特征:平板 ; 搅拌容量:最大2000ml ; 搅拌速度:无级调速 0-2600; 加热温度:室温-400℃ ; 控温方式:智能自动; 工作电压:220V/50Hz ; 整机尺寸:239×245×220 ; 主要特点随意设定,自动恒温,使用更加方便、直观,控温精度高、准确可靠。 仪器介绍DF-101S在DF-101B基础上,增加了高精度时间比例式数显温控仪和智能型数字显示温度两种型号,随意设定,自动恒温,使用更加方便、直观,控温精度高、准确可靠。
巩义市城区众合仪器供应站 2025-05-12
晶品遮光型智能试剂柜JPG-2000S
    晶品JPG-2000S智能试剂安全管理柜,是基于JPG-2000基础上迭代升级的新一代试剂柜产品,外形小巧,存储空间利用更合理,容量可以达到JPG-2000同等存储水平。小体积、大容量,在满足存储量的同时,更加节约实验室空间,可适用于各种类型的摆放方式。    JPG-2000S型试剂柜柜体嵌有7寸电容触摸屏,装有嵌入式系統。该系统可显示柜内空气质量、温湿度状況,具有柜门未关闭报警,过滤器耗材更换提醒等功能。柜体内部具有空气过滤模块,通过专用的过滤器来净化对实验人员有害的气体。柜门嵌入RFID刷卡模块,能有效管控双人双锁刷卡流程。如果想实现多台管理可以单独购买外按控制软件,该软件可以装载到用户的电脑里,通过电脑与多台柜体连接进行试剂的出入柜管理及数据导入导出工作,可将操作人员、试剂信息、柜体信息系统的管理起来,形成完整的试剂信息管理系统,可实现对试剂的安全管理。    •嵌入式系统    嵌入式系统“试剂柜管理系统V2.0”,液晶显示,位摸屏操作,可监测柜内温湿度,空气质量等信息。    •外接控制软件    双模式-可外接控制软件“试剂柜控制软件V2.0〞,实现多柜连接管控,试剂出入库管理,查询试剂信息。    智能摄像系统    无人值守,可实现24小时全天候视频监控,360°无死角,硬盘存储可达30天,并可无限扩充。    •多柜井联、系统交互    嵌入式系统和控制软件可以通过WIF1功能进行远程交互、多柜并联,存储空间无限扩大,试剂信息统计更为便利、准确,导出、打印各式样报表,数据海量存储,永久保存。    •空气过滤系统    内置活性炭空气过滤系统,有效解决化学品气味影响实验员身体健康的问题。可更换的过滤材料,大风量风扇、保证内部空气每分钟循环三次。    •双人双锁    有效解决试剂的安全管理,符合对易制毒、易制爆危险化学品的管理要求。对于常规试剂也可方便地实现单人单锁控制。
北京晶品赛思科技有限公司 2025-06-10
JBLSRX828S
  很高功率处理能力的 JBL 传感器   ● 坚固、耐用的外壳,全集成音频架构   ● JBL 专业音频系统搭配可使用: Crown XTI2.5、Crown Itech HD 和 dbx DriveRack Venu360   ● 使用很好的 18mm 木质外壳,14 号钢板格栅和JBL 专利 DuraFLex 涂层, SRX800 扬声器系列具备高标准的防护外壳将承受任何恶劣环境的考验。   典型应用:   SRX818S/SRX828S 采用18 寸低音单元和 JBL 专利差分驱动技术在减轻重量的同时又很大程度的提高了功率的输出。   3 英寸的音圈和双重铁氧体驱动器降低了失真和扩展了低频响应。   规格参数:   SRX828S   系统类型:双 18 英寸,超低系统   最大声压级输出:129dB(连续),135dB(峰值)   灵敏度1m/1w:98 dB   频率范围(-10dB):30Hz-150Hz   频率响应(-3dB):47Hz-120Hz   系统额定功率:4800W 峰值,2400W 节目,1200W 连续   阻抗:4 Ohm   连接口:NL4 Input, NL4 Loop-thru (+/-1 or +/-2 Selectable)   工作模式:内置分频   低频驱动器:(2X)2279H   分频点:80Hz   材质:18mm 胶合木板   把手:8个   格栅:粉末涂层,黑曜石涂层,14号穿孔钢板声学透明黑色外壳   规格(L x W x H):681mm x 1205mm x 574mm   净重:62.1 kg   装运重量:66.5 kg
上海扬培文化发展有限公司 2021-08-23
JBLSRX818S
  一整套用户可控SRX800系列DSP的强大的船上400 mhz Sharc DSP包括20 PEQ,2秒的延迟,信号发生器,输入混合放大器监视和50个用户预设。 此外,该系统可以将V5 JBL电子调优提供与我们的旗舰Vertec和发行旅游系统的兼容性。 一个集成的LCD屏幕支持快速设置和配置。   有目的的设计   SRX800系列的每一个细节都是故意设计和思考,充分考虑其预期使用。 人体工程学设计的手柄支持一个简单,non-fatiguing简化处理的控制。 M10省略号,索引的脚和杆/三脚支架支持广泛,灵活的阵列配置。   传感器技术   JBL电子差动传动®专利技术铁氧体司机把3”声音线圈质量较低的铁氧体磁铁降低体重,增加功率处理,很低失真和扩展低频响应。 JBL电子2432 h是钕3”音圈压缩驱动程序在这个类中,提供非常高的功率水平和光滑,晶莹剔透的声音。   DRIVECORE的皇冠   SRX818SP由皇冠专有前端DriveCore技术大规模的1000 w额定功率、额定功率的这类喇叭。 非凡的103 db信噪比,SRX800系列能够大规模声压水平异常空间,低失真和清晰在它   频率范围。   HIQNET网络控制   与全HiQnet网络集成,配置SRX800系统大大简化,节省时间的同时完全自动化控制接口配置。 通过提供简单的有线控制Ethercon连接器和第三方无线路由器功能是包括在内。 运动控制选项包括音频架构师,HiQnet ControlTM iOS应用程序,并为iOS和Android单独应用程序。   规范   系统类型 自我驱动的18”,低音炮系统   SPL输出 135分贝   频率范围(-10分贝) 29 Hz - 150赫兹   频率响应(3 dB) 35 Hz - 120赫兹   放大器的设计 类D   额定功率 1000 W峰值   尺寸:575 x 684 x 683(毫米)   净重:39.5公斤(87磅)
上海扬培文化发展有限公司 2021-08-23
Sirantech S-TMQ
化学名称 :2,2,4- 三甲基 -1,2- 二氢喹啉的聚合物  CAS 注册号 : 26780-96-1 产品规格 : 外观 琥珀至棕色颗粒状 有效体含量 ( 二、三聚体总量 )(HPLC),% ≥ 70.00 异丙基二苯胺含量 (HPLC),% ≤ 0.20 软化点 ,° C   80.0-100.0 灰分 ,% ≤ 0.20 加热减量 (50-55° C ),% ≤ 0.20 ◆  用途:      -S-TMQ是橡胶工业中抗热氧老化性能特别优秀的一类通用型喹啉类防老剂,在硫化橡胶制品中具有抗硫化还原强、低挥发性和污染小的特点。适用于天然橡胶和除氯丁橡胶之外的其他合成橡胶。             -与TMQ(普通RD)相比,S-TMQ拥有更高的有效体含量因而具有更卓越的防老化效果。                -S-TMQ 广泛应用于轮胎等橡胶产品中。  ◆  包装条件:纸塑包装袋包装,每袋净重20kg。  ◆  运输条件:应装于清洁,有顶棚的车内运输,防止日晒,雨淋,隔离热源。  
山东圣奥化学科技有限公司 2021-09-10
首页 上一页 1 2 3 4 5 6
  • ...
  • 44 45 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    64届高博会于2026年5月在南昌举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1