高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
基于NC-Link的工业大数据采集设备
【技术领域】 光电子技术、智能制造 【痛点问题】 我国目前正在进行智能制造的数字化转型,智能制造的基础工业互联网,工业互联网要求工业设备进行互联互通,工业设备互联协议主要被国外垄断,包括美国的MTConnect和欧洲的OPC UA。NC-Link是具有自主知识产权的国产工业设备互联协议,是中国国家标准(智能工厂数控机床互联接口规范GB/T 41970-2022),基于NC-Link进行工业大数据采集将会打破基于国外协议的工业数据采集设备的垄断。 【成果介绍】 项目研制NC-Link适配器和代理器。NC-Link适配器外接在工业控制系统的主机上(例如数控系统、机器人、PLC)等,自动把工业系统的生产数据(电压、电流等)和设备的属性数据采集后转换成NC-Link格式,然后传送到NC-Link代理器,再传送到产线服务器或云端数据中心,供工业应用软件,例如MES、ERP、远程运维、质量检测、数字孪生等系统使用。项目采样周期可以到毫秒级,支持工业大数据和双向数据传输。项目可用在工业互联网领域,用来统一数据采集标准,可以实现自主可控,解决卡脖子难题。 本项目研发基于自主知识产权的工业互联协议NC-Link采集设备,用来对工业设备生产的大数据进行采集,拟解决的核心技术问题和主要研究内容如下: 1)研究NC-Link与其他国内外工业协议的适配技术,建立NC-Link装备模型。 2)研发NC-Link适配器,NC-Link适配器可适配国内主要的工业设备和支持国外工业协议的工业设备。 3)研发NC-Link代理器,用来在NC-Link适配器和工业应用系统之间进行数据缓存和转发。 4)研发NC-Link数据接口,用来连接NC-Link代理器和NC-Link适配器,同时连接工业应用系统和NC-Link代理器。 5)研发NC-Link安全可信模块,支持可信计算、数据安全、网络安全、基于身份的接入认证。 6)研究基于NC-Link的数据采集技术,研发基于NC-Link的工业大数据采集设备。 【技术优势】 NC-Link目前是国家标准(GB/T 41970-2022),产品基于该国家标准,与同类产品相比是自主知识产权的产品,是解决卡脖子的技术。在技术上优势包括:支持毫秒级数据采集,支持数据安全和网络安全,集成了可信3.0技术。 【技术指标】 a) 最小采样周期≤1ms; b) 适配工业协议种类≥30; c) 支持全双工数据传输; d) 支持身份认证,传输加密,访问控制等安全功能; e) 支持可信3.0技术。 【技术成熟度】 原理样机/验证。 【发展规划】 1)2023年,研制原理样机,在智能制造场景展开应用验证。 2)2024年,研制工程样机,进行工程验证;成立公司进行融资。 3)2025年,进行产品定型和销售,销售额500万。 4)2026年,销售额2000万-5000万。 【知识产权】 团队拥有多项自主知识产权。
华中科技大学 2023-07-11
互联网RFID大数据智能书柜实训系统
产品详细介绍互联网+大数据智能书柜教学实训系统 一、 概述智能书柜是以智慧图书柜或微型智慧图书馆为载体,可以广泛的在校园、公司写字楼、商场、社区、公园等地方使用,比如放置在校园的各个角落,如教学楼每层走廊、每间教室、宿舍楼等地,无需专门的图书管理员,学生可以随时随地快速方便的进行图书借还操作,而且校园内的所有图书可以随意流通借还,是传统图书馆功能在使用空间和时间上的扩展,是实现阅读无处不在、阅读触手可及的基础平台。互联网+大数据智能书柜是以智能书柜为硬件平台,综合了互联网数据传输、云大数据处理功能,通过在图书上粘贴RFID标签,利用智能书柜里面的RIFD读写器和RFID天线对图书标签自动实时识别,实现图书批量自助借还、智能盘点、智慧拣选、图书防盗等一系列智能化的图书管理,结合云平台大数据分析挖掘,实现精准图书采购、个性化指导学生借书种类和阅读时间,构建阅读学习成长模型。互联网+大数据智能书柜基本组成部分如下:第一部分:感知层和控制层,包括RFID图书信息采集模块、RFID人员身份信息采集模块、二维码信息采集、摄像头信息采集和控制、电控锁控制模块等;第二部分:传输层,包括有线网络传输、无线网络传输,如WIFI、4G等;第三部分:应用层,主要是智能书柜应用软件功能;第四部分:云服务器大数据处理,主要是大数据挖掘分析功能。这四部分功能,结合配套的相关设备,使互联网+大数据智能书柜成为用RFID等物联网技术手段改变图书馆传统借阅、阅读环境的典型应用。互联网+大数据智能书柜教学实训系统是用于研究RFID等物联网技术实现典型应用的平台,完成RFID等物联网技术从技术到实现典型应用相关的教学和学习13965501553
泰格瑞德科技有限公司 2021-08-23
南京智农云芯大数据科技有限公司
南京智农云芯大数据科技有限公司(简称AgriBrain)是一家专注农业领域大数据分析与人工智能解决方案的高科技公司,基于自主研发的无代码AI平台GrowthBrain、自动化表型引擎PhenoBrain和高精度全基因组选择算法平台GSBrain,旨在为科研、教育和企业用户提供低成本、高效率、智能化的AI解决方案。 GrowthBrain无需编程简单拖拽即可实现海量算法训练和分析,傻瓜式设计无需用户具备算法背景,旨在降低AI应用门槛让用户更专注自身业务领域。PhenoBrain可以使得客户根据自身场景进行快速的本地分析、调用或集成,同时相比业内高昂的表型平台,具备低成本、高个性化等优势;GSBrain中的全基因组选择算法,经三组数据实验数据验证比当前国际开源算法稳定提升 9%~45%,可更高效的进行子代筛选和更精准的指导基因编辑。 公司核心团队由美国上市公司的研发、南农等顶尖高校的机器学习、表观遗传、农学等专业背景成员组成,合作客户包括上海交大、中国农大、上海农科院等知名单位。 
南京智农云芯大数据科技有限公司 2024-03-12
融合架构的高时效可扩展大数据分析平台
大数据应用的多样化 需要的计算模型、数据模型多样化; 目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。 多系统导致大数据分析平台非常复杂、效率低下。研究目标:研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个 方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键 值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计 算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这 套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于 大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面,分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合:设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、 文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据 分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。多计算模型融合:在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集 的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和 流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗, 提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储,面向应用负载和异构硬件特征进行自适应优化;对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等;在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效;而且我们也考虑到大数据分析过程中用户人工操作的时效性问题, 通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块, 能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持 到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提 升。亮点成果:融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。同时在双十一期间,基于智能交互向导技术,也面向电子商务应用 的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品 销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-04-10
大数据产业创新发展行动专项方案设计
成果通过大数据基础性共性关键技术研究,提升重庆大数据应用指导理 论和应用系统水平,形成国内领先的大数据应用研究成果和示范应用,研制具 有自主知识产权的若干大数据软硬件产品和工具,达到国内领先水平,以点带面, 引领重庆大数据产业创新发展。成果研究与设计大数据产业新型研发机构示范, 设计成立市场化运营、独立法人的新型研发机构,创新管理、科研和成果转化、 产业化的模式和机制,面向社会和重点产业开展大数据应用关键共性技术研究和 成果转化服务,吸引国内外大数据技术企业、海外大数据人才和社会资本,构建 产学研用协同创新,具有产业联动效应、连接向上下游的重庆大数据产业创新机 构。完善重庆大数据产业基础性技术支撑系统建设,具备创业与孵化等功能,组织策划实施重庆大数据产业重点专项,促进重庆大数据产业科技成果转化,推进 重庆大数据产业创新发展。成果包含以下方面的行动方案调研与研究:高速大数 据挖掘关键技术研究及应用示范;实时动态大数据处理关键技术研究及应用示范; 大数据分析预测模型与智能决策系统研究及应用示范;多维叠加式大数据可视化 系统平台研究及应用示范。 成果为政府和行业提供决策咨询、产品规划、方案设计等服务,帮助其梳理 业务数据、挖掘数据价值、重构业务流程。成果为政府和行业提供决策咨询、产 品规划、方案设计等服务,帮助其梳理业务数据、挖掘数据价值、重构业务流程。 成果为政府和行业提供包括大数据解决方案及系统集成和数据资产运营的全方 位的大数据解决方案服务;参与数据资产运营,获得数据增值部分的分成。
重庆大学 2021-04-11
基于大数据分析的小基站开关控制方法
本发明公开了一种基于大数据分析的小基站开关控制方法,包括:采集场景信息步骤;数据预处理步骤;提取特征步骤;选择并训练模型步骤;预测步骤。本发明利用特殊场景下时刻表以及小基站接入人数的历史记录,建立数学模型,预测未来小基站内的待服务人数,根据待服务人数去控制小基站的开关,达到节能、减少基站间干扰的目的。在建立数学模型的过程中,本方法结合数据挖掘和机器学习,提高了预测的准确率和系统的实用性。
东南大学 2021-04-11
北斗环境多要素智能监测与大数据服务平台
作为全球导航卫星系统(GNSS)的后起之秀,我国自主北斗导航卫星系统(BDS)近年来迅猛发展。“十二五”及未来“十三五”期间,已有和正在发展大规模的各类地基北斗 /GPS 站网(CORS 网、GNSS/MET 网等),同时,空基(无人机、有人机)和天基观测载荷 研制已提上日程。所有这些观测数据将形成天空地一体化网络的北斗大数据资源。随着导航、 定位、授时等北斗传统应用的日趋成熟(图 1),北斗大数据附加值发掘及新型应用领域产 业链的拓展将前景广阔。本项目为导航卫星创新增值应用及北斗大数据信息的深度挖掘,将干扰导航定位精度的大气折射、地表反射等误差源,“变废为宝”为遥感探测的信号源,在突破我国自主导航卫 星遥感探测关键技术的基础上,从地基探测和空基(无人机、有人机)探测两个层面,实现 软硬件一体化的北斗/GPS 双模气象水文生态多要素综合监测系统。方案及成果将面向行业 应用需求,引进吸收国际前端技术,紧密结合当地资源优势,打造内蒙古自治区成为国内率 先开展北斗气象水文生态增值创新应用的省份,拓展北斗大数据在气象预报、智慧农业、智 慧水利、生态环境等领域的应用(图 1)。图 2 为北斗/GPS 环境多要素智能监测与大数据服务平台总体方案。围绕“数据获取——数据存储——分析挖掘——应用服务”这一主线进行。其中: 数据获取分为地空天三类:(1)自主研发的低成本北斗/GPS 环境多要素智能监测设备;(2)无人机搭载北斗/GPS 智能监测传感器;(3)GNSS 遥感卫星。 环境监测要素包括:农业环境生态(土壤湿度、植被水分等)、气象水文(大气水汽、积雪深度、水位等)、海洋(潮位、风场、盐度、海冰等)。 该方案将充分发挥导航卫星无源探测、高时空分辨率、低成本高产出、实时性强的优势。同时,方案涉及的监测要素及方法可实现同卫星遥感(高分卫星、降水卫星、重力卫星等) 监测的有效结合和优势互补,作为国土资源实时监测系统的有机组成部分,共同实现国家级、 区域级空天地一体化物联网遥感大数据智能监测服务。清华大学在利用地基、空基北斗/GPS 观测数据进行气象水文生态要素监测技术开发、 产品研发、软硬件研发集成等方面具备丰富的研究积累,尤其针对我国自主北斗导航系统的 创新应用,团队成果国内领先且得到国际同行的高度认可,开发并集成了一套完备的“北斗 /GPS 双模多要素智能监测”整体解决方案。除发表高水平学术论文外,已申请多项发明专 利和软件著作权(表 1),2016 年技术成果已通过软硬件服务在青海(气象/水利/环境)、四 川(农业/气象)、山东(农业)、北京(科研单位)等地取得了初期经济效益。中心已具备 的技术基础与部分成果展示如图 3-图 6 所示,包括全国范围地基综合观测站网建设(图 3)、 空基试验与技术攻关(图 4)、监测产品研发(图 5)、软硬件设备自主研发(图 6)。所有这 些技术积累将为本方案的顺利实施提供有力保障。目前市场上尚无相关产品,并且本项目的成果产出可从如下几个方向进行多层次、全方 位的市场化对接:(1)软件模块:研制内容一产出的气象水文生态监测要素估算软件模块,可同以北斗 导航定位为主打方向的企业对接,通过嵌入本软件模块,拓宽其业务范围,在为农业、气象、 水利等部门提供导航定位服务的同时,融入气象水文生态要素同步监测的功能。不同需求定 制的软件模块按 1-10 万元每套计算,初期市场年需求量预计 50 套,预计每年产生收益 50-500 万元,市场成熟后可面向全国推广,年收益可达 1000-5000 万元。(2)监测产品:研制内容一产出的气象水文生态监测要素产品,如通过 SDCORS 监测 网络附加得到的多要素监测产品,可实现政府买单为行业公众提供服务。可与高校、科研院 所等联合申报国家级、省部级科研项目,预计单个项目经费 500-1000 万元。(3)新型监测设备:研究内容二所产出的面向气象农业水文应用的北斗/GPS 双模气象 水文生态多要素综合监测设备,具有低成本、小型化、多功能等优势,可独立进行市场推广。 按单套收益 5 万元计算,初期市场年需求量 50 套,预计年收益 250 万元,市场成熟后可面 向全国推广,年收益可达 500-3000 万元,并可与目前市场上通用的 GNSS 定位型接收机竞 争,实现行业接收机的更新换代及初期市场垄断。(4)演示系统:研究内容三所产出的北斗/GPS 双模气象水文生态多要素综合监测演示 系统,可率先在山东省(青岛市)开展示范应用,且该创新应用模式在全国具有推广价值。 可联合申报科研项目,预计单个项目经费 500-1000 万元,同时可实现业务化推广应用,名 利双收。
清华大学 2021-04-11
基于智能柔性传感的互联网大数据平台
大健康是未来世界发展的趋势,在未来10年内将产生10万亿美元的产业。我国在近期提出的健康中国,着眼于扩大在线健康服务,依托大数据提出诊断和治疗建议,实现大社区健康管理与大健康服务。实现这一体系的关键,在于各种柔性电子、传感器技术,与物联网、云通信技术,以及大数据与人工智能相结合。 随着经济的发展,人们对于健康的重视程度越来越高,在皮肤表面进行检测人们身体健康状况的柔性传感器,是未来电子科技发展的一个重要方向,将会有巨大的市场前景。在以智能手机为主体的电子元器件的开发日益盛行,开发一种柔性智能传感器,舒服的贴在皮肤表面,这种传感器既能够检测人们生命体征(如血压、心跳、体温、血糖等)的变化,又能够无线连接手机。医院的医生能够通过互联网、云通讯、分布式的监测和管理每个病房的病人的身体状况,既节省大量人力时间成本,又能够及时的检测到病人的生命体征变化;结合无线互联网、云通讯,能实现分布式医护,虚拟空间管理;与大数据与人工智能结合,进行智能健康管理,实现智慧医疗(图1)。 图1 基于柔性传感器的智慧医疗系统 本项目主要应用生物相容的蚕丝材料作为传感单元主要组成部分,以无线蓝牙模块与无源RFID标签作为人机数据交互单元,以大数据为手段对平台进行管理,瞄准柔性电子与智能大数据前沿领域,具有重要的科学意义。具体如下: (1)柔性电子皮肤等智能传感新技术与器件开发 近年来,蚕丝等柔性材料作为医用生物材料渐渐进入人们的视线,具有良好的生物相容性和极佳的力学性能。以此为基础开发柔性电子制造技术,通过柔性材料的光刻、打印等加工技术,制备传感单元。 (2)人体传感信号实时监测的云系统的开发 通过建立皮肤表面传感器无线信号传输技术,实现体温、心跳等信号的远程监测,符合国家精准医疗精神。通过云系统可对老年社区、医院等场所进行智能化、集成化的监控,实现健康的大数据管理。除此以外,也可实现个体的远程诊疗体系。向“健康中国2030”靠拢,依托大数据提出诊断和治疗建议。 (3)将系列传感器材料制备技术与无线信号传输云平台结合,实现个人和医院的对自身和病人的健康指标数据进行检测和管理。以此无线体征检测的平台框架为基础,后续又可以引入更多传感与控制体系,适应场景的多样化。 二、前期研究基础 (1)模仿神经元突触的蚕丝忆阻器 在神经系统中,当神经冲动从轴突传导到末端时,Ca2+离子大量涌入突触前膜引起递质的分泌,从而改变突触后膜的导电性。我们通过仿生该过程,利用Ag+离子在外加电场作用下WK@AuNCs蚕丝蛋白薄膜的迁移行为来模拟阻值渐变和阻值记忆的过程。其电学特性表明其具有独特的突触特性,并具有突触学习能力。 (2)蚕丝基应力传感器—柔性电子皮肤 人体电子皮肤传感器是未来传感器发展的新方向之一,超薄超柔的特性使其可以在人体几乎难以察觉异状的情况下,完成多种生理指标的采集。我们通过研制柔性压力传感器,已在运动检测、发声检测、脉搏检测等方面开展了大量研究。 (3)纤维传感器 可穿戴设备在未来智能装备领域具有广泛的应用前景,而我们平时穿戴的衣物均是由纤维编织而成,智能穿戴设备设计的最高境界为对其本身必须的纤维材料的功能化。我们通过对纤维材料进行改造和设计,制备除了纤维状温度、压力传感器。对纤维传感器进行编织可实现多维度传感,并可适应多种场景,这项工作与传统纺织行业结合开创了尖端智能科技研究新领域。
厦门大学 2021-04-11
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
新型冠状病毒大数据交叉学科研究平台
2020年1月23日,国防科技大学系统工程学院与四川大学、电子科技大学共同组建新型冠状病毒大数据交叉学科研究平台,为新型流行病研究和防控贡献科学力量。 参与该平台组建的是国防科技大学系统工程学院吕欣教授牵头的大数据与复杂网络研究团队,该团队主要研究方向为大数据挖掘,应急管理与人类行为动力学分析,长期围绕地震、洪水、流行病等问题应用大数据技术开展应急救援工作,在海地地震与霍乱、孟加拉台风Mahasen、西非国家埃博拉、中国登革热等事件中得到广泛应用。 该团队基于新型冠状病毒大数据交叉学科研究平台,利用海量多源异构大数据,结合疫情发生发展规律,对人群流动及传播风险进行了综合建模和分析,为政府决策提供了参考依据。
国防科技大学 2021-04-10
首页 上一页 1 2
  • ...
  • 8 9 10
  • ...
  • 70 71 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    63届高博会于5月23日在长春举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1