高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
面向老人活动状态感知的物联网信息终端
本设计根据将ZigBee无线技术应用在智能家居上,可实现一种可以监控家庭老人活动状态的无线传感器网络,并通过因特网甚至是手机远程监控来实现家庭医疗保健这一理念,为构建智能家居系统奠定基础,通过家庭网关将家庭内部无线网络和外部广域网沟通起来。 家庭网关是由家居内部无线网络ZigBee协调器和PC机两个部分组成,两者各司其职,前者主导家庭内部无线网络,后者通过因特网与外部网络通信。为实现远程监控功能提供了可能性。用户通过家庭网关达到监控家庭ZIGBEE节点的目的。 1、通过内置微型传感器,监测老人身体状态,包括站立、躺下、卧倒、慢跑、左侧卧倒,右侧卧倒,摔倒,紧急状态这八种状态; 2、通过ZigBee网络同时监测多位老人的身体状态; 3、老人在出现紧急情况时,可通过监测仪实现主动报警; 4、报警信息可通过GSM模块,以短信的形式发送给老人的监护人; 5、监控中心可以记录老人的状态信息,并可显示状态发生与持续的时间; 6、监控中心具有事件功能,可向监测仪发送时间提醒消息,提示老人吃药,添减衣物等; 7、低功耗设计,便于携带和使用。
北京科技大学 2021-04-11
物联网导航芯片加密问题的解决方案
朱立新博士,山东沂南县人,中科院自动化所所博士、美国密歇根州立大学博士后,目前任北京师范大学互联网教育智能技术及应用国家工程实验室高级工程师,互联网教育智能技术及应用国家工程实验室学习环境设计与评测实验室联席主任,研究生导师。 曾经在中国科学院、美国密歇根州立大学(MSU),从事芯片研发、VR硬件、物联网等工作,在英特尔公司、美国科胜讯半导体、国内北斗星通公司、武汉梦芯科技公司、爱奇艺VR公司,从事过数字电视芯片、手机芯片、电力线上网芯片、北斗导航芯片及其终端、物联网、教育机器人、VR 一体机、人工智能等领域等研发工作。 曾经作为主要技术研发人员,参与了世界第一颗四模一体(GPS、格洛纳斯GLONASS、北斗、伽利略Galileo)国内某北斗导航芯片研发,参与了国内导航界某龙头企业的芯片研发、流片,成功用到国内的渔船导航、汽车导航等北斗信号接收机中。 导航芯片加密技术采用了三级加密技术,由芯片级加密、硬件班级加密、软件加密,三级加密技术。芯片的加密技术和工程实现,需要跟实际的物联网使用场景相结合,实现定制化加密。北京师范学互联网教育智能技术及应用国家工程实验室能够作为技术参与方为物联网芯片、NB-IoT芯片、5G芯片、消费类电子芯片,提供技术研发指导。
辽宁大学 2021-04-10
一种基于物联网的房间调控系统
成果描述:本实用新型公开了一种基于物联网的房间调控系统,其包括依次连接的传感器模组、处理系统和受控端,以及与处理系统相连接的移动终端;处理系统包括依次连接的输入电路、处理电路和输出电路,以及与处理电路相连接的存储器、无线通信模块和电源模块,电源模块连接无线通信模块。本实用新型可以通过移动终端远程控制作为受控端的家用电器,也可以通过传感器模组自动控制受控端,提前改善房间内的环境,为用户提供更好的居住体验。市场前景分析:本实用新型可以通过移动终端远程控制作为受控端的家用电器,也可以通过传感器模组自动控制受控端,提前改善房间内的环境,为用户提供更好的居住体验。与同类成果相比的优势分析:国内领先
成都大学 2021-04-10
一种基于物联网的物流查询系统
成果描述:本实用新型公开了一种基于物联网的物流查询系统,其包括处理系统、扫码器、定位装置、触摸屏、变压器、无线通信装置、服务器和上位机;处理系统包括依次连接的输入电路、处理电路和输出电路,以及与处理电路相连接的存储器;触摸屏连接处理系统,变压器连接处理系统与无线通信装置;扫码器和定位装置连接输入电路;无线通信装置连接处理电路;服务器无线连接无线通信装置,上位机连接服务器。本实用新型加大了对快递物流的查询能力,提供了快递的实时位置与运输过程中的图像,有效监督物流公司的服务质量,为快递的快速、安全到达提供了有效保障。市场前景分析:本实用新型加大了对快递物流的查询能力,提供了快递的实时位置与运输过程中的图像,有效监督物流公司的服务质量,为快递的快速、安全到达提供了有效保障。与同类成果相比的优势分析:国内领先
成都大学 2021-04-10
基于物联网的采掘业智慧生产系统
项目发挥东北大学信息学院计算机科学、电子技术、通信技术、测控技术和自动化方面的综合学科优势,围绕国家重大战略方向和国家重大工程对先进信息技术的需求,以提高采掘业和巷道施工作业安全管理的智能化水平为目标,研究相关物联网技术,采用物联网技术对采掘业和巷道生产作业产过程中的关键设备、作业人员、生产场合进行有效监测和实时信息掌控。一方面,依赖物联网技术实现以较低的投资和使用成本,对生产过程各元素包括人员、设备、环境的“泛在感知”,获取传统方法由于成本原因无法在线实时、全面监测的重要参数;另一方面,利用物联网技术提高采掘业和巷道安全作业规范,保证生产安全运行和人员安全,有效地避免生产过程中出现重特大事故。提升我国采掘业和巷道作业的信息化发展水平,并在实际生产中进行创新应用示范。     该项目是在国家支撑计划重大项目“基于物联网的地铁施工安全风险识别与可视化预警”、教育部基础科研重大创新项目“面向采掘业和巷道施工安全作业的物联网关键技术研究”支持下获得的成果,整个系统包括人员监控子系统、施工结构监控子系统、设备监控子系统、环境监控子系统和基于GIS的大型应急管理决策系统,突破了地下人员和设备精确实时定位技术,结构微应变、微位移精确实时监测技术、实时可靠的工业物联网通信技术。开发的装置包括智能人员监管节点、微位移、微应变监测装置、异构物联网汇聚节点(层间管理主机)等。项目申请了5项专利和两个软件登记,并于2014年获得国家科技进步二等奖。
东北大学 2021-04-11
物联网导航芯片加密问题的解决方案
朱立新博士,山东沂南县人,中科院自动化所所博士、美国密歇根州立大学博士后,目前任北京师范大学互联网教育智能技术及应用国家工程实验室高级工程师,互联网教育智能技术及应用国家工程实验室学习环境设计与评测实验室联席主任,研究生导师。 曾经在中国科学院、美国密歇根州立大学(MSU),从事芯片研发、VR硬件、物联网等工作,在英特尔公司、美国科胜讯半导体、国内北斗星通公司、武汉梦芯科技公司、爱奇艺VR公司,从事过数字电视芯片、手机芯片、电力线上网芯片、北斗导航芯片及其终端、物联网、教育机器人、VR 一体机、人工智能等领域等研发工作。 曾经作为主要技术研发人员,参与了世界第一颗四模一体(GPS、格洛纳斯GLONASS、北斗、伽利略Galileo)国内某北斗导航芯片研发,参与了国内导航界某龙头企业的芯片研发、流片,成功用到国内的渔船导航、汽车导航等北斗信号接收机中。 导航芯片加密技术采用了三级加密技术,由芯片级加密、硬件班级加密、软件加密,三级加密技术。芯片的加密技术和工程实现,需要跟实际的物联网使用场景相结合,实现定制化加密。北京师范学互联网教育智能技术及应用国家工程实验室能够作为技术参与方为物联网芯片、NB-IoT芯片、5G芯片、消费类电子芯片,提供技术研发指导。
北京师范大学 2021-05-09
物联网感知节点安全仿真与性能评估系统
成果介绍物联网感知层测试实验与评估系统是在863主题项目—物联网安全感知关键技术及仿真验证平台的资助下完成。仿真平台为物联网感知节点部署后的性能提供一个仿真测试和性能评估的环境,其特点是:不需要部署真实的感知节点。通过对物理信道的建模、无线信号特征建模、电源建模和通信环境建模,能够最大限度模拟真实环境下的感知节点通信过程。仿真的结果是理论值,可以将感知层测试实验平台的数据作为系统的初始值,从而提高仿真的精度。其特点和指标:(1)针对实际应用环境配置参与通信的感知节点属性和参数,即节点建模;(2)建模感知节点的电源模型;(3)根据用户的需要选择节点部署的方式,并可以对节点位置、属性和参数进行手动调整;(4)能够加载待测的通信协议;(5)能够根据部署的拓扑图产生用户编程模板;(6)理论上,待测节点的数量不设置上限,但随着节点数量的增加,PC的处理时间将延长;(7)能够仿真无攻击或攻击情况下,网络的吞吐量、丢包率、延时、数据传输的平均路径长度、平均能耗和网络的扩展性等性能;(8)该平台不受具体应用的限制。技术创新点及参数技术原理:针对物联网感知层设备规模庞大,部署费时费力,以及部署前很难评估系统性能,部署后加载的协议一旦不符合要求,重新加载成本巨大的问题,研发了该平台。该成果的主要创新性体现在感知设备和环境等物理特征建模、测试内容和方法、仿真过程和结果的可视化显示等方面,使得开发的系统简单、易用,测试过程清晰、透明,测试结果可以分类比较。(1)在感知设备和环境等物理特征建模方面 该项目在感知设备部署环境方面,分别对室内环境和室外环境进行建模。针对室外环境,该团队主要考虑自由空间的情况下,根据设备部署在平坦区域和非平坦区域的不同进行建模;针对室内环境,该团队主要根据多径效应、视距是否阻挡以及不同建筑材料(包括:混凝土墙、混领土楼板、天花板管道、金属楼梯、厚玻璃、木门和隔墙等)对信号衰减的影响进行建模。在电源建模方面,主要是根据不同厂家的5号电池的放电曲线进行建模,由其放电电流、放电电压和持续时间来确定电源的剩余电量。在芯片建模方面,根据不同的芯片类型,建模发射功率、接收灵敏度、RSSI、发送速率、工作电流和最小工作电压等主要参数。(2)在感知层的测试内容和方法方面该平台主要针对感知层需要评价的性能,如:吞吐量、丢包率、延时、平均路径长度、能耗和连通度等,设计了其测试方法,新增待测性能可以通过组件的方式扩展。为了实现相关性能测试,首先需要选择设备类型和部署场景,如图1和图2所示。然后进行部署,部署完成后,系统会自动产生5类文件,即:.ned文件,定义了感知设备部署后的拓扑结构,如图3所示;.msg文件,定义了感知设备之间的通信规则,用户可以根据实际需要进行修改和自定义;.ini文件,设备一旦部署完成后,其id号和位置坐标将记录在该文件中,设备移动后,该文件对应的坐标值将自动更新;.h和.cc文件,即用户待测协议的源文件。一旦感知设备部署完成,平台自动产生这5类文件的初始框架,用户只需要写入待测协议的具体代码,经编译器编译后,即可进入测试环节。具体协议的代码可根据该项目组编写的编程指南开发,其开发环境与C语言的开发环境类似,方便易用。(3)在仿真过程和结果的可视化显示方面一旦待测协议编译完成,平台即可开始相关的测试,此时,用户可以根据需要动态选择不同的参数,进行测试。开始测试时,平台将同步显示协议的通信过程,如图5所示。根据仿真测试结果,不同的协议可以进行性能对比,如图4所示为不同协议的网络平均能耗对比。该平台可以在无攻击和无安全机制、无攻击和有安全机制、有攻击和无安全机制、有攻击和有安全机制等四种情况下,评估感知层网络的性能,并将它们的测试结果进行对比分析。国内外同类技术对比:国际上类似的仿真工具有十种左右,如:TOSSIM,OpenNet,NS2和OMNET等,都是针对传感器网络开发,不能仿真技术体制不同的感知设备,没有对设备、网络和环境等物理特征建模,而且无法接入实体设备,无法进行虚实结合的仿真测试。即使有些工具可以仿真感知层网路,如:TOSSIM,但是只提供TinyOS传感网络的仿真环境,无法仿真系统的安全性能,无法动态添加安全策略和安全模型。而NS2、OpenNet和OMNET虽然可以仿真安全协议,但使用复杂,不易掌握,无法进行多安全机制对比,无法接入实体设备。而且,它们仿真的物理层是理想状态,造成仿真结果与实际存在较大的差异。
东南大学 2021-04-11
物联网医疗模式构建与关键技术应用
围绕“健康中国2030”战略和重大民生需求,开展产学研用协同创新,项目创新性地提出并建立了以“轻量级智能医疗终端+模型化分层技术体系+生态型综合服务平台”为架构的新型健康医疗模式。 齐鲁工业大学(山东省科学院)王英龙研究员团队从智能医疗终端研发、医疗资源与医疗服务平台构建、健康医疗云综合系统应用、健康医疗大数据四个方面进行攻关,创建了“精准感知、可靠传输、高度共享、深度挖掘”的模型化四层技术体系,自主研发了“低成本、易操作、云模式、可扩展”的系列化轻量级智能医疗终端20余款,构建了服务于农民、老人、病人三大群体的“闭环生态圈”型健康医疗云平台。系统已在农村医疗、居家养老、医院随访领域获得了大规模示范应用。
齐鲁工业大学 2021-04-22
基于物联网的远程监控密码保险箱
依据不同的密码工作原理,保险箱又可分为机械保险和电子保险两种,前者的特点是价格比较便宜,性能比较可靠。早期的保险箱大部分都是机械保险柜箱。电子保险箱是将电子密码、IC卡等智能控制方式的电子锁应用到保险箱中,其特点是使用方便,需经常更换密码,因此使用电子密码保险箱,就比较方便。
南京工业大学 2021-01-12
首页 上一页 1 2
  • ...
  • 25 26 27
  • ...
  • 650 651 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    63届高博会于5月23日在长春举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1