高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
一种汽车车载CAN总线系统测控分析平台
南京工程学院 2021-04-13
基于音视频识别及语义分析的智能约谈平台
针对行政约谈场景中存在的人工记录效率低、内容理解偏差记录、资料追溯繁杂等问题,本成果开展了基于音视频识别及语义分析的智能约谈平台的研究。基于 AI 深度学习的音视频识别框架、复杂网络理论和语义知识本体的文本语义相似度计算方法,研究音视频识别的语音转写、对话管理、计算机视觉技术和内容分析的语义理解、语义优化、情感识别方法,实现网信约谈、纪委约谈、公安审讯、监狱谈话等多种行政约谈场景下的约谈智能化和数字化。其中,语音识别转写是开展智能约谈系统研究的前提和基础,本成果训练了声学模型和语言模型,构建编码器,通过音频角色分离和声纹识别技术分离说话人声音,编码器识别解码,经过文本语义处理转写为文本。而文本语义处理是智能约谈系统提升约谈效能的源动力,成果构建了基于语义本体的自动专家导引约谈知识库,通过基于复杂网络的语义相似度计算给约谈工作人员推荐约谈问题;约谈结束后,利用融合主题特征的文本自动摘要技术快速生成汇报摘要,利用基于分布式表示的事件抽取技术自动生成约谈报告。本成果研制高效、便捷的智能约谈音视频识别及语义分析平台,实现了在线约谈预约、人脸识别身份核验、语音实时转写、约谈问题智能引导提问、音视文同步显示、汇报摘要自动生成、约谈报告自动生成、约谈文件回溯、约谈大数据分析等功能。
西安电子科技大学 2022-12-15
融创教学平台
融创教学平台是一款全方位、多功能的在线学习管理系统,旨在为教育工作者和学生提供便捷、高效的教学与学习体验。平台支持课程管理、督导巡课、资源共享、在线测评、学业分析等多种功能,致力于提升教学质量与学习效果。
北京大智汇领教育科技有限公司 2024-11-28
贵州电子商务职业技术学院
贵州电子商务职业技术学院于2016年3月成立,是经省人民政府批准,教育部备案的省属全日制普通高等学校,隶属于贵州省商务厅。学院是在国家改革发展示范校、国家级重点中专--贵州省电子商务学校(原贵州省商业学校)的基础上,与贵州省物资学校合并创建而来,办学史可追溯到1947年。主要培养适应经济社会发展需求的财经、商贸、信息、艺术、服务类高端技术技能型人才。以高职(专科)教育为主,同时兼招中职学生。学院现有清镇、花果园、二戈寨三个校区,总占地面积471.15亩。目前下设7个系(部),开办有电子商务、大数据技术与应用、物流管理、市场营销、会计、室内艺术设计、计算机网络技术、网络营销、数字媒体艺术、财务管理、电子信息工程技术等33个专业,办学规模达到10582人;现有教职工486人,专任教师304人,其中具有研究生学历教师占专任教师总数20%,中高级教师占专任教师总数37%。学院建有财经、商贸、旅游服务、文化艺术、信息技术、文教体育“六大”实训基地49个实训室,1个电子商务发展研究中心,设有“贵州省第32国家职业技能鉴定所”、“全国计算机高新技术考试站”、“全国电子商务师考点”,具备多种职业技能培训及鉴定资质。学院是“全国电化教育先进单位”“贵州省文明单位”“贵州省职业教育先进单位”“贵州省职业技能鉴定先进单位”,牵头领办有“贵州省商贸职教集团”。站在新的历史起点上,学院将继续抢抓电子商务和现代物流产业发展机遇,坚持依法治校、以德立校、科技兴校、人才强校,积极构建现代职业院校制度,加快发展,突出特色,推动跨越,为建成区域特色、省内一流、国内知名的高等职业院校而努力奋斗。
贵州电子商务职业技术学院 2021-02-01
约翰威立商务服务(北京)有限公司
约翰威立商务服务(北京)有限公司 2022-05-24
深圳八零赞电子商务有限公司
深圳八零赞电子商务有限公司 2023-01-29
全时空融合定位及用户行为分析挖掘大数据平台
研究背景及挑战:高精度无缝位置服务是智慧生活的关键技术之一, 也是实现以人为中心的智能情境感知技术基础。然而, 复杂城市峡谷(高楼、天桥、隧道)地区连续导航、室内外高精度无缝定位由于卫星信号频繁受到阻隔、室内布局动态变化等因素,实现连续高精度全空间定位存在诸多挑战。本科研团队研究内容:基于团队在 Wi-Fi, ZigBee, INS、图像、超声波、声音、RFID 等多种定位技术科研成果,研发高精度、低功耗、低成本、易部署的多源融合定位云平台,提供全时空位置服务及用户行为挖掘服务平台。融合定位云平台体系框架全时空定位服务平台上下文突破弹性导航软硬件架构及理论体系基于因子图多源融合定位算法科研基础:国家重点研发计划项目“自适应导航软硬件技术”、高精度高鲁棒性室内定位关键技术及装置研究(863)、无线传感网络定位技术研究(NSFC)、基于众包和群智计算的室内无线定位理论和方法 (NSFC)、自适应室内无线信号变化的低代价高精度定位技术研究(NSFC)等项目的支持下,已完成全时空融合定位云平台,以及用户行为挖掘大数据平台建设。 科研成果:1中国卫星导航定位科技进步一等奖2 获UbiComp交通模式识别比赛冠军3获阿里巴巴天池世界比赛冠军4 制定国家实时定位标准6项5 发表中科院一区顶级SCI期刊论文 10 篇6 获得国家发明专利授权 20项,申请国家发明专利 32项7 国际 IPIN2016 室内定位比赛第3名 成果应用案例:华为、三星、中国电信集成、华大电子、22所等
北京邮电大学 2021-04-10
全时空融合定位及用户行为分析挖掘大数据平台
研究背景及挑战: 高精度无缝位置服务是智慧生活的关键技术之一, 也是实现以人为中心的智能情境感知技术基础。然而, 复杂城市峡谷(高楼、天桥、隧道)地区连续导航、室内外高精度无缝定位由于卫星信号频繁受到阻隔、室内布局动态变化等因素,实现连续高精度全空间定位存在诸多挑战。 本科研团队研究内容: 基于团队在 Wi-Fi, ZigBee, INS、图像、超声波、声音、RFID 等多种定位技术科研成果,研发高精度、低功耗、低成本、易部署的多源融合定位云平台,提供全时空位置服务及用户行为挖掘服务平台。 融合定位云平台体系框架 全时空定位服务平台上下文 突破弹性导航软硬件架构及理论体系 基于因子图多源融合定位算法 科研基础: 国家重点研发计划项目“自适应导航软硬件技术”、高精度高鲁棒性室内定位关键技术及装置研究(863)、无线传感网络定位技术研究(NSFC)、基于众包和群智计算的室内无线定位理论和方法 (NSFC)、自适应室内无线信号变化的低代价高精度定位技术研究(NSFC)等项目的支持下,已完成全时空融合定位云平台,以及用户行为挖掘大数据平台建设。   科研成果: 1中国卫星导航定位科技进步一等奖 2 获UbiComp交通模式识别比赛冠军 3获阿里巴巴天池世界比赛冠军 4 制定国家实时定位标准6项 5 发表中科院一区顶级SCI期刊论文 10 篇 6 获得国家发明专利授权 20项,申请国家发明专利 32项 7 国际 IPIN2016 室内定位比赛第3名   成果应用案例: 华为、三星、中国电信集成、华大电子、22所等
北京邮电大学 2021-05-09
技术需求:一套为景区打造的多商户版B2B2C电子商务平台
1、包含商城、小程序直播、拼团、砍价、商户管理、 秒杀、优惠券、积分、分销、会员、充值、多门店等功能。2、可对接各景区票务系统,景区一键实现线上售票,未来会增加专属的票务模块。3、低成本获客,提供微信生态裂变获客方案。4、强大的分销代理功能,可以帮助商家拓展销售渠道,包含晋升机制、佣金激励和二级分销,可以应用于老带新场景和线下团队线上化场景,帮助商家打造拥有战斗力的线上销售团队。5、支持容器云、资源编排、资源限制、资源调度,满足企业对复杂资源规格的需求。提供容器、应用,两级监控。提供metric、logging、tracing,三类监控。
江西东蕾信息科技有限公司 2021-11-02
首页 上一页 1 2
  • ...
  • 5 6 7
  • ...
  • 163 164 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    63届高博会于5月23日在长春举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1