高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
大数据挖掘在植物表观遗传组学中的应用
近年随着测序技术的不断完善,生物领域积累了大量基因组、转录组、表观组学数据。怎样有效利用这些数据挖掘生物学新知识,是研究工作者在大数据时代面临的挑战。该研究以DNA甲基化测序数据入手,探索了大数据挖掘揭示生物学新知识的研究之路。翟继先课题组重新分析了公共数据库中来自不同实验室的约500余组Col-0型拟南芥DNA甲基化数据:通过比较单个突变体和多个野生型,鉴定了每个突变体中高置信度的DNA甲基化差异区域,进而分析了不同突变体间DNA甲基化差异区域的重合度,揭示控制DNA甲基化相关基因之间的联系。
南方科技大学 2021-04-13
柴油车排放遥感大数据监测系统及监测方法
针对柴油机气态排气污染物遥感检测难题,提出了基于柴油机燃烧过程过量空气系数修正的遥感测试数据反演计算方法,从而实现对柴油车NO等气态排放物浓度实时检测,满足了国家遥感标准中对柴油车NO排放浓度检测要求。 一、项目分类 关键核心技术突破 二、技术分析 针对柴油机气态排气污染物遥感检测难题,提出了基于柴油机燃烧过程过量空气系数修正的遥感测试数据反演计算方法,从而实现对柴油车NO等气态排放物浓度实时检测,满足了国家遥感标准中对柴油车NO排放浓度检测要求。并针对国内遥感大数据提出了遥感大数据处理方法,分工况区域动态确定排放阈值,从而达到动态高精度筛查高排放柴油车的目的。在汽车排放遥感监测领域具有良好市场前景。
北京理工大学 2022-08-16
技术需求、物联网可视化连接,大数据分析
物联网可视化连接,大数据分析
山东中拓信息科技有限公司 2021-06-15
基于大数据分析的小基站开关控制方法
本发明公开了一种基于大数据分析的小基站开关控制方法,包括:采集场景信息步骤;数据预处理步骤;提取特征步骤;选择并训练模型步骤;预测步骤。本发明利用特殊场景下时刻表以及小基站接入人数的历史记录,建立数学模型,预测未来小基站内的待服务人数,根据待服务人数去控制小基站的开关,达到节能、减少基站间干扰的目的。 在建立数学模型的过程中,本方法结合数据挖掘和机器学习,提高了预测的准确率和系统的实用性。
东南大学 2021-04-11
用于大数据处理系统的内存数据集置换系统与置换方法
本发明公开了一种用于大数据处理系统的内存数据集置换系统, 包括分析模块、信息监测模块、决策模块。分析模块用于对上层用户 程序进行逻辑分析,得出各运算阶段中生成内存数据集时的运算步骤 集合;信息监测模块用于对运行中的用户程序进行监测,并收集生成 内存数据集时的信息提交给决策模块;决策模块用于对收集到的信息 进行分析和排序,判断当前阶段是否需要对系统中的内存数据集进行 置换,在系统需要进行置换时确定需要移除的内存数据集并
华中科技大学 2021-04-14
湖北工业大学工程技术学院
全国先进独立学院 ●全国教育改革创新示范(院)校 ●中国影响力“独立学院” ●教育部—中兴通讯ICT产教融合创新实践基地 ●教育部-- 中软国际产学合作协同育人项目深度合作伙伴 ●国家职业技能鉴定所 ●湖北省大学生创业示范基地 ●湖北省大学生实习实训基地 ●湖北省平安校园 ●湖北省高校“先进基层党组织” 学院简介 学院国标代码:13238 湖北招生代码:4627 【办学性质】 湖北工业大学工程技术学院始建于2002年,是由湖北工业大学举办,经国家教育部批准独立设置的全日制普通高等学校,在第二批本科招生,具有学士学位授予权。 【办学理念】 学院秉持“育人为本、质量立校、特色发展”的办学理念,紧紧围绕建设应用型大学和培养高素质应用型人才的办学目标,深化内涵建设,锐意改革创新,积极推进“4321”人才培养模式,全面实施“学历证书+职业证书”双证书教育制度;围绕产业需求和职业标准构建“四位一体”的质量监控与保障体系。 【办学优势】 *学院地处风景秀丽的武昌南湖之滨,毗连湖北工业大学,地理位置优越,学术氛围浓郁。 *学院教学及生活设施齐全,师资与管理队伍精良,是莘莘学子明德修身、探求真知的理想殿堂。 *学院每专业均配备高水平教学实验室,另可共享湖北工业大学各类重点实验室、实践教学基地、图书馆等教学资源。 *本院学生报考湖北工业大学硕士研究生,同等条件优先录取。 *本院学生可就近辅修湖北工业大学第二专业和攻读双学位。 *本院学生可直接参加湖北工业大学各类校园社团和科技文化活动。 *本院学生与湖北工业大学共享校园人才市场资源,可获得更大的就业空间和高质量就业机会。 【专业建设】 学院以湖北工业大学“绿色工业”学科优势为依托,着力建设机械制造、电气通讯、土木建筑、生化工程、工业设计、经济管理、外国语等七大专业群,已形成以工学为主,经、管、文、理、艺等多学科协调发展的办学格局。学校设有八系三部一学院,即机械工程系、电气信息系、生化工程系、土木工程系、管理系、经济系、外国语系、艺术设计系、公共课部、马列课部、体育课部和中兴通讯学院,开设有38个本科专业,17个专科专业,其中物联网、生物工程、物流管理三个专业被列入湖北省战略性新兴(支柱)产业人才培养计划项目,电子信息工程和环境设计被列为湖北省专业综合改革项目,土木工程专业获批湖北省普通本科高校“荆楚卓越人才”协同育人计划项目。目前全日制在校学生近11000人。 【产教融合】 学院聚焦国家重大战略,加快转型步伐,先后与阿里巴巴、华润新龙、深圳五鑫、成都华迪、武汉软帝、中铁大桥局、武汉嘉禾装饰等一批行业知名企业,拓展了包括订单班、学徒制、共建实训实习基地等多种校企合作协同育人模式。尤其是紧密结合本地信息技术产业转型升级需求,2015年开始与全球500强企业——中兴通讯公司进行深度合作,共建中兴通讯学院,协同打造通讯工程、物联网工程、电子信息工程专业群。学院和中兴通讯公司共同投资1500万打造的“教育部—中兴通讯ICT产教融合创新实践基地”,成为国家级的产教融合创新示范引领项目;2016年学院联手知名的软件服务商——中软国际,共建软件工程、计算机科学与技术专业,并获两项“教育部·中软国际产学合作协同育人项目”立项;2017年学院成为阿里巴巴跨境电商“百城千校”合作伙伴。 【素质教育】 学院高度重视学生综合素质能力提升和多样化的发展要求,注重通识教育和专业培养相结合,学院在全国本科院校中率先开设职业核心能力系列课程,开展30多种职业资格认证培训工作;开办考研辅导班、四六级英语培训班;成立有大学生艺术团、金石合唱团、体育运动大队等60多个学生社团。近三年来,本院学生在“挑战杯”全国大学生课外学术科技作品竞赛和中国大学生创业计划竞赛、全国大学生数学建模竞赛、全国大学生英语竞赛、全国大学生电子设计大赛、全国大学生软件设计与开发大赛、全国大学生机械设计制造创新大赛等众多国家级的科技创新和技能竞赛中,赢得400多项奖励,获奖数量和层次位列全省同类院校前茅。 【学籍管理】 学院对符合学籍管理规定、成绩合格的毕业生颁发湖北工业大学工程技术学院毕业证书;符合学士学位授予条件者,授予湖北工业大学工程技术学院学士学位。 【助学体系】 学院高度重视学生的实际需求,学生奖、助、贷、勤、补、减体系完善。学院设有国家奖学金、国家励志奖学金、国家助学金、素质发展奖学金、考研究生专项奖学金、企业冠名奖学金、生源地助学贷款、勤工助学岗位、特殊困难补助及特殊困难学费减免等,积极帮助家庭经济困难学生办理生源地助学贷款,奖助覆盖率达到55%。 【师资力量】 学院全力推进“人才强校”战略,拥有一支治学严谨、结构合理的师资队伍。目前,教师总数为530人,其中硕士以上学历教师占教师总数80%以上,副高以上职称者达50%,双师型教师占比已达到35%。学院还积极提供条件选派和资助教师赴国(境)外研修,目前拥有境外学习或工作经历的教师比例超过10%。同时学院聘请一批知名高校教授及企业家为兼职教授。 【就业服务】 学院积极拓展就业渠道,面向行业需求,建立100多个校企合作就业实习基地。通过建立与企业无缝对接的人力资源服务体系,实现毕业生高质量就业。学院毕业生综合素质得到社会良好评价和用人单位认可,多年来就业率保持在90%以上。 【校园建设】 学院占地面积千余亩,校舍面积20余万平方米,建有专业实验室42个,图书馆馆藏纸质图书70余万册。学院建有各类交流中心、标准化学生公寓、现代化图书馆、先进的网络信息化平台等完备的教学和生活设施。所有教室全都安装了多媒体设备;学生公寓配备安装了冷暖双制空调、热水洗澡系统、宽带网络;学院建成了集教务管理系统、学籍管理系统、OA办公系统、校园卡系统、学生收费系统和固定资产管理系统等十余个应用系统于一体的校园网络信息化平台。
湖北工业大学工程技术学院 2021-02-01
长春工业大学人文信息学院
长春工业大学人文信息学院是1999年经原吉林省教育委员会批准,由长春工业大学和吉林省关心下一代工作委员会联合举办,具有高等学历教育招生资格的高等学校。2004年被教育部确认为普通高等学校举办的独立学院。2005年通过教育部组织的独立学院办学条件和教学状态专项评估,评价是“专家办学,注重投入,重视质量,管理规范,德育特色”。2008年被吉林省学位委员会批准为学士学位授予单位。2016年与长春工业大学建立了硕士研究生教育联盟,联合培养硕士研究生。学院现有在校生达万人,逐步形成以工科为主体,工、管、经、文、法、艺六大学科门类,37个本科专业协调发展的专业格局。学院坚持育人为本、德育为先、教学中心、质量第一的办学思想,具有培养奉献和创新精神强、专业技能和基础能力强的应用型人才的鲜明办学特色。 学院得到社会各界的广泛关注和认可。几年来,中国教育报、香港大公报、吉林日报、新华网等媒体连续报道了学院特色兴校的经验成果。上海世博会期间,学院作为吉林省教育特色品牌,通过上海世博会吉林省会刊《长白山下放歌行》推介到海内外,受到好评。 公有民办的办学体制 2006年12月,三位创建人陈坚、张兆华、尹长河共同发表声明:“长春工业大学人文信息学院全部资产归学院所有(含创立时的投入),不归创建人所有,不归其他单位和个人所有,今后永久不变更。”学院成为吉林省唯一一所 “公有民办”体制高等院校。2014年3月,学院被吉林省教育厅确定为非营利性民办高校办学模式改革试点单位。学院积极探索非营利性办学模式改革,教育教学质量逐年提高。2016年12月,学院作为吉林省省属高校唯一代表,参加了全国高校思想政治工作会议。 高质量的教师队伍 学院各专业均有名师担任系主任或学科带头人,同时注重培养“双师型”教师。现有专任教师562人,其中教授、副教授293人,占教师总数的52%;具有博士、硕士学历426人,占教师总数的75%;“双师型”教师78人。 完善的办学条件 学院坐落于享有“亚洲最大人工林海”美誉的净月国家高新技术产业开发区,校园绿化面积达48.8%,环境幽雅。学院已建成78个实验室、20个艺术设计室、8个实训中心(工程训练中心、汽车实训中心、电气电子自动化实训中心、软件实训中心、会计实训中心、金融实训中心、工程管理实训中心、外语多功能实训中心)、2个大学生创新室;教学用计算机3360台,每百名学生拥有33台;建有19000平方米图书馆,馆内藏书269万册(其中纸质图书80万册,电子图书189万册),中外文期刊800余种,拥有《中国知网博硕论文系列数据库》《读秀学术搜索》、维普期刊数据库、马列主义专题数据库、《网上报告厅》、超星移动图书馆、歌德电子借阅机和MOOCS学习平台等数据资源;建有标准400米塑胶运动场和多功能体育馆;各类生活服务设施齐全。 “两强”的办学特色 奉献和创新精神强:学院建立了完善的德育工作体系,以“六个养成”为目标,加强学风建设;以社会主义核心价值观为重点,培养学生“爱国、敬业、奉献、诚信”的品格;以“开展校园文化和大学生创新实践活动”为载体,培养学生“奉献、创新”精神。为鼓励学生刻苦学习,除国家奖学金、国家励志奖学金、国家助学金、单项奖外,学院还设立“陈坚奖学金”,用于激励学生“成人、成才、成功”。 专业技能和基础能力强:学院以市场为导向,强化专业特色,进行深度教学改革,根据人才培养需要,改革课程体系,实施分流分级教学模式,重点加强对学生专业技能和基础能力培养。各专业结合学生个性特点,因材施教,实行多样化的人才培养,使每个学生都能拥有一技之长。学院正积极推进向应用技术型大学转型发展,按产业需求调整专业,创新人才培养模式,在修正药业、一汽国际物流、欧亚集团、浙江吉利汽车、苏州博众精工、阿里巴巴、北京中科软、长城汽车、苏州绿控、苏州汇川、大连东软、宁波亚德克、嘉兴敏实等一百余家大中型企业建立稳定的校外“实习+就业”基地,产教融合和校企合作取得较大进展。学院充分利用校内专业实验室、实训中心和校外实习基地,与企业共同强化学生专业技能培养,使学生成为社会需要的高素质应用型人才。 丰硕的办学成果 学院现有省级“十二五”优势特色重点建设学科1个,省级特色专业2个,省级精品课程5门,省级优秀课程18门,省级实验教学示范中心1个。吉林省高等学校卓越工程师教育培养计划试点专业3个,吉林省大学生校外实践教育基地2个,省级人才培养模式创新实验区1个。学院获得全国“五好基层关工委先进集体”称号;被推选为“全国高等学校思想政治教育研究会”副会长单位;连续多次被评为吉林省“绿化生态单位”、吉林省高校“先进基层党组织”、长春高校文明杯“优胜单位”、长春精神文明建设“先进单位”、长春高校系统“平安校园”建设工作先进单位。近年来,我院学生积极参加全国“互联网+”大学生创新创业大赛、全国大学生电子设计竞赛、全国大学生英语竞赛、全国大学生会计信息化技能大赛、吉林省大学生计算机程序设计竞赛、吉林省大学生工程训练综合能力竞赛、全国大学生电子商务“创新·创意及创业”挑战赛、“创意中国”设计大赛、吉林省大学生生命科学创新实验大赛、全国高等院校BIM(建筑信息化)应用技能网络大赛等多项大赛,取得了优异成绩,共有1455人次在省级以上(含省级)竞赛中获奖546项。 多元的就业渠道和较高的就业率 学院采取“引进来,走出去”的方式,即引入校内定单培养、携同育人的企业;拓宽校外人才市场,与各省人才中心、大型企业结成就业协作单位,与用人单位建立长期合作关系,构建起广泛的就业信息网络化平台。与美、日、韩、俄等国高校建立联系,为学生留学或实习提供机会。截止2017年,学院已有24000余名毕业生,年平均就业率90%以上。一大批毕业生已经成为各行各业的佼佼者,他们中有自主创业成功者,有企事业岗位业绩突出者,也有科学技术领域的研究者。
长春工业大学人文信息学院 2021-02-01
基于大数据的机电设备寿命预测和维修决策系统
项目建设了面向机电设备的寿命预测和维修大数据决策系统,可为城市轨道交通建设运维过程机电设备维护检修提供了一种新的解决方案。 基于自主技术构建了基于云+管+端的机电设备大数据采集传输存储分析平台。“端”是自主研发的支持边缘计算的安全可信终端;“管”是基于MQTT的扩展增强安全传输通道;“云”是基于HADOOP技术的工业大数据云平台。平台对机电设备生产经营相关业务数据、设备过程数据和设备外部数据的采集、清洗、集成、建模及应用过程提供全方位支撑,利用机器学习技术对设备剩余寿命可靠度模型和全生命周期成本模型进行了训练和优化,并形成指导性维修方案。 项目采用了自主知识产权的嵌入式安全数据终端和融合安全的传输协议,为保护用户隐私,增强系统可信提供了技术保障。 项目采用了智能边缘计算终端技术,可以根据用户的不同机电设备下载不同的检修预测模型进行预测分析,能够支持灵活的组网方式,适应于各种应用场景,节省用户投资。
太原科技大学 2021-05-04
全时空融合定位及用户行为分析挖掘大数据平台
研究背景及挑战:高精度无缝位置服务是智慧生活的关键技术之一, 也是实现以人为中心的智能情境感知技术基础。然而, 复杂城市峡谷(高楼、天桥、隧道)地区连续导航、室内外高精度无缝定位由于卫星信号频繁受到阻隔、室内布局动态变化等因素,实现连续高精度全空间定位存在诸多挑战。本科研团队研究内容:基于团队在 Wi-Fi, ZigBee, INS、图像、超声波、声音、RFID 等多种定位技术科研成果,研发高精度、低功耗、低成本、易部署的多源融合定位云平台,提供全时空位置服务及用户行为挖掘服务平台。融合定位云平台体系框架全时空定位服务平台上下文突破弹性导航软硬件架构及理论体系基于因子图多源融合定位算法科研基础:国家重点研发计划项目“自适应导航软硬件技术”、高精度高鲁棒性室内定位关键技术及装置研究(863)、无线传感网络定位技术研究(NSFC)、基于众包和群智计算的室内无线定位理论和方法 (NSFC)、自适应室内无线信号变化的低代价高精度定位技术研究(NSFC)等项目的支持下,已完成全时空融合定位云平台,以及用户行为挖掘大数据平台建设。 科研成果:1中国卫星导航定位科技进步一等奖2 获UbiComp交通模式识别比赛冠军3获阿里巴巴天池世界比赛冠军4 制定国家实时定位标准6项5 发表中科院一区顶级SCI期刊论文 10 篇6 获得国家发明专利授权 20项,申请国家发明专利 32项7 国际 IPIN2016 室内定位比赛第3名 成果应用案例:华为、三星、中国电信集成、华大电子、22所等
北京邮电大学 2021-04-10
首页 上一页 1 2
  • ...
  • 12 13 14
  • ...
  • 128 129 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    64届高博会于2026年5月在南昌举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1