高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
融合架构的高时效可扩展大数据分析平台
研究背景:  大数据应用的多样化  需要的计算模型、数据模型多样化;  目前每类模型需要单独的开源系统来支持(如HDFS、HBase、Neo4j、MongoDB,Flink,Spark,Tensorflow等)。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标: 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST(Fusion-Architecture, Scalable, Time-efficient big data analysis platform)。 针对目前大数据分析平台复杂、效率低下的痛点,该系统具有三个  方面的优势:首先,这套系统采用融合架构,一方面实现关系、图、键  值、文档等多种数据模型的高效融合,另一方面实现批处理计算、流计  算的深度融合,并可以通过SQL扩展语言来进行多模型的统一查询,实现高效的跨模型查询。其次,对于复杂系统来说,时效性非常重要,这  套系统采用融合架构提高效率是实现高时效的基础,更重要的是,我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后,对于  大数据应用来说,系统扩展性非常重要,本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面,分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构,我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合: 设计和研发了多模型数据管理与查询引擎,支持关系、图、键值、  文档等多种数据模型,实现了查询解析、查询优化、元数据管理、数据  分布等功能,将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言,通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验,多模型数据融合查询,比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询,所以FAST系统在易用性上也表现良好,降低使用门槛,提高开发效率。 多计算模型融合: 在计算层实现了最常见的批处理计算和流计算深度融合,批流融合的核心方法是在系统内部实现批和流的统一表达,批是对有限数据集  的运算,流是对无限数据流的计算,我们设计了UCollection结构对批和  流数据进行统一表达,通过识别的bounded标志,来确定是批、流、或批流融合。有了统一表达,可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口,实现二者在编程范式上的统一表达。对于批流混合的计算,融合架构系统的查询延迟比Flink 1.4.2能减少57%,吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效,即缩短大数据分析的时间消耗,  提高效率。由于大数据分析平台是一个非常复杂的系统,为了做到高时效,系统不能存在性能短板,因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示,自下而上,需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储,面向应用负载和异构硬件特征进行自适应优化; 对于批流融合计算,在统一表达基础上,进行系列融合优化技术, 包括DAG优化、迭代优化、部署优化、操作符优化等; 在机器学习层面,进行模型优化、消息优化、梯度优化、概率优化 等来提高时效; 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题,  通过智能地进行大数据分析方法和模型的推荐,来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展,由于大数据应用规模很大,数据增速快,对系统可扩展性的要求非常高,为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层,系统都部署在云计算的虚拟化资源之上,利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块,  能实时监控软硬件系统的状态,按照应用需求来自适应地进行弹性伸缩。 在存储层,分布式存储系统扩展性的关键在于分布式共识和一致性 协议(Raft),因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层,我们扩展了机器学习模型的参数规模,使系统可以支持  到百亿级别的超大规模机器学习模型训练,并且性能方面有明显提  升。 亮点成果: 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间,在阿里的生产环境中,研发 的系统一直连续稳定运行,基于淘宝和天猫的实际用户信息进行大数据 分析,综合运用了本系统的存储、计算、机器学习等多个模块的能力, 累计进行了184亿件商品推荐。 同时在双十一期间,基于智能交互向导技术,也面向电子商务应用  的卖家提供了“生意参谋”应用,基于大数据分析,帮助卖家分析产品  销量变化的原因,以及促销的有效手段等。
中国人民大学 2021-05-09
有机膦酸类阻垢缓蚀剂的离子色谱分离分析方法
本发明涉及膦酸盐阻垢缓蚀剂的离子色谱分离分析方法,特别涉及等度分离非抑制电导检测的膦酸盐阻垢缓蚀剂的离子色谱分离分析方法。包括以下步骤:基线测绘、进样和离子交换、洗脱、非抑制电导检测分析;本发明对三种常用膦酸盐阻垢缓蚀剂能进行良好的分离分析,保留时间、峰高、峰面积的相对标准偏差均小于4%,工艺流程大为简化,本方法可用于膦酸盐阻垢缓蚀剂含量的检测,为也可同时检测实际样品的纯度。
浙江大学 2021-04-11
多媒体分子生物学图象分析系统
分子生物学是研究生物大分子结构与功能的一门学科,而分子的大小、密度、含量及图象比较分析是分子生物学研究中的重要内容,如对基因密码DNA进行限制性内切酶解片断长度多态性分析(简称RFLP)和聚合酶链反应(简称PCR)对DNA分子上的基因不同长度的特征性片段进行扩增分析,蛋白质和DNA、RNA分子、多糖分子及其它生物大分子的经凝胶电泳和荧光染色或其他方法染色后,在紫外透射分析仪和其他光谱下可显示出不同图象位置格局和密度,是生物学科研工作和临床疾病诊断的重要依据。以往对这些不同分子的分析主要是凭人眼目测,欠客观性,人为因素所造成的误差较大,且难以保存这些结果的原始图象。我们将分子生物学技术与计算机技术结合,研制出多媒体分子生物学图象分析系统。本分析系统由PⅡ350以上的微机和CCD(CHARGE COUPLED DEVICE)摄像机,图象卡,紫外透射分析仪,日光源,扫描仪,彩色喷墨打印机,电源转换器, 分子生物学图象分析专用软件系统(BioComputAnasis1.0a)等部分组成。 该分子生物学图象分析系统可以对生物大分子电泳图象进行密度定量、分子大小测定、标注、扫描、图象融合比较,存储、编辑和打印,便于检索,为科研和临床图象采集和数据分析提供了强有力的系统,使得医学诊断和生物科研图象的多功能分析成为可能。经临床和分子生物学实验应用表明,该系统定量准确,分析可靠,速度快,能储存大量信息,便于检索和信息处理。可以打印彩色照片和结果报告,非常方便。这必将代替以往其他传统落后的实验方式和分析报告方式。对分子量进行多次实际测定,总误差率<+1%,对密度含量进行实际测定结果表明误差率<+5%,该系统操作简单,是分子生物学和基因工程基础研究、临床分子诊断及基因诊断重要的仪器和换代产品,为科研和临床数据采集分析提供了极大的方便。
上海理工大学 2021-04-11
超高分辨率光矢量分析仪
超高分辨率光矢量分析设备采用“微波光子学方法”,首创具有国际领先水平的“超高分辨率光矢量分析技术”,集成了电-光、光-电和光-光3类元器件频谱响应的测量功能,可应用于光纤通信、光纤传感、光信号处理和集成光子学等领域。技术特征关键技术与创新点一:基于120度电桥的高抑制比光单边带调制技术和基于光载波抑制与平衡光电探测的非线性误差对消技术。关键技术与创新点二:光频梳通道化测量技术和基于光希尔伯特变换的镜像边带抑制技术。关键技术与创新点三:多种测量模式融合与系统软硬件集成技术。工作波长:1528-1565 nm最高波长分辨率:50 kHz(即0.4 fm)幅度分辨率:0.01 dB幅度精确度:±0.11 dB相位分辨率:0.01°相位精确度:±1.2°对比国际上最高水平商用光矢量分析仪表LUNA OVA5000,设备的分辨率提升了4000倍,动态范围提升了31倍(15dB),相位精确度提升了2.5倍(单通道40GHz范围内),幅度分辨率也提升5倍以上,打破国外技术壁垒,实现进口替代。应用范围:设备已应用于包含海思光电子以及4家上市公司在内的数十家单位47种高端光器件的研发和生产(用户包括:华为、长飞光纤601869.SH、中航光电002179.SZ、航天电器002025.SZ、光迅科技002281.SZ等),其中31种高端光器件在本项目设备的支撑下实现了量产;在我国高速光电芯片、新一代光通信系统、工业互联网、智能感知等领域发挥着稳定的作用,有力支撑了我国核心光器件的自主可控和原始创新。
南京航空航天大学 2021-04-10
脂肪酸深度开发产品及市场前景分析
可以量产/n油酸和硬脂酸在工业油脂的生产中有着广泛的用途,是合成工业用润滑剂、表面活性剂等工业产品的主要原料。目前较为先进的方法有水媒法,该法将混合脂肪酸放入刮板式热交换器中冷却,形成脂肪酸结晶糊,加入十二烷基磺酸钠盐类浸湿剂并充分混合,再加入硫酸镁类的电解质水溶液。浸湿剂选择性地浸润饱和酸的结晶体,并把晶体周围的液体酸溶解,在饱和酸晶体周围形成一层水膜,用离心机分离混合物,得到轻油组分含不饱和脂肪酸和较重组分的饱和固态脂肪酸。分别加热轻、重两组分,使脂肪酸与含浸润剂的水溶液分离,干燥后得到相应的脂肪酸,即硬脂酸和油酸。该工艺克服了精馏分离需高真空和能耗高的缺点,使生产成本大大降低。
武汉工程大学 2021-04-11
细胞类型分析的便携式多用途医疗设备
成果介绍项目开发一种基于解卷积算法的细胞类型分析的便携式多用途医疗设备——阿尔法细胞分析仪,该设备只通过一组基因的表达水平检测,即可判定样本中所有细胞类型及丰度。技术创新点及参数仪器通过预先构建好的不同组织主要细胞类型的参考表达谱,结合解卷积模型来预测组织或血液样本中的细胞组分,并利用已训练好的疾病预测模型可进一步进行临床诊断。可快速、准确、低成本地识别各类组织的细胞类型和丰度,单个样本的数据分析可以在 ~20min 内完成,具有极高的分析效率。目前已完成组织特异芯片和细胞类型识别算法以及单片机的设计方案。市场前景本项目可与医院、科研院所、第三方检测公司达成合作,接受投资。
东南大学 2021-04-11
城市水污染源远程在线监控、报警分析系统
系统软件使用了多项当前国际上最新的计算机开发技术,包括COM plus技术、基于UDP协议的远程通讯技术、ADO数据访问核心技术、GIS技术、TTS语言引擎技术、MSAGENT技术,以及虚拟仪器组态技术、WINDOWS SDK编程技术等。软件引入了面向仿真、工业自动化、虚拟仪器仪表等数据图形领域的图形仪表组件,包括实时和历史趋势图曲线等,使软件具有逼真的人机界面,很强的实时数据处理能力。软件可以允许用户自行添加管辖区域列表和嵌入GIS地图,以及监控企业的厂貌图和设施图,从而系统软件更富有地方特色和满足个性化需求。软件还创造性地引入了具有当前国际先进水平的TTS(Text To Speech)语音技术,实现中、英文语音报警。软件界面还引用了Windows XP配色方案,提供多种SKIN更换功能;而MSAGENT的人性化动作配合报警进程,使软件充分体现“科技以人为本”的设计理念,使软件界面更加生动、突出。软件特别在GIS系统中,设计了“放大镜”功能,使浏览地理信息更加清晰。软件全部使用自主开发、设计的24位真彩色,拥有自主知识产权的ICO图标和自行开发的通信系统。系统设计了“读实时数据”等10条命令字通信格式,通过发送命令字方式与现场污染治理设施运行记录仪进行通信。 系统通过“YSC-Ⅲ型污染治理设施运行记录仪”、PSTN城市公共电话网络,实时在线监测企业污水排放数据和污染治理设施的运行状况;上传历史数据,并存入数据库,以供查询、生成报表和打印。系统能自动监测企业超标排放报警信号,自动打开报警系统软件,并接收企业污水排放报警数据。同时,迅速启动GIS系统,标出报警企业的地理位置和详细地理信息,包括企业编码、企业名称、企业地址、联系人和联系电话,并作为一次报警记录,记录在日志文件中,以备查询。同时系统将该企业的报警数据,包括流量排放数据、COD数据、PH数据,以及污染治理设施运行记录仪运行状况等数据记录在系统的数据库文档中。 环保监理部门通过系统实时监测企业的污水排放质量、上传企业的历史排放数据、对企业实施立即“反控”和定时“反控”等措施,对超标排放的企业在第一时间掌握超标排放企业的信息(包括地理位置)、超标数据,以便快速、有效地采取相应的措施,对超标排放的企业作出相应的处理,使城市环境污染能得有效的控制。
上海理工大学 2021-04-11
《2022全国普通高校大学生竞赛分析报告》发布
2023年3月22日,中国高等教育学会高校竞赛评估与管理体系研究专家工作组发布《2022全国普通高校大学生竞赛分析报告》(以下简称《分析报告》),其中包含普通本科院校大学生竞赛榜单13个、高职院校大学生竞赛榜单11个、省份大学生竞赛榜单3个(附件1)。
中国高等教育学会 2023-03-22
基于微流控芯片的血液多指标分析仪
已有样品/n养老产业是未来的黄金产业,养老院的常规体检和快速诊断是一个痛点。基于微流控芯片的体液多参数分析仪满足了这个需求,市场需求在50 亿人民币以上,目前还没有同类产品。该成果针对社区医院和养老院的常规体检和疾病诊断,开发了于微流控芯片的体液多参数分析仪,更换芯片可以检测血常规、血生化、尿液、免疫等多个项目。实现一台仪器检测多种常见疾病。目前阶段性成果或结题成果获得:专利1 项、SCI 论文11 篇、湖北省自然科
武汉大学 2021-01-12
采用系统综合分析方法对化工企业进行节能改造
一.项目简介系统综合分析方法是河北工业大学刘智勇教授创立的一种全新的节能技术。工业实践表明,该技术特别适用于石油、化工等行业老厂节能改造。石油、化工行业大都是耗能大户,且很多企业存在以下问题: 由于设计缺陷或各种条件变化,现行操作条件与最优条件相距甚远; 很多设备在设计时采用的是多年前的设计规范,其设计裕量一般偏大; 以前人们节能意识淡薄,在很多环节上对节能考虑很少。上述问题造成现有企业能量消耗偏高,对这些企业进行节能改造势在必行。但是,对上述企业的节能改造必须在高新科技指导下才能取得最大效益。现在流行的“热夹点分析方法”是非常有效的方法之一。但是,热夹点技术是20世纪80年代产生的。由于受当时条件限制,该技术只考虑换热网络的优化,很少考虑换热网络与化工过程的主体(反应与分离过程)的相互影响。所以,热夹点技术给出的“最优化方案”往往不是真正的最优方案。在很多情况下,热夹点分析给出的改造方案需要调整换热网络或增加换热面积才能达到一定节能效果。随着对石油、化工系统各种科学问题的逐步深入研究,特别是计算机模拟与优化技术的发展,我们可以考虑化工过程整体优化问题,也就是说可以把反应、分离的操作条件、换热网络、公用工程以及设备裕度等因素综合考虑得出优化方案。这样,既可保证过程在全面优化条件下运行,又能充分利用设备裕量。河北工业大学刘智勇教授创立的系统综合分析方法就是这样一种新技术。该技术首先对全过程进行模拟,得出与实际过程相吻合的数学模型,然后采用热夹点技术对换热网络进行分析,找出“热夹点”及“网络夹点”。在上述工作基础上,结合过程具体特性,对换热网络及整个系统进行全面分析及优化,从而得出最优化解决方案。在考虑节能方案时,不仅考虑过程优化,同时考虑现有设备对过程的制约以及设备裕度等因素对耗能的影响。显然,这样得出的节能方案比传统热夹点技术得出的方案更好。系统综合分析方法在解决问题时分两步进行。第一步,提出“设备零投资”方案。由于现有很多企业设备裕量偏大,如果充分利用这些裕量,经常可以达到一定的节能效果。换句话说,该方案是在充分利用现有设备的裕量条件下优化现有操作条件。这样做有两个好处:没有设备投资、无需停车。在“设备零投资”节能方案基础上,结合热夹点分析方法,增加换热器或调整换热网络,可以得出效益更大的节能方案。我们称之为“增加设备或调整设备方案”。上述两个方案有各自的优点。“设备零投资”方案无需对设备进行大的改造,甚至无需任何改造投资费用,可以在不停车情况下进行,所以有其独到的优点。工厂无需等到大修,即可通过“设备零投资”方案取得一定节能效果。在大修时采用“增加设备或调整设备方案”可望取得更大的节能效果。应用实例:燕山石化炼油厂润滑油生产车间酮苯脱蜡溶剂回收装置能耗很高,拟投资600万元对该系统进行改造。我们采用系统综合分析方法对该装置进行了全面分析,找出了能耗高的根本原因,提出了一套“设备零投资”节能方案。按照该方案,厂方无需任何设备投资,即可达到很好的节能效果。厂方采用了我们的方案。工业实践表明,该装置节约蒸汽达25%,每年可节约费用260万,同时节省了600万元设备投资。随后,我们又对该公司其它四套溶剂回收系统(上述系统采用蒸汽加热,这四套系统采用加热炉加热)进行了分析,提出了新的“设备零投资”节能方案,这些方案仍然无需设备投资。结果节约燃料达10%。四套装置每年可节约燃料费用400万元左右。另外,该技术已经在大庆石化、大连石化得到应用并取得很好的节能效益。从应用实例可知,系统综合分析方法具有以下特点:投资少(甚至是设备零投资)、见效快、设备及换热网络改动小(甚至无需改动)、无需停车等优点。二.市场前景我国化工企业能耗很高,节约能源不仅给企业带来很好的经济效益,也将对减少废气及CO2排放,有很好的社会效益。市场前景广阔。三.规模与投资本技术适用于比较大的企业。采用本技术,投资很少,见效很快。四.生产设备如前所述,采用本技术,在应用本技术的第一阶段,工厂无需设备投资。五.效益分析对中石油、中石化等特大型企业的应用表明,采用本技术,在设备零投资前提下,可以得到10%左右的节能效益。对其它技术力量比较薄弱的企业,由于其技术及设备比较落后,采用本技术进行节能改造,节能效益将更为明显。六.合作方式以节能效益分成方式进行合作,也可以双方共同协商其它合理方式。七.其他八.图片大庆石化公司炼油厂采用本技术进行节能改造的情况说明:项目负责人:刘智勇所属学院:化工学院,河北工业大学联系电话:13132559169,022-60202047邮箱:liuzhiyong@hebut.edu.cn, liuzy56@hotmail.com
河北工业大学 2021-04-13
首页 上一页 1 2
  • ...
  • 59 60 61
  • ...
  • 90 91 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    63届高博会于5月23日在长春举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1