高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
交互式大数据处理与分析技术
1.痛点问题 多年来,工业大数据领域大数据分析算法和模型都是基于大量代码实现,效率低,难以实现快速开发。同时,工业大数据处理分析模型处理过程多由多个算法通过一定的计算流程构成,计算流程复杂多变,迫切需要一款支持灵活定制和快速开发的处理分析技术来支持工业大数据处理分析。 2.解决方案 清华数为交互式大数据处理与分析技术针对工业大数据处理与分析任务的交互式探索、建模、调试和应用而设计。根据CRISP-DM设计原则,一般大数据处理与分析分为业务理解、数据理解、数据准备、建模、评估和部署等阶段,各阶段相辅相成,形成一个大数据处理分析生命周期。 图1.交互式大数据处理与分析技术设计思想 本成果技术基于上述CRISP-DM的设计思想而设计,完全支持大数据处理与分析生命周期。该技术的特点包括: (1)内置数百种通用和专用的大数据分析算法和模型,并提供了按需扩展机制,用户可以按照自己的需要随时添加和扩充,以支持客户特定的大数据应用需求; (2)支持拖拽方式构建处理与分析流程,完全图形化设计大数据处理分析计算流程,并能在设计过程中进行单步/多步运行调试,查看中间结果,实时调整运行结果,以获得用户期望的处理分析结果; (3)支持机器学习模型训练及使用,内置了机器学习模型训练框架,一般机器学习模型在该技术的支持下,可以实现快速训练,训练结果可支持进一步的大数据处理与分析; (4)支持数据处理与分析流程参数化,在其提供的内部数据处理与分析算法模板中,用户通过算法模板可以开发面向Java、Python的算法,并集成和扩展到该技术的算法集合,实现按需定制处理分析; (5)支持数据画像和学习模型可视化,以图形化的方式定制数据画像的方法模型,并以二维和三维图表的形式展示给用户; (6)支持批处理、流处理和流转批处理三种处理方式; (7)按需定制运行计划与资源有效利用,用户可设置任务执行计划,任务执行计划定期运行,以实现周期性处理分析,方便获得持续的运行结果。 清华数为交互式大数据处理与分析技术面向多种用户角色,包括数据工程师、数据分析师、数据科学家、算法工程师、运维工程师、代码工程师等。采用分层设计,分为客户层、服务层、计算层。 客户层包括流程建模调试工具,用户可用工具图形化拖拽式设计处理与分析计算模型,并可进行调试和查看中间结果;管理工具,针对服务层所调用和访问的计算框架或者外部系统进行管理,包括对于数据源、计算环境、存储环境等的管理工具。 服务层主要包括流程调度服务,即负责按照用户所设定的工作计划来定时调度执行计算模型;执行服务,是负责执行处理分析计算的模型和算法的服务;计算资源管理服务负责管理执行服务中所能集成的所有的服务,如计算框架和存储设施等。 计算层是执行服务在执行处理分析算法和模型中所访问的外部服务,包括计算组件或框架,以及持久化存储组件或者系统等。 图2.交互式大数据处理与分析技术架构 本成果的交互式处理与分析技术较好地解决了工业大数据处理分析工作中所遇到的问题和痛点,并且能够广泛应用于多个行业和领域中,如能源、矿山、医疗器械、装备制造业、消费品制造业、工程机械行业等。 合作需求 期待与工业、医疗等领域企业紧密合作,获得各领域的实际需求,促使该技术不断完善和升级迭代,走向成熟。 未来将在工程机械行业、医疗机械行业、矿山行业、装备制造行业、互联网电商行业等寻求更多的成果转化、深度合作机会,在合作基础上,推动上述行业领域实现数字化转型和智能化升级,为国家实现“双碳”目标做出清华贡献。
清华大学 2022-04-25
大数据背景下AI同传翻译质量研究
一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 学号 赵玉蓉 外国语学院/英语 2016/2020 201631131102 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 阮先玉 外国语学院/英语 教研室主任/副教授 语言学、翻译 四、项目简介 随着互联网的发展,机器翻译成为翻译活动中的重要的辅助工具。而机器翻译错译、死译频出,给翻译工作带来诸多不便。近年来,“大数据”的出现为机器翻译带来了新希望,其独特的“4V”特点将对机器翻译产生革命性的影响。尤其最近出现的AI同传给翻译行业带来了不小的冲击,本项目希望通过探究大数据在AI同传中的应用,分析AI同传翻译的优点和局限性,推动机器翻译的发展。
西南石油大学 2023-07-18
中潮教育——教育大数据和产教融合
湖北中潮教育科技集团有限公司(简称“中潮教育”)是一家基于教育大数据和产教融合理念,通过教育内容研发与创新,充分利用移动互联网和信息技术的手段,打造商学类、管理类、法律类、党建类、人文类专业、职业与行业的课程体系,为各类企业、事业和政府组织建立特色化的职业技能提升学习系统,帮助社会大众提升职业素质,培养学习型组织,实现利用互联网平台传授知识、传播思想、传承文化的教育企业。
湖北中潮教育科技集团有限公司 2022-07-26
智能物联网
北京工业大学 2021-04-14
基于物联网的多维健康数据智能平台关键技术及应用
深圳大学与中兴网信长期保持深入合作,积极探索产学研新模式,通过在健康大数据领域的持续研究与实践应用,为国家健康医疗战略、医学实践及全民健康管理提供大数据驱动的决策支持。在《基于物联网的多维健康数据智能平台关键技术及应用》项目,中兴网信将深圳大学科研成果进行转换,构建了基于物联网的多维健康数据平台,通过便携式智能医疗终端、移动互联端以及大数据云平台,紧密联结患者与医生、医院,有效地缓解医疗资源紧张等问题,通过多维健康数据分析,有效地保障了高危人群健康。项目构建了基于物联网的多维健康数据平台,通过便携式智能医疗终端、移动互联端以及大数据云平台,紧密联结患者与医生、医院,有效缓解医疗资源紧张等问题,通过多维健康数据分析,有效保障高危人群健康。相关技术内容包括基于协同感知技术的智能移动医疗终端及协同滤波研究、基于移动网络切分优化理论的网络优化及安全研究、基于多维异构医疗大数据的分析诊断云平台构建、应用系统开发及成果产业化。
深圳大学 2021-04-10
基于物联网的多维健康数据智能平台关键技术及应用
深圳大学与中兴网信长期保持深入合作,积极探索产学研新模式,通过在健康大数据领域的持续研究与实践应用,为国家健康医疗战略、医学实践及全民健康管理提供大数据驱动的决策支持。在《基于物联网的多维健康数据智能平台关键技术及应用》项目,中兴网信将深圳大学科研成果进行转换,构建了基于物联网的多维健康数据平台,通过便携式智能医疗终端、移动互联端以及大数据云平台,紧密联结患者与医生、医院,有效地缓解医疗资源紧张等问题,通过多维健康数据分析,有效地保障了高危人群健康。项目构建了基于物联网的多维健康数据平台,通过便携式智能医疗终端、移动互联端以及大数据云平台,紧密联结患者与医生、医院,有效缓解医疗资源紧张等问题,通过多维健康数据分析,有效保障高危人群健康。相关技术内容包括基于协同感知技术的智能移动医疗终端及协同滤波研究、基于移动网络切分优化理论的网络优化及安全研究、基于多维异构医疗大数据的分析诊断云平台构建、应用系统开发及成果产业化。项目共发表高水平论文56篇,其中中科院一区论文13篇,ESI高被引论文5篇,获广东省创新创业金博奖、全国创客大赛冠军等奖项。目前项目理论成果与专利技术已应用转化,2016-2018年项目收入6.95亿元,间接经济效益16.31亿元。授权中兴的产品在广东、山西等全国13个省市应用推广,同时在东南亚、非盟等“一带一路”国家与地区推广使用;研发的云伴妇幼平台,2014年起在广东、江西等100多家省市各级医院使用。疫情期间,项目保障慢性病、妇幼等众多高危人群的健康,获得了很好的社会声誉。
深圳大学 2021-04-10
大数据交易应当重视和研究的几个问题
《大数据交易应当重视和研究的几个问题》指出,为了保证交易数据来源的正当性和交易主体的合法性,为了有效克服大数据交易中的问题和风险,对于数据这种新型特殊财产的权属、开发利用及流转的特殊规律应当抓紧研究,相关制度建设要及时跟进。该报告建议从两方面入手:一是从私法角度明确数据的财产性质及其权属分配规则。在充分保护人格权和商业秘密的基础上,将数据产权按价值贡献在被采集者、采集者以及数据加工者等相关主体之间进行合理分配。二是从公法角度明确关于数据采集、加工,大数据产品的开发、流转等的监管规范。要明确数据的采集和利用不得违背公认的社会道德和善良风俗;在不损害相关主体的合法权益和公共利益的前提下,推动政府数据公开共享;禁止有可能威胁国家安全的跨境数据流动。
中央财经大学 2021-02-01
新冠病毒大数据交叉学科研究平台
日前,国防科技大学系统工程学院大数据与复杂网络研究团队同四川大学、电子科技大学一起,组建新冠病毒大数据交叉学科研究平台,助力新型流行病研究和防控,给多个省份和国家有关部委等提供了8份数据分析报告和决策建议报告,为防控和战胜疫情贡献出了科学智慧。国防科技大学系统工程学院大数据与复杂网络研究团队基于新冠病毒大数据交叉学科研究平台,利用海量多源异构大数据,结合疫情发生发展规律,对人群流动及传播风险进行了综合建模和分析,为政府决策提供了参考依据。特别是团队通过分析春运期间人口流动大数据,建立起疾病传播模型,测算出了疫情扩散蔓延阶段武汉市向全国各地区的输出人口状况和新冠病毒感染的风险指数。还有许多研究人员尝试通过客运数据,研判各个地区及城市的感染风险。也有学者采用“百度迁移”所提供的人口流动数据,通过春运期间从武汉流向全国各省市的人口规模(不包含港澳台数据)和全国感染病毒人数的可视化分布,直观解读两者间的联系。同时加以推断,武汉封城之后,二次传染所造成的病毒传播将日趋占主导地位,传播程度和各省市的人口密度以及管控措施等密切相关。
电子科技大学 2021-04-10
基于大数据的能源互联网能量管理系统
随着电网数据规模越来越大,所蕴含的价值也越来越多。清华大学信研院研发了基于机器学习方法的能源互联网能量管理系统,主要功能为对电网的稳定性进行预测和可视化。系 统分为训练部分和预测部分。训练部分通过历史数据进行机器学习,建立一个电压稳定性的 分类器。分类器训练完成后,再对新增的未知数据进行预测。训练部分主要分为特征提取、 类别标记、特征压缩、分类器类型选择。预测部分主要分为分类器数据启动阶段和预测输出 阶段。本系统提出利用机器学习方法对电网电压稳定性进行预测,进一步综合多个节点给出 电网态势感知的评估结果。在训练每一个节点分类器的时候,本系统将特征选取的时段和预 测时间节点拉开,形成一种延时的预测方法,本发明对复杂系统有着更好的还原效果。2 应用说明本系统实施电压稳定性预测的具体步骤为:步骤 1:通过部署在关键测点的同步相角测量单元 PMU 采集电网实时数据,所述 实时数据包含电网中每个关键测点的电压 U、 有功 P、无功 Q、电流 I;分别计算 U 的衍 生量 dU/dt,Q 的衍生量 dQ/dt,电压的变化 量比上无功的变化量的衍生量 dU/dQ,用这 些衍生量作为特征,来表征量的时间变化速 率;步骤 2:对步骤 1 中提取的特征进行数 据降维与压缩;根据特定时刻电压 U 是否恢 复到标准值的 0.8 倍来区分每组样本组是否 稳定,用 0 标记稳定,用 1 标记不稳定;步骤 3:选择分类器,建立一个电压稳 定性的分类器;步骤 4:训练分类器;当分类器训练完 成后,将训练好的参数储存起来;步骤 5:进入预测部分的数据启动阶段, 填充特征矩阵,没有输出;步骤 6:把多个节点的特征按照顺序排列,形成特征矩阵;特征矩阵填充完成后, 根据分类器给出的预测结果;特征时段向前滑动,最初的特征被抛弃,新特征补充在队尾, 分类器持续给出预测结果;步骤 7:每隔一定时间间隔 ,要把新收集来的数据与以前的数据一起,重新回到步骤 4 训练分类器,更新参数。在具体系统搭建过程中,我们充分利用现有机器学习平台。其中 Hadoop 的文件管理系统 HDFS 负责数据存储;Spark 负责模型训练;Storm 负责在线预测;Kafka 负责在 Storm 和Hadoop 之间传递更新后的模型参数。
清华大学 2021-04-11
基于内存计算的高时效大数据处理平台
小试阶段/n该平台继承了目前主流计算框架和编程模式,尤其是内存计算框架, 通用性强、时效性高。该平台从根本上解决了目前大数据处理中耗时过 长的问题,通过优化大数据处理系统的任务管理和内存管理,对用户提 供主流的简洁编程接口,与目前国际上主流系统对比,该平台可以大量 减少内存占用,最高性能提升可达 41 倍,。该平台同时从根本上解决了 大数据系统自动管理内存的开销,减少 90%以上的开销。该技术平台是一 种通用数据处理平台,不影响上层生态应用,可以适用于各类大数据生 态系统,包括机器学习与深度学习领域
华中科技大学 2021-01-12
首页 上一页 1 2
  • ...
  • 8 9 10
  • ...
  • 336 337 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    64届高博会于2026年5月在南昌举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1