项目成果/简介:研制背景：企业数据处理与数据分析需求在扩大，数据投入在持续增加；数据种类多，数据量大，潜在价值高；使用者难以有效地操作使用；业务复杂，调参静态组合参数过程繁琐；平台技术：微服务的构建方式，微服务、前后端完全分离。分布式开发框架——SpringCloudWeb开发框架——SpringBoot 、VUE（ELE）机器学习算法框架——R、Spark集群计算数据存储工具——Mysql、JPA、Hadoop（集群）中间件: RabbitMQ应用范围:智能装备预测性维护：滕州机床设备在线监测云，实现设备状态监测、关键参数监测、能效管理、异常报警等服务。有效降低设备非计划停机和能耗，协助技术人员评估关键设备的实时性能，实现设备全生命周期健康管理。矿井工业视频联动：引入大数据对工业视频存储、管理提供支持，工业视频与各业务系统联动，调阅视频，存储视频。依托合作伙伴在正通煤业、鲁花集团、软控股份、山东省计算中心、斯木信息、西山煤电等企业进行应用示范。技术成熟度:可以量产

本思政案例值巴黎奥运会火热举办之际，以奥运会数据为载体，引导学生运用Python的Pandas库进行数据清洗、筛选与聚合分析，并通过Plotly工具实现数据可视化。案例巧妙融合数据分析技能培养与思政教育，通过剖析我国奥运奖牌数据变化，让学生直观感受国家体育事业的蓬勃发展，深切领悟体育强国战略背后蕴含的国家意志与民族精神。同时，鼓励学生从数据中探寻体育精神内核，内化于心、践之于行，涵养积极人生态度与爱国情怀。此外，案例数据可视化呈现国际竞技格局，助学生理解多元包容、拓宽国际化视野，增强民族自豪感与文化自信，实现知识传授与价值引领的有机统一。

鹏博士深耕云计算、网络SDN、自然语言处理、情感分析、图像理解，专注大数据的采集存储和信息挖掘，致力于提升各行业的大数据技术创新能力，通过全面的信息可视化、精准营销、新媒体数据挖掘、人群画像等为政务、工业、金融、医疗、交通、建筑、公安等各行业的合作伙伴提供一揽子的大数据解决方案，帮助企业实现增效降损，提高业务能力

水是维系生态系统健康的重要因子，具有调节河川经流、发展灌溉、提供工业和饮用水源、繁衍水生生物、沟通航运、改善区域生态环境以及开发矿产等多种功能，在支撑经济社会发展和维持生态环境平衡中发挥了重要作用。水质监测是水资源保护中的基础性工作，对于污染源控制、环境规划具有重要意义和作用。我国一贯主张预防优先于治理的环境保护政策，在《国家中长期科学技术发展规划纲(2006-2020)》确定的16 个重大专项中，水专项是迄今为止我国资金投入总量最大的环境科研项目，投入逾百亿，旨在为中国水体污染控制与治理提供强有力的科技支撑。建立智能水质监测网络，加强水质监测能力，提升河湖管理水平，是水污染防治与水资源可持续利用的重要前提。 二、前期研究基础 项目组与联合环境技术（厦门）有限公司签署了合作课题“水环境远程监测云平台技术服务”，2017.9-2020.8，30万。利用无线网搭建水环境远程监测云平台，通过云端实时收集系统运行的过程数据，并进行统计分析，服务端和APP客户端实现实时查看数据和远程设备运行情况，并能远程控制设备启停等。 三、应用技术成果 项目组开发了膜系统远程监控维护系统（UE-MRTU），并于2017年12月部署应用在云南昆明的一个自来水厂。 四、合作企业 联合环境技术（厦门）有限公司于2006年6月成立，专业从事以膜法技术为核心的中水回用、固液分离、纯水制备、废水等项目的设计、研究与开发应用。作为中国最早的膜系统服务商，提供膜系统的设计、制造、安装；以及膜系统的污染检测、清洗维护、运营管理。联合环境技术公司的膜法水处理技术在工业、民用及商业领域得到广泛应用（如江苏某市政污水处理厂，福建某市政污水处理厂，外蒙古乌兰巴托某饮料厂污水处理项目和江苏某太阳能光电有限公司污水处理项目）。工业应用产品包括外压式中空纤维膜组件和浸入式膜组件，可应用于给水/污水处理、水回用、海水淡化、食品、制药、石油、化工、电力、生物分离及其它分离过程；家用/商用净水设备包括膜净水器或集成水净化系统；集装式一体式应急超滤设备等，成功运用于各个领域的水处理项目；扩展水生态系统综合项目，包括提供水生态修复、水环境监测及水务投资/运营。已获得十几项国家发明和实用新型专利授权，在远程监控方面也获得了多项软件著作权。

1.痛点问题 多年来，工业大数据领域大数据分析算法和模型都是基于大量代码实现，效率低，难以实现快速开发。同时，工业大数据处理分析模型处理过程多由多个算法通过一定的计算流程构成，计算流程复杂多变，迫切需要一款支持灵活定制和快速开发的处理分析技术来支持工业大数据处理分析。 2.解决方案 清华数为交互式大数据处理与分析技术针对工业大数据处理与分析任务的交互式探索、建模、调试和应用而设计。根据CRISP-DM设计原则，一般大数据处理与分析分为业务理解、数据理解、数据准备、建模、评估和部署等阶段，各阶段相辅相成，形成一个大数据处理分析生命周期。 图1.交互式大数据处理与分析技术设计思想 本成果技术基于上述CRISP-DM的设计思想而设计，完全支持大数据处理与分析生命周期。该技术的特点包括： （1）内置数百种通用和专用的大数据分析算法和模型，并提供了按需扩展机制，用户可以按照自己的需要随时添加和扩充，以支持客户特定的大数据应用需求； （2）支持拖拽方式构建处理与分析流程，完全图形化设计大数据处理分析计算流程，并能在设计过程中进行单步/多步运行调试，查看中间结果，实时调整运行结果，以获得用户期望的处理分析结果； （3）支持机器学习模型训练及使用，内置了机器学习模型训练框架，一般机器学习模型在该技术的支持下，可以实现快速训练，训练结果可支持进一步的大数据处理与分析； （4）支持数据处理与分析流程参数化，在其提供的内部数据处理与分析算法模板中，用户通过算法模板可以开发面向Java、Python的算法，并集成和扩展到该技术的算法集合，实现按需定制处理分析； （5）支持数据画像和学习模型可视化，以图形化的方式定制数据画像的方法模型，并以二维和三维图表的形式展示给用户； （6）支持批处理、流处理和流转批处理三种处理方式； （7）按需定制运行计划与资源有效利用，用户可设置任务执行计划，任务执行计划定期运行，以实现周期性处理分析，方便获得持续的运行结果。 清华数为交互式大数据处理与分析技术面向多种用户角色，包括数据工程师、数据分析师、数据科学家、算法工程师、运维工程师、代码工程师等。采用分层设计，分为客户层、服务层、计算层。 客户层包括流程建模调试工具，用户可用工具图形化拖拽式设计处理与分析计算模型，并可进行调试和查看中间结果；管理工具，针对服务层所调用和访问的计算框架或者外部系统进行管理，包括对于数据源、计算环境、存储环境等的管理工具。 服务层主要包括流程调度服务，即负责按照用户所设定的工作计划来定时调度执行计算模型；执行服务，是负责执行处理分析计算的模型和算法的服务；计算资源管理服务负责管理执行服务中所能集成的所有的服务，如计算框架和存储设施等。 计算层是执行服务在执行处理分析算法和模型中所访问的外部服务，包括计算组件或框架，以及持久化存储组件或者系统等。 图2.交互式大数据处理与分析技术架构 本成果的交互式处理与分析技术较好地解决了工业大数据处理分析工作中所遇到的问题和痛点，并且能够广泛应用于多个行业和领域中，如能源、矿山、医疗器械、装备制造业、消费品制造业、工程机械行业等。 合作需求 期待与工业、医疗等领域企业紧密合作，获得各领域的实际需求，促使该技术不断完善和升级迭代，走向成熟。 未来将在工程机械行业、医疗机械行业、矿山行业、装备制造行业、互联网电商行业等寻求更多的成果转化、深度合作机会，在合作基础上，推动上述行业领域实现数字化转型和智能化升级，为国家实现“双碳”目标做出清华贡献。

物联网感知大数据可信存储与分析处理平台（IOT-SeaCloudDM）：针对智慧城市、物联网、车   联网中各种采样数据（包括各类传感器、RFID、条形码阅读器采样的时空相关数据）的数据管理需求，  提供一个通用的感知大数据处理平台，对各类相关的感知采样数据进行统一管理，并达到如下目标：（1） 提供 PB~EB 级的感知采样数据存储、管理与查询处理。（2） 提供时态 - 空间数据、采样数值数据的统计分析与数据挖掘。（3）在此基础上，为各类智慧城市、物联网应用提供基础软件支撑。

利用十年百余万次的近视眼医学验光大数据，揭示出真实世界青少年近视眼发生、进展与稳定的规律。在此基础上，运用随机森林算法进行机器学习，建立人工智能预测系统，可对近视进展趋势进行个体化预测，3年内准确率达90%，10年内准确率达80%以上，也可提前8年有效预测高度近视，为近视眼的精准干预提供了科学依据。开发出一套人工智能云平台，提供高效的近视预测服务。通过访问智能平台，输入前后两次检查的年龄和度数（间隔至少一年），即可预知10年内的近视度数变化与高度近视风险。       中山眼科中心近年来对近视眼进行了系统性的研究，不断取得突破，产生了重大的社会影响和意义。

大数据应用的多样化 需要的计算模型、数据模型多样化； 目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。 多系统导致大数据分析平台非常复杂、效率低下。研究目标：研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个 方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键 值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计 算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这 套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于 大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面，分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合：设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、 文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据 分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。多计算模型融合：在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集 的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和 流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗， 提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储，面向应用负载和异构硬件特征进行自适应优化；对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等；在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效；而且我们也考虑到大数据分析过程中用户人工操作的时效性问题， 通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块， 能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持 到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提 升。亮点成果：融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。同时在双十一期间，基于智能交互向导技术，也面向电子商务应用 的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品 销量变化的原因，以及促销的有效手段等。