主要研究APT 网络攻击全链条的通用表征和威胁模型， 实现攻击的全链条威胁分析；研究跨平台内核数据实时可信 采集方法，探索基于去噪和去冗技术的高效数据解析、基于 语义恢复技术的关键字段填充；研究多源异构内核数据的重 构方法；研究保持全局依赖的数据压缩方法，实现实时、高 效、普适的数据压缩；研究面向APT网络攻击全链条的智能 检测框架，实现对攻击的全链条高效检测；研究APT网络攻 击的演化模式，实现APT网络攻击的可解释溯源分析。

水是维系生态系统健康的重要因子，具有调节河川经流、发展灌溉、提供工业和饮用水源、繁衍水生生物、沟通航运、改善区域生态环境以及开发矿产等多种功能，在支撑经济社会发展和维持生态环境平衡中发挥了重要作用。水质监测是水资源保护中的基础性工作，对于污染源控制、环境规划具有重要意义和作用。我国一贯主张预防优先于治理的环境保护政策，在《国家中长期科学技术发展规划纲(2006-2020)》确定的16 个重大专项中，水专项是迄今为止我国资金投入总量最大的环境科研项目，投入逾百亿，旨在为中国水体污染控制与治理提供强有力的科技支撑。建立智能水质监测网络，加强水质监测能力，提升河湖管理水平，是水污染防治与水资源可持续利用的重要前提。 二、前期研究基础 项目组与联合环境技术（厦门）有限公司签署了合作课题“水环境远程监测云平台技术服务”，2017.9-2020.8，30万。利用无线网搭建水环境远程监测云平台，通过云端实时收集系统运行的过程数据，并进行统计分析，服务端和APP客户端实现实时查看数据和远程设备运行情况，并能远程控制设备启停等。 三、应用技术成果 项目组开发了膜系统远程监控维护系统（UE-MRTU），并于2017年12月部署应用在云南昆明的一个自来水厂。 四、合作企业 联合环境技术（厦门）有限公司于2006年6月成立，专业从事以膜法技术为核心的中水回用、固液分离、纯水制备、废水等项目的设计、研究与开发应用。作为中国最早的膜系统服务商，提供膜系统的设计、制造、安装；以及膜系统的污染检测、清洗维护、运营管理。联合环境技术公司的膜法水处理技术在工业、民用及商业领域得到广泛应用（如江苏某市政污水处理厂，福建某市政污水处理厂，外蒙古乌兰巴托某饮料厂污水处理项目和江苏某太阳能光电有限公司污水处理项目）。工业应用产品包括外压式中空纤维膜组件和浸入式膜组件，可应用于给水/污水处理、水回用、海水淡化、食品、制药、石油、化工、电力、生物分离及其它分离过程；家用/商用净水设备包括膜净水器或集成水净化系统；集装式一体式应急超滤设备等，成功运用于各个领域的水处理项目；扩展水生态系统综合项目，包括提供水生态修复、水环境监测及水务投资/运营。已获得十几项国家发明和实用新型专利授权，在远程监控方面也获得了多项软件著作权。

1.痛点问题 多年来，工业大数据领域大数据分析算法和模型都是基于大量代码实现，效率低，难以实现快速开发。同时，工业大数据处理分析模型处理过程多由多个算法通过一定的计算流程构成，计算流程复杂多变，迫切需要一款支持灵活定制和快速开发的处理分析技术来支持工业大数据处理分析。 2.解决方案 清华数为交互式大数据处理与分析技术针对工业大数据处理与分析任务的交互式探索、建模、调试和应用而设计。根据CRISP-DM设计原则，一般大数据处理与分析分为业务理解、数据理解、数据准备、建模、评估和部署等阶段，各阶段相辅相成，形成一个大数据处理分析生命周期。 图1.交互式大数据处理与分析技术设计思想 本成果技术基于上述CRISP-DM的设计思想而设计，完全支持大数据处理与分析生命周期。该技术的特点包括： （1）内置数百种通用和专用的大数据分析算法和模型，并提供了按需扩展机制，用户可以按照自己的需要随时添加和扩充，以支持客户特定的大数据应用需求； （2）支持拖拽方式构建处理与分析流程，完全图形化设计大数据处理分析计算流程，并能在设计过程中进行单步/多步运行调试，查看中间结果，实时调整运行结果，以获得用户期望的处理分析结果； （3）支持机器学习模型训练及使用，内置了机器学习模型训练框架，一般机器学习模型在该技术的支持下，可以实现快速训练，训练结果可支持进一步的大数据处理与分析； （4）支持数据处理与分析流程参数化，在其提供的内部数据处理与分析算法模板中，用户通过算法模板可以开发面向Java、Python的算法，并集成和扩展到该技术的算法集合，实现按需定制处理分析； （5）支持数据画像和学习模型可视化，以图形化的方式定制数据画像的方法模型，并以二维和三维图表的形式展示给用户； （6）支持批处理、流处理和流转批处理三种处理方式； （7）按需定制运行计划与资源有效利用，用户可设置任务执行计划，任务执行计划定期运行，以实现周期性处理分析，方便获得持续的运行结果。 清华数为交互式大数据处理与分析技术面向多种用户角色，包括数据工程师、数据分析师、数据科学家、算法工程师、运维工程师、代码工程师等。采用分层设计，分为客户层、服务层、计算层。 客户层包括流程建模调试工具，用户可用工具图形化拖拽式设计处理与分析计算模型，并可进行调试和查看中间结果；管理工具，针对服务层所调用和访问的计算框架或者外部系统进行管理，包括对于数据源、计算环境、存储环境等的管理工具。 服务层主要包括流程调度服务，即负责按照用户所设定的工作计划来定时调度执行计算模型；执行服务，是负责执行处理分析计算的模型和算法的服务；计算资源管理服务负责管理执行服务中所能集成的所有的服务，如计算框架和存储设施等。 计算层是执行服务在执行处理分析算法和模型中所访问的外部服务，包括计算组件或框架，以及持久化存储组件或者系统等。 图2.交互式大数据处理与分析技术架构 本成果的交互式处理与分析技术较好地解决了工业大数据处理分析工作中所遇到的问题和痛点，并且能够广泛应用于多个行业和领域中，如能源、矿山、医疗器械、装备制造业、消费品制造业、工程机械行业等。 合作需求 期待与工业、医疗等领域企业紧密合作，获得各领域的实际需求，促使该技术不断完善和升级迭代，走向成熟。 未来将在工程机械行业、医疗机械行业、矿山行业、装备制造行业、互联网电商行业等寻求更多的成果转化、深度合作机会，在合作基础上，推动上述行业领域实现数字化转型和智能化升级，为国家实现“双碳”目标做出清华贡献。

1、超大型厂房内部温度、湿度、CO2浓度和气流的分析模拟技术。2、超大型厂房内部温度、湿度、CO2浓度和气流精密控制技术与装置。

物联网感知大数据可信存储与分析处理平台（IOT-SeaCloudDM）：针对智慧城市、物联网、车   联网中各种采样数据（包括各类传感器、RFID、条形码阅读器采样的时空相关数据）的数据管理需求，  提供一个通用的感知大数据处理平台，对各类相关的感知采样数据进行统一管理，并达到如下目标：（1） 提供 PB~EB 级的感知采样数据存储、管理与查询处理。（2） 提供时态 - 空间数据、采样数值数据的统计分析与数据挖掘。（3）在此基础上，为各类智慧城市、物联网应用提供基础软件支撑。

“NMT界乔布斯”许越先生推荐创新平台 中关村NMT产业联盟推介成员单位创新产品 “全球抗疫，人人有责” 推出背景：         3D模型能够给人以更强烈的视觉刺激，震撼程度远远高于二维画面。有了物体的三维数据，可以产生任意视图，视图间能保持正确的投影关系，这为生产工程图带来了方便。此外还能生成透视图和轴侧图，这在二维系统中是做不到的。   我们的日常生活是在三维空间下开展的，那么对于生物体而言，三维空间的数据展示才是最真实的。举例：我们检测到的数据是浓度（点），单个位点浓度的进出（线），两个位点浓度的进出（面），多个位点浓度的进出（立体）。不同的维度所展现的内容不同，科研的发展趋势必将是向多维方向，向上发展。   产品介绍 名称：NMT-3D数据分析软件V3.0（MageFluxV3.0） 品牌：旭月 产地：中国 简介： 应对挑战： 活体样品是立体的，使用立体图形及3D数据能够才能更加真实的展现样品情况 如何获得3D数据是较难的问题 解决方法： NMT是检测活体样品的技术，并拥有三维流速数据监测的功能，配合NMT-3D数据分析软件，能够制作科研人员可直接观看的三维可视化流速数据图。更加直观，更加真实地展现样品在立体空间中的流速情况   功能特点 1.基本功能： 展示可视化三维流速数据图 可以录制三维流速云数据图视频 可以随时随地查看图形 可根据客户需求进行定制材料模型 流速指标展示的颜色自定义 2.软件参数： 根据科研人员上传的数据信息和建模信息，帮助科研人员生成可以裸眼观看的三维可视化流速数据图。还可以对流速数据图进行：      1）手动平移、缩放和旋转      2）自动围绕x轴、y轴和z轴旋转      3）录制并下载1分钟之内的三维可视化流速数据图的视频      4）背景色调整，可调整为任意颜色      5）任意选择一个或多个显示内容，包括：离子流速、分子流速、材料、材料比例尺、离子流速比例尺、分子流速比例尺      6）调整离子流速比例、分子流速比例，可以设置离子分子比例联动      7）调整材料透明度

本成果针对城市水电气热等综合能源数据来源广泛，结构复杂，且与用户、时间、空间信息关系紧密的特点，构建了高性能综合能源数据分析平台，提出了细粒度的能源数据分析理论框架及方法，并将其应用于智慧城市建设。

大数据应用的多样化 需要的计算模型、数据模型多样化； 目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。 多系统导致大数据分析平台非常复杂、效率低下。研究目标：研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个 方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键 值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计 算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这 套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于 大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面，分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合：设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、 文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据 分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。多计算模型融合：在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集 的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和 流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗， 提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储，面向应用负载和异构硬件特征进行自适应优化；对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等；在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效；而且我们也考虑到大数据分析过程中用户人工操作的时效性问题， 通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块， 能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持 到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提 升。亮点成果：融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。同时在双十一期间，基于智能交互向导技术，也面向电子商务应用 的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品 销量变化的原因，以及促销的有效手段等。