成果简介：微博大数据舆情监控系统是一款针对新浪、腾讯等微博平台的海 量数据的高效稳定抓取、数据分析以及搜索服务为一体的软件产品，凝聚了 北理工张华平博士多年自然语言理解与精准搜索引擎的技术积累。 微博大数据舆情监控系统包含四大功能： 1、自动采集提交的微博任务列表； 2、数据自动双备份，保证数据的完整性； 3、精准搜索,提供了多种精准搜索手段，其中包括：微博关键词搜索、空间范围搜索

水是维系生态系统健康的重要因子，具有调节河川经流、发展灌溉、提供工业和饮用水源、繁衍水生生物、沟通航运、改善区域生态环境以及开发矿产等多种功能，在支撑经济社会发展和维持生态环境平衡中发挥了重要作用。水质监测是水资源保护中的基础性工作，对于污染源控制、环境规划具有重要意义和作用。我国一贯主张预防优先于治理的环境保护政策，在《国家中长期科学技术发展规划纲(2006-2020)》确定的16 个重大专项中，水专项是迄今为止我国资金投入总量最大的环境科研项目，投入逾百亿，旨在为中国水体污染控制与治理提供强有力的科技支撑。建立智能水质监测网络，加强水质监测能力，提升河湖管理水平，是水污染防治与水资源可持续利用的重要前提。 二、前期研究基础 项目组与联合环境技术（厦门）有限公司签署了合作课题“水环境远程监测云平台技术服务”，2017.9-2020.8，30万。利用无线网搭建水环境远程监测云平台，通过云端实时收集系统运行的过程数据，并进行统计分析，服务端和APP客户端实现实时查看数据和远程设备运行情况，并能远程控制设备启停等。 三、应用技术成果 项目组开发了膜系统远程监控维护系统（UE-MRTU），并于2017年12月部署应用在云南昆明的一个自来水厂。 四、合作企业 联合环境技术（厦门）有限公司于2006年6月成立，专业从事以膜法技术为核心的中水回用、固液分离、纯水制备、废水等项目的设计、研究与开发应用。作为中国最早的膜系统服务商，提供膜系统的设计、制造、安装；以及膜系统的污染检测、清洗维护、运营管理。联合环境技术公司的膜法水处理技术在工业、民用及商业领域得到广泛应用（如江苏某市政污水处理厂，福建某市政污水处理厂，外蒙古乌兰巴托某饮料厂污水处理项目和江苏某太阳能光电有限公司污水处理项目）。工业应用产品包括外压式中空纤维膜组件和浸入式膜组件，可应用于给水/污水处理、水回用、海水淡化、食品、制药、石油、化工、电力、生物分离及其它分离过程；家用/商用净水设备包括膜净水器或集成水净化系统；集装式一体式应急超滤设备等，成功运用于各个领域的水处理项目；扩展水生态系统综合项目，包括提供水生态修复、水环境监测及水务投资/运营。已获得十几项国家发明和实用新型专利授权，在远程监控方面也获得了多项软件著作权。

1.痛点问题 多年来，工业大数据领域大数据分析算法和模型都是基于大量代码实现，效率低，难以实现快速开发。同时，工业大数据处理分析模型处理过程多由多个算法通过一定的计算流程构成，计算流程复杂多变，迫切需要一款支持灵活定制和快速开发的处理分析技术来支持工业大数据处理分析。 2.解决方案 清华数为交互式大数据处理与分析技术针对工业大数据处理与分析任务的交互式探索、建模、调试和应用而设计。根据CRISP-DM设计原则，一般大数据处理与分析分为业务理解、数据理解、数据准备、建模、评估和部署等阶段，各阶段相辅相成，形成一个大数据处理分析生命周期。 图1.交互式大数据处理与分析技术设计思想 本成果技术基于上述CRISP-DM的设计思想而设计，完全支持大数据处理与分析生命周期。该技术的特点包括： （1）内置数百种通用和专用的大数据分析算法和模型，并提供了按需扩展机制，用户可以按照自己的需要随时添加和扩充，以支持客户特定的大数据应用需求； （2）支持拖拽方式构建处理与分析流程，完全图形化设计大数据处理分析计算流程，并能在设计过程中进行单步/多步运行调试，查看中间结果，实时调整运行结果，以获得用户期望的处理分析结果； （3）支持机器学习模型训练及使用，内置了机器学习模型训练框架，一般机器学习模型在该技术的支持下，可以实现快速训练，训练结果可支持进一步的大数据处理与分析； （4）支持数据处理与分析流程参数化，在其提供的内部数据处理与分析算法模板中，用户通过算法模板可以开发面向Java、Python的算法，并集成和扩展到该技术的算法集合，实现按需定制处理分析； （5）支持数据画像和学习模型可视化，以图形化的方式定制数据画像的方法模型，并以二维和三维图表的形式展示给用户； （6）支持批处理、流处理和流转批处理三种处理方式； （7）按需定制运行计划与资源有效利用，用户可设置任务执行计划，任务执行计划定期运行，以实现周期性处理分析，方便获得持续的运行结果。 清华数为交互式大数据处理与分析技术面向多种用户角色，包括数据工程师、数据分析师、数据科学家、算法工程师、运维工程师、代码工程师等。采用分层设计，分为客户层、服务层、计算层。 客户层包括流程建模调试工具，用户可用工具图形化拖拽式设计处理与分析计算模型，并可进行调试和查看中间结果；管理工具，针对服务层所调用和访问的计算框架或者外部系统进行管理，包括对于数据源、计算环境、存储环境等的管理工具。 服务层主要包括流程调度服务，即负责按照用户所设定的工作计划来定时调度执行计算模型；执行服务，是负责执行处理分析计算的模型和算法的服务；计算资源管理服务负责管理执行服务中所能集成的所有的服务，如计算框架和存储设施等。 计算层是执行服务在执行处理分析算法和模型中所访问的外部服务，包括计算组件或框架，以及持久化存储组件或者系统等。 图2.交互式大数据处理与分析技术架构 本成果的交互式处理与分析技术较好地解决了工业大数据处理分析工作中所遇到的问题和痛点，并且能够广泛应用于多个行业和领域中，如能源、矿山、医疗器械、装备制造业、消费品制造业、工程机械行业等。 合作需求 期待与工业、医疗等领域企业紧密合作，获得各领域的实际需求，促使该技术不断完善和升级迭代，走向成熟。 未来将在工程机械行业、医疗机械行业、矿山行业、装备制造行业、互联网电商行业等寻求更多的成果转化、深度合作机会，在合作基础上，推动上述行业领域实现数字化转型和智能化升级，为国家实现“双碳”目标做出清华贡献。

鹏博士深耕云计算、网络SDN、自然语言处理、情感分析、图像理解，专注大数据的采集存储和信息挖掘，致力于提升各行业的大数据技术创新能力，通过全面的信息可视化、精准营销、新媒体数据挖掘、人群画像等为政务、工业、金融、医疗、交通、建筑、公安等各行业的合作伙伴提供一揽子的大数据解决方案，帮助企业实现增效降损，提高业务能力

系统重点解决舆情数据分析中可视化舆情数据采集、存储和分析方法问题。系统提供可视化舆情数据采集方法，解决了用户定义数据采集模板易用性问题。系统采用主流的hadoop系统作为存储系统，解决了系统可用性问题。系统实现了多种舆情数据分析算法，实现了舆情报告辅助生成功能，能够有效的协助舆情分析人员工作。系统数据采集吞吐量、数据存储、计算能力均具有良好的扩展性。

南京工业大学计算机科学与技术学院史本云教授团队联合香港浸会大学计算机科学系与中国疾病预防控制中心寄生虫病预防控制所（国家热带病研究中心）共建的智能化疾病监控联合实验室，及时搜集疫情相关信息，追踪相关数据，运用多源异构数据驱动的传染病学模型和分析方法，针对武汉（新冠肺炎发源地）、北京、天津（京津冀地区）、深圳（粤港澳大湾区）、杭州和苏州（长三角经济区）6座典型城市，开展了新冠肺炎疫情的回顾性分析和趋势预判，精准评估了不同复工场景下的疫情风险和经济损失。该研究针对新冠肺炎疫情发展期、控制期和恢复期的不同阶段，以及不同城市的传播特点（本地传播为主/输入病例为主），综合考虑了各个城市内不同年龄段的人口分布和不同人群（如学生、上班族和老人）的接触强度、接触时长等，设计了居家场所、学校场所、工作场所和公共场所4种主要接触场景。通过结合城市间的人口流动数据，构建了数据驱动的传染病动力学模型，对不同城市不同干预手段下的疫情走势进行了评估。在此基础上，研究人员结合不同城市的GDP增长预期和产业结构，基于对未来数日各城市疫情走势的研判，对下一阶段有序推动恢复正常生产提出了若干建议并进行了相应的经济损失评估。据悉，该研究成果和建议已经通过国务院参事提交国家相关部门。

物联网感知大数据可信存储与分析处理平台（IOT-SeaCloudDM）：针对智慧城市、物联网、车   联网中各种采样数据（包括各类传感器、RFID、条形码阅读器采样的时空相关数据）的数据管理需求，  提供一个通用的感知大数据处理平台，对各类相关的感知采样数据进行统一管理，并达到如下目标：（1） 提供 PB~EB 级的感知采样数据存储、管理与查询处理。（2） 提供时态 - 空间数据、采样数值数据的统计分析与数据挖掘。（3）在此基础上，为各类智慧城市、物联网应用提供基础软件支撑。

1. 痛点问题 当前，很多创新型的应用无法购买到可用的系统，如果在项目周期很紧急的情况下希望快速交付一个可以使用的原型系统，往往会遇到如下问题：不同客户系统之间存在巨大差异，大量需求要定制开发；市面上没有现成的应用程序可以直接购买；解决方案过于复杂和/或过于昂贵；难以低成本控制未来数字化的发展。 此外，很多软件公司人力成本达到65%，且无法满足企业业务快速变化的需求，交付周期无法保证，后续系统维护成本很高，已经影响到企业的发展。因此，很多企业都希望能有业务人员或参与配合少量开发即可快速构建原型系统的工具，满足企业的创新应用。 2. 解决方案 本成果”大数据应用软件建模系统-DWF“（清华数为DWF）支持应用开发人员快速实现中小规模协作型应用，是一款基于模型驱动的代码开发工具，可以构建复杂的数据模型，可以实现数据模型、表单模型、功能模型、组织模型、权限模型、模型包管理功能，通过前、后端的脚本可以提供业务系统的扩展功能。DWF还提供对异构数据的集成能力，方便企业快速进行模型迁移和部署。 DWF具有如下特点： 一站式：DWF自身追求尽可能简单的结构，可在普通PC上部署启动，也可以在云计算或者容器环境下部署，又可以并入容器管理器中成为微服务。 可配置：采用模型驱动的设计理念，通过组织建模、数据建模、表单建模、功能操作和权限控制直接建模产生系统本。 低码量：基于模型开展有针对性的扩展编码工作，减少编码总量，降低开发难度。配合敏捷定制功能，大幅度减少了代码量和系统缺陷产生的可能。 组件化：允许在线将全部或者部分模型从系统中导出独立的模型包，组合到其他DWF系统中，从而方便即时交付系统，即改即用，快速响应变更需求。