项目成果/简介:研制背景：企业数据处理与数据分析需求在扩大，数据投入在持续增加；数据种类多，数据量大，潜在价值高；使用者难以有效地操作使用；业务复杂，调参静态组合参数过程繁琐；平台技术：微服务的构建方式，微服务、前后端完全分离。分布式开发框架——SpringCloudWeb开发框架——SpringBoot 、VUE（ELE）机器学习算法框架——R、Spark集群计算数据存储工具——Mysql、JPA、Hadoop（集群）中间件: RabbitMQ应用范围:智能装备预测性维护：滕州机床设备在线监测云，实现设备状态监测、关键参数监测、能效管理、异常报警等服务。有效降低设备非计划停机和能耗，协助技术人员评估关键设备的实时性能，实现设备全生命周期健康管理。矿井工业视频联动：引入大数据对工业视频存储、管理提供支持，工业视频与各业务系统联动，调阅视频，存储视频。依托合作伙伴在正通煤业、鲁花集团、软控股份、山东省计算中心、斯木信息、西山煤电等企业进行应用示范。技术成熟度:可以量产

电子税务是实现依法治税国家意志，实现降低征税成本、提高征管效率、增强税法遵从度国家目标的技术支撑平台。税务大数据计算面临点多线长难验真、省际孤岛难共享、高维特征难建模、偷逃骗税难发现等难题。结合国家金税工程需求，提出“纳税人利益关联网络（TPIN）”概念并攻克相关核心技术，包括电子税务数据真实性与一致性校验、税务大数据共享与指标并行计算、TPIN 建模与生成、基于 TPIN 的偷逃骗税疑点发现，研制出国家税务大数据分析平台系列产品，已在国税总局和全国所有省级国、地税局部署，经济与社会效益显著。

电子税务是实现依法治税国家意志，实现降低征税成本、提高征管效率、增强税法遵从度国家目标的技术支撑平台。税务大数据计算面临点多线长难验真、省际孤岛难共享、高维特征难建模、偷逃骗税难发现等难题。结合国家金税工程需求，提出“纳税人利益关联网络（TPIN）”概念并攻克相关核心技术，包括电子税务数据真实性与一致性校验、税务大数据共享与指标并行计算、TPIN 建模与生成、基于 TPIN 的偷逃骗税疑点发现，研制出国家税务大数据分析平台系列产品，已在国税总局和全国所有省级国、地税局部署，经济与社会效益显著。

可以量产/n领域专业知识资源中心大数据服务平台重点整合各个专业领域知识资源中心的数据集群；构建适用于各领域的多维知识资源组织体系；实现数据“从收集到使用”生命周期的平台化管理。目前领域知识资源中心大数据服务平台已经集成整合重点领域（能源、生物安全、材料、长江…）信息资源，构建重要领域知识资源中心。数据涵盖领域主管政府部门、国际组织、行业协会、科研机构、重点企业、国际公认的权威数据统计网站，领域专家审核数据来源，保障数据权威性。该项目汇集创新链涉及的宏观政策、科技投入、科技产出与应用，以及产业链涉及的

随着计算机互联网、移动互联网，物联网，高速发展，数据资料的增长正发生巨大的变化，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。 DDP 是德拓公司自主研发的成熟的大数据商用平台，整合了德拓在近几年大数据项目实践中的技术沉淀。平台涵盖了数据的采集、存储计算、分析挖掘、应用建模、可视化展现 以及运维管理等全部能力。各行业应用和最终用户可以通过 平台提供的丰富的接口，完成行业大规模数据的挖掘分析和应用对接管理。

水是维系生态系统健康的重要因子，具有调节河川经流、发展灌溉、提供工业和饮用水源、繁衍水生生物、沟通航运、改善区域生态环境以及开发矿产等多种功能，在支撑经济社会发展和维持生态环境平衡中发挥了重要作用。水质监测是水资源保护中的基础性工作，对于污染源控制、环境规划具有重要意义和作用。我国一贯主张预防优先于治理的环境保护政策，在《国家中长期科学技术发展规划纲(2006-2020)》确定的16 个重大专项中，水专项是迄今为止我国资金投入总量最大的环境科研项目，投入逾百亿，旨在为中国水体污染控制与治理提供强有力的科技支撑。建立智能水质监测网络，加强水质监测能力，提升河湖管理水平，是水污染防治与水资源可持续利用的重要前提。 二、前期研究基础 项目组与联合环境技术（厦门）有限公司签署了合作课题“水环境远程监测云平台技术服务”，2017.9-2020.8，30万。利用无线网搭建水环境远程监测云平台，通过云端实时收集系统运行的过程数据，并进行统计分析，服务端和APP客户端实现实时查看数据和远程设备运行情况，并能远程控制设备启停等。 三、应用技术成果 项目组开发了膜系统远程监控维护系统（UE-MRTU），并于2017年12月部署应用在云南昆明的一个自来水厂。 四、合作企业 联合环境技术（厦门）有限公司于2006年6月成立，专业从事以膜法技术为核心的中水回用、固液分离、纯水制备、废水等项目的设计、研究与开发应用。作为中国最早的膜系统服务商，提供膜系统的设计、制造、安装；以及膜系统的污染检测、清洗维护、运营管理。联合环境技术公司的膜法水处理技术在工业、民用及商业领域得到广泛应用（如江苏某市政污水处理厂，福建某市政污水处理厂，外蒙古乌兰巴托某饮料厂污水处理项目和江苏某太阳能光电有限公司污水处理项目）。工业应用产品包括外压式中空纤维膜组件和浸入式膜组件，可应用于给水/污水处理、水回用、海水淡化、食品、制药、石油、化工、电力、生物分离及其它分离过程；家用/商用净水设备包括膜净水器或集成水净化系统；集装式一体式应急超滤设备等，成功运用于各个领域的水处理项目；扩展水生态系统综合项目，包括提供水生态修复、水环境监测及水务投资/运营。已获得十几项国家发明和实用新型专利授权，在远程监控方面也获得了多项软件著作权。

利用十年百余万次的近视眼医学验光大数据，揭示出真实世界青少年近视眼发生、进展与稳定的规律。在此基础上，运用随机森林算法进行机器学习，建立人工智能预测系统，可对近视进展趋势进行个体化预测，3年内准确率达90%，10年内准确率达80%以上，也可提前8年有效预测高度近视，为近视眼的精准干预提供了科学依据。开发出一套人工智能云平台，提供高效的近视预测服务。通过访问智能平台，输入前后两次检查的年龄和度数（间隔至少一年），即可预知10年内的近视度数变化与高度近视风险。       中山眼科中心近年来对近视眼进行了系统性的研究，不断取得突破，产生了重大的社会影响和意义。

1.痛点问题 多年来，工业大数据领域大数据分析算法和模型都是基于大量代码实现，效率低，难以实现快速开发。同时，工业大数据处理分析模型处理过程多由多个算法通过一定的计算流程构成，计算流程复杂多变，迫切需要一款支持灵活定制和快速开发的处理分析技术来支持工业大数据处理分析。 2.解决方案 清华数为交互式大数据处理与分析技术针对工业大数据处理与分析任务的交互式探索、建模、调试和应用而设计。根据CRISP-DM设计原则，一般大数据处理与分析分为业务理解、数据理解、数据准备、建模、评估和部署等阶段，各阶段相辅相成，形成一个大数据处理分析生命周期。 图1.交互式大数据处理与分析技术设计思想 本成果技术基于上述CRISP-DM的设计思想而设计，完全支持大数据处理与分析生命周期。该技术的特点包括： （1）内置数百种通用和专用的大数据分析算法和模型，并提供了按需扩展机制，用户可以按照自己的需要随时添加和扩充，以支持客户特定的大数据应用需求； （2）支持拖拽方式构建处理与分析流程，完全图形化设计大数据处理分析计算流程，并能在设计过程中进行单步/多步运行调试，查看中间结果，实时调整运行结果，以获得用户期望的处理分析结果； （3）支持机器学习模型训练及使用，内置了机器学习模型训练框架，一般机器学习模型在该技术的支持下，可以实现快速训练，训练结果可支持进一步的大数据处理与分析； （4）支持数据处理与分析流程参数化，在其提供的内部数据处理与分析算法模板中，用户通过算法模板可以开发面向Java、Python的算法，并集成和扩展到该技术的算法集合，实现按需定制处理分析； （5）支持数据画像和学习模型可视化，以图形化的方式定制数据画像的方法模型，并以二维和三维图表的形式展示给用户； （6）支持批处理、流处理和流转批处理三种处理方式； （7）按需定制运行计划与资源有效利用，用户可设置任务执行计划，任务执行计划定期运行，以实现周期性处理分析，方便获得持续的运行结果。 清华数为交互式大数据处理与分析技术面向多种用户角色，包括数据工程师、数据分析师、数据科学家、算法工程师、运维工程师、代码工程师等。采用分层设计，分为客户层、服务层、计算层。 客户层包括流程建模调试工具，用户可用工具图形化拖拽式设计处理与分析计算模型，并可进行调试和查看中间结果；管理工具，针对服务层所调用和访问的计算框架或者外部系统进行管理，包括对于数据源、计算环境、存储环境等的管理工具。 服务层主要包括流程调度服务，即负责按照用户所设定的工作计划来定时调度执行计算模型；执行服务，是负责执行处理分析计算的模型和算法的服务；计算资源管理服务负责管理执行服务中所能集成的所有的服务，如计算框架和存储设施等。 计算层是执行服务在执行处理分析算法和模型中所访问的外部服务，包括计算组件或框架，以及持久化存储组件或者系统等。 图2.交互式大数据处理与分析技术架构 本成果的交互式处理与分析技术较好地解决了工业大数据处理分析工作中所遇到的问题和痛点，并且能够广泛应用于多个行业和领域中，如能源、矿山、医疗器械、装备制造业、消费品制造业、工程机械行业等。 合作需求 期待与工业、医疗等领域企业紧密合作，获得各领域的实际需求，促使该技术不断完善和升级迭代，走向成熟。 未来将在工程机械行业、医疗机械行业、矿山行业、装备制造行业、互联网电商行业等寻求更多的成果转化、深度合作机会，在合作基础上，推动上述行业领域实现数字化转型和智能化升级，为国家实现“双碳”目标做出清华贡献。