本项目研发了一套完整的现场数据采集服务支撑技术，提供了数据采集集成服务的商业运营新模式。针对工业互联网建设过程中普遍存在的现场数据采集需求，整合了综合感知、AI智能处理、网络安全传输、数据质量管理和标准化输出等多个环节，把经过质量分析和标准化处理后的实时数据，作为产品对接到工业互联网应用平台的数据池，供后续数据处理和应用分析。整套技术包括4大模块：1）智能网关：基于具有AI能力CPU的智能网关，完成对多种传感信息的有效采集，并安全传输给数据前置云服务器；重点研究基于小目标的AI图像分类算法。2）AI模型管理系统：实现对智能网关中视觉AI感知中的模型计算和管理，该系统可以统一部署也可以部署的用户指定的内网服务器中。3）数据管理和标准化处理：数据有效性管理、数据质量评估、数据标准化和数据安全机制。4）智能运维：开发一套基于移动APP的智能运维系统，为运维人员提供有效帮助，提高效率、降低成本、保证系统运行质量和数据的有效性。 如图所示，项目完成了对于现场数据的传感、传输、管理、输出和设备运维等一系列工程实现。应用范围: 1、智能网关： 开发基于具有AI能力CPU的智能网关，完成对多种传感信息的有效采集，并安全传输给数据前置服务器。 综合接入能力： 包括有线传感器和特定的无线传感器、与现有系统的对接 有效感知能力： 实现基于图像的AI视觉感知能力，重点研究基于小目标的图像分类算法 安全传输能力： 提供4G、5G、NB-IOT的上行传输模块化替换 提供安全的加密手段，保证数据安全 现场调试配置能力： 具有现场WiFi调试功能，方便安装和运维人员现场配置和检测 软件和通信标准版本现场升级 2、AI模型管理系统 需要实现对智能网关中视觉AI感知中的模型计算和管理，该系统可以统一部署也可以部署的用户指定的内网服务器中。 样本管理能力 原始样本管理、样本实例库分类和管理、检测样本管理等 模型计算和管理 算力管理：对算力的统筹，外部算力的对接等 算法管理：自主开发算法的管理和调动，外部算法的调用和对接 模型管理：包括模型的功能属性和已经应用的情况的统计分析 设备管理 设备的AI模型配置能力、AI推演过程的监控、AI推演结果的跟踪采集和分析 3、数据管理和标准化处理 数据有效性管理 监测数据是否按时上传、上传数据是否符合要求、是否为非法数据 告警输出：把告警信息进行分类，并推送给相关的运维系统 数据质量评估 按照标准对现场采集数据进行多维度的质量分析，为后续数据应用提供参考依据 数据标准化 格式标准化：完善采集时间、地点、单位等属性， 输出标准化：按照标准协议与工业互联网平台数据池进行对接 数据安全 区域性部署：可以应用户要求部署在其内网 并行部署：可以通过并行部署，网关上联多个服务器，确保用户的可靠性需求 数据回滚能力：可以应工业互联网平台要求对数据进行一定期限内的回滚，保证数据在一定时间段内不丢失 4、智能运维 开发一套基于移动APP的智能运维系统，为运维人员提供有效帮助，提供效率、降低人员成本、保证系统运行质量和数据的有效性。 运维人员管理 对运维人员的信息、定位、工作状况管理 巡检任务管理 对部署的硬件和相关工作环境定期巡查的任务制定、下发、执行过程和结果的记录和管理 临时故障处理 对系统自动告警和现场突发状况的应急处理能力，包括人员调配、处理流程提示和建议、相关情况处置参考案例、后续统计追踪等。网关核心板实物照片

本项目研发了一套完整的现场数据采集服务支撑技术，提供了数据采集集成服务的商业运营新模式。针对工业互联网建设过程中普遍存在的现场数据采集需求，整合了综合感知、AI智能处理、网络安全传输、数据质量管理和标准化输出等多个环节，把经过质量分析和标准化处理后的实时数据，作为产品对接到工业互联网应用平台的数据池，供后续数据处理和应用分析。整套技术包括4大模块：1）智能网关：基于具有AI能力CPU的智能网关，完成对多种传感信息的有效采集，并安全传输给数据前置云服务器；重点研究基于小目标的AI图像分类算法。2）AI模型管理系统：实现对智能网关中视觉AI感知中的模型计算和管理，该系统可以统一部署也可以部署的用户指定的内网服务器中。3）数据管理和标准化处理：数据有效性管理、数据质量评估、数据标准化和数据安全机制。4）智能运维：开发一套基于移动APP的智能运维系统，为运维人员提供有效帮助，提高效率、降低成本、保证系统运行质量和数据的有效性。 如图所示，项目完成了对于现场数据的传感、传输、管理、输出和设备运维等一系列工程实现。

小试阶段/n该平台继承了目前主流计算框架和编程模式，尤其是内存计算框架， 通用性强、时效性高。该平台从根本上解决了目前大数据处理中耗时过 长的问题，通过优化大数据处理系统的任务管理和内存管理，对用户提 供主流的简洁编程接口，与目前国际上主流系统对比，该平台可以大量 减少内存占用，最高性能提升可达 41 倍，。该平台同时从根本上解决了 大数据系统自动管理内存的开销，减少 90%以上的开销。该技术平台是一 种通用数据处理平台，不影响上层生态应用，可以适用于各类大数据生 态系统，包括机器学习与深度学习领域

物联网感知大数据可信存储与分析处理平台（IOT-SeaCloudDM）：针对智慧城市、物联网、车   联网中各种采样数据（包括各类传感器、RFID、条形码阅读器采样的时空相关数据）的数据管理需求，  提供一个通用的感知大数据处理平台，对各类相关的感知采样数据进行统一管理，并达到如下目标：（1） 提供 PB~EB 级的感知采样数据存储、管理与查询处理。（2） 提供时态 - 空间数据、采样数值数据的统计分析与数据挖掘。（3）在此基础上，为各类智慧城市、物联网应用提供基础软件支撑。

项目简介 “医疗保险违规和欺诈行为的数据挖掘平台”属计算机软件与其他学科交叉领域， 是数据挖掘技术在医疗保险业一个典型的应用。平台具备挖掘项目的自定义，使数据挖 掘过程直接面向业务问题，降低医疗保险业内部业务人员对医疗违规欺诈行为进行监管 的技术门槛。通过将业务问题关联的数据挖掘结构、对应的算法、关联参数、结果界定 规则及评估方法进行固化配置，降低了使用者在挖掘项目构建时的难度。通过对挖掘结 果的界定规则及评估，监管及执法提供了定量依据。通过自定义展示

项目主要是把贮运厂电气运行数据集成到PHD，并提供WEB浏览，方便管理，实现生产的长期稳定、安全运行，保证贮运厂的经济效益和社会效益的最大化。通过开发专用数据接口，将电气PLC控制系统的相关数据集成到PHD数据库，绘制流程图和制作参数报表和趋势图，通过WEB服务器进行信息发布，经过授权可以进行远程信息浏览。

大数据应用的多样化 需要的计算模型、数据模型多样化； 目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。 多系统导致大数据分析平台非常复杂、效率低下。研究目标：研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个 方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键 值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计 算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这 套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于 大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面，分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合：设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、 文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据 分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。多计算模型融合：在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集 的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和 流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗， 提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储，面向应用负载和异构硬件特征进行自适应优化；对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等；在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效；而且我们也考虑到大数据分析过程中用户人工操作的时效性问题， 通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块， 能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持 到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提 升。亮点成果：融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。同时在双十一期间，基于智能交互向导技术，也面向电子商务应用 的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品 销量变化的原因，以及促销的有效手段等。