研究背景：  大数据应用的多样化  需要的计算模型、数据模型多样化；  目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标： 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。 针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个  方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键  值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计  算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这  套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于  大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面，分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合： 设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、  文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据  分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。 多计算模型融合： 在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集  的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和  流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗，  提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储，面向应用负载和异构硬件特征进行自适应优化； 对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等； 在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效； 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题，  通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块，  能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。 在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持  到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提  升。 亮点成果： 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。 同时在双十一期间，基于智能交互向导技术，也面向电子商务应用  的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品  销量变化的原因，以及促销的有效手段等。

河南大学软件学院依托开封市大数据与人工智能研究院，开发“开封市政务数据分析和可视化系统”，助力疫情防控。 该系统针对开封市各县区、各社区每日产生海量的文本数据，通过自然语言理解等人工智能技术手段进行数据分析，让采集的数据能够进行自动比对、分析、研判，生成可视化分析图，及时准确将结果以可视化的形式直观展现出来，以更精准的数据为打赢疫情防控攻坚战提供保障，对开封市疫情防控工作提供有力的决策支持。

物联网可视化连接，大数据分析

南京工业大学计算机科学与技术学院史本云教授团队联合香港浸会大学计算机科学系与中国疾病预防控制中心寄生虫病预防控制所（国家热带病研究中心）共建的智能化疾病监控联合实验室，及时搜集疫情相关信息，追踪相关数据，运用多源异构数据驱动的传染病学模型和分析方法，针对武汉（新冠肺炎发源地）、北京、天津（京津冀地区）、深圳（粤港澳大湾区）、杭州和苏州（长三角经济区）6座典型城市，开展了新冠肺炎疫情的回顾性分析和趋势预判，精准评估了不同复工场景下的疫情风险和经济损失。该研究针对新冠肺炎疫情发展期、控制期和恢复期的不同阶段，以及不同城市的传播特点（本地传播为主/输入病例为主），综合考虑了各个城市内不同年龄段的人口分布和不同人群（如学生、上班族和老人）的接触强度、接触时长等，设计了居家场所、学校场所、工作场所和公共场所4种主要接触场景。通过结合城市间的人口流动数据，构建了数据驱动的传染病动力学模型，对不同城市不同干预手段下的疫情走势进行了评估。在此基础上，研究人员结合不同城市的GDP增长预期和产业结构，基于对未来数日各城市疫情走势的研判，对下一阶段有序推动恢复正常生产提出了若干建议并进行了相应的经济损失评估。据悉，该研究成果和建议已经通过国务院参事提交国家相关部门。

本平台实现交通数据的可视化、预测、关联性分析

本成果提出了基于零件批量加工数据分析的加工工艺与流程优化，主要包括零件加工过程的工艺数据挖掘与机器学习算法、基于数据和机理模型相结合的零件加工精度预测、基于机器学习的零件加工工艺优化与决策、基于数据驱动的零件批量加工工艺优化方法验证这四方面。以下是各方面具体对应内容： 1）零件加工过程的工艺数据挖掘与机器学习算法：在数据挖掘与机器学习算法方面，搭建了轴类零件全流程加工工况数据实时采集硬件平台，实现对加工力、加工振动、主轴电流等工况数据的实时在线获取。 2）基于数据和机理模型相结合的零件加工精度预测：在航空薄壁件加工精度预测方面，对复杂曲面加工过程混合建模与全流程加工精度预测等理论开展了深入研究工作；建立了零件单工序/多工序加工精度预测混合驱动模型，实现了加工精度的高效高精预测。 3）基于机器学习的零件加工工艺优化与决策：在轴类零件全流程加工工艺优化与决策方面，围绕隐马尔可夫决策过程、遗传算法等理论开展了理论研究工作，结合轴类零件加工过程开展了优化工作；提出了加工参数自适应调控联合决策方法。 4）基于数据驱动的零件批量加工工艺优化方法验证：构建加工数据库1套，包含机床设备、加工刀具、加工参数、检测数据等四种类型数据。开发全流程加工智能推理软件1套（部署于中航发南方公司柔轴车间），实现航轴全流程质量数据感知与工艺优化，其中全流程误差建模与分析模块实现了端到端的零件加工质量智能推理，可以用于工艺设计与现场预先感知，加工过程工艺数据挖掘模块实现基于批量数据的多工序误差流分析，实现后续工序加工误差推理，加工过程工艺优化与智能决策模块实现了零件多工序加工质量数据推理与给定期望指标下的加工参数优化。 图1 本成果对应功能结构示意图 【技术优势】 围绕航空领域制造的加工质量问题，开展基于制造过程数据的工艺全流程智能决策技术与系统的研发，初步实现工艺与制造过程的智能控制。在数据挖掘与机器学习算法、航空薄壁件加工精度预测、轴类零件全流程加工工艺优化与决策、零件全流程加工质量智能推理与优化、智能加工产线智能决策技术应用与推广等多个方面实现了突破，具有显著的理论价值与应用价值。 规范制定方面，研究了薄壁件加工误差产生的深层机理，构建了批量零件加工过程中误差传递的理论模型，探究了机床、夹具、刀具、加工参数全方位、多层次的因素对于零件加工误差产生的影响规律，提出了零件加工工艺与流程优化策略，形成制定面向航空发动机大长径比轴类零件的决策规范，规定轴类零件全流程加工过程中机床、刀具、装夹、加工参数四个方面的具体要求。通过中国航发南方工业有限公司企业标准体系管理系统制定、修改、审批，形成《航空发动机轴类零件加工工艺优化与决策技术规范Q/2B 1586—2022》。 软件开发方面，将上述理论成果进行高度集成，开发了零件全流程加工智能推理优化软件（MIO软件）。软件集成了四大功能模块，包括加工工艺数据库、全流程误差建模与分析、加工过程工艺数据挖掘、加工工艺优化与智能决策。相关知识与优化规则形成权。全流程加工智能推理优化软件以及知识库软件通过第三方测评，测评机构具备MA与CNAS认证资质，最终形成《零件全流程加工智能推理优化软件第三方测试报告》、《智能加工产线工艺全流程智能决策工艺知识库软件第三方测试报告》。 应用验证方面，结合航空发动机制造具体需求，将相关成果应用到某型号航空发动机轴类零件（动力涡轮传动轴）加工生产中。将零件全流程加工智能推理优化软件部署在航轴加工车间，在验证产品的加工设备上部署了数据采集装置，实时采集加工过程数据，集成企业工艺资源数据库和产品数字化检测系统，获取机床、夹具、刀具、产品质量等信息，构建了加工工艺数据库，开展了航轴加工工艺分析、现场加工质量预先感知、加工工艺与流程优化、现场实际加工验证等工作。通过南方公司现场应用验证，零件次品率平均降低54.53%。（2019年至2020年优化前，次品率为8.38%；2021年6月至2022年5月优化后，次品率为3.81%）。相关应用验证通过了中国航发南方公司的效果认定，并形成用户报告。 【技术指标】 1）采用机理模型/有限元仿真技术获取切削力/热/柔度/加工误差数据集，构建代理模型实现了切削过程的毫秒级预测，切削过程关键物理量的预测时间优于10毫秒。 2）建立了机理模型与小样本工况数据混合驱动的预测模型不确定分析与量化模型，提出了贝叶斯框架下的不确定校准方法，实现了加工误差快速（毫秒级）精准（偏差小于5微米）预测。 3）提出了航轴加工质量状态估计方法，建立了现场多源数据信息串联模型，基于隐马尔科夫的决策模型，实现工序间感知平均误差控制在9.21%内。 4）建立了加工次品率与加工参数约束集间双向映射互通模型，首次提出了基于隐马尔科夫模型与遗传算法的联合决策方法框架，联合决策优化框架保证次品率降低优于50%。

本发明公开了一种高速网络数据包内容分析装置，包括：网卡， 用于获取高速网络数据包；FPGA，用于过滤掉不属于需要检测的应用 层协议类型的网络数据包，然后将过滤得到的网络数据包分流到各众 核处理器中；至少一个的众核处理器，根据核分配策略对其包含的多 核进行任务分工，用于对分流得到的网络数据包并行执行协议还原、 数据包内容提取以及数据包内容分析融合任务；主控板，用于对 FPGA 和众核处理器进行配置。本发明只需获取原始的网络数据包，就可利 用众核处理器的并行计算能力，直接进行协议还原和敏感信息的分析 检测，与传统方法相比，计算能力大幅提升，实时性强，检测效率高。