本成果包括无线电频谱监测与干扰定位系统的硬件与软件实现，数字硬件系统的设计与实现，数字硬件系统中嵌入式固件（FPGA/DSP）的设计与实现、基于计算机的远程控制/监控软件系统。

本成果针对城市水电气热等综合能源数据来源广泛，结构复杂，且与用户、时间、空间信息关系紧密的特点，构建了高性能综合能源数据分析平台，提出了细粒度的能源数据分析理论框架及方法，并将其应用于智慧城市建设。

大数据应用的多样化 需要的计算模型、数据模型多样化； 目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。 多系统导致大数据分析平台非常复杂、效率低下。研究目标：研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个 方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键 值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计 算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这 套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于 大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面，分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合：设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、 文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据 分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。多计算模型融合：在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集 的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和 流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗， 提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储，面向应用负载和异构硬件特征进行自适应优化；对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等；在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效；而且我们也考虑到大数据分析过程中用户人工操作的时效性问题， 通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块， 能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持 到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提 升。亮点成果：融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。同时在双十一期间，基于智能交互向导技术，也面向电子商务应用 的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品 销量变化的原因，以及促销的有效手段等。

本发明公开了一种高速网络数据包内容分析装置，包括：网卡， 用于获取高速网络数据包；FPGA，用于过滤掉不属于需要检测的应用 层协议类型的网络数据包，然后将过滤得到的网络数据包分流到各众 核处理器中；至少一个的众核处理器，根据核分配策略对其包含的多 核进行任务分工，用于对分流得到的网络数据包并行执行协议还原、 数据包内容提取以及数据包内容分析融合任务；主控板，用于对 FPGA 和众核处理器进行配置。本发明只需获取原始的网络数据包，就可利 用众核处理器的并行计算能力，直接进行协议还原和敏感信息的分析 检测，与传统方法相比，计算能力大幅提升，实时性强，检测效率高。

研究背景：  大数据应用的多样化  需要的计算模型、数据模型多样化；  目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标： 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。 针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个  方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键  值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计  算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这  套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于  大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面，分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合： 设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、  文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据  分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。 多计算模型融合： 在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集  的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和  流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗，  提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储，面向应用负载和异构硬件特征进行自适应优化； 对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等； 在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效； 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题，  通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块，  能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。 在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持  到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提  升。 亮点成果： 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。 同时在双十一期间，基于智能交互向导技术，也面向电子商务应用  的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品  销量变化的原因，以及促销的有效手段等。

项目背景：由于胶州湾周围发展快，人类活动频繁，造 成了自然湿地快速缩减，其生态系统被严重摧毁，因此，对 大沽河口湿地的生态监测十分必要。如何利用高光谱遥感数 据和雷达 SAR 数据的组合特征对大沽河口湿地进行分类。利 用二者的优势互补，得到比单一遥感影像数据更高的湿地分 类结果。将单一评价准则进行并行融合，形成多准则的过滤 式特征选择算法，从多个角度衡量各特征的优劣，计算各特 征的最终权重值。通过与各单一准则的过滤式算法进行对 比，得出多准则融合的过滤式算法在计算特征权重上的优 势。利用多准则过滤式算法与封装式算法的串行结合进一步 进行特征选择。并与多准则过滤式、封装式算法从耗时、子 集规模、交叉验证精度上进行对比，分析二者结合算法的优 势。为了验证二者结合算法的泛化性，采用支持向量机算法 和基于对象两种分类方法，以三组最优特征子集为数据源对 大沽河口湿地进行分类，并对分类精度及结果进行对比。 所需技术需求简要描述：1.如何实现多源数据的高效融 合与分析；2.如何优化湿地分类方法；3.如何从湿地的时间 序列数据中分析其变化机理。  对技术提供方的要求:1.在土地复垦与生态重建领域具 有较好的研究积累，具有土地整理关键技术、盐渍化遥感检 测及暗管改碱与节水集成技术及其应用省部级以上奖励。2.技术方案成熟可靠稳定有创新思维，不涉及知识产权侵犯。 3.主要负责人需要具有工学博士学位，在高光谱领域有深入 的研究及论文发表。 

物联网可视化连接，大数据分析

本发明公开了一种基于大数据分析的小基站开关控制方法，包括：采集场景信息步骤；数据预处理步骤；提取特征步骤；选择并训练模型步骤；预测步骤。本发明利用特殊场景下时刻表以及小基站接入人数的历史记录，建立数学模型，预测未来小基站内的待服务人数，根据待服务人数去控制小基站的开关，达到节能、减少基站间干扰的目的。 在建立数学模型的过程中，本方法结合数据挖掘和机器学习，提高了预测的准确率和系统的实用性。

本成果针对城市水电气热等综合能源数据来源广泛，结构复杂，且与用户、时间、空间信息关系紧密的特点，构建了高性能综合能源数据分析平台，提出了细粒度的能源数据分析理论框架及方法，并将其应用于智慧城市建设。 项目特色：  统一高效的综合能源数据存储与计算服务平台，实现数据共享和业务融合；  综合考虑用户的用电行为、用户间关联关系、时间、日期对用户能源需求的影响进行建模；  融合分析用户多类能源的综合用电需求，并采用基于隐变量的聚类算法在隐含用电需求空间中对用户进行聚类。 市场应用前景： 建成统一高效的综合能源数据存储与计算服务平台，实现天津城市电网结构化数据、非结构化数据、采集量测数据的统一存储，提出的多因素能源使用特性细粒度分析框架，精细刻画用户的能源使用特性，比传统方法具有更加丰富的涵义和可解释性。成果有效支撑天津城市电网“十三五”期间的存储需求。为我国智慧城市综合能源数据分析领域的技术进步发挥了巨大的推动作用。

近日，上海交通大学电子系义理林教授课题组基于智能锁模算法、时间拉伸技术和实时高速电路建立的实时光谱分析控制平台，实现了锁模激光器输出飞秒脉冲的实时光谱调控，对飞秒激光器的设计具有重要的应用价值。相关成果以“Intelligent control of mode-locked femtosecond pulses by time-stretch-assisted real-time spectral analysis”为题目于2020年1月发表于国际光学顶尖期刊《Light: Science & Applications》（中科院长春光机所与Nature出版集团合办期刊），并入选为封面文章，在“News & Views”栏目被专门评述。博士生蒲国庆为第一作者，义理林教授为通信作者。 图说：期刊封面文章 飞秒尺度（1E-15秒）脉冲对应着原子分子、材料、生物蛋白、化学反应等丰富物质体系的众多超快过程，有着广泛而重要的应用。锁模激光器作为产生飞秒脉冲的重要基础研究工具，在物理、化学、生物、材料、信息科学等领域都有广泛的应用。飞秒锁模激光器自上世纪六十年代发明以来，与其相关的研究分别于1999，2005，2018年获得过诺贝尔奖。 随着超快光学的快速发展，越来越多的前沿应用需要对飞秒脉冲的时域和光谱进行精细控制。由于飞秒脉冲的产生涉及非常复杂的非线性和色散传输效应，达到特定脉冲状态的稳态输出需要对激光器多个参数在高维空间进行优化，传统基于激光器光学设计和优化的方法已被证明难以精确实现。 通过对飞秒脉冲状态进行智能识别，结合智能算法对激光器多参数进行全局优化，有望获得理想的飞秒脉冲输出，但其主要挑战在于飞秒脉冲难以实时精确识别。低速时域采样无法识别飞秒脉冲宽度和形状，光谱仪虽可识别飞秒脉冲积分光谱但无法识别其瞬时光谱，因此传统方法都无法做到实时控制飞秒脉冲精确锁模状态。为了解决这一难题，义理林教授课题组提出在锁模控制环内引入时间拉伸-色散傅里叶变换（TS-DFT）技术，通过时域到光谱的转换，采用低速时域采样即可识别飞秒脉冲对应的瞬时光谱宽度和形状。结合智能控制算法，实现了以1.4nm为精度对飞秒脉冲光谱宽带从10nm到40nm进行可编程控制，光谱形状可编程为高斯型或三角形等。这是本领域首次实现飞秒锁模脉冲光谱宽度和形状高精度实时编程控制，解决了飞秒锁模脉冲锁模状态无法精确调控的难题。 基于实时的光谱控制，该研究还展示了从窄谱锁模态至宽谱锁模态以及从三角形光谱脉冲态至宽谱锁模态的演变过程，发现两者动力学过程具有相似性，提出了目标锁模状态可能决定中间动力学过程的猜想，为人们进一步探索锁模激光器内部机理提供新视角。 图说：基于快速光谱分析的飞秒锁模脉冲智能控制 非线性光学著名专家John Dudley教授（欧洲物理学会主席，IEEE/OSA Fellow）在《Light: Science & Applications》的“News & Views”栏目撰文介绍此项工作，认为本工作极具创新性，开拓了研究锁模动力学新的可能性，很可能应用于多种锁模光纤激光器中。 义理林教授课题组过去六年来一直致力于解决飞秒锁模激光器的智能控制问题，2019年发表在光学领域顶级期刊《Optica》的“智能锁模激光器”成果入选美国光学学会旗下新闻杂志《Optics & Photonics News》2019年光学年度进展“Optics in 2019”。该方向工作部分得到国家自然科学基金（61575122）的支持。《Light: Science & Applications》论文全文https://www.nature.com/articles/s41377-020-0251-x《Light: Science & Applications》“New & Views”评述论文https://www.nature.com/articles/s41377-020-0270-7