大数据应用的多样化 需要的计算模型、数据模型多样化； 目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。 多系统导致大数据分析平台非常复杂、效率低下。研究目标：研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个 方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键 值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计 算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这 套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于 大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面，分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合：设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、 文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据 分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。多计算模型融合：在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集 的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和 流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗， 提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储，面向应用负载和异构硬件特征进行自适应优化；对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等；在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效；而且我们也考虑到大数据分析过程中用户人工操作的时效性问题， 通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块， 能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持 到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提 升。亮点成果：融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。同时在双十一期间，基于智能交互向导技术，也面向电子商务应用 的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品 销量变化的原因，以及促销的有效手段等。

作为全球导航卫星系统(GNSS)的后起之秀，我国自主北斗导航卫星系统(BDS)近年来迅猛发展。“十二五”及未来“十三五”期间，已有和正在发展大规模的各类地基北斗 /GPS 站网(CORS 网、GNSS/MET 网等)，同时，空基(无人机、有人机)和天基观测载荷 研制已提上日程。所有这些观测数据将形成天空地一体化网络的北斗大数据资源。随着导航、 定位、授时等北斗传统应用的日趋成熟(图 1)，北斗大数据附加值发掘及新型应用领域产 业链的拓展将前景广阔。本项目为导航卫星创新增值应用及北斗大数据信息的深度挖掘，将干扰导航定位精度的大气折射、地表反射等误差源，“变废为宝”为遥感探测的信号源，在突破我国自主导航卫 星遥感探测关键技术的基础上，从地基探测和空基(无人机、有人机)探测两个层面，实现 软硬件一体化的北斗/GPS 双模气象水文生态多要素综合监测系统。方案及成果将面向行业 应用需求，引进吸收国际前端技术，紧密结合当地资源优势，打造内蒙古自治区成为国内率 先开展北斗气象水文生态增值创新应用的省份，拓展北斗大数据在气象预报、智慧农业、智 慧水利、生态环境等领域的应用(图 1)。图 2 为北斗/GPS 环境多要素智能监测与大数据服务平台总体方案。围绕“数据获取——数据存储——分析挖掘——应用服务”这一主线进行。其中: 数据获取分为地空天三类:(1)自主研发的低成本北斗/GPS 环境多要素智能监测设备;(2)无人机搭载北斗/GPS 智能监测传感器;(3)GNSS 遥感卫星。 环境监测要素包括:农业环境生态(土壤湿度、植被水分等)、气象水文(大气水汽、积雪深度、水位等)、海洋(潮位、风场、盐度、海冰等)。 该方案将充分发挥导航卫星无源探测、高时空分辨率、低成本高产出、实时性强的优势。同时，方案涉及的监测要素及方法可实现同卫星遥感(高分卫星、降水卫星、重力卫星等) 监测的有效结合和优势互补，作为国土资源实时监测系统的有机组成部分，共同实现国家级、 区域级空天地一体化物联网遥感大数据智能监测服务。清华大学在利用地基、空基北斗/GPS 观测数据进行气象水文生态要素监测技术开发、 产品研发、软硬件研发集成等方面具备丰富的研究积累，尤其针对我国自主北斗导航系统的 创新应用，团队成果国内领先且得到国际同行的高度认可，开发并集成了一套完备的“北斗 /GPS 双模多要素智能监测”整体解决方案。除发表高水平学术论文外，已申请多项发明专 利和软件著作权(表 1)，2016 年技术成果已通过软硬件服务在青海(气象/水利/环境)、四 川(农业/气象)、山东(农业)、北京(科研单位)等地取得了初期经济效益。中心已具备 的技术基础与部分成果展示如图 3-图 6 所示，包括全国范围地基综合观测站网建设(图 3)、 空基试验与技术攻关(图 4)、监测产品研发(图 5)、软硬件设备自主研发(图 6)。所有这 些技术积累将为本方案的顺利实施提供有力保障。目前市场上尚无相关产品，并且本项目的成果产出可从如下几个方向进行多层次、全方 位的市场化对接:(1)软件模块:研制内容一产出的气象水文生态监测要素估算软件模块，可同以北斗 导航定位为主打方向的企业对接，通过嵌入本软件模块，拓宽其业务范围，在为农业、气象、 水利等部门提供导航定位服务的同时，融入气象水文生态要素同步监测的功能。不同需求定 制的软件模块按 1-10 万元每套计算，初期市场年需求量预计 50 套，预计每年产生收益 50-500 万元，市场成熟后可面向全国推广，年收益可达 1000-5000 万元。(2)监测产品:研制内容一产出的气象水文生态监测要素产品，如通过 SDCORS 监测 网络附加得到的多要素监测产品，可实现政府买单为行业公众提供服务。可与高校、科研院 所等联合申报国家级、省部级科研项目，预计单个项目经费 500-1000 万元。(3)新型监测设备:研究内容二所产出的面向气象农业水文应用的北斗/GPS 双模气象 水文生态多要素综合监测设备，具有低成本、小型化、多功能等优势，可独立进行市场推广。 按单套收益 5 万元计算，初期市场年需求量 50 套，预计年收益 250 万元，市场成熟后可面 向全国推广，年收益可达 500-3000 万元，并可与目前市场上通用的 GNSS 定位型接收机竞 争，实现行业接收机的更新换代及初期市场垄断。(4)演示系统:研究内容三所产出的北斗/GPS 双模气象水文生态多要素综合监测演示 系统，可率先在山东省(青岛市)开展示范应用，且该创新应用模式在全国具有推广价值。 可联合申报科研项目，预计单个项目经费 500-1000 万元，同时可实现业务化推广应用，名 利双收。

研究背景：  大数据应用的多样化  需要的计算模型、数据模型多样化；  目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标： 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。 针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个  方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键  值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计  算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这  套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于  大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面，分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合： 设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、  文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据  分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。 多计算模型融合： 在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集  的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和  流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗，  提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储，面向应用负载和异构硬件特征进行自适应优化； 对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等； 在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效； 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题，  通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块，  能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。 在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持  到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提  升。 亮点成果： 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。 同时在双十一期间，基于智能交互向导技术，也面向电子商务应用  的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品  销量变化的原因，以及促销的有效手段等。

基于物联网的系统节能平台是在综合物联网智能传感与感知技术、物联网海量数据存储与处理技术、计算机控制技术的基础上，研发的一个分布式的智能节能平台，并在平台上开发能耗监测与调控系统、温湿度节能系统、照明节能系统，形成一套比较通用的、适合于多领域使用的节能解决方案和应用标准。应用对象包括酒店、学校、医院、工业园区等。 平台可分中心版、区域版和单体版，主要功能如下。 1. 可采集电表、水表、气表、热（冷）量表、室内外温湿度计，及其他传感器和变送器等现场仪表，对设备设施运行状况、运行能效等相关参数进行收集、显示、报警等，通过自控系统或人工实现调节控制功能及适当的维护维修措施，保证设备优化运行； 2. 对采集的数据进行分析，实施能耗的优化管理，合理调度使用能源，保证在不同工况下使运行的建筑设备尽可能运行在各自的高效运行工作区内，各系统之间运行参数配置合理，达到运行节能的目的，实施建筑能耗的优化管理； 3. 依据能源管理系统的数据及结果，严格运行管理和设备维修维护制度，保证在运设备的完好率。通过对节能数据进行分析，发现问题，制定合理的改进措施，实现运行节能管理所要求达到的期望值（目标值）。通过图形、图像手段及节能专家顾问系统等多种手段达到节能目的。 目前，该技术已在多个省市及连锁单位进行安装应用，取得显著效果。

呼吸慢病患者物联网管理平台，主要是对患者的个人身体检测数据进行采集、主要是手环、听诊器、体温计的数据采集，医生对患者的听诊音频进行审核分析，并给出诊断报告；以及心肺音数据的切片标记。和呼吸慢病患者可视化分析，利用可视化工具提供丰富的图表展示，提高结果的可读性。

呼吸慢病患者物联网管理平台，主要是对患者的个人身体检测数据进行采集、主要是手环、听诊器、体温计的数据采集，医生对患者的听诊音频进行审核分析，并给出诊断报告；以及心肺音数据的切片标记。和呼吸慢病患者可视化分析，利用可视化工具提供丰富的图表展示，提高结果的可读性。

农业物联网整体方案 利用各种传感器、摄像头，通过物联网方式，把农业数据汇集到农业物联网平台，为第三方专业应用提供开放、统一的数据管理和分析平台。 通过数据中心大屏、手机App展示农场、草原、沙漠绿化实景，直观感受实际效果,提供大数据分析，为领导或投资人提供决策参考。 通过手机App获取所购买产品的生产过程参数、视频信息,让消费者买的放心。 获取农业、养殖业生产过程中的空气、土壤、水质各类环境参数，让农户在专家系统指导下合理种植、养殖制定正确的自动化控制计划。 让农业厂商及技术人员获取农业生产的第一手数据、评估化肥使用效果，为农业生产提供实时、远程的技术支持。 农田数据采集及分析 通过传感器实时采集农田空气温湿度、二氧化碳含量、光照强度、土壤温湿度，通过自动控制启动浇水灌溉系统；通过视频分析，采集和分析虫害发生情况，为防虫防灾提供预警。 农产品智慧配送 农产品出厂流程标准化，消费者可以通过包装上的二维码了解产品生产日期、产地，全程可追溯；甚至可以访问生产过程参数和视频，让消费者放心。 通过电商平台建立农场和消费者的直接交易，通过智能物流配送柜，及时、低成本的送货上门。 智能配送柜提供到货提醒、空间管理、密码取货等功能，最大程度方便消费者。