可以量产/n领域专业知识资源中心大数据服务平台重点整合各个专业领域知识资源中心的数据集群；构建适用于各领域的多维知识资源组织体系；实现数据“从收集到使用”生命周期的平台化管理。目前领域知识资源中心大数据服务平台已经集成整合重点领域（能源、生物安全、材料、长江…）信息资源，构建重要领域知识资源中心。数据涵盖领域主管政府部门、国际组织、行业协会、科研机构、重点企业、国际公认的权威数据统计网站，领域专家审核数据来源，保障数据权威性。该项目汇集创新链涉及的宏观政策、科技投入、科技产出与应用，以及产业链涉及的

随着计算机互联网、移动互联网，物联网，高速发展，数据资料的增长正发生巨大的变化，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。 DDP 是德拓公司自主研发的成熟的大数据商用平台，整合了德拓在近几年大数据项目实践中的技术沉淀。平台涵盖了数据的采集、存储计算、分析挖掘、应用建模、可视化展现 以及运维管理等全部能力。各行业应用和最终用户可以通过 平台提供的丰富的接口，完成行业大规模数据的挖掘分析和应用对接管理。

鹏博士深耕云计算、网络SDN、自然语言处理、情感分析、图像理解，专注大数据的采集存储和信息挖掘，致力于提升各行业的大数据技术创新能力，通过全面的信息可视化、精准营销、新媒体数据挖掘、人群画像等为政务、工业、金融、医疗、交通、建筑、公安等各行业的合作伙伴提供一揽子的大数据解决方案，帮助企业实现增效降损，提高业务能力

本成果面向交通运行监测、城市管理与民生服务，构建了大数据即服务（Big Data as a Service,BDaaS）平台。本成果通过建设的区域无线网络、区域综合交通感知系统、布设的高清视频、市民交互平台和智慧城市数据中心，动态关联城市路网信息、运营信息、生活信息等多种异类数据，利用海量信息处理和信物融合技术，为政府、企业和公众解决城乡一体化管理、安全和服务中的各种关键问题提供数据支撑，促进智慧城市的绿色、高效、协同发展。 智慧城市数据即服务平台（BDaaS）包括城市数据感知体系、智慧城市大数据平台、面向政府业务的智慧管理与服务平台、面向社会公众的服务平台、面向科研机构的数据共享服务平台、数据质量实时监测与评价系统共6个体系。本平台不仅应用于城市交通运行监测、公众出行信息服务、城市交通规划，特别的，还可面向研究的机构海量数据分析提供实时数据支撑。海量数据实时挖掘（综合数据处理时间<2s）

日前，国防科技大学系统工程学院大数据与复杂网络研究团队同四川大学、电子科技大学一起，组建新冠病毒大数据交叉学科研究平台，助力新型流行病研究和防控，给多个省份和国家有关部委等提供了8份数据分析报告和决策建议报告，为防控和战胜疫情贡献出了科学智慧。国防科技大学系统工程学院大数据与复杂网络研究团队基于新冠病毒大数据交叉学科研究平台，利用海量多源异构大数据，结合疫情发生发展规律，对人群流动及传播风险进行了综合建模和分析，为政府决策提供了参考依据。特别是团队通过分析春运期间人口流动大数据，建立起疾病传播模型，测算出了疫情扩散蔓延阶段武汉市向全国各地区的输出人口状况和新冠病毒感染的风险指数。还有许多研究人员尝试通过客运数据，研判各个地区及城市的感染风险。也有学者采用“百度迁移”所提供的人口流动数据，通过春运期间从武汉流向全国各省市的人口规模(不包含港澳台数据)和全国感染病毒人数的可视化分布，直观解读两者间的联系。同时加以推断，武汉封城之后，二次传染所造成的病毒传播将日趋占主导地位，传播程度和各省市的人口密度以及管控措施等密切相关。

小试阶段/n该平台继承了目前主流计算框架和编程模式，尤其是内存计算框架， 通用性强、时效性高。该平台从根本上解决了目前大数据处理中耗时过 长的问题，通过优化大数据处理系统的任务管理和内存管理，对用户提 供主流的简洁编程接口，与目前国际上主流系统对比，该平台可以大量 减少内存占用，最高性能提升可达 41 倍，。该平台同时从根本上解决了 大数据系统自动管理内存的开销，减少 90%以上的开销。该技术平台是一 种通用数据处理平台，不影响上层生态应用，可以适用于各类大数据生 态系统，包括机器学习与深度学习领域

物联网感知大数据可信存储与分析处理平台（IOT-SeaCloudDM）：针对智慧城市、物联网、车   联网中各种采样数据（包括各类传感器、RFID、条形码阅读器采样的时空相关数据）的数据管理需求，  提供一个通用的感知大数据处理平台，对各类相关的感知采样数据进行统一管理，并达到如下目标：（1） 提供 PB~EB 级的感知采样数据存储、管理与查询处理。（2） 提供时态 - 空间数据、采样数值数据的统计分析与数据挖掘。（3）在此基础上，为各类智慧城市、物联网应用提供基础软件支撑。

采用层次化、模块化设计，整个系统由数据采集控制模块、数据传输系统、自动反馈系统和显示系统组成。服务器整合数据存入数据库，采用大数据分析技术建立专家系统， 并以此作为自动调控的标准。在自动反馈系统里采用三级自动控制技术，分别是单片机控制的模块级、嵌入式网关级和服务器级，三者相互独立，互为保险，并且均可以根据实时环境状况做出调节，并自动下达控制指令。显示系统由三部分组成，一是位于农业现场的显示屏，二是 PC 终端，三是基于安卓系统的移动终端，从而实现环境参数值的实时观测和控制，并实时指导农业生产。系统可

大数据应用的多样化 需要的计算模型、数据模型多样化； 目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。 多系统导致大数据分析平台非常复杂、效率低下。研究目标：研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个 方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键 值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计 算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这 套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于 大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面，分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合：设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、 文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据 分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。多计算模型融合：在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集 的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和 流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗， 提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储，面向应用负载和异构硬件特征进行自适应优化；对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等；在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效；而且我们也考虑到大数据分析过程中用户人工操作的时效性问题， 通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块， 能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持 到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提 升。亮点成果：融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。同时在双十一期间，基于智能交互向导技术，也面向电子商务应用 的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品 销量变化的原因，以及促销的有效手段等。