大数据应用的多样化 需要的计算模型、数据模型多样化； 目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。 多系统导致大数据分析平台非常复杂、效率低下。研究目标：研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个 方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键 值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计 算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这 套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于 大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面，分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合：设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、 文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据 分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。多计算模型融合：在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集 的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和 流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗， 提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储，面向应用负载和异构硬件特征进行自适应优化；对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等；在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效；而且我们也考虑到大数据分析过程中用户人工操作的时效性问题， 通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块， 能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持 到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提 升。亮点成果：融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。同时在双十一期间，基于智能交互向导技术，也面向电子商务应用 的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品 销量变化的原因，以及促销的有效手段等。

本发明公开了一种基于大数据分析的小基站开关控制方法，包括：采集场景信息步骤；数据预处理步骤；提取特征步骤；选择并训练模型步骤；预测步骤。本发明利用特殊场景下时刻表以及小基站接入人数的历史记录，建立数学模型，预测未来小基站内的待服务人数，根据待服务人数去控制小基站的开关，达到节能、减少基站间干扰的目的。在建立数学模型的过程中，本方法结合数据挖掘和机器学习，提高了预测的准确率和系统的实用性。

研究背景：  大数据应用的多样化  需要的计算模型、数据模型多样化；  目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标： 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。 针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个  方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键  值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计  算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这  套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于  大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面，分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合： 设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、  文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据  分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。 多计算模型融合： 在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集  的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和  流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗，  提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储，面向应用负载和异构硬件特征进行自适应优化； 对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等； 在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效； 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题，  通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块，  能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。 在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持  到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提  升。 亮点成果： 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。 同时在双十一期间，基于智能交互向导技术，也面向电子商务应用  的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品  销量变化的原因，以及促销的有效手段等。

物联网可视化连接，大数据分析

一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 学号 陈泳岐 计科院/计算机科学与技术 2019.9/2023.6 201931061097 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 杨云 计科院/软件工程 讲师 数据库应用 四、项目简介 本次研究主要是在“智慧政务”等网络留言平台的基础之上对大量留言数据进行分类、提取热度并对留言的回复情况进行质量评价，构建出基于机器学习的自然语言处理平台的一系列算法实现。主要包括三种算法，分别对应于政务留言中的三个痛点问题。留言分类算法主要是用来将不同留言进行分类和标签，再分别发送到对应部门，问题处理之后，留言回复质量评价算法将官方人员的回复质量进行采集与评价，判断单位人员对留言的处理情况。留言热点计算算法能够抽取每个留言的主题并生成相应的关键词展示给政务人员。

南京工业大学计算机科学与技术学院史本云教授团队联合香港浸会大学计算机科学系与中国疾病预防控制中心寄生虫病预防控制所（国家热带病研究中心）共建的智能化疾病监控联合实验室，及时搜集疫情相关信息，追踪相关数据，运用多源异构数据驱动的传染病学模型和分析方法，针对武汉（新冠肺炎发源地）、北京、天津（京津冀地区）、深圳（粤港澳大湾区）、杭州和苏州（长三角经济区）6座典型城市，开展了新冠肺炎疫情的回顾性分析和趋势预判，精准评估了不同复工场景下的疫情风险和经济损失。该研究针对新冠肺炎疫情发展期、控制期和恢复期的不同阶段，以及不同城市的传播特点（本地传播为主/输入病例为主），综合考虑了各个城市内不同年龄段的人口分布和不同人群（如学生、上班族和老人）的接触强度、接触时长等，设计了居家场所、学校场所、工作场所和公共场所4种主要接触场景。通过结合城市间的人口流动数据，构建了数据驱动的传染病动力学模型，对不同城市不同干预手段下的疫情走势进行了评估。在此基础上，研究人员结合不同城市的GDP增长预期和产业结构，基于对未来数日各城市疫情走势的研判，对下一阶段有序推动恢复正常生产提出了若干建议并进行了相应的经济损失评估。据悉，该研究成果和建议已经通过国务院参事提交国家相关部门。

本平台实现交通数据的可视化、预测、关联性分析

开封大学坐落于中国历史文化名城、八朝古都开封，始建于1980年，是经河南省人民政府批准、教育部备案，由开封市人民政府主办的一所涵盖工、管、文、经、医、艺6大学科门类的全日制普通高等学校。学校占地1500余亩，建筑总面积约41.45万平方米，教学科研行政用房约23.77万平方米；教学科研仪器设备总值13696.61万元；图书馆建筑面积2.8万平方米，馆藏纸质图书135.65万册，电子专业期刊23895种。学校设有12院2部5个公共教研部，常设专业59个，全日制在校生14367人，生源遍布全国30个省（市、自治区）。学校具有接收留学生资格和派出留学生资格，与英国、澳大利亚有联合办学项目。学校现有校内外教职工1070人，具有高级职称教师174人，具有研究生学位教师426人。师资队伍中，享受国务院特殊津贴专家2人，国际牙医1人，享受省政府特殊津贴3人，河南省职业教育专家3人，河南省学术技术带头人3人，河南省教育厅学术技术带头人14人，河南省高等学校教学名师3人，河南省高等学校青年骨干教师资助计划资助对象24人，开封市拔尖人才12人，学校专业带头人49人。学校还在国内外聘请了专家学者和行业能手担任客座教授。着力培养了一批既有深厚的理论功底，又有丰富实践经验和技能操作的“双师型”教师，并结合各学科专业特点组建了一支由生产一线工程师、行业专家组成的兼职教师队伍。学校现有1个省级院士工作站、1个省级重点实验室、1个省级工程实验室、1个省级科技创新团队、1个省级非物质文化遗产研究基地、2个省级高校工程技术研究中心、4个市级重点实验室、4个市级工程技术研究中心、2个市级创新型科技团队、7个校级协同创新中心、1个科技工作站。学校不断推动科技创新,促进科研团队发展,提升科研水平，五年来，立项国家级项目7项，省部级项目120项，市厅级项目608项，校级博士基金项目5项，青年基金项目29项，开封大学大学生创新基金项目142项；获得专利总数293项，其中有22项发明专利获得授权；4项成果获河南省科学技术进步奖。学校创办有《开封大学学报》，是河南省一级期刊、中国“CAJ－CD规范”执行优秀期刊、全国地方高校优秀学报、《中国期刊网》全文收录期刊。学校拥有中央财政支持的高等职业学校提升专业服务产业发展能力项目2个、省级特色专业6个、省级“专业综合改革试点”专业8个；立项建设国家级精品在线开放课程1门，拥有省级精品课程6门、省级精品资源共享课程1门。学校拥有校内外实习实训基地307个、中央财政支持的职业教育实训基地建设项目3个、省级示范性实训基地2个、省级高等职业教育示范性综合实训基地1个。学校被列入国家级优质高等职业院校建设项目，学校众创空间被科技部评为“国家级众创空间”，学校入选全国就业50强单位，被确定为教育部高职高专院校人才培养工作水平评估优秀院校、省首批示范性高等职业院校、省首批职业教育品牌示范院校、省德育工作评估优秀院校、省就业工作评估优秀院校，被评为省级文明单位、省高等学校科技管理工作先进集体、省职业教育攻坚工作先进单位、全国预征工作先进集体。学校董事会积极探索社会各界支持和监督学校发展的长效机制。1994年，成立了以香港金鑫国际集团董事局主席李金松博士为董事长的开封大学董事会，并与珠三角、长三角等140多个单位建立了校企合作关系。学校积极开展与董事单位之间全方位、多层次的交流活动，不断拓展校董合作领域，服务董事单位，助力董事单位发展，完善董事会工作机制，推进校企合作、产教融合，实现优势互补、互惠互利、共同发展。开封大学建校以来，发扬“艰苦奋斗，改革创新，团结进取，严谨治学”的开大精神，秉承“明德、励学、笃行、创新”的校训”。提出“以人为本、创新驱动、精准服务、全面发展”的发展战略，提出引领学校发展的“九大坚持”：坚持党的领导，立德树人，确保培养中国特色社会主义建设合格接班人的培养目标；坚持创新发展、开放发展、协调发展、绿色发展、共享发展五大发展理念；坚持人才培养中心地位不动摇，全面加强内涵建设，着力提高教育教学质量的办学思想；坚持依法治校、质量立校、人才兴校、科技强校、特色促校的办学理念；坚持把“产教融合、校企合作、工学结合、知行合一”作为学校全面深化教学改革提高人才培养质量的基本原则；坚持丰富、深化学校多年探索形成“就业、培养、招生”相结合、“生产、教学、科研”相结合的两个“三结合”办学模式；坚持立足开封、服务地方，面向现代化、主动精准服务地方经济社会发展和河南“五大国家发展战略”的办学定位；坚持以工为主，主动对接开封经济社会发展需要，打造服务新兴工业城市、国际文化旅游名城建设的专业群，实现精准服务的办学特色；坚持创建优质学校，努力提升办学层次。通过不断努力，达到建设特色鲜明、水平一流的应用型高等院校的办学目标。

通过服务的形式和手段实现管理的目的和目标 助力管理型政府向服务型政府的转变