本发明公开了一种基于大数据分析的小基站开关控制方法，包括：采集场景信息步骤；数据预处理步骤；提取特征步骤；选择并训练模型步骤；预测步骤。本发明利用特殊场景下时刻表以及小基站接入人数的历史记录，建立数学模型，预测未来小基站内的待服务人数，根据待服务人数去控制小基站的开关，达到节能、减少基站间干扰的目的。在建立数学模型的过程中，本方法结合数据挖掘和机器学习，提高了预测的准确率和系统的实用性。

研究背景：  大数据应用的多样化  需要的计算模型、数据模型多样化；  目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标： 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。 针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个  方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键  值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计  算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这  套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于  大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面，分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合： 设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、  文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据  分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。 多计算模型融合： 在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集  的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和  流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗，  提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储，面向应用负载和异构硬件特征进行自适应优化； 对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等； 在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效； 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题，  通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块，  能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。 在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持  到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提  升。 亮点成果： 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。 同时在双十一期间，基于智能交互向导技术，也面向电子商务应用  的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品  销量变化的原因，以及促销的有效手段等。

物联网可视化连接，大数据分析

技术优势 智慧水利大数据平台项目成果包括- -套软件产品“水文与水库大坝安全监测大数据平台”和两类算法，即“水库入库流量预测算法”和“智能水库防洪调度算法”。 1)水文与水库大坝安全监测大数据平台:该平台基于传感器网络采集水库水文信息和大坝的各个核心区域的压力、位移、沉降等信息，基于大数据分析技术和可视化方法，设计实现了一种面向水库大坝安全监测的可视分析软件平台。 2)水库入库流量预测算法:水库入库流量预测是精细化水库调度的基础，现有的基于水文模型的库流量预测方法对流域的适应能力较弱，预测精度难以满足精细化调度的应用需求。该项目基于历史水文数据，采用深度学习技术，对水库的入库流量进行滚动预测。结合智能化的时间序列决策方法，能够实现对水库的智能化管理调度。 3)智能水库防洪调度算法:汛期的水库防洪调度是水库管理中面临的重要问题。该项目针对水库防洪调度中的上下游安全问题建立多目标优化模型，采用计算智能方法对模型求解获得精细化的水库防洪调度方案。与现有工程实践中基于规则的水库防洪调度不同，该方法不依赖于水利专家的经验，能够提供更加精细化的水库防洪调度方案。 智慧水利大数据平台——功能模块图 大坝安全检测指挥中心数据大屏——水库大坝一张图 系统主要功能模块

技术优势智慧水利大数据平台项目成果包括- -套软件产品“水文与水库大坝安全监测大数据平台”和两类算法，即“水库入库流量预测算法”和“智能水库防洪调度算法”。1)水文与水库大坝安全监测大数据平台:该平台基于传感器网络采集水库水文信息和大坝的各个核心区域的压力、位移、沉降等信息，基于大数据分析技术和可视化方法，设计实现了一种面向水库大坝安全监测的可视分析软件平台。2)水库入库流量预测算法:水库入库流量预测是精细化水库调度的基础，现有的基于水文模型的库流量预测方法对流域的适应能力较弱，预测精度难以满足精细化调度的应用需求。该项目基于历史水文数据，采用深度学习技术，对水库的入库流量进行滚动预测。结合智能化的时间序列决策方法，能够实现对水库的智能化管理调度。3)智能水库防洪调度算法:汛期的水库防洪调度是水库管理中面临的重要问题。该项目针对水库防洪调度中的上下游安全问题建立多目标优化模型，采用计算智能方法对模型求解获得精细化的水库防洪调度方案。与现有工程实践中基于规则的水库防洪调度不同，该方法不依赖于水利专家的经验，能够提供更加精细化的水库防洪调度方案。智慧水利大数据平台——功能模块图大坝安全检测指挥中心数据大屏——水库大坝一张图系统主要功能模块应用前景随着水利信息化的发展，物联网技术、人工智能技术和大数据技术的广泛应用，智慧水利逐渐成为可能，智慧水利大数据平台的建设正处于蓬勃发展的历史时期。该研究成果面向水库管理中的信息化和智能化问题展开研究，提供了基于物联网的大坝数据采集，基于大数据处理和可视分析技术的大坝安全监测和基于计算智能技术的水库入库流量预测与智能水库防洪调度解决方案。项目研究成果包括科研成果论文和软件产品，研究成果成熟度较高,具备良好的市场转化潜力。

可以量产/n该项目是提供一个大数据处理框架和处理平台，具备较强的大数据 处理能力。 该项目需求广泛，将产生较大的经济效益。

“喂！何老师，郧阳的疫情不断发展。您能否帮忙研发软件为政府科学决策提供支持？”1月28日，农历大年初四，中国石油大学（华东）海洋与空间信息学院青年教师何亚文的手机突然叫了起来。对这个求助电话何亚文并不陌生，打来电话的是湖北省十堰市郧阳区扶贫办负责人，目前是疫情防控指挥部成员。2017年初以来，何亚文一直通过扶贫办为当地精准扶贫工作提供大数据支持。从这一刻起，远在山东青岛的何亚文科研团队投入了一场远程监控郧阳新冠肺炎疫情的战斗，以大数据为当地战“疫”提供强有力的智力支撑。疫情就是命令，两天研发出“郧阳疫情”APP郧阳，位于湖北省十堰市，辖区64万人，占地3863平方公里，下辖16个镇、5个乡、1个林场和1个经济开发区的地区。2月初以来，这里也成为全国抗击新型冠状病毒肺炎疫情的主要战场之一。“疫情就是命令，防控就是责任。”何亚文清楚地记得两天前习近平总书记在中共中央政治局常务委员会会议上的讲话。彼时，新型冠状病毒肺炎疫情已从武汉蔓延开来，湖北省各市州均成为重灾区。放下电话，何亚文火速召集团队，讨论研发方案，开始了网络协动、远程办公。几位研发核心成员过年回农村老家，没有电脑，只能满村跑去借。研究人员的这种拼劲让邻居们很是赞叹，得知他们是在研究抗击新冠肺炎的“高科技产品”时，更是由衷敬佩，热心提供了“包吃包住”的一条龙服务。团队核心成员胡嘉良，家里孩子刚刚6个多月，只有妻子两个人带孩子。胡嘉良每天都坚守到凌晨，直至郧阳的数据发过来，处理完才能休息，一天24小时几乎是连轴转。仅用两天的时间，何亚文团队便完成疫情数据收集、数据分析、建立了疫情数据库，完成了“郧阳疫情”APP的开发和“郧阳疫情专题地图”的制作。地图与APP实时联动实现精准管理，14日以来无新增早在2017年，何亚文和他的团队就开始了大数据扶贫的探索，并先后研制了面向建档立卡贫困户管理的“扶贫通”平台、面向驻村工作队员的“四双帮扶”APP平台以及面向政府领导决策指挥的“精准扶贫大数据监管平台”，为郧阳的精准扶贫工作提供了成熟的技术支持与服务。“这一次抗击疫情，我们这些平台和数据再次彰显了其力量。” 何亚文介绍，基于前期精准扶贫工作对全区人口的普查数据和全区高精度地图数据，“郧阳疫情”APP和“郧阳疫情专题地图”得以快速研发和制作，并实现了实时联动，对全区疫情数据动态变化进行监控、展示与分析。“我们从网上看到的疫情地图一般是省、市、区（县）一级，而‘郧阳实时疫情专题地图’则到了乡镇、村、户一级。”谈及地图和APP的创新点，何亚文认为这次研发的软件其首要显著特征就是建立在大数据基础上的到村、到户精准显示，二是APP和地图实时联动，从多尺度时空动态地图上看，确诊病例、新增病例等信息以及其多日的动态变化过程。2月1日的统计，郧阳自武汉返乡人员就多达7000多人，其中发热人员近100人，形式非常严峻。郧阳当地各级政府正是借助何亚文研发的APP和地图进行疫情研判、指挥调度，做到科学防治、精准施策，很好地实现了以社区（村）为单元的返乡人数、武汉返乡人数、发热人数、确诊病例的核查与管理，有效控制了疫情的输入、传播和蔓延，实现了疫情登记全覆盖、疫情监测全过程、疫情管理数字化、疫情研判科学化。自2月14日以来，全区已多日无新增确诊病例。“战疫+扶贫”，本底大数据要为脱贫攻坚再发力三年前，何亚文和他的团队联合中国科学院地理科学与资源研究所专家团队，赴郧阳进行精准扶贫工作的综合诊断服务。其间，团队围绕“三率一度”等指标开展入户调研，走遍了郧阳的所有乡镇的重点贫困村、重点贫困户，与郧阳各级政府及百姓建立了深厚的情谊。“通过对各类数据的综合分析，我们不仅可以确立疫中、疫后的处置方案，还可以明确疫情对各项扶贫工作，甚至对每一个贫困家庭的影响。”在何亚文看来，这次突发的疫情监控软件开发，既是战“疫”，更是为后期扶贫发力进行大练兵。在几年的精准扶贫工作中，何亚文团队建立了一整套效果显著的面向村一级的管理机制，特别是收集了庞大的本底数据。何亚文记得习近平总书记在中央全面深化改革委员会第十二次会议的讲话：要鼓励运用大数据、人工智能、云计算等数字技术，在疫情监测分析、病毒溯源、防控救治、资源调配等方面更好地发挥支撑作用。同时也要健全公共卫生服务体系，加强农村、社区等基层防控能力建设。据了解，疫情APP还被应用在山东省临沂市扶贫和疫情防控工作中，基于临沂市前期的扶贫工作，疫情APP的部分功能主要实现了全市涉农企业的复产复工情况的监控与调度。该工作得到了扶贫办及农业农村局主要领导的肯定和认可。“未来，我们将研判疫情对精准扶贫工作的影响，便于当地采取进一步的帮扶措施，保障脱贫攻坚工作的顺利完成。”何亚文对未来的科技扶贫有了更新的期待，“我相信，有了这些机制和数据的支撑，大数据管理将不止在疫情防控方面，在乡村振兴、乡村治理等方面也必能取得很好的效果。”

新大陆以教育部、人社部提供的大数据岗位技能标准材料文件为指导思想，依托丰富大数据行业经验，构建贯通8大维度完善的人才培养体系，面向职业学校量身定制“大数据专业”,提供应用开发和运维两个方向配套的课程及丰富的教学资源。 产品特点快捷：使用主流的ElasticSearch HDFS大数据分布式全文检索技术，快速定位课程资源，从课前、课中、课后的教学的各个场景出发，围绕着“一人一课表”，避免传统的菜单导航，以工作台引导式的操作体验，方便教师与学生快速定位当前课程入口，进行课前备课与预习、课中教学与实验等操作。方便：一站式大数据实验室，随时随地“做中学”在B/S模式下，可以随时随地通过浏览器进行实验结合教学场景，根据课程自动匹配创建实验环境，极大的减少了实验准备工作 “步骤式”的实验手册，配合自动化实验报告截图，提升效率实验，做到真正的”做中学““坐席式”的实验监控，让老师和学生的实验互动更加容易稳定：根据每门课程的实验规格，提供实验环境所需资源弹性分配与回收能力，同时有效控制了实验服务器成本专业：提供一体化、颗粒化的教学资源，基于教学课程进度，“向导式”的设计课案。

通过对系统日常使用数据的自动抓取，对实验室在日常使用及管理过程中的关键指标进行综合分析。

基于大数据和 AI 的应用，可实现复杂场景下的网络问题识别、多场景优化方案的协同策略方案的动态和自动化执行。可以构建智能网络规划及运维平台，以实现极致性能和极简运维，使能新业务的自动化覆盖优化、移动性优化、负载均衡优化、节能优化、故障分析与定位。同样可以基于无线数据和视频数据融合的用户个体及群体行为在多场景应用下，充分发挥5G的优势，创造巨大的社会效益。