社会网络已经成为覆盖用户最广、传播影响最大、商业价值最高的 Web2.0 业务，在世界范围内，最著名的社会网络代表是 Facebook、Twitter，用户量分别达到 12 亿、5 亿;国 内使用人数最多的社会网络工具是新浪微博和腾讯微博，其中新浪微博用户达到 5 亿，腾讯 微博用户超过 8 亿。社会网络中的巨大用户群每天产生海量的用户数据、关系数据和信息数 据，若能够对海量数据进行准确、及时的分析，则会在精确营销、舆情探测以及网络安全等方面创造巨大价值。然而由于社会网络的大数据特性以及分析方面要求准确、及时，目前缺 乏融合多项社会网络分析技术的、成熟的社会网络大数据分析系统。社会网络分析技术是一项关键技术，也是一项热门的研究，涵盖了社会学、人类学、社 会语言学、地理、社会心理学、通信研究、资讯科学、社会网络分析与探勘、组织研究、经 济学以及生物学等多个领域，是一项多学科交叉技术。社会网络大数据分析系统要求具有坚 实的数据支撑，即数据获取全面、更新及时、获取数量大，也强调多维度、多粒度的分析手 段相结合，并对分析速度、可视化以及人机交互等方面都提出很高的要求。基于上述现状和挑战，在国家科技支撑项目的资助下，实现基于新浪微博、Twitter 等 主要社会网络交流工具的大数据分析系统，系统完成从数据获取、数据预处理、数据存储、 消息中心、数据分析、结果可视化展示的闭环处理流程，支持多种社会网络(Twitter、新浪 微博等)的数据实时、不间断获取，获取数据量在国内外同研究领域处于领先地位;实现整 体、个体、群体以及事件的多层次、多粒度分析模式;同时具备良好的人机交互操作界面以 及优秀的分析展示效果。

高校教研大数据分析系统 数据洞察现在，智慧决策未来 核心功能 群体动态画像 用动态发展变化的眼光，采用数据动态描绘“学生”、“教师”的群体特征，为“学生分群施教”、“教师分群管理”提供最新的分析决策依据。 动态学情跟踪、预警 关注学情动态, 跟踪每个学生实时的出勤率、课堂参与度、作业完成率&优秀率，进行学业趋势预测、作业抄袭预警、挂科预警，帮助学校针对性调整教学过程。 教学质量评价跟踪 定期师生评价、同行评价，质量量化及趋势对比，正向激励教师、对教学质量异常预警。 成绩分析、预警 多维度洞察教学问题、卷面命题分析，持续改进，验证决策措施有效性。 命题质量分析 支持单卷单题区分度&变化、难度&变化、得分率及平均水平、错题难度及知识情况分析。 学生成绩分析 学生个人的各科成绩在班级、年级位置、变化趋势，以及知识点强弱分析、偏科分析、学业预测和实际结果对比。 教师成绩分析 班级学生总体情况（得分率、各难度题目作答情况分析、错题难度-知识点分析），与其它班级对比等 学院、校级管理者成绩分析 多维度数据洞察（公共课/核心课程分别从科次、平均分分布、学科、学院、教师、班级多维度交错分析，洞察本质）。 产品优势 数据全流程 打通日常教学、教学质量评价、学期考试、成绩分析等教学数据周期及各环节。 全角色 面向高校教学组织的各个角色成员（学生、学科教师、班主任/辅导员、学科负责人、院级及校级管理者等）提供数据应用场景。 数据可视化及洞察 分析展现及数据挖掘，可进行数据下钻，对异常预警进行抽丝剥茧、逐层深入，深度展开数据洞察。 随时随地 用户可随时随地掌握教学动态及异常预警，支持微信业务通知、审批待办，分析数据实时查看。 API集成 提供API接口，便于与教务系统和第三方系统数据对接。  

自然场景视觉感知与理解是人工智能的前沿热点，其主要任务是对场景中的视觉要素进行认知，进而推断出其中包含的场景语义。IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究，着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义，也是目前研究的热点，其主要任务是利用数据分析的方法从大数据中获取有价值信息。IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测，并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用

大数据应用的多样化 需要的计算模型、数据模型多样化； 目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。 多系统导致大数据分析平台非常复杂、效率低下。研究目标：研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个 方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键 值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计 算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这 套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于 大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面，分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合：设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、 文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据 分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。多计算模型融合：在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集 的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和 流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗， 提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储，面向应用负载和异构硬件特征进行自适应优化；对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等；在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效；而且我们也考虑到大数据分析过程中用户人工操作的时效性问题， 通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块， 能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持 到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提 升。亮点成果：融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。同时在双十一期间，基于智能交互向导技术，也面向电子商务应用 的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品 销量变化的原因，以及促销的有效手段等。

研究背景：  大数据应用的多样化  需要的计算模型、数据模型多样化；  目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标： 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。 针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个  方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键  值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计  算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这  套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于  大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面，分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合： 设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、  文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据  分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。 多计算模型融合： 在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集  的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和  流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗，  提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储，面向应用负载和异构硬件特征进行自适应优化； 对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等； 在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效； 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题，  通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块，  能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。 在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持  到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提  升。 亮点成果： 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。 同时在双十一期间，基于智能交互向导技术，也面向电子商务应用  的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品  销量变化的原因，以及促销的有效手段等。

“智能物联大数据分析决策系统”是以复杂装备及过程在工程现场的指挥决 策为需求、以对大规模运行工况进行智能化分析与决策作为切入点、以对使用先 进物联手段获取到的装备过程运行监测数据进行采集、处理、分析、呈现、交互 等为途径，完成了 “大规模的系统装备运行监测数据的完整实时存储与检索”“大 数据环境下运行监测数据的智能分布式交互处理”“利用运行监测数据深度解析 直观呈现系统装备运行状况”“具有多层级特征的系统装备运行监测数据的云架 构服务平台”等系统性研究，研发了一系列具有自主知识产权的智能物联大数据 分析决策关键技术，以此为基础申请了 53项发明专利（其中授权21项），发展 成为了相应的方法体系，并在航天测试发射任务、智能消防综合服务、热轧无人 化行车生产、机电设备安装调试及运维等多类对象及场景中进行了指挥控制、在 线监测、诊断评估、决策支持等方面的系统级应用。成果针对系统装备运行提供了智能化的决策和监控手段，为系统装备运行工 况监测和运行机理认识和发现形成了完备的数据基础和先进的技术支撑。

“智能物联大数据分析决策系统”是以复杂装备及过程在工程现场的指挥决 策为需求、以对大规模运行工况进行智能化分析与决策作为切入点、以对使用先 进物联手段获取到的装备过程运行监测数据进行采集、处理、分析、呈现、交互 等为途径，完成了 “大规模的系统装备运行监测数据的完整实时存储与检索”“大 数据环境下运行监测数据的智能分布式交互处理”“利用运行监测数据深度解析 直观呈现系统装备运行状况”“具有多层级特征的系统装备运行监测数据的云架 构服务平台”等系统性研究，研发了一系列具有自主知识产权的智能物联大数据 分析决策关键技术，以此为基础申请了53项发明专利（其中授权21项），发展 成为了相应的方法体系，并在航天测试发射任务、智能消防综合服务、热轧无人 化行车生产、机电设备安装调试及运维等多类对象及场景中进行了指挥控制、在 线监测、诊断评估、决策支持等方面的系统级应用。 成果针对系统装备运行提供了智能化的决策和监控手段，为系统装备运行工 况监测和运行机理认识和发现形成了完备的数据基础和先进的技术支撑。其技术 发明应用效果好、创造性突出，达到国内领先的水平，具有广阔的市场应用前景。

"自然场景视觉感知与理解是人工智能的前沿热点，其主要任务是对场景中的视觉要素进行认知，进而推断出其中包含的场景语义。 IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究，着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。"

本思政案例值巴黎奥运会火热举办之际，以奥运会数据为载体，引导学生运用Python的Pandas库进行数据清洗、筛选与聚合分析，并通过Plotly工具实现数据可视化。案例巧妙融合数据分析技能培养与思政教育，通过剖析我国奥运奖牌数据变化，让学生直观感受国家体育事业的蓬勃发展，深切领悟体育强国战略背后蕴含的国家意志与民族精神。同时，鼓励学生从数据中探寻体育精神内核，内化于心、践之于行，涵养积极人生态度与爱国情怀。此外，案例数据可视化呈现国际竞技格局，助学生理解多元包容、拓宽国际化视野，增强民族自豪感与文化自信，实现知识传授与价值引领的有机统一。

已有样品/n我国慢病患者群体超过2.6 亿，慢病的早期预防、诊断、筛查变得尤为重要。该系统包含体检业务服务系统、家庭健康监测管理服务系统、第三方家庭健康服务支撑平台三类产品：客户群体是健康大数据数据采集、分析、服务的基础。本项目通过三类服务凝聚客户：1）以三甲医院体检中心为基地，通过智能体检服务、基于三甲医院权威的体检诊疗、康复方法指导，建立稳定的体检群体。2）通过移动互联网将服务群体拓展到慢病/老年病群体。基于体检