本发明公开了一种基于 HBase 的大数据存储与检索方法及系统，本发明基于数据文件字段映射表， 利用 HBase?Thrift 客户端，通过定义好的 RowKey 表达式生成行键，将按行存储的数据导入到 HBase 数 据库中。在保持一致性的前提下，将数据对象的多特征值按照多种组合方式加入形成行键，与普通列值 数据组成 HBase 数据行，按不同行键组成方式存放在多张 HBase 数据表中，进行多特征值数据检索时 根据行键中的几个特征值匹配可快

采用人工智能技术对数据库进行数据分析与深层信息挖掘的计算机软件系统（RoboMiner），主要用于对数据库中的进行数据分析，从中提取隐含的深层信息，为企事业建立新的业务模型和为决策提供支持。数据库数据分析与深层信息挖掘技术也是海量信息处理的基本工具，其应用场合极为广泛，前提是数据的积累。我们可根据用户的业务要求及其数据库的数据特点来为用户开发专用的软件系统。技术水平及指标 ·具备数据挖掘的基本功能：数据予处理，挖掘、结果表达与管理。

本发明公开了一种基于大数据的智慧变电站实时监控系统及方法，具体涉及电力设备监控技术领域，包括多源采集处理模块、动态拓扑更新模块、设备状态监测模块、故障诊断预测模块、设备寿命预测模块、能效分析优化模块以及远程运维调度模块；本发明能够实现高精度故障检测及隐性关联挖掘，提高变电站异常检测能力，有效优化变电站各电力设备的寿命管理；能够确保维护资源分配合理，提高设备可靠性，提升综合能效，减少碳排放，无需人工干预调整运行模式，提高优化效率，实现变电站智能化运行。

在智慧采摘方面，提出了一种结合检测网络与点回归的新型方法，为葡萄采摘自动化提供了高效精准的解决方案。

一、项目简介 本项目的研究，旨在揭示阻断网络下的不对称信息传播规律，创立社交多媒体大数据的感知与计算的新理论新方法，开发面向两岸热点事件的监控技术，搭建维护国家安全和两岸稳定的支撑平台。 二、前期研究基础 持续开展在社交媒体挖掘与舆情分析领域的应用研究，在计算

发布的数据库（Arabidopsis RNA-seq database, ARS）整合了来自GEO、SRA、ENA和DDBJ数据库的20,068个拟南芥RNA-seq数据，提供了“Google-style”在线查询工具。该研究对所有文库进行了基因表达水平定量和共表达网络分析，并将所有文库进行分类，总共涉及1176个突变体、1102种处理条件、12个

01. 成果简介 随着移动计算、传感器网络和科学观测设备等新技术在经济社会各领域的广泛应用，特别是监控、遥感、定位等技术的崛起，人们获得了海量的时空数据。时空数据分布于连续空间，并且随着时间动态变化，具有十分复杂的模式规律。例如，卫星遥感数据和雷达回波数据是广泛应用于气象观测和军事侦察的时空数据，在连续的卫星扫描或雷达观测过程中，形成时间轴上的一系列遥感图像或回波影像，反映三维地理空间中某种观测物理量的变化规律。视频监控、医学影像、气象预报、环境监测等很多应用领域都涉及时空数据预测和识别任务，在问题求解过程中需要同时考察时间和空间两方面因素，存在时间上的非平稳性和空间上的高维相关性两大技术难题。 本成果创新大数据深度学习技术，从复杂、海量、高维、非平稳的时空数据中识别重要的时空模式，挖掘在时间和空间上的变化规律，并对未来的时空演变趋势进行预测，形成了时空数据预测和识别的深度学习技术（如图1所示）。具体包括：·        提出卷积结构与循环结构深度融合的统一建模方法，学习高维度、非线性时空特征表示，挖掘空间关联结构与时间动态信息；·        提出时空记忆单元和回忆机制，对时空非线性、非平稳性变化进行预测学习；·        提出时空数据的迁移学习技术，降低时空分布差异，实现知识的跨时空迁移。 该技术尤其擅长捕捉高维度、非平稳时空数据的非线性变化规律，例如多物体对象在空间和时间上的“产生、消亡、运动、形变“等复杂时空数据场景。与同类技术相比，运行时间短，预测和识别精度高，在国际上处于整体先进、部分领先的水平。  图1. 用于时空数据预测和识别的循环神经网络架构及其时空记忆单元图2. 本成果技术（时空数据预测与识别）在北京交通流量预测任务上的效果02. 应用前景 该技术成熟度高，部分成果已经以线上系统的形态成功应用于中国气象部门强对流天气预报业务中，与国内现有极端天气预报业务系统相比，该技术将雷达回波外推预报准确率平均提高了45%，其中高强度雷达回波外推预报准确率提高了353%，处于国际先进水平。气象灾害中70%以上是由雷暴大风、下击暴流等强对流天气导致，致死人数占自然灾害死亡人数的93%，因此该技术在避免人员伤亡、实现财产保全、减少农业损失方面产生显著的社会经济效益。同时，该技术还可广泛应用于时空数据的预测和识别场景，在关系国计民生的气象、环保、交通等领域可以发挥重要作用，应用前景广阔。例如，采用该技术可实现未来交通流量时空分布的精准预测（如图2）。该项成果还入选了2018年首届数字中国建设峰会，为杭州G20峰会、厦门金砖会晤、中国国际进口博览会等提供了精准预报支持，获得2018年教育部技术发明一等奖和2018年中国气象学会科技进步奖一等奖。03. 知识产权 本项成果已获得发明专利授权6项。04. 团队介绍 本成果团队长期研究大数据管理与分析技术，包括分布式数据存储与查询、深度学习与迁移学习、业务过程挖掘、数据质量治理等方向。团队负责人为王建民教授、软件学院院长，机器学习小组组长为龙明盛副教授。团队在本领域发表国际学术论文100余篇，申请专利100余项，授权专利60余项。相关成果获2018年教育部技术发明一等奖、2018年中国气象学会科技进步一等奖、2014年国家科技进步二等奖、2013年中国电子学会科技进步一等奖、2012年教育部科技进步一等奖等奖励。05. 合作方式 技术许可 / 软件服务。

01. 成果简介 非结构化数据是没有显式数据结构约束的非关系型数据，包括时间序列、图像、音视频等，其管理与分析技术成为国际信息领域战略竞争焦点。许多实际应用中，非结构化数据不仅总的体量大，而且数量也极为巨大。例如，我国气象预报业务每天接收到的气象数据文件达数亿非结构化气象小文件。此外，这些文件存在大量业务语义属性，这些属性形成了描述一个数据的多种维度。 针对海量非结构化数据的管理需求，清华大学软件学院提出了多维文件空间模型，并基于此模型突破了一系列非结构化数据核心技术，包括：l  非结构化数据到多维空间模型的映射方法；l  多维文件空间模型的分布式物理实现方法；l  分布式存储的副本控制方法。 该技术通过对非结构化数据的属性维度进行分类，将非结构化数据建模成多维文件空间模型，并对文件集合上的各种操作进行定义。此外，通过细粒度计算磁盘IO代价、网络代价、副本代价、CPU代价、数据分区代价，得到指定工作负载下的最优物理存储实现，进而通过排队论等方法对副本的一致性进行控制，实现满足用户SLA（服务等级保证）的柔性事务。  图1. 基于多维文件空间的最优非结构化数据存储方法示意图  相比现有对象存储等技术，该项技术可以实现更加灵活的数据访问。同时，该项技术能够建立多维文件空间到分布式物理存储的最优映射机制，保证非结构化数据总访问代价最小。相比于现有的分布式文件系统，该项技术可以确保使用少量内存管理数以亿计的海量非结构化小文件，而现有多数分布式文件系统在遇到海量文件管理时往往会出现内存爆炸问题。02. 应用前景 本成果技术可广泛用于各种类型尤其是多维度属性的非结构化数据管理。目前已经被成功应用于中国气象局和全国31个省或直辖市气象局，以及石油、风电等多家工业企业。该项成果还入选了2016国家十二五科技创新成就展和2018首届数字中国建设峰会，并作为贡献之一获得2018年教育部技术发明一等奖和中国气象学会科技进步奖一等奖。03. 知识产权 本项成果已获得发明专利授权13项。04. 团队介绍 本成果团队长期研究大数据管理与分析技术，包括分布式数据存储与查询、数据质量、深度学习与迁移学习、业务过程挖掘等方向。团队课题负责人为王建民教授、博士生导师。团队在本领域发表国际学术论文100余篇，申请专利100余项，授权专利60余项。相关成果获2018年教育部技术发明一等奖、2018年气象学会科技进步一等奖、2014年国家科技进步二等奖、2013年中国电子学会科技进步一等奖。05. 合作方式 技术许可 / 软件服务。06. 联系方式 邮箱：liuyi2017@tsinghua.edu.cn 团队电话：010-62786972；13051000520 团队邮箱：huangxdong@tsinghua.edu.cn

1. 痛点问题 工业时序数据具有应用领域广、数据规模大、经济价值高的特点，蕴含的巨大商业价值，因而其安全性受到不法分子采用黑客攻击等技术手段以及雇佣商业间谍等非技术手段的威胁。数据所有者通常会采用前效方法对数据库中的数据加以保护，但是这些方法只能有效防止外部人员进行非法盗窃，对于内部人员盗窃等途径并不能有效遏制。数字水印是解决数据在传播过程中安全问题的一个主流分支，通常的数字水印采用分组多数投票方法来提升算法的鲁棒性，但时序数据通常有较多的噪声，高价值数据点相对集中，因而一个未经加权的投票算法可能会因为大范围的噪声干扰而导致水印判定失效。此外，常见时序数字水印算法基于时间戳进行水印嵌入计算，容易受到更改时间戳或频率变换的攻击，一旦时间戳序列大幅度改变，水印提取算法将受到很大影响，很可能导致水印提取完全失效。 2. 解决方案 工业物联网数据是工业大数据规模迅速扩张的主要来源。各类物联网传感器以极高的频率采集其所在设备的工作状态数据，通常为一系列包含数据产生时间戳（Timestamp）和采集数据（Data）形式为(Timestamp, Data) 的元组序列，称为时间序列。工业时序数据具有应用领域广、数据规模大、经济价值高的特点，蕴含的巨大商业价值，因而其安全性受到不法分子采用黑客攻击等技术手段以及雇佣商业间谍等非技术手段的威胁。 数据所有者通常会采用前效方法对数据库中的数据加以保护，包括但不限于：数据加密、用户权限划分等等。但是，这些方法只能有效防止外部人员进行非法盗窃，对于内部人员盗窃等途径并不能有效遏制。数字水印是解决数据在传播过程中安全问题的一个主流分支，常见时序数字水印算法基于时间戳进行水印嵌入计算，容易受到更改时间戳或频率变换的攻击，一旦时间戳序列大幅度改变，水印提取算法将受到很大影响，很可能导致水印提取完全失效。此外，数字水印通常采用分组多数投票方法来提升算法的鲁棒性，但时序数据通常有较多的噪声，高价值数据点相对集中，因而一个未经加权的投票算法可能会因为大范围的噪声干扰而导致水印判定失效。 本项目针对常见的水印失效场景进行了分析，提出了能够有效提示水印鲁棒性的技术，更好的确保数据安全的管理能力。 3.合作需求 在全国范围内工业互联网/工业大数据相关领域寻求应用场景，希望能与能源/装备制造行业的大中型企业开展这方面的合作研究和落地实施；并针对上述企业开展包括二次开发在内的各类实际应用，助力企业降本增效、转型升级。