01. 成果简介 非结构化数据是没有显式数据结构约束的非关系型数据，包括时间序列、图像、音视频等，其管理与分析技术成为国际信息领域战略竞争焦点。许多实际应用中，非结构化数据不仅总的体量大，而且数量也极为巨大。例如，我国气象预报业务每天接收到的气象数据文件达数亿非结构化气象小文件。此外，这些文件存在大量业务语义属性，这些属性形成了描述一个数据的多种维度。 针对海量非结构化数据的管理需求，清华大学软件学院提出了多维文件空间模型，并基于此模型突破了一系列非结构化数据核心技术，包括：l  非结构化数据到多维空间模型的映射方法；l  多维文件空间模型的分布式物理实现方法；l  分布式存储的副本控制方法。 该技术通过对非结构化数据的属性维度进行分类，将非结构化数据建模成多维文件空间模型，并对文件集合上的各种操作进行定义。此外，通过细粒度计算磁盘IO代价、网络代价、副本代价、CPU代价、数据分区代价，得到指定工作负载下的最优物理存储实现，进而通过排队论等方法对副本的一致性进行控制，实现满足用户SLA（服务等级保证）的柔性事务。  图1. 基于多维文件空间的最优非结构化数据存储方法示意图  相比现有对象存储等技术，该项技术可以实现更加灵活的数据访问。同时，该项技术能够建立多维文件空间到分布式物理存储的最优映射机制，保证非结构化数据总访问代价最小。相比于现有的分布式文件系统，该项技术可以确保使用少量内存管理数以亿计的海量非结构化小文件，而现有多数分布式文件系统在遇到海量文件管理时往往会出现内存爆炸问题。02. 应用前景 本成果技术可广泛用于各种类型尤其是多维度属性的非结构化数据管理。目前已经被成功应用于中国气象局和全国31个省或直辖市气象局，以及石油、风电等多家工业企业。该项成果还入选了2016国家十二五科技创新成就展和2018首届数字中国建设峰会，并作为贡献之一获得2018年教育部技术发明一等奖和中国气象学会科技进步奖一等奖。03. 知识产权 本项成果已获得发明专利授权13项。04. 团队介绍 本成果团队长期研究大数据管理与分析技术，包括分布式数据存储与查询、数据质量、深度学习与迁移学习、业务过程挖掘等方向。团队课题负责人为王建民教授、博士生导师。团队在本领域发表国际学术论文100余篇，申请专利100余项，授权专利60余项。相关成果获2018年教育部技术发明一等奖、2018年气象学会科技进步一等奖、2014年国家科技进步二等奖、2013年中国电子学会科技进步一等奖。05. 合作方式 技术许可 / 软件服务。06. 联系方式 邮箱：liuyi2017@tsinghua.edu.cn 团队电话：010-62786972；13051000520 团队邮箱：huangxdong@tsinghua.edu.cn

项目简介： 目前在无线电监测领域有着许多不同的协议，因此对于无线电监测的统一管理和数据处理   而言是存在不便的。协议的制定、推广和实施在实际中

产品详细介绍请登录  中国科学软件网 了解stata软件报价和介绍信息。Stata是一款综合统计软件包,提供所有您想要的,包括数据分析,数据管理和绘图等.Stata各版本区别： Stata/SE, Stata/IC和Small Stata主要的区别在于每个版本能够分析的数据集大小。Stata/MP是一个拥有并行处理能力的Stata/SE。 Stata/MP: 适合双核、多核、多处理器计算机的Stata版本 Stata/SE: 适合大数据集的Stata版本 Stata/IC: Stata标准版本 Small Stata: 小型的、Stata学生版本 Stata/MP:运行最快和处理数据集最大的Stata版本。它通过并发运行多处理器或内核来加快运算速度。Stata/SE和Stata/MP允许数据集最多可达32,767个变量。观测值的数量仅受您计算机内存大小的限制。Stata/SE和Stata/MP在计算机内存大小足够的情况下允许最大11,000 x 11,000维矩阵。相关的是Stata/SE和Stata/MP能够拟合带有更多的自变量(最多10,998)的模型。 Stata/IC允许多达2,047个变量的数据集。观测值的数量仅受您计算机内存大小的限制。Stata/IC能够在一个模型中最多有798个右手边(right-hand-side)变量。 Small Stata限制能分析的数据集最多为99个变量并带有接近1,000观测值。Small Stata最多能在一个模型中有38个右手边(right-hand-side)变量。Student LabStudent Lab licenses are licenses that are strictly for use by students in a university computer lab for coursework and by faculty for teaching at degree-granting institutions.Student lab license限制只能安装在大学实验室内用于学生和教师上课教学使用。功能比较 版本最大变量数最大右手边变量数最大观测值数最大矩阵大小是否兼容64位系统？是否支持并行处理？平台 Stata/MP32,767 10,998无限*11,000是是Windows, Macintosh或 Unix Stata/SE32,767 10,998无限*11,000是否Windows, Macintosh或 Unix Stata/IC2,047798无限*800是否Windows, Macintosh或 Unix Small Stata99391,00040否否Windows 或Macintosh *最大观测值数仅受可使用的内存大小限制快速,简单并易于使用点击式的界面和强大,直观的命令语言让Stata使用起来快速,精确并易于使用。所有的分析结果都可以被复制和存档，并用来出版和审查。不管您什么时候写的内容，版本控制系统确保统计程序可继续生成同样的结果。统计功能介绍Stata使得大量的统计工具用于指尖标准方法基本表格和总结案例对照分析ARIMAANOVA 和MANOVA线性回归时间序列平滑广义线性模型（GLM）聚类分析对比和比较功率分析样本选择高级方法多层模型生存分析动态面板数据回归结构方程建模二进制，计数和审查结果ARCH多重替代法调查数据Treatment effects精确统计贝叶斯分析……

本项目研发了一套完整的现场数据采集服务支撑技术，提供了数据采集集成服务的商业运营新模式。针对工业互联网建设过程中普遍存在的现场数据采集需求，整合了综合感知、AI智能处理、网络安全传输、数据质量管理和标准化输出等多个环节，把经过质量分析和标准化处理后的实时数据，作为产品对接到工业互联网应用平台的数据池，供后续数据处理和应用分析。整套技术包括4大模块：1）智能网关：基于具有AI能力CPU的智能网关，完成对多种传感信息的有效采集，并安全传输给数据前置云服务器；重点研究基于小目标的AI图像分类算法。2）AI模型管理系统：实现对智能网关中视觉AI感知中的模型计算和管理，该系统可以统一部署也可以部署的用户指定的内网服务器中。3）数据管理和标准化处理：数据有效性管理、数据质量评估、数据标准化和数据安全机制。4）智能运维：开发一套基于移动APP的智能运维系统，为运维人员提供有效帮助，提高效率、降低成本、保证系统运行质量和数据的有效性。 如图所示，项目完成了对于现场数据的传感、传输、管理、输出和设备运维等一系列工程实现。应用范围: 1、智能网关： 开发基于具有AI能力CPU的智能网关，完成对多种传感信息的有效采集，并安全传输给数据前置服务器。 综合接入能力： 包括有线传感器和特定的无线传感器、与现有系统的对接 有效感知能力： 实现基于图像的AI视觉感知能力，重点研究基于小目标的图像分类算法 安全传输能力： 提供4G、5G、NB-IOT的上行传输模块化替换 提供安全的加密手段，保证数据安全 现场调试配置能力： 具有现场WiFi调试功能，方便安装和运维人员现场配置和检测 软件和通信标准版本现场升级 2、AI模型管理系统 需要实现对智能网关中视觉AI感知中的模型计算和管理，该系统可以统一部署也可以部署的用户指定的内网服务器中。 样本管理能力 原始样本管理、样本实例库分类和管理、检测样本管理等 模型计算和管理 算力管理：对算力的统筹，外部算力的对接等 算法管理：自主开发算法的管理和调动，外部算法的调用和对接 模型管理：包括模型的功能属性和已经应用的情况的统计分析 设备管理 设备的AI模型配置能力、AI推演过程的监控、AI推演结果的跟踪采集和分析 3、数据管理和标准化处理 数据有效性管理 监测数据是否按时上传、上传数据是否符合要求、是否为非法数据 告警输出：把告警信息进行分类，并推送给相关的运维系统 数据质量评估 按照标准对现场采集数据进行多维度的质量分析，为后续数据应用提供参考依据 数据标准化 格式标准化：完善采集时间、地点、单位等属性， 输出标准化：按照标准协议与工业互联网平台数据池进行对接 数据安全 区域性部署：可以应用户要求部署在其内网 并行部署：可以通过并行部署，网关上联多个服务器，确保用户的可靠性需求 数据回滚能力：可以应工业互联网平台要求对数据进行一定期限内的回滚，保证数据在一定时间段内不丢失 4、智能运维 开发一套基于移动APP的智能运维系统，为运维人员提供有效帮助，提供效率、降低人员成本、保证系统运行质量和数据的有效性。 运维人员管理 对运维人员的信息、定位、工作状况管理 巡检任务管理 对部署的硬件和相关工作环境定期巡查的任务制定、下发、执行过程和结果的记录和管理 临时故障处理 对系统自动告警和现场突发状况的应急处理能力，包括人员调配、处理流程提示和建议、相关情况处置参考案例、后续统计追踪等。网关核心板实物照片

本项目研发了一套完整的现场数据采集服务支撑技术，提供了数据采集集成服务的商业运营新模式。针对工业互联网建设过程中普遍存在的现场数据采集需求，整合了综合感知、AI智能处理、网络安全传输、数据质量管理和标准化输出等多个环节，把经过质量分析和标准化处理后的实时数据，作为产品对接到工业互联网应用平台的数据池，供后续数据处理和应用分析。整套技术包括4大模块：1）智能网关：基于具有AI能力CPU的智能网关，完成对多种传感信息的有效采集，并安全传输给数据前置云服务器；重点研究基于小目标的AI图像分类算法。2）AI模型管理系统：实现对智能网关中视觉AI感知中的模型计算和管理，该系统可以统一部署也可以部署的用户指定的内网服务器中。3）数据管理和标准化处理：数据有效性管理、数据质量评估、数据标准化和数据安全机制。4）智能运维：开发一套基于移动APP的智能运维系统，为运维人员提供有效帮助，提高效率、降低成本、保证系统运行质量和数据的有效性。 如图所示，项目完成了对于现场数据的传感、传输、管理、输出和设备运维等一系列工程实现。

本发明公开了一种基于渲染应用数据访问特点的数据管理方法。 与现有渲染应用所用的磁盘阵列存储方式不同，本技术方案通过对渲 染应用访问数据特点的总结，针对不同数据类别进行不同的存储设计。 使得保证渲染应用正常运行的情况下，有效使用渲染结点内存，减少 了传统渲染存储的数据存取时间。除此之外，由于针对帧数据的特点 进行了数据预取的考虑，所以在渲染运行过程中，几乎内存中都能存 储到渲染所需要的数据，这样加大了内存利用率。同时，

小试阶段/n大数据监控管理平台的目标为：建立基于大数据处理技术的数据中 心，整合各种数据源的数据；实现多源数据的高效管理和可靠存储；为 应用开发人员提供统一的数据访问层，方便平台的二次应用开发；提供 图形化的文件管理；实现界面化的数据管理；提供图形化的集群的部署 和监控；实现方便高效的数据迁移。同时，提供有效的安全访问控制和 界面化的快捷操作。 当前各行各业均有大数据应用的需求，需要投入巨大的人力、物力 来简历和维护大数据平台，技术升级和平台迁移的成本非常高，大数据 监控管理平台的应用，将在大数据应

本发明公开了一种基于图数据处理系统的数据并行访问方法， 所述方法包括以下步骤：S1、载入图数据至内存，将图数据各节点平 均分配至各处理器上并行处理；S2、各处理器调用图算法并行处理分 配至自身的图数据节点，处理过程中对图数据节点进行原子性读写； S3、将经图算法处理后的所有图数据节点写回至硬盘形成完整图数据， 判断所有图数据节点是否均收敛，如果收敛，则流程结束；如果不收 敛，则返回步骤 S1 进行下一次循环直到写回至

本发明公开了一种大规模图数据的压缩存储方法，包括：（1） 将原始图数据以行为单位用二进制邻接矩阵 M 存储；（2）根据邻接 矩阵 M 中每行的偏移值建立散列索引；（3）将邻接矩阵 M 中每行中 的起点按照出度进行升序排序；（4）记录入度为 0 的节点记为根节点， 将根节点按照出度进行降序排序，记为根节点序列；（5）对于根节点 序列中的每个节点，以根节点为开始节点，按深度优先策略依次分配 ID；（6）遍历邻接矩阵 M，

Ø  成果简介：BITPDM是面向科研院所与中小规模制造企业开发的，面向产品全生命周期进行产品数据及过程管理的业务集成平台，实现产品信息、项目信息、电子文档、产品状态信息、工艺信息、资源信息及设计过程的集成管理。BITPDM系统提供的功能包括：项目管理、电子仓库管理、电子文档管理、产品结构与配置管理、基于产品族的标准件管理、设计过程与任务管理、数据状态管理、集成的工艺/工装/资源管理、系统配置与管理等。BITPDM系统运行于Windows操作系统，支持Oracle、SQL Ser