01. 成果简介 非结构化数据是没有显式数据结构约束的非关系型数据，包括时间序列、图像、音视频等，其管理与分析技术成为国际信息领域战略竞争焦点。许多实际应用中，非结构化数据不仅总的体量大，而且数量也极为巨大。例如，我国气象预报业务每天接收到的气象数据文件达数亿非结构化气象小文件。此外，这些文件存在大量业务语义属性，这些属性形成了描述一个数据的多种维度。 针对海量非结构化数据的管理需求，清华大学软件学院提出了多维文件空间模型，并基于此模型突破了一系列非结构化数据核心技术，包括：l  非结构化数据到多维空间模型的映射方法；l  多维文件空间模型的分布式物理实现方法；l  分布式存储的副本控制方法。 该技术通过对非结构化数据的属性维度进行分类，将非结构化数据建模成多维文件空间模型，并对文件集合上的各种操作进行定义。此外，通过细粒度计算磁盘IO代价、网络代价、副本代价、CPU代价、数据分区代价，得到指定工作负载下的最优物理存储实现，进而通过排队论等方法对副本的一致性进行控制，实现满足用户SLA（服务等级保证）的柔性事务。  图1. 基于多维文件空间的最优非结构化数据存储方法示意图  相比现有对象存储等技术，该项技术可以实现更加灵活的数据访问。同时，该项技术能够建立多维文件空间到分布式物理存储的最优映射机制，保证非结构化数据总访问代价最小。相比于现有的分布式文件系统，该项技术可以确保使用少量内存管理数以亿计的海量非结构化小文件，而现有多数分布式文件系统在遇到海量文件管理时往往会出现内存爆炸问题。02. 应用前景 本成果技术可广泛用于各种类型尤其是多维度属性的非结构化数据管理。目前已经被成功应用于中国气象局和全国31个省或直辖市气象局，以及石油、风电等多家工业企业。该项成果还入选了2016国家十二五科技创新成就展和2018首届数字中国建设峰会，并作为贡献之一获得2018年教育部技术发明一等奖和中国气象学会科技进步奖一等奖。03. 知识产权 本项成果已获得发明专利授权13项。04. 团队介绍 本成果团队长期研究大数据管理与分析技术，包括分布式数据存储与查询、数据质量、深度学习与迁移学习、业务过程挖掘等方向。团队课题负责人为王建民教授、博士生导师。团队在本领域发表国际学术论文100余篇，申请专利100余项，授权专利60余项。相关成果获2018年教育部技术发明一等奖、2018年气象学会科技进步一等奖、2014年国家科技进步二等奖、2013年中国电子学会科技进步一等奖。05. 合作方式 技术许可 / 软件服务。06. 联系方式 邮箱：liuyi2017@tsinghua.edu.cn 团队电话：010-62786972；13051000520 团队邮箱：huangxdong@tsinghua.edu.cn

项目简介： 目前在无线电监测领域有着许多不同的协议，因此对于无线电监测的统一管理和数据处理   而言是存在不便的。协议的制定、推广和实施在实际中

产品详细介绍请登录  中国科学软件网 了解stata软件报价和介绍信息。Stata是一款综合统计软件包,提供所有您想要的,包括数据分析,数据管理和绘图等.Stata各版本区别： Stata/SE, Stata/IC和Small Stata主要的区别在于每个版本能够分析的数据集大小。Stata/MP是一个拥有并行处理能力的Stata/SE。 Stata/MP: 适合双核、多核、多处理器计算机的Stata版本 Stata/SE: 适合大数据集的Stata版本 Stata/IC: Stata标准版本 Small Stata: 小型的、Stata学生版本 Stata/MP:运行最快和处理数据集最大的Stata版本。它通过并发运行多处理器或内核来加快运算速度。Stata/SE和Stata/MP允许数据集最多可达32,767个变量。观测值的数量仅受您计算机内存大小的限制。Stata/SE和Stata/MP在计算机内存大小足够的情况下允许最大11,000 x 11,000维矩阵。相关的是Stata/SE和Stata/MP能够拟合带有更多的自变量(最多10,998)的模型。 Stata/IC允许多达2,047个变量的数据集。观测值的数量仅受您计算机内存大小的限制。Stata/IC能够在一个模型中最多有798个右手边(right-hand-side)变量。 Small Stata限制能分析的数据集最多为99个变量并带有接近1,000观测值。Small Stata最多能在一个模型中有38个右手边(right-hand-side)变量。Student LabStudent Lab licenses are licenses that are strictly for use by students in a university computer lab for coursework and by faculty for teaching at degree-granting institutions.Student lab license限制只能安装在大学实验室内用于学生和教师上课教学使用。功能比较 版本最大变量数最大右手边变量数最大观测值数最大矩阵大小是否兼容64位系统？是否支持并行处理？平台 Stata/MP32,767 10,998无限*11,000是是Windows, Macintosh或 Unix Stata/SE32,767 10,998无限*11,000是否Windows, Macintosh或 Unix Stata/IC2,047798无限*800是否Windows, Macintosh或 Unix Small Stata99391,00040否否Windows 或Macintosh *最大观测值数仅受可使用的内存大小限制快速,简单并易于使用点击式的界面和强大,直观的命令语言让Stata使用起来快速,精确并易于使用。所有的分析结果都可以被复制和存档，并用来出版和审查。不管您什么时候写的内容，版本控制系统确保统计程序可继续生成同样的结果。统计功能介绍Stata使得大量的统计工具用于指尖标准方法基本表格和总结案例对照分析ARIMAANOVA 和MANOVA线性回归时间序列平滑广义线性模型（GLM）聚类分析对比和比较功率分析样本选择高级方法多层模型生存分析动态面板数据回归结构方程建模二进制，计数和审查结果ARCH多重替代法调查数据Treatment effects精确统计贝叶斯分析……

本项目研发了一套完整的现场数据采集服务支撑技术，提供了数据采集集成服务的商业运营新模式。针对工业互联网建设过程中普遍存在的现场数据采集需求，整合了综合感知、AI智能处理、网络安全传输、数据质量管理和标准化输出等多个环节，把经过质量分析和标准化处理后的实时数据，作为产品对接到工业互联网应用平台的数据池，供后续数据处理和应用分析。整套技术包括4大模块：1）智能网关：基于具有AI能力CPU的智能网关，完成对多种传感信息的有效采集，并安全传输给数据前置云服务器；重点研究基于小目标的AI图像分类算法。2）AI模型管理系统：实现对智能网关中视觉AI感知中的模型计算和管理，该系统可以统一部署也可以部署的用户指定的内网服务器中。3）数据管理和标准化处理：数据有效性管理、数据质量评估、数据标准化和数据安全机制。4）智能运维：开发一套基于移动APP的智能运维系统，为运维人员提供有效帮助，提高效率、降低成本、保证系统运行质量和数据的有效性。 如图所示，项目完成了对于现场数据的传感、传输、管理、输出和设备运维等一系列工程实现。应用范围: 1、智能网关： 开发基于具有AI能力CPU的智能网关，完成对多种传感信息的有效采集，并安全传输给数据前置服务器。 综合接入能力： 包括有线传感器和特定的无线传感器、与现有系统的对接 有效感知能力： 实现基于图像的AI视觉感知能力，重点研究基于小目标的图像分类算法 安全传输能力： 提供4G、5G、NB-IOT的上行传输模块化替换 提供安全的加密手段，保证数据安全 现场调试配置能力： 具有现场WiFi调试功能，方便安装和运维人员现场配置和检测 软件和通信标准版本现场升级 2、AI模型管理系统 需要实现对智能网关中视觉AI感知中的模型计算和管理，该系统可以统一部署也可以部署的用户指定的内网服务器中。 样本管理能力 原始样本管理、样本实例库分类和管理、检测样本管理等 模型计算和管理 算力管理：对算力的统筹，外部算力的对接等 算法管理：自主开发算法的管理和调动，外部算法的调用和对接 模型管理：包括模型的功能属性和已经应用的情况的统计分析 设备管理 设备的AI模型配置能力、AI推演过程的监控、AI推演结果的跟踪采集和分析 3、数据管理和标准化处理 数据有效性管理 监测数据是否按时上传、上传数据是否符合要求、是否为非法数据 告警输出：把告警信息进行分类，并推送给相关的运维系统 数据质量评估 按照标准对现场采集数据进行多维度的质量分析，为后续数据应用提供参考依据 数据标准化 格式标准化：完善采集时间、地点、单位等属性， 输出标准化：按照标准协议与工业互联网平台数据池进行对接 数据安全 区域性部署：可以应用户要求部署在其内网 并行部署：可以通过并行部署，网关上联多个服务器，确保用户的可靠性需求 数据回滚能力：可以应工业互联网平台要求对数据进行一定期限内的回滚，保证数据在一定时间段内不丢失 4、智能运维 开发一套基于移动APP的智能运维系统，为运维人员提供有效帮助，提供效率、降低人员成本、保证系统运行质量和数据的有效性。 运维人员管理 对运维人员的信息、定位、工作状况管理 巡检任务管理 对部署的硬件和相关工作环境定期巡查的任务制定、下发、执行过程和结果的记录和管理 临时故障处理 对系统自动告警和现场突发状况的应急处理能力，包括人员调配、处理流程提示和建议、相关情况处置参考案例、后续统计追踪等。网关核心板实物照片

本项目研发了一套完整的现场数据采集服务支撑技术，提供了数据采集集成服务的商业运营新模式。针对工业互联网建设过程中普遍存在的现场数据采集需求，整合了综合感知、AI智能处理、网络安全传输、数据质量管理和标准化输出等多个环节，把经过质量分析和标准化处理后的实时数据，作为产品对接到工业互联网应用平台的数据池，供后续数据处理和应用分析。整套技术包括4大模块：1）智能网关：基于具有AI能力CPU的智能网关，完成对多种传感信息的有效采集，并安全传输给数据前置云服务器；重点研究基于小目标的AI图像分类算法。2）AI模型管理系统：实现对智能网关中视觉AI感知中的模型计算和管理，该系统可以统一部署也可以部署的用户指定的内网服务器中。3）数据管理和标准化处理：数据有效性管理、数据质量评估、数据标准化和数据安全机制。4）智能运维：开发一套基于移动APP的智能运维系统，为运维人员提供有效帮助，提高效率、降低成本、保证系统运行质量和数据的有效性。 如图所示，项目完成了对于现场数据的传感、传输、管理、输出和设备运维等一系列工程实现。

本发明公开了一种基于渲染应用数据访问特点的数据管理方法。 与现有渲染应用所用的磁盘阵列存储方式不同，本技术方案通过对渲 染应用访问数据特点的总结，针对不同数据类别进行不同的存储设计。 使得保证渲染应用正常运行的情况下，有效使用渲染结点内存，减少 了传统渲染存储的数据存取时间。除此之外，由于针对帧数据的特点 进行了数据预取的考虑，所以在渲染运行过程中，几乎内存中都能存 储到渲染所需要的数据，这样加大了内存利用率。同时，

        5T管理”理念，即基于农作物及果实生长的自然通道特性，按时间敏感性将收储过程界定为熟收 (T1)、田场 (T2)、干燥 (T3)、收仓 (T4)以及仓储 (T5)等5个事件，进一步围绕5个事件优选管理目标因子和控制因子、制定管理指标体系和配套先进适用技术装备。在吉林省粮食和物资储备局的支持下，依据“5T管理”原理，制定了《吉林优质稻谷收储作业5T管理技术规程》。依托吉林省粮食和物资储备局、吉林大米联盟、九台贡米联盟、益海嘉里金龙鱼等大米相关产业组织在省内外进行推广，减损效果显著，可以显著延长大米的保鲜期，特别是探明了不当管理导致的7.16%“隐性”损失，同时也减少了粮食微生物毒素危害，为稻谷的持久鲜活保驾护航。

智教高校报修管理系统优化校园设施维修流程，提升服务效率与质量，满足学校师生及后勤管理部门的需求，维修完成后，能对维修服务质量（如维修效果、维修人员态度）进行打分评价，并可填写反馈意见，以便学校改进服务。 教师、学生可以通过手机端，点击报修服务、我要报修后，可以根据实际报修情况进行问题描述、上传图片等。学生可以实时跟踪维修进度，并对维修结果进行线上打分、评价。

小试阶段/n大数据监控管理平台的目标为：建立基于大数据处理技术的数据中 心，整合各种数据源的数据；实现多源数据的高效管理和可靠存储；为 应用开发人员提供统一的数据访问层，方便平台的二次应用开发；提供 图形化的文件管理；实现界面化的数据管理；提供图形化的集群的部署 和监控；实现方便高效的数据迁移。同时，提供有效的安全访问控制和 界面化的快捷操作。 当前各行各业均有大数据应用的需求，需要投入巨大的人力、物力 来简历和维护大数据平台，技术升级和平台迁移的成本非常高，大数据 监控管理平台的应用，将在大数据应

技术成熟度：技术突破 1.空间目标及星图光学探测仿真系统。由于空间目标探测真实数据获取成本较高，且数据量较少，结果验证困难，团队开发了空间目标及星图光学探测仿真系统。此工作以软件形式呈现，以友好的人机交互界面，根据用户的实际系统参数，提供准确可靠地提供当前时刻空间探测仿真图像，该软件前期经过与stk仿真软件结果比对验证其坐标的准确性，与在轨实测图像进行比对验证其仿真效果的可靠性。目前该软件已经在项目开发过程中广泛使用，为提高系统开发效率、验证算法性能提供有效支撑。 2.空间目标探测感知关键技术及算法体系。该成果以理论及软件开发包形式呈现，团队具备多年的空间探测相关开发经验，并将相关理论及算法构建软件开发包。该SDK开发包基于C++开发，具有较好的泛化能力，具有坐标描述转换、预处理、目标提取、星表制备、星图识别、光学标定、定位定姿定轨等功能，可支撑各层次的空间探测相关开发需求。目前团队基于此SDK开发的顶层软件，采用目标TLE数据库匹配的解决方法，已经完成长光奥闰光电科技有限公司地基望远镜空间目标的感知识别及长光卫星技术股份有限公司的星敏感器在轨图像空间目标自动提取与识别，后续还将采用更多的数据验证完善提升本系统的技术成熟度。 意向开展成果转化的前提条件： 1、长春长光奥闰光电科技有限公司等测站望远镜生产企业，利用本项目的共性技术，实现地基测站的空间目标自动探测感知，为空间安全提供支撑服务。 2、长光卫星技术股份有限公司、吉天星舟空间技术有限公司等遥感卫星公司，通过本技术的转化，可以利用星上光学载荷构建空间态势感知平台，为自身卫星安全提供保障、为国家及其他航天企业的空间安全需求提供数据支撑服务。另外可以在空间光学载荷开发过程中应用空间目标及星图光学探测仿真系统，对光学载荷的精度和鲁棒性进行评估和测试。