|
搜索
搜 索
高等教育领域数字化综合服务平台
一种基于云存储环境的连续数据保护的缓存方法
本发明公开了一种基于云存储环境的连续数据保护的缓存代理 端的设计方案，包括：缓存代理端将根据客户端的操作请求进行相关 处理。如果是用户的登录请求，缓存代理端则会判断用户是否存在， 如果用户不存在，则为该用户创建元数据记录文件、数据记录文件、 时间记录文件和数据映射表，然后进行同步，创建被保护磁盘分区的 初始镜像文件；如果存在，继续等待客户端的操作请求。如果是备份 请求，缓存代理端则会构造对应的元数据并记录到对应的元数
华中科技大学
2021-04-14
一种按数据属性分类存放的混合存储方法及系统
本发明公开了一种按数据属性分类存放的混合存储方法及系统。 考虑到元数据在文件系统中所占空间小、访问频繁等特点，构建了一 种由硬盘驱动器和固态硬盘组成的混合架构，将文件系统中的数据按 数据属性分为数据和元数据，将数据存放在由 HDD 组成的 RAID5 中， 将元数据存放在由 SSD 组成的 RAID1 中，以达到将文件系统中的数 据和元数据分类存放到不同介质、不同阵列级别的设备的目的，提升 文件系统 I/O 性能和可
华中科技大学
2021-04-14
一种纠删码存储中负载感知的数据归档方法
本发明公开了一种纠删码存储中负载感知的数据归档方法，包 括步骤：获取纠删码存储集群中生产集群的每个节点的负载权重值， 并将负载权重值存储在数组中，并根据节点负载权重值来确定不同条 带在生产集群中的归档节点集合。对第 i 个条带，初始化其归档节点 集合为空，从第 i 个条带的数据分布集合中选择负载权重值最高的节 点，并判断该节点的负载权重值是否大于该节点的数据块个数，如果 为是，则将该节点对应的数据块填充在该条带的归档
华中科技大学
2021-04-14
一种基于 HBase 的大数据存储与检索方法及系统
本发明公开了一种基于 HBase 的大数据存储与检索方法及系统，本发明基于数据文件字段映射表， 利用 HBase?Thrift 客户端，通过定义好的 RowKey 表达式生成行键，将按行存储的数据导入到 HBase 数 据库中。在保持一致性的前提下，将数据对象的多特征值按照多种组合方式加入形成行键，与普通列值 数据组成 HBase 数据行，按不同行键组成方式存放在多张 HBase 数据表中，进行多特征值数据检索时 根据行键中的几个特征值匹配可快
武汉大学
2021-04-14
工业大数据分析平台与应用
研制背景：企业数据处理与数据分析需求在扩大，数据投入在持续增加；数据种类多，数据量大，潜在价值高；使用者难以有效地操作使用；业务复杂，调参静态组合参数过程繁琐；
平台技术：
微服务的构建方式，微服务、前后端完全分离。
分布式开发框架——SpringCloud
Web开发框架——SpringBoot 、VUE（ELE）
机器学习算法框架——R、Spark集群计算
数据存储工具——Mysql、JPA、Hadoop（集群）
中间件: RabbitMQ
山东大学
2021-05-11
南开深海行业领域大数据智能分析平台
南开深海大数据智能分析平台，是面向公共安全、电子政务、医 疗卫生、金融保险等行业领域的大数据智能分析平台。在处理多源异 构大数据问题上，平台具有先进的信息融合与深度分析技术，其中包 括异质多源行业领域大数据的融合处理、异构行业领域大数据的存储 管理、面向行业领域大数据的深度分析等关键共性技术；此外，平台 为行业领域大数据的智能分析提供支持，有效辅助管理部门感知、响 应、追踪与处理各类事件。已申请相关软件著作权两项:《南开深海行 业领域大数据智能辅助决策平台》、《大数据多任务调度计算平台》。以及相关专利一项：《一种多源异构行业领域大数据处理全链路解决 方案》。 项目特色： 平台提供了多源异构行业领域大数据处理的全链路解决方案， 覆盖了数据的全部生命周期，包括数据抽取、数据转换、数据 加载、数据挖掘、数据存储、数据可视化等步骤。 平台提供了高性能的多源异构行业领域大数据的清洗集成方 法以及特有的三层存储模型，实现了对行业领域信息的实时清 洗、高度融合以及高效存储管理。 平台提供了适用于海量异构行业领域大数据的多层次多维度 数据分析与知识发现方法，此外平台还支持自定义方法，具有 很强的扩展性。 平台提供了集群管理及多任务调度管理的功能，适用于不同级 别的用户群体的使用需求。
南开大学
2021-04-11
轨道交通大数据分析服务平台
重庆轨道交通从单线运营向线网运营转型，其规模和复杂性提升的同时，也 对轨道交通的网络化管理和运营提出挑战。两路口、牛角沱、大坪等轨道交通站 点经常出现客流过度饱和状态，尤其是工作日早、晩高峰时段、大客流事件和突 发事件情况下。由于缺乏轨道交通路网内详实的客流分布特征和精准的客流预测 手段，运力配置方案、客运组织方案、地铁站内紧急突发事件的预警及疏散方案 也难以有效制定，致使乘客滞留、造成安全隐患。无论是从轨道交通运营安全角度，还是社会经济效益角度，以轨道交通客流 大数据为基础，依托公共交通大数据平台，分析客流分布特征，实现短期客流精 准预测，为运力配置、客运组织、突发事件预警及疏散提供有效保障，指导运营 优化，提高运输效率，控制运营成本，已成为全面提升重庆市轨道交通运营水平 亟待解决的重点、难点问题。
重庆大学
2021-04-11
轨道交通大数据分析服务平台
重庆轨道交通从单线运营向线网运营转型，其规模和复杂性提升的同时，也 对轨道交通的网络化管理和运营提出挑战。两路口、牛角沱、大坪等轨道交通站 点经常出现客流过度饱和状态，尤其是工作日早、晩高峰时段、大客流事件和突 发事件情况下。由于缺乏轨道交通路网内详实的客流分布特征和精准的客流预测 手段，运力配置方案、客运组织方案、地铁站内紧急突发事件的预警及疏散方案 也难以有效制定，致使乘客滞留、造成安全隐患。 无论是从轨道交通运营安全角度，还是社会经济效益角度，以轨道交通客流大数据为基础，依托公共交通大数据平台，分析客流分布特征，实现短期客流精 准预测，为运力配置、客运组织、突发事件预警及疏散提供有效保障，指导运营 优化，提高运输效率，控制运营成本，已成为全面提升重庆市轨道交通运营水平 亟待解决的重点、难点问题。 本成果以历史客流数据分析研究为起点，通过轨道交通客流预测，为轨道交通运营优化提供科学依据，以提高轨道交通服务质量，方便市民出行，为重庆市新发展需要创造更大经济效益和社会效益。
重庆大学
2021-04-11
南开深海行业领域大数据智能分析平台
南开深海大数据智能分析平台，是面向公共安全、电子政务、医疗卫生、金融保险等行业领域的大数据智能分析平台。在处理多源异构大数据问题上，平台具有先进的信息融合与深度分析技术，其中包括异质多源行业领域大数据的融合处理、异构行业领域大数据的存储管理、面向行业领域大数据的深度分析等关键共性技术；此外，平台为行业领域大数据的智能分析提供支持，有效辅助管理部门感知、响应、追踪与处理各类事件。已申请相关软件著作权两项:《南开深海行业领域大数据智能辅助决策平台》、《大数据多任务调度计算平台》。以及相关专利一项：《一种多源异构行业领域大数据处理全链路解决方案》。
南开大学
2021-02-01
工业大数据分析平台与应用
项目成果/简介:研制背景：企业数据处理与数据分析需求在扩大，数据投入在持续增加；数据种类多，数据量大，潜在价值高；使用者难以有效地操作使用；业务复杂，调参静态组合参数过程繁琐；平台技术：微服务的构建方式，微服务、前后端完全分离。分布式开发框架——SpringCloudWeb开发框架——SpringBoot 、VUE（ELE）机器学习算法框架——R、Spark集群计算数据存储工具——Mysql、JPA、Hadoop（集群）中间件: RabbitMQ应用范围:智能装备预测性维护：滕州机床设备在线监测云，实现设备状态监测、关键参数监测、能效管理、异常报警等服务。有效降低设备非计划停机和能耗，协助技术人员评估关键设备的实时性能，实现设备全生命周期健康管理。矿井工业视频联动：引入大数据对工业视频存储、管理提供支持，工业视频与各业务系统联动，调阅视频，存储视频。依托合作伙伴在正通煤业、鲁花集团、软控股份、山东省计算中心、斯木信息、西山煤电等企业进行应用示范。技术成熟度:可以量产
山东大学
2021-04-10