高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
LoongStore大规模集群云存储系统
1 成果介绍网络存储技术从诞生到现在,已经经历了近二十年的历程。在这个过程中,无论是计算技术、网络通信技术还是信息储存技术都发生了翻天覆地的变化。计算技术领域,基于开放操 作系统上的集群计算技术已经取代大型机;网络通信领域,开放架构的 TCP/IP 通信已经统治了一切;在信息存储技术上,单块磁盘的容量已经从 G 级别进入 T 级别。 传统的网络存储设备,无论是 FC SAN、 NAS 还是 IP SAN,都是采用以满足单台服务器存储需要为目标的体系设计,在共享能力、性能、可靠性、扩展性以及总体拥有成本上,已经无法满足企业新的应用需求。如果 仅仅通过外围手段来弥补,必将造成存储架构越来越复杂,用户管理难度越来越大,总体拥有成本越来越高。 为了满足 IT 技术发展的挑战, LoongStore 集群存储采用了代表计算技术、网络通信技术以及文件 系统技术发展方向的体系架构,提供给用户跨平台共享、高性能、高可靠、可平滑扩展、使用和维护简单的高端存储系统。系统以开放架构平台智能存储服务器为基 本节点,通过在千兆以太网基础上不受限制地添加节点,构成了业界最高的性能、可靠性以及极低总体拥有成本的存储集群。 LoongStore 为一种大规模的文件共享存储系统,它面向海量数据、高并发访问的环境。其产品架构图如图所示: 图 1 LoongStore 产品架构 LoongStore 产品架构支持:单文件系统 100PB支持 2000 个以上节点并发支持超过 500 亿文件产品主要特点:产品架构上:实现了横向扩展。从原来的单节点增加 CPU、内存、存储等等的纵向扩展方案往增加节点数量的横向扩展方案的转变,使得容量扩展更加灵活、同时也实现了更低的起始投入成本;产品工作流上:实现了更高效的数据读写方式。通过实现元数据与数据通道分离、将数据条带化存储在不同的存储服务器上,从而高效实现数据的并行读写;产品性能上:实现了高聚合带宽。克服了以前文件集中式存储的瓶颈,实现了文件切片分布式存储方案,实现了高聚合带宽;产品性能上:实现了性能近线性增长。如:( 1)聚合带宽随着存储集群规模扩大而线性增长, ( 2)充分发挥硬件性能,如网卡性能利用率达到了 80%, ( 3)扩展到 100GB/s 以上的聚合性能;产品可靠性上:实现了无单点故障。通过( 1)为不同目录的数据设置不同的冗余度, ( 2)自动故障探测与恢复, ( 3)设备恢复速度是 RAID 的 5 倍, 750GB SATA 盘恢复时间 15 分钟, ( 4)元数据服务器每两台互备等,实现了产品的无单点故障;在产品扩展性方面:实现了在线业务扩展容量。支持不停业务在线扩容,并自动迁移均衡数据。从而实现不需要关停业务的方式轻易扩展容量;在产品管理方面:实现了单点配置管理。产品通过单点实现了所有的配置管理功能,通过内置各种自动化处理流程,减少人为参与;产品兼容性方面:兼容各种 X86 架构的服务器和 IP 网络,应用服务器端支持Linux/Windows/Mac 等等。2 应用说明LoongStore 大规模集群云存储系统能够帮助企业加速信息到价值的转换,目前已经在互联网、广电、能源、电信等数据密集型行业帮助企业实现了突破性的价值。 产品主要应用行业与应用案例有:( 1)互联网:视频, SNS 等,例如中国国家网络电视台( CNTV),人人网,搜狐;( 2)能源:大庆油田,中石油勘探开发研究院总院;( 3)动漫和广电:中影集团,教育电视台等,《建党伟业》、《建国大业》、《孔子》等大片的后期制作就是采用该存储系统;( 4)教育及其( 5)军工,航天等等领域。3 技术指标支持 PB 级的存储容量规模,最大容量可超过 100PB;可提供几十甚至上百 GByte/s 的聚合数据读写带宽,而且性能可随存储规模的扩展而线性提升;可高效支持海量小文件的存储和管理,单套系统可高效管理超过 500 亿个文件,现有在线系统已经超过百亿级文件数量规模,而且每天仍然以 2000-5000 万个新文件的速度递增,每天的下载量为 10-20 亿个文件;可支持超过 2000 多个计算节点(或者应用节点)同时高效并发访问同一套存储系统;提供完全符合 POSIX 标准的文件级接口,支持全局共享访问,无须加入第三方共享软件。前端可同时部署 Linux、 Windows、 Mac 等异构计算节点。所有应用可不经过任何修改和移植即可使用存储服务;支持在线扩展存储容量,无需终止应用的正常服务,新增容量即插即用。同时提供在线数据迁移功能,扩容后可均衡所有设备上的存储负载;内置数据高可用机制,一旦发现硬件故障将自动进行数据恢复,无需停止服务。除了能够冗余磁盘故障之外,即使整个存储服务器或者磁盘阵列故障都不影响应用正常服务也不会破坏应用数据。传统存储只能冗余磁盘故障;如果系统中正常设备上的空闲空间总和不少于故障设备上已经使用的空间即可进行数据恢复,无须加入新的设备,传统存储采用 RAID 机制必须加入新的存储设备才能进行恢复。确保了系统无间断持续运行;l 在线控制存储设备的负载。在观察到某块存储设备有异常现象时,可以在线手动禁止这块磁盘的空间分配,设置后系统不再往被禁止分配空间的磁盘内写入新的数据,原有的数据仍然可用。当设备正常时即可在线放开;提供主动数据迁移功能,方便硬件在线更换。当某些设备使用时间超过一定年限,或者是发现设备有安全隐患时,可以主动将该设备上的数据迁移到其它存储设备,迁移完成后即可将设备移除下线,不影响应用的正常服务;简易管理,通过单一图形化界面即可管理和监控整个存储系统;高硬件兼容性,既可以采用传统的 SAN 或者盘阵作为存储单元,也可以采用通用的存储服务器进行构建,硬件选型范围广,成本低,适合用于构建海量的云存储系统。
清华大学 2021-04-13
LoongStore 大规模集群云存储系统
1 成果介绍网络存储技术从诞生到现在,已经经历了近二十年的历程。在这个过程中,无论是计算技术、网络通信技术还是信息储存技术都发生了翻天覆地的变化。计算技术领域,基于开放操 作系统上的集群计算技术已经取代大型机;网络通信领域,开放架构的 TCP/IP 通信已经统治了一切;在信息存储技术上,单块磁盘的容量已经从 G 级别进入 T 级别。 传统的网络存储设备,无论是 FC SAN、 NAS 还是 IP SAN,都是采用以满足单台服务器存储需要为目标的体系设计,在共享能力、性能、可靠性、扩展性以及总体拥有成本上,已经无法满足企业新的应用需求。如果 仅仅通过外围手段来弥补,必将造成存储架构越来越复杂,用户管理难度越来越大,总体拥有成本越来越高。 为了满足 IT 技术发展的挑战, LoongStore 集群存储采用了代表计算技术、网络通信技术以及文件 系统技术发展方向的体系架构,提供给用户跨平台共享、高性能、高可靠、可平滑扩展、使用和维护简单的高端存储系统。系统以开放架构平台智能存储服务器为基 本节点,通过在千兆以太网基础上不受限制地添加节点,构成了业界最高的性能、可靠性以及极低总体拥有成本的存储集群。 LoongStore 为一种大规模的文件共享存储系统,它面向海量数据、高并发访问的环境。其产品架构图如图所示: 图 1 LoongStore 产品架构 LoongStore 产品架构支持:单文件系统 100PB支持 2000 个以上节点并发支持超过 500 亿文件产品主要特点:产品架构上:实现了横向扩展。从原来的单节点增加 CPU、内存、存储等等的纵向扩展方案往增加节点数量的横向扩展方案的转变,使得容量扩展更加灵活、同时也实现了更低的起始投入成本;产品工作流上:实现了更高效的数据读写方式。通过实现元数据与数据通道分离、将数据条带化存储在不同的存储服务器上,从而高效实现数据的并行读写;产品性能上:实现了高聚合带宽。克服了以前文件集中式存储的瓶颈,实现了文件切片分布式存储方案,实现了高聚合带宽;产品性能上:实现了性能近线性增长。如:( 1)聚合带宽随着存储集群规模扩大而线性增长, ( 2)充分发挥硬件性能,如网卡性能利用率达到了 80%, ( 3)扩展到 100GB/s 以上的聚合性能;产品可靠性上:实现了无单点故障。通过( 1)为不同目录的数据设置不同的冗余度, ( 2)自动故障探测与恢复, ( 3)设备恢复速度是 RAID 的 5 倍, 750GB SATA 盘恢复时间 15 分钟, ( 4)元数据服务器每两台互备等,实现了产品的无单点故障;在产品扩展性方面:实现了在线业务扩展容量。支持不停业务在线扩容,并自动迁移均衡数据。从而实现不需要关停业务的方式轻易扩展容量;在产品管理方面:实现了单点配置管理。产品通过单点实现了所有的配置管理功能,通过内置各种自动化处理流程,减少人为参与;产品兼容性方面:兼容各种 X86 架构的服务器和 IP 网络,应用服务器端支持Linux/Windows/Mac 等等。2 应用说明LoongStore 大规模集群云存储系统能够帮助企业加速信息到价值的转换,目前已经在互联网、广电、能源、电信等数据密集型行业帮助企业实现了突破性的价值。 产品主要应用行业与应用案例有:( 1)互联网:视频, SNS 等,例如中国国家网络电视台( CNTV),人人网,搜狐;( 2)能源:大庆油田,中石油勘探开发研究院总院;( 3)动漫和广电:中影集团,教育电视台等,《建党伟业》、《建国大业》、《孔子》等大片的后期制作就是采用该存储系统;( 4)教育及其( 5)军工,航天等等领域。3 技术指标支持 PB 级的存储容量规模,最大容量可超过 100PB;可提供几十甚至上百 GByte/s 的聚合数据读写带宽,而且性能可随存储规模的扩展而线性提升;可高效支持海量小文件的存储和管理,单套系统可高效管理超过 500 亿个文件,现有在线系统已经超过百亿级文件数量规模,而且每天仍然以 2000-5000 万个新文件的速度递增,每天的下载量为 10-20 亿个文件;可支持超过 2000 多个计算节点(或者应用节点)同时高效并发访问同一套存储系统;提供完全符合 POSIX 标准的文件级接口,支持全局共享访问,无须加入第三方共享软件。前端可同时部署 Linux、 Windows、 Mac 等异构计算节点。所有应用可不经过任何修改和移植即可使用存储服务;支持在线扩展存储容量,无需终止应用的正常服务,新增容量即插即用。同时提供在线数据迁移功能,扩容后可均衡所有设备上的存储负载;内置数据高可用机制,一旦发现硬件故障将自动进行数据恢复,无需停止服务。除了能够冗余磁盘故障之外,即使整个存储服务器或者磁盘阵列故障都不影响应用正常服务也不会破坏应用数据。传统存储只能冗余磁盘故障;如果系统中正常设备上的空闲空间总和不少于故障设备上已经使用的空间即可进行数据恢复,无须加入新的设备,传统存储采用 RAID 机制必须加入新的存储设备才能进行恢复。确保了系统无间断持续运行;l 在线控制存储设备的负载。在观察到某块存储设备有异常现象时,可以在线手动禁止这块磁盘的空间分配,设置后系统不再往被禁止分配空间的磁盘内写入新的数据,原有的数据仍然可用。当设备正常时即可在线放开;提供主动数据迁移功能,方便硬件在线更换。当某些设备使用时间超过一定年限,或者是发现设备有安全隐患时,可以主动将该设备上的数据迁移到其它存储设备,迁移完成后即可将设备移除下线,不影响应用的正常服务;简易管理,通过单一图形化界面即可管理和监控整个存储系统;高硬件兼容性,既可以采用传统的 SAN 或者盘阵作为存储单元,也可以采用通用的存储服务器进行构建,硬件选型范围广,成本低,适合用于构建海量的云存储系统。
清华大学 2021-04-13
一种云存储系统中元数据的获取方法
本发明公开了一种云存储系统中元数据的获取方法,包括:客 户端将用户的登录信息发送给认证服务器,认证服务器根据该登录信 息判断该用户是否存在,如果用户存在,则认证服务器将登录信息发 送给命名空间服务器,命名空间服务器根据该登录信息获取用户信息, 并根据用户信息获取该命名空间服务器中该用户的目录子树,对用户 目录子树进行组织,以生成新的用户目录树,并将新的用户目录树返 回给客户端,客户端根据组织结果判断获取用户目录树是否
华中科技大学 2021-04-14
一种混合存储系统
一种混合存储系统,属于计算机存储领域,解决现有混合存储 系统需要多个控制器且各控制器所控制的存储介质单一导致的系统复 杂和成本高的问题。本发明由 N 个存储器和一个控制器构成,每个存 储器包括控制器通信模块、存储介质和存储器信息模块;控制器包括 主机通信模块、负载控制模块、阵列控制模块、地址映射模块、存储 器控制模块和缓存。控制器能够识别主机到达的读写请求并判断写请 求的冷热程度与大小,进行负载控制,实现多种存储器的
华中科技大学 2021-04-14
一种安全云存储系统中的密钥管理分发方法
本发明公开了一种安全云存储系统中的密钥管理分发方法,属 于计算机存储技术和信息安全技术领域,解决现有密钥管理分发方法 在用户动态加入和退出系统时开销较大的问题。本发明包括客户端进 程和服务端进程,客户端使用广播加密算法为每个用户生成公钥,用 户请求文件时使用公钥通过广播加密分发文件密钥;本发明对当前公 钥进行扩展,通过保留初始产生公钥时所使用的部分私有参数,当用 户加入或撤离系统时使用保留的私有参数产生新的公钥加密数
华中科技大学 2021-04-14
一种安全云存储系统的分层密钥管理方法
本发明公开了一种安全云存储系统的分层密钥管理方法。通过 构建二叉 Trie 密钥管理树和基于此树的密钥推导机制完成对非对称密 钥和对称密钥的高效组织管理,降低了数据拥有者管理密钥的复杂度, 提高了数据的安全性。通过引入满足多跳性的 ElGamal 代理重加密机 制完成密钥的更新,将访问策略变更引发的密钥重加密部分负担转移 到 CSP;利用延迟更新策略将数据的重加密开销转移到被共享用户端, 降低了数据拥有者的处理开销,
华中科技大学 2021-04-14
一种基于多级缓存的混合云存储系统和方法
本发明公开了一种基于多级缓存的混合云存储方法,包括:用 户登录时根据其所在的局域网加入用户组,向该用户组所在区域的超 级节点发送用户名和密码进行用户认证,超级节点根据接收到的用户 名和密码对用户进行认证,用户接收从超级节点返回的目录视图及其 所有文件的元数据信息,将目录视图发送到该用户组的组长节点,组 长节点根据接收到的目录视图判断其组缓存空间中是否包括该目录视 图中的文件,若是则将组缓存空间中存储该文件的节点的 I
华中科技大学 2021-04-14
一种云存储系统数据可用性维护方法及其装置
一种云存储系统数据可用性维护方法及其装置,属于云存储技 术领域,解决现有数据可用性维护方法存在的元数据服务器或超级节 点的单点故障导致数据可用性维护中断的问题。本发明的方法,用于 具有中心存储服务器、元数据服务器和 P2P 网络的系统中,包括编码 步骤、订立租约步骤、执行租约步骤和租约维护步骤。本发明的装置, 包括编码模块、订立租约模块、执行租约模块和租约维护模块。本发 明充分利用 P2P 对等节点的计算、存储、网络
华中科技大学 2021-04-14
一种云存储系统中基于溯源信息的视频共享方法与系统
本发明公开了云存储系统中基于溯源信息的视频共享方法。系统客户端收集视频溯源信息,客户端上传共享的视频及相关视频溯源信息,服务器根据客户端上传的视频溯源信息建立溯源图。云存储系统服务器接收到视频下载请求后,在溯源图中查找所述请求下载视频的起始视频,若查找到起始视频存在于云存储系统中,则根据 BFS(广度优先遍历)算法选择一条从所述起始视频到所述请求下载视频的代价最小的路径,依照该路径重新生成所述请求下载的视频并发送给客
华中科技大学 2021-04-14
一种存储系统构建方法及装置
本发明实施例提供一种存储系统构建方法及装置,该存储系统具有节点可动态调整以及高容灾的特性,方案包括:确定存储系统节点参数;将信息节点以及校验节点按顺序编号;分别针对各校验节点中的每个校验节点,生成{0,1}随机向量;以及分别针对各校验节点中的每个校验节点,与信息节点建立编码关系,包括:确定出校验节点对应随机向量中值为1的各元素;确定出分别与值为1的各元素在该随机向量中所在位置对应的各信息节点;将对应的各信息节点依次进行异或运算,结果作为更新后的校验节点的数据。
电子科技大学 2021-04-10
1 2 3 4 5 6
  • ...
  • 574 575 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    63届高博会于5月23日在长春举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1