高等教育领域数字化综合服务平台
云上高博会服务平台
高校科技成果转化对接服务平台
大学生创新创业服务平台
登录
|
注册
|
搜索
搜 索
综合
项目
产品
日期筛选:
一周内
一月内
一年内
不限
图书馆信息共享与信息
集群
研究
本书首先分析目前存在的图书馆信息资源共享模式存在的弊端, 指出迫切地需要建立一个打破现有的体制和形式, 按照不同的地域组成一个个更具竞争力的信息资源共享服务系统。这种将各种系统和区域的图书馆联合起来, 从而在更大范围内建立一个信息资源共享统一体, 业界称为图书馆信息集群。
江苏海洋大学
2021-05-06
LoongStore大规模
集群
云存储系统
1 成果介绍网络存储技术从诞生到现在,已经经历了近二十年的历程。在这个过程中,无论是计算技术、网络通信技术还是信息储存技术都发生了翻天覆地的变化。计算技术领域,基于开放操 作系统上的集群计算技术已经取代大型机;网络通信领域,开放架构的 TCP/IP 通信已经统治了一切;在信息存储技术上,单块磁盘的容量已经从 G 级别进入 T 级别。 传统的网络存储设备,无论是 FC SAN、 NAS 还是 IP SAN,都是采用以满足单台服务器存储需要为目标的体系设计,在共享能力、性能、可靠性、扩展性以及总体拥有成本上,已经无法满足企业新的应用需求。如果 仅仅通过外围手段来弥补,必将造成存储架构越来越复杂,用户管理难度越来越大,总体拥有成本越来越高。 为了满足 IT 技术发展的挑战, LoongStore 集群存储采用了代表计算技术、网络通信技术以及文件 系统技术发展方向的体系架构,提供给用户跨平台共享、高性能、高可靠、可平滑扩展、使用和维护简单的高端存储系统。系统以开放架构平台智能存储服务器为基 本节点,通过在千兆以太网基础上不受限制地添加节点,构成了业界最高的性能、可靠性以及极低总体拥有成本的存储集群。 LoongStore 为一种大规模的文件共享存储系统,它面向海量数据、高并发访问的环境。其产品架构图如图所示: 图 1 LoongStore 产品架构 LoongStore 产品架构支持:单文件系统 100PB支持 2000 个以上节点并发支持超过 500 亿文件产品主要特点:产品架构上:实现了横向扩展。从原来的单节点增加 CPU、内存、存储等等的纵向扩展方案往增加节点数量的横向扩展方案的转变,使得容量扩展更加灵活、同时也实现了更低的起始投入成本;产品工作流上:实现了更高效的数据读写方式。通过实现元数据与数据通道分离、将数据条带化存储在不同的存储服务器上,从而高效实现数据的并行读写;产品性能上:实现了高聚合带宽。克服了以前文件集中式存储的瓶颈,实现了文件切片分布式存储方案,实现了高聚合带宽;产品性能上:实现了性能近线性增长。如:( 1)聚合带宽随着存储集群规模扩大而线性增长, ( 2)充分发挥硬件性能,如网卡性能利用率达到了 80%, ( 3)扩展到 100GB/s 以上的聚合性能;产品可靠性上:实现了无单点故障。通过( 1)为不同目录的数据设置不同的冗余度, ( 2)自动故障探测与恢复, ( 3)设备恢复速度是 RAID 的 5 倍, 750GB SATA 盘恢复时间 15 分钟, ( 4)元数据服务器每两台互备等,实现了产品的无单点故障;在产品扩展性方面:实现了在线业务扩展容量。支持不停业务在线扩容,并自动迁移均衡数据。从而实现不需要关停业务的方式轻易扩展容量;在产品管理方面:实现了单点配置管理。产品通过单点实现了所有的配置管理功能,通过内置各种自动化处理流程,减少人为参与;产品兼容性方面:兼容各种 X86 架构的服务器和 IP 网络,应用服务器端支持Linux/Windows/Mac 等等。2 应用说明LoongStore 大规模集群云存储系统能够帮助企业加速信息到价值的转换,目前已经在互联网、广电、能源、电信等数据密集型行业帮助企业实现了突破性的价值。 产品主要应用行业与应用案例有:( 1)互联网:视频, SNS 等,例如中国国家网络电视台( CNTV),人人网,搜狐;( 2)能源:大庆油田,中石油勘探开发研究院总院;( 3)动漫和广电:中影集团,教育电视台等,《建党伟业》、《建国大业》、《孔子》等大片的后期制作就是采用该存储系统;( 4)教育及其( 5)军工,航天等等领域。3 技术指标支持 PB 级的存储容量规模,最大容量可超过 100PB;可提供几十甚至上百 GByte/s 的聚合数据读写带宽,而且性能可随存储规模的扩展而线性提升;可高效支持海量小文件的存储和管理,单套系统可高效管理超过 500 亿个文件,现有在线系统已经超过百亿级文件数量规模,而且每天仍然以 2000-5000 万个新文件的速度递增,每天的下载量为 10-20 亿个文件;可支持超过 2000 多个计算节点(或者应用节点)同时高效并发访问同一套存储系统;提供完全符合 POSIX 标准的文件级接口,支持全局共享访问,无须加入第三方共享软件。前端可同时部署 Linux、 Windows、 Mac 等异构计算节点。所有应用可不经过任何修改和移植即可使用存储服务;支持在线扩展存储容量,无需终止应用的正常服务,新增容量即插即用。同时提供在线数据迁移功能,扩容后可均衡所有设备上的存储负载;内置数据高可用机制,一旦发现硬件故障将自动进行数据恢复,无需停止服务。除了能够冗余磁盘故障之外,即使整个存储服务器或者磁盘阵列故障都不影响应用正常服务也不会破坏应用数据。传统存储只能冗余磁盘故障;如果系统中正常设备上的空闲空间总和不少于故障设备上已经使用的空间即可进行数据恢复,无须加入新的设备,传统存储采用 RAID 机制必须加入新的存储设备才能进行恢复。确保了系统无间断持续运行;l 在线控制存储设备的负载。在观察到某块存储设备有异常现象时,可以在线手动禁止这块磁盘的空间分配,设置后系统不再往被禁止分配空间的磁盘内写入新的数据,原有的数据仍然可用。当设备正常时即可在线放开;提供主动数据迁移功能,方便硬件在线更换。当某些设备使用时间超过一定年限,或者是发现设备有安全隐患时,可以主动将该设备上的数据迁移到其它存储设备,迁移完成后即可将设备移除下线,不影响应用的正常服务;简易管理,通过单一图形化界面即可管理和监控整个存储系统;高硬件兼容性,既可以采用传统的 SAN 或者盘阵作为存储单元,也可以采用通用的存储服务器进行构建,硬件选型范围广,成本低,适合用于构建海量的云存储系统。
清华大学
2021-04-13
LoongStore 大规模
集群
云存储系统
1 成果介绍网络存储技术从诞生到现在,已经经历了近二十年的历程。在这个过程中,无论是计算技术、网络通信技术还是信息储存技术都发生了翻天覆地的变化。计算技术领域,基于开放操 作系统上的集群计算技术已经取代大型机;网络通信领域,开放架构的 TCP/IP 通信已经统治了一切;在信息存储技术上,单块磁盘的容量已经从 G 级别进入 T 级别。 传统的网络存储设备,无论是 FC SAN、 NAS 还是 IP SAN,都是采用以满足单台服务器存储需要为目标的体系设计,在共享能力、性能、可靠性、扩展性以及总体拥有成本上,已经无法满足企业新的应用需求。如果 仅仅通过外围手段来弥补,必将造成存储架构越来越复杂,用户管理难度越来越大,总体拥有成本越来越高。 为了满足 IT 技术发展的挑战, LoongStore 集群存储采用了代表计算技术、网络通信技术以及文件 系统技术发展方向的体系架构,提供给用户跨平台共享、高性能、高可靠、可平滑扩展、使用和维护简单的高端存储系统。系统以开放架构平台智能存储服务器为基 本节点,通过在千兆以太网基础上不受限制地添加节点,构成了业界最高的性能、可靠性以及极低总体拥有成本的存储集群。 LoongStore 为一种大规模的文件共享存储系统,它面向海量数据、高并发访问的环境。其产品架构图如图所示: 图 1 LoongStore 产品架构 LoongStore 产品架构支持:单文件系统 100PB支持 2000 个以上节点并发支持超过 500 亿文件产品主要特点:产品架构上:实现了横向扩展。从原来的单节点增加 CPU、内存、存储等等的纵向扩展方案往增加节点数量的横向扩展方案的转变,使得容量扩展更加灵活、同时也实现了更低的起始投入成本;产品工作流上:实现了更高效的数据读写方式。通过实现元数据与数据通道分离、将数据条带化存储在不同的存储服务器上,从而高效实现数据的并行读写;产品性能上:实现了高聚合带宽。克服了以前文件集中式存储的瓶颈,实现了文件切片分布式存储方案,实现了高聚合带宽;产品性能上:实现了性能近线性增长。如:( 1)聚合带宽随着存储集群规模扩大而线性增长, ( 2)充分发挥硬件性能,如网卡性能利用率达到了 80%, ( 3)扩展到 100GB/s 以上的聚合性能;产品可靠性上:实现了无单点故障。通过( 1)为不同目录的数据设置不同的冗余度, ( 2)自动故障探测与恢复, ( 3)设备恢复速度是 RAID 的 5 倍, 750GB SATA 盘恢复时间 15 分钟, ( 4)元数据服务器每两台互备等,实现了产品的无单点故障;在产品扩展性方面:实现了在线业务扩展容量。支持不停业务在线扩容,并自动迁移均衡数据。从而实现不需要关停业务的方式轻易扩展容量;在产品管理方面:实现了单点配置管理。产品通过单点实现了所有的配置管理功能,通过内置各种自动化处理流程,减少人为参与;产品兼容性方面:兼容各种 X86 架构的服务器和 IP 网络,应用服务器端支持Linux/Windows/Mac 等等。2 应用说明LoongStore 大规模集群云存储系统能够帮助企业加速信息到价值的转换,目前已经在互联网、广电、能源、电信等数据密集型行业帮助企业实现了突破性的价值。 产品主要应用行业与应用案例有:( 1)互联网:视频, SNS 等,例如中国国家网络电视台( CNTV),人人网,搜狐;( 2)能源:大庆油田,中石油勘探开发研究院总院;( 3)动漫和广电:中影集团,教育电视台等,《建党伟业》、《建国大业》、《孔子》等大片的后期制作就是采用该存储系统;( 4)教育及其( 5)军工,航天等等领域。3 技术指标支持 PB 级的存储容量规模,最大容量可超过 100PB;可提供几十甚至上百 GByte/s 的聚合数据读写带宽,而且性能可随存储规模的扩展而线性提升;可高效支持海量小文件的存储和管理,单套系统可高效管理超过 500 亿个文件,现有在线系统已经超过百亿级文件数量规模,而且每天仍然以 2000-5000 万个新文件的速度递增,每天的下载量为 10-20 亿个文件;可支持超过 2000 多个计算节点(或者应用节点)同时高效并发访问同一套存储系统;提供完全符合 POSIX 标准的文件级接口,支持全局共享访问,无须加入第三方共享软件。前端可同时部署 Linux、 Windows、 Mac 等异构计算节点。所有应用可不经过任何修改和移植即可使用存储服务;支持在线扩展存储容量,无需终止应用的正常服务,新增容量即插即用。同时提供在线数据迁移功能,扩容后可均衡所有设备上的存储负载;内置数据高可用机制,一旦发现硬件故障将自动进行数据恢复,无需停止服务。除了能够冗余磁盘故障之外,即使整个存储服务器或者磁盘阵列故障都不影响应用正常服务也不会破坏应用数据。传统存储只能冗余磁盘故障;如果系统中正常设备上的空闲空间总和不少于故障设备上已经使用的空间即可进行数据恢复,无须加入新的设备,传统存储采用 RAID 机制必须加入新的存储设备才能进行恢复。确保了系统无间断持续运行;l 在线控制存储设备的负载。在观察到某块存储设备有异常现象时,可以在线手动禁止这块磁盘的空间分配,设置后系统不再往被禁止分配空间的磁盘内写入新的数据,原有的数据仍然可用。当设备正常时即可在线放开;提供主动数据迁移功能,方便硬件在线更换。当某些设备使用时间超过一定年限,或者是发现设备有安全隐患时,可以主动将该设备上的数据迁移到其它存储设备,迁移完成后即可将设备移除下线,不影响应用的正常服务;简易管理,通过单一图形化界面即可管理和监控整个存储系统;高硬件兼容性,既可以采用传统的 SAN 或者盘阵作为存储单元,也可以采用通用的存储服务器进行构建,硬件选型范围广,成本低,适合用于构建海量的云存储系统。
清华大学
2021-04-13
面向大规模信息处理的 GPU
集群
技术
成果简介:随着大数据分析、大规模视频监控、大规模支付系统等如火如荼地展开,提 高大规信息处理 能力已经成为业界的追逐的焦点。计算机集群技术成为重要手 段并突飞猛进,如我曙光系列、天河系 列、IBM 深蓝等超级计算机。这些高端 集群利用专用的计算节点、高速网路、特殊系统构成,具有成 本高、维护代价 高、运营成本贵等问题。利用普通的计算机、商业化的网络、通用的软件系统构 成的 普通计算机集群因其成本低、维护便宜,更适合广泛地构建大规模集群处 理和服务系统。 GOOGLE、Baidu、阿里、
上海理工大学
2021-01-12
面向高端制造产业
集群
的服务型制造技术
本研究根据科技部统一部署,依据国家山东半岛蓝色经济区战略规划、黄 河三角洲高效生态经济区发展规划,针对山东省高端装备制造产业转型发展需 求,重点突破服务型制造关键技术和产业急需的共性关键技术;积极拓展“两 化”融合的发展空间,围绕制造业转型升级,推进制造业信息化从单业务应用 向多业务综合集成转变,从企业信息应用向业务流程优化再造转变,从单一企 业应用向产业链上下游协同应用转变。 主要研究内容包括研发覆盖重点产业的云制造服务平台,服务 500 家企业; 面向区域内大型骨干企业,攻克产品数字化设计、集团精细化管控、产业链协 同等关键技术,研发相应的信息化系统平台,完成 3 家企业应用示范,拉动 30 家企业深化应用;开展智能嵌入式、工业泛在网、传感网和智能控制等技术攻 关,并在 3 家高端装备制造企业中集成应用,拉动 20 家企业深化应用;开展自 主知识产权核心软件与制造物联关键技术成果的应用,新增 10 家以上应用企业; 开展标准、评估、培训等支撑环境建设,开展信息化指数调查(企业 100 家以 上),完成人才培训 5 万人次以上。 本项目获得国家科技支撑计划资助,项目执行期 2012.1-2015.12。
山东大学
2021-04-13
一种面向虚拟
集群
的共享存储系统
本发明提供了一种面向虚拟集群的共享存储系统,属于计算机 存储技术领域。该系统主体部分由通过网络互连的两台主机组成。主 机主要包括用于组成共享存储空间的共享存储模块,若干虚拟机以及 为虚拟机提供相关服务的虚拟机服务模块。虚拟机主要包括一个虚拟 设备,在内核空间的设备驱动模块以及供应用程序调用的访问接口模 块。本发明提供了一种新颖的分布式共享存储系统,它的独特之处在 于为不同物理机上虚拟机的信息传递提供一种机制,从而使共
华中科技大学
2021-04-14
一种风电
集群
轨迹预测与分层控制方法
本发明涉及一种风电集群轨迹预测与分层控制方法,包括:根据风电集群及风电场内的拓扑结构,基于空间相关性和NWP数据进行超短期风电功率预测;根据调度中心下发的调度值,将控制过程在空间上分为集群优化调度层、场群协调分类层和单场自动执行层,将风电功率预测值从时间上逐层细化;在场群协调分类层,基于风电功率预测值对风电场进行分类,分为上爬坡群、下爬坡群、平稳群和振荡群;在单场自动执行层,基于AGC机组下旋转备用裕度和风电送出断面裕度判断风电可增发空间,增发上爬坡群风电场出力或降低下爬坡群风电场出力;基于风电场运行与监测系统,根据监测到的风电场实际值,计算并反馈风电功率误差,修正风电集群和风电场预测值,使优化过程更加精确。
中国农业大学
2021-04-11
一种针对 RS 编码存储
集群
的存储扩容方法
本发明公开了一种针对 RS 码存储集群的高效存储扩容方法,涉 及数据重新分布和校验更新两个过程。具体包括:增加Δk 个数据节 点,并按照转置式数据布局重新分布旧数据,其中原始数据分块只在 旧数据节点和新数据节点之间迁移,新数据分块直接填充到迁移后所 空出区域;完成数据重新分布时,需要进行相应校验分块的更新操作。 上述数据重新分布支持多次扩容并保持数据分布的均匀性。由于数据 重新分布采用转置式数据布局,校验分块更新时,
华中科技大学
2021-04-14
一种面向多核
集群
的数据流编译优化方法
本发明公开了一种面向多核集群系统的数据流编译优化方法,包括:确定计算任务与处理核映射的任务划分与调度步骤;根据任务划分与调度结果构造集群节点间和集群节内核间的流水线调度表的层次流水线调度步骤;根据所述多核处理器的结构特性、集群节点间的通信情况和数据流程序在多核处理器上的执行情况做做基于 cache 的缓存优化步骤。本发明的方法结合了数据流程序与系统结构相关的优化技术,充分发挥高负载均衡性以及同步与异步混合流水代码在多核集群上的高并行性,而且针对多核集群上的缓存与通信方式,对程序的缓存访问和通信传输进
华中科技大学
2021-04-14
大规模
集群
云工作流分布式调度系统
本系统结合深度学习等智能化算法机理,研究出一套云工作流智能管理与调度优化算法,面向复杂工业制造领域云工作流实现服务定制与灵活部署需求,达到云计算资源的集约利用和合理优化调度的目的,能够使大规模跨集群云数据中心资源得到充分利用。在不同典型应用场景下,尤其是在用户具有不同程度的偏好时,满足用户隐私安全保护和不同服务质量标准要求,大幅降低执行时间和耗费成本。
北京理工大学
2022-11-28
首页
上一页
1
2
3
4
5
6
...
31
32
下一页
尾页
热搜推荐:
1
第62届高博会将于2024年11月重庆举办
2
2024年云上高博会产品征集
3
征集高校科技成果及大学生创新创业项目