高等教育领域数字化综合服务平台
云上高博会服务平台 高校科技成果转化对接服务平台 大学生创新创业服务平台 登录 | 注册
|
搜索
搜 索
  • 综合
  • 项目
  • 产品
日期筛选: 一周内 一月内 一年内 不限
LoongStore 大规模集群云存储系统
1 成果介绍网络存储技术从诞生到现在,已经经历了近二十年的历程。在这个过程中,无论是计算技术、网络通信技术还是信息储存技术都发生了翻天覆地的变化。计算技术领域,基于开放操 作系统上的集群计算技术已经取代大型机;网络通信领域,开放架构的 TCP/IP 通信已经统治了一切;在信息存储技术上,单块磁盘的容量已经从 G 级别进入 T 级别。 传统的网络存储设备,无论是 FC SAN、 NAS 还是 IP SAN,都是采用以满足单台服务器存储需要为目标的体系设计,在共享能力、性能、可靠性、扩展性以及总体拥有成本上,已经无法满足企业新的应用需求。如果 仅仅通过外围手段来弥补,必将造成存储架构越来越复杂,用户管理难度越来越大,总体拥有成本越来越高。 为了满足 IT 技术发展的挑战, LoongStore 集群存储采用了代表计算技术、网络通信技术以及文件 系统技术发展方向的体系架构,提供给用户跨平台共享、高性能、高可靠、可平滑扩展、使用和维护简单的高端存储系统。系统以开放架构平台智能存储服务器为基 本节点,通过在千兆以太网基础上不受限制地添加节点,构成了业界最高的性能、可靠性以及极低总体拥有成本的存储集群。 LoongStore 为一种大规模的文件共享存储系统,它面向海量数据、高并发访问的环境。其产品架构图如图所示: 图 1 LoongStore 产品架构 LoongStore 产品架构支持:单文件系统 100PB支持 2000 个以上节点并发支持超过 500 亿文件产品主要特点:产品架构上:实现了横向扩展。从原来的单节点增加 CPU、内存、存储等等的纵向扩展方案往增加节点数量的横向扩展方案的转变,使得容量扩展更加灵活、同时也实现了更低的起始投入成本;产品工作流上:实现了更高效的数据读写方式。通过实现元数据与数据通道分离、将数据条带化存储在不同的存储服务器上,从而高效实现数据的并行读写;产品性能上:实现了高聚合带宽。克服了以前文件集中式存储的瓶颈,实现了文件切片分布式存储方案,实现了高聚合带宽;产品性能上:实现了性能近线性增长。如:( 1)聚合带宽随着存储集群规模扩大而线性增长, ( 2)充分发挥硬件性能,如网卡性能利用率达到了 80%, ( 3)扩展到 100GB/s 以上的聚合性能;产品可靠性上:实现了无单点故障。通过( 1)为不同目录的数据设置不同的冗余度, ( 2)自动故障探测与恢复, ( 3)设备恢复速度是 RAID 的 5 倍, 750GB SATA 盘恢复时间 15 分钟, ( 4)元数据服务器每两台互备等,实现了产品的无单点故障;在产品扩展性方面:实现了在线业务扩展容量。支持不停业务在线扩容,并自动迁移均衡数据。从而实现不需要关停业务的方式轻易扩展容量;在产品管理方面:实现了单点配置管理。产品通过单点实现了所有的配置管理功能,通过内置各种自动化处理流程,减少人为参与;产品兼容性方面:兼容各种 X86 架构的服务器和 IP 网络,应用服务器端支持Linux/Windows/Mac 等等。2 应用说明LoongStore 大规模集群云存储系统能够帮助企业加速信息到价值的转换,目前已经在互联网、广电、能源、电信等数据密集型行业帮助企业实现了突破性的价值。 产品主要应用行业与应用案例有:( 1)互联网:视频, SNS 等,例如中国国家网络电视台( CNTV),人人网,搜狐;( 2)能源:大庆油田,中石油勘探开发研究院总院;( 3)动漫和广电:中影集团,教育电视台等,《建党伟业》、《建国大业》、《孔子》等大片的后期制作就是采用该存储系统;( 4)教育及其( 5)军工,航天等等领域。3 技术指标支持 PB 级的存储容量规模,最大容量可超过 100PB;可提供几十甚至上百 GByte/s 的聚合数据读写带宽,而且性能可随存储规模的扩展而线性提升;可高效支持海量小文件的存储和管理,单套系统可高效管理超过 500 亿个文件,现有在线系统已经超过百亿级文件数量规模,而且每天仍然以 2000-5000 万个新文件的速度递增,每天的下载量为 10-20 亿个文件;可支持超过 2000 多个计算节点(或者应用节点)同时高效并发访问同一套存储系统;提供完全符合 POSIX 标准的文件级接口,支持全局共享访问,无须加入第三方共享软件。前端可同时部署 Linux、 Windows、 Mac 等异构计算节点。所有应用可不经过任何修改和移植即可使用存储服务;支持在线扩展存储容量,无需终止应用的正常服务,新增容量即插即用。同时提供在线数据迁移功能,扩容后可均衡所有设备上的存储负载;内置数据高可用机制,一旦发现硬件故障将自动进行数据恢复,无需停止服务。除了能够冗余磁盘故障之外,即使整个存储服务器或者磁盘阵列故障都不影响应用正常服务也不会破坏应用数据。传统存储只能冗余磁盘故障;如果系统中正常设备上的空闲空间总和不少于故障设备上已经使用的空间即可进行数据恢复,无须加入新的设备,传统存储采用 RAID 机制必须加入新的存储设备才能进行恢复。确保了系统无间断持续运行;l 在线控制存储设备的负载。在观察到某块存储设备有异常现象时,可以在线手动禁止这块磁盘的空间分配,设置后系统不再往被禁止分配空间的磁盘内写入新的数据,原有的数据仍然可用。当设备正常时即可在线放开;提供主动数据迁移功能,方便硬件在线更换。当某些设备使用时间超过一定年限,或者是发现设备有安全隐患时,可以主动将该设备上的数据迁移到其它存储设备,迁移完成后即可将设备移除下线,不影响应用的正常服务;简易管理,通过单一图形化界面即可管理和监控整个存储系统;高硬件兼容性,既可以采用传统的 SAN 或者盘阵作为存储单元,也可以采用通用的存储服务器进行构建,硬件选型范围广,成本低,适合用于构建海量的云存储系统。
清华大学 2021-04-13
北斗卫星导航接收机(产品)
成果简介:中国自主研制的北斗卫星导航系统从2009年起进入了组网高峰期,预计2011年完成第一期组网,形成覆盖中国及中国周边的区域性卫星导航系统,到2020年左右形成覆盖全球的卫星导航定位系统。卫星导航接收机是整个卫星导航系统基本功能的最终体现,用户通过卫星导航接收机完成卫星信号捕获跟踪,伪距、多普勒和载波相位等原始观测量的测量,导航电文解调,用户位置、速度解算等,应用卫星导航进行定位、测速。北京理工大学雷达技术研究所开发研制的北斗二号基本导航型用户机是北斗二号卫星导航系统中非常重要的一个环节,是
北京理工大学 2021-04-14
环境卫星快速反应系统(产品)
成果简介:环境卫星快速反应系统采用大规模嵌入式并行处理平台,突破了高光谱实时光谱复原、相位校正、SAR实时成像等关键技术,关键区域遥感图像的获取延迟小于2分钟,实现了我国卫星遥感的减灾、环境监测等高时效应用。 项目来源:自行开发 技术领域:电子信息 技术特点:多星多载荷兼容:实时完成HJ-1A星高光谱数据光谱复原、HJ-1C星SAR成像处理及实时快视显示。具有远程多用户同时快视浏览功能。具有快速反应能力,在本地或者远程实时快视浏览的同时,可以本地或者远程凝
北京理工大学 2021-04-14
普通民用BDSGPS卫星授时芯片项目
基于导航芯片的解决方案中,除了授时外,芯片75%的成本和功耗都用于了定位;串口输出的授时数据必须再次处理才能显示。 卫星授时技术尚未在日常应用中大量普及,本项目将解决这个问题 。研发了低成本BDS/GPS卫星授时芯片,授时精度20ms,能够满足绝大多数日常应用;除了串口输出,芯片可直接驱动数码管,无需辅助电路就可显示。
北京交通大学 2023-05-08
便携式卫星通信系统
南京邮电大学 2021-04-14
基于PCMA的宽带卫星MODEM研发
南京邮电大学 2021-04-14
卫星转发器盗用检测技术
随着通信事业的发展和各类通信网的建立,卫星通信系统中的干扰和盗用问题显得尤为突出。盗用大致可分两种情况,其一是利用空闲转发器的频带资源进行传输,另一种则是在正常业务信号上叠加直接序列扩频(DSSS)信号进行盗用信号的传输。前一种盗用方式比较易于检测,而后一种盗用方式则成为卫星通信与无线电管理领域的重要问题。 本系统采用现代信号处理技术,可以根据对接收混合信号的分析来确定信号中是否存在盗用信号,具有检测效率较高,正确率较高的特点。
大连理工大学 2021-04-13
图形化的计算集群任务管理软件
针对大中型计算集群,提供Windows图形界面的计算任务启动、暂停、终止及资源分配监控功能。可针对具体计算任务定制,支持上百个计算节点。图形界面可以提供方便快捷的任务控制功能和直观的资源状况监控功能。可以根据用户需求提供多种任务调度策略,包括最大性能调度、最节能调度和最少服务器使用等等。
北京航空航天大学 2021-04-13
面向大规模信息处理的 GPU 集群技术
成果简介:随着大数据分析、大规模视频监控、大规模支付系统等如火如荼地展开,提 高大规信息处理 能力已经成为业界的追逐的焦点。计算机集群技术成为重要手 段并突飞猛进,如我曙光系列、天河系 列、IBM 深蓝等超级计算机。这些高端 集群利用专用的计算节点、高速网路、特殊系统构成,具有成 本高、维护代价 高、运营成本贵等问题。利用普通的计算机、商业化的网络、通用的软件系统构 成的 普通计算机集群因其成本低、维护便宜,更适合广泛地构建大规模集群处 理和服务系统。 GOOGLE、Baidu、阿里、
上海理工大学 2021-01-12
高可用--银河麒麟高性能计算集群系统
银河麒麟高性能计算系统是在“银河”/“天河”系列超级计算机研究成果的基础上开发的适合中小规模应用需求的高性能计算系统。系统采用了自主研发的银河麒麟操作系统和银河麒麟高性能计算(HPC)套件,支持InfiniBand、万兆高速计算网络,支持国内外主流的高性能服务器、刀片服务器、海量存储、高速网络交换等硬件设备,提供资源管理、HPC集群管理、并行编译、并行计算等功能,主要面向密码算法、卫星遥感、气象预报、生物医药、资源勘测、图像处理等领域,满足科学计算和海量数据处理。 产品特点 安全性 基于国内高安全等级的银河麒麟国产操作系统,整体达到结构化保护级安全级别,同时支持国产飞腾CPU。 易用性 提供基于WEB的图形管理接口,便于管理员进行资源管理、作业提交、监控管理、集群部署等操作。 自主安全 银河麒麟HPC套件包括并行编译、集群管理软件,具有自主知识产权及良好的安全创新性。 高速互联 采用高带宽的并行多路串行传输技术,实现高密度、高可靠的互连子系统。 扩展性 全系统采用模块设计,各模块可以根据不同计算需求进行灵活扩展。
麒麟软件有限公司 2022-09-14
首页 上一页 1 2 3 4 5 6
  • ...
  • 10 11 下一页 尾页
    热搜推荐:
    1
    云上高博会企业会员招募
    2
    63届高博会于5月23日在长春举办
    3
    征集科技创新成果
    中国高等教育学会版权所有
    北京市海淀区学院路35号世宁大厦二层 京ICP备20026207号-1