云计算的出现,给分布式存储带来了新的需求和挑战!

今日头条
每日轶闻
介绍几个典型的分布式文件系统。Frangipani是一个伸缩性很好的高性能分布式文件系统,该系统采用了两层的服务体系架构:底层是一个分布式存储服务,该服务能够自动管理可伸缩、高可用的虚拟磁盘;在这个分布式存储服...

介绍几个典型的分布式文件系统。Frangipani是一个伸缩性很好的高性能分布式文件系统,该系统采用了两层的服务体系架构:底层是一个分布式存储服务,该服务能够自动管理可伸缩、高可用的虚拟磁盘;在这个分布式存储服务上层运行着Frangipani分布式文件系统。JetFile是一个基于P2P的组播技术、支持在Internet这样的异构环境中分享文件的分布式文件系统。Ceph是一个高性能并且可靠的分布式文件系统,它通过把数据和对数的管理在最大程度上分开来获取极佳的I/O性能。

Google File System(GFS)是Google公司设计的可伸缩的分布式文件系统。Google公司的工程师在考虑了分布式文件系统的设计准则的基础上,又发现了以下几个不同于传统分布式文件系统的需求:(1)PC服务器极易发生故障,造成节点失效,故障的原因多种多样,有机器本身的、网络的、管理员引起的及外部环境引起的,因此需要对整个系统中的节点进行监控,检测出现的错误,并开发相应的容错和故障恢复机制;(2)在云计算环境中,海量的结构化数据被保存为非常大的文件,一般为GB量级,因此需要改变原有的基于对中小文件(KB或者MB量级)进行管理的文件系统设计准则,以适应对超大文件的访问;(3)系统中对文件的写操作绝大多数是追加操作,也就是在文件的末尾写入数据,在文件中间写入数据的情况其实很少发生,而且数据一旦被写入,绝大多数情况下都是被顺序地读取,不会被修改,因此在设计系统时把优化重点放在追加操作上,就可以大幅度提高系统的性能;(4)设计系统时要考虑开放的、标准的操作接口,并隐藏文件系统下层的负载均衡、冗余复制等细节,这样才可以方便地被上层系统大规模地使用。因此,CFS能够很好地支持大规模海量数据处理应用程序。

云计算的出现给分布式存储带来了新的需求和挑战。在云计算环境中,数据的存储和操作都是以服务的形式提供的;数据的类型多种多样,包括了普通文件、虚拟机镜像文件这样的二进制大文件、类似XML的格式化数据,甚至数据库的关系型数据等;云计算的分布式存储服务设计必须考虑到各种不同数据类型的大规模存储机制,以及数据操作的性能、可靠性、安全性和简单性。

THEEND