云存储

出自 MBA智库百科(https://wiki.mbalib.com/)

云存储(cloud storage)

　　云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

　　1．云状的网络结构

　　在常见的局域网系统中，为了能更好地使用局域网，一般来讲，使用者需要非常清楚地知道网络中每一个软硬件的型号和配置，比如采用什么型号交换机，有多少个端口，采用了什么路由器和防火墙，分别是如何设置的。系统中有多少个服务器，分别安装了什么操作系统和软件。各设备之间采用什么类型的连接线缆，分配了什么IP地址和子网掩码。

　　但当使用广域网和互联网时，用户只需要知道是什么样的接入网和用户名、密码就可以连接到广域网和互联网，并不需要知道广域网和互联网中到底有多少台交换机、路由器、防火墙和服务器，不需要知道数据是通过什么样的路由到达自己的电脑，也不需要知道网络中的服务器分别安装了什么软件，更不需要知道网络中各设备之间采用了什么样的连接线缆和端口。

　　广域网和互联网对于具体的使用者是完全透明的，经常用一个云状的图形来表示广域网和互联网。虽然云状的图形中包含了许许多多的交换机、路由器、防火墙和服务器，但对具体的广域网、互联网用户来讲，这些都是不需要知道的。这个云状图形代表的是广域网和互联网带给大家的互联互通的网络服务，无论在任何地方，都可以通过一个网络接入线缆和一个用户、密码，接入广域网和互联网，享受网络服务。

　　参考云状的网络结构，创建一个新型的云状结构的存储系统系统，这个存储系统由多个存储设备组成，通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。

　　2．云存储重在服务

　　就如同云状的广域网和互联网一样。云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。

　　云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。当使用某一个独立的存储设备时，用户必须非常清楚这个存储设备是什么型号，什么接口和传输协议，必须清楚地知道存储系统中有多少块磁盘，分别是什么型号、多大容量，必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证数据安全和业务的连续性，还需要建立相应的数据备份系统和容灾系统。除此之外，对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必需的。

　　如果采用云存储，那么上面所提到的一切对使用者来讲都不需要了。云状存储系统中的所有设备对使用者来讲都是完全透明的，任何地方的任何一个经过授权的使用者都可以通过一根接人线缆与云存储连接，对云存储进行数据访问。

　　与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。

　　云存储系统的结构模型由4层组成。

　　(1)存储层。

　　存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且多分布在不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。

　　存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。

　　(2)基础管理层。

　　基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个存储设备可以对外提供同一种服务，并提供更大、更强、更好的数据访问性能。

　　CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份、容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。

　　(3)应用接口层。

　　应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务，比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘应用平台，远程数据备份应用平台等。

　　(4)访问层。

　　任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。

　　云存储是一种架构，而不是一种服务。传统的系统利用紧耦合对称架构，这种架构的设计旨在解决HPC(高性能计算、超级运算)问题，现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构，集中元数据和控制操作，这种架构并不非常适合高性能HPC，但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下：

　　(1)紧耦合对称(TCS)架构。

　　构建TCS系统是为了解决单一文件性能所面临的挑战，这种挑战限制了传统NAS系统的发展。HPC系统所具有的优势迅速压倒了存储，因为它们需要的单一文件I／O操作要比单一设备的I／O操作多得多。业内对此的回应是创建利用TCS架构的产品，很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效，几个不同行业的很多HPC客户已经采用了这种解决方案。这种解决方案很先进，需要一定程度的技术经验才能安装和使用。

　　(2)松弛耦合非对称(LCA)架构。

　　LCA系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作，而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处，允许进行新层次的扩展：

　　1)存储节点可以将重点放在提供读写服务的要求上，而不需要来自网络节点的确认信息。

　　2)节点可以利用不同的商品硬件CPU和存储配置，而且仍然在云存储中发挥作用。

　　3)用户可以通过利用硬件性能或虚拟化实例来调整云存储。

　　4)消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要，如光纤通道或infiniband，从而进一步降低成本。

　　5)异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储，同时还能提供永久的数据可用性。

　　6)拥有集中元数据意味着，存储节点可以旋转地进行深层次应用程序归档，而且在控制节点上，元数据经常都是可用的。

　　从上文云存储结构模型可知，云存储系统是一个多设备、多应用、多服务协同工作的集合体，它的实现要以多种技术的发展为前提。

　　1．宽带网络技术

　　真正的云存储系统是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统，使用者需要通过ADSL、DDN等宽带接人设备来连接云存储，而不是通过FC、SCSI或以太网线缆直接连接一台独立的、私有的存储设备上。只有宽带网络得到充足的发展，使用者才有可能获得足够大的数据传输带宽，实现大量容量数据的传输，真正享受到云存储服务。

　　2．Web2．0技术

　　Web2．0技术的核心是分享。只有通过Web2．0技术，云存储的使用者才有可能通过PC、手机、移动多媒体等多种设备，实现数据、文档、图片和视音频等内容的集中存储和资料共享。Web2．0技术的发展使得使用者的应用方式和可得服务更加灵活和多样。

　　3．应用存储技术

　　云存储不仅仅是存储，更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环节，提供系统性能和效率，保证整个系统的高效稳定运行。

　　4．集群技术和网格技术与分布式文件系统

　　云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，任何一个单点的存储系统都不是云存储。云存储是由多个存储设备构成的，不同存储设备之间需要通过集群技术、分布式文件系统和网格计算等技术，实现多个存储设备之间的协同工作，使多个存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。如果没有这些技术的存在，云存储就不可能真正实现，而只能是一个一个的独立系统，不能形成云状结构。

　　5．CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术

　　CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。

　　6．存储虚拟化技术、存储网络化管理技术

　　云存储中的存储设备数量庞大且分布在不同地域，如何实现不同厂商、不同型号甚至于不同类型(如FC存储和IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。

　　云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对于云存储的使用者不需要关心，但云存储的运营单位却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此，云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台，以实现云存储系统中所有存储设备、服务器和网络设备的集中管理和状态监控。

　　虽然在可扩展的NAS平台上有很多选择，但是通常来说，他们表现为一种服务、一种硬件设备或一种软件解决方案，每一种选择都有它们自身的优势和劣势，具体内容如下：

　　(1)服务模式：最普遍的情况下，当你考虑云存储的时候，你就会想到其所提供的服务产品。这种模式很容易开始，其可扩展性几乎是瞬间的。根据定义，你拥有一份异地数据的备份。然而，带宽是有限的，因此要考虑你的恢复模型。你必须要满足你网络之外的数据的需求。

　　(2)HW模式：这种部署位于防火墙背后，并且其提供的吞吐量要比公共的内部网络好。购买整合的硬件存储解决方案非常方便，而且，如果厂商在安装／管理上做得好，其往往伴随有机架和堆栈模型。但是，这样你就会放弃某些摩尔定律的优势，因为你会受到硬件设备的限制。

　　(3)SW模式：SW模式具有HW模式所具有的优势。另外，它还具有Hw所没有的价格竞争优势。然而，其安装／管理过程序要谨慎关注，因为安装某些SW的确非常困难，或者可能需要其他条件来限制人们选择HW，而选择SW。

　　云存储是在云计算(Cloud Computing)概念上延伸和发展出来的一个新概念。云计算是分布式处理(Distributed Computillg)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务。

　　云计算可以认为是软件即服务SaaS、网格计算、虚拟化三个概念的结合体。虚拟化即基础设施的虚拟化(Virtualization)，核心是传统已经成熟的集群技术和分区技术的结合。虚拟化目前还包括网络虚拟化(VPN)和存储虚拟化(SAN／NAS)等技术，与服务器虚拟化一起，构建为一个完整的计算资源虚拟化环境，在虚拟化管理系统的控制下，实现动态的可配置的智能系统。

　　网格计算(Grid Computing)是一种计算能力提升的方式，其原理是依据并行计算理论，通过任务分解，将子任务分布式提交到其他服务器上运行，以获得更强大计算能力。网格计算的基础技术就是WebServices，通过任务分解为服务，这些服务可以在分布式的计算环境中，实现和设备无关的标准交互，并且通过服务的封装，可以实现并行的事务处理。应用场景：科学计算，天气预报，地震分析、地质勘探、石油勘探等；网格计算的特色是：重计算，弱流程，少交互，计算任务需要消耗大量的CPU计算系统开销。云计算是网格计算的另一种表现形式，是相似技术的两种表现形式。

　　云计算的平台技术主要是依赖于SOA，而SOA的主要实现技术体系也就是WebServ—ices，因此云计算和网格计算的核心技术基础是相似的。云计算系统的建设目标是将运行在PC上、或单个服务器上的独立的、个人化的运算迁移到一个数量庞大服务器”云”中，由这个云系统来负责处理用户的请求．并输出结果，它是一个以数据运算和处理为核心的系统。

　　云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

　　与云计算系统相比，云存储可以认为是配置了大容量存储空间的一个云计算系统。从架构模型来看，云存储系统比云计算系统多了一个存储层，同时，在基础管理也多了很多与数据管理和数据安全有关的功能，两者在访问层和应用接口层则是完全相同的。