雲存儲

出自 MBA智库百科(https://wiki.mbalib.com/)

雲存儲(cloud storage)

　　雲存儲是指通過集群應用、網格技術或分散式文件系統等功能，將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。

　　1．雲狀的網路結構

　　在常見的區域網系統中，為了能更好地使用區域網，一般來講，使用者需要非常清楚地知道網路中每一個軟硬體的型號和配置，比如採用什麼型號交換機，有多少個埠，採用了什麼路由器和防火牆，分別是如何設置的。系統中有多少個伺服器，分別安裝了什麼操作系統和軟體。各設備之間採用什麼類型的連接線纜，分配了什麼IP地址和子網掩碼。

　　但當使用廣域網和互聯網時，用戶只需要知道是什麼樣的接入網和用戶名、密碼就可以連接到廣域網和互聯網，並不需要知道廣域網和互聯網中到底有多少台交換機、路由器、防火牆和伺服器，不需要知道數據是通過什麼樣的路由到達自己的電腦，也不需要知道網路中的伺服器分別安裝了什麼軟體，更不需要知道網路中各設備之間採用了什麼樣的連接線纜和埠。

　　廣域網和互聯網對於具體的使用者是完全透明的，經常用一個雲狀的圖形來表示廣域網和互聯網。雖然雲狀的圖形中包含了許許多多的交換機、路由器、防火牆和伺服器，但對具體的廣域網、互聯網用戶來講，這些都是不需要知道的。這個雲狀圖形代表的是廣域網和互聯網帶給大家的互聯互通的網路服務，無論在任何地方，都可以通過一個網路接入線纜和一個用戶、密碼，接入廣域網和互聯網，享受網路服務。

　　參考雲狀的網路結構，創建一個新型的雲狀結構的存儲系統系統，這個存儲系統由多個存儲設備組成，通過集群功能、分散式文件系統或類似網格計算等功能聯合起來協同工作，並通過一定的應用軟體或應用介面，對用戶提供一定類型的存儲服務和訪問服務。

　　2．雲存儲重在服務

　　就如同雲狀的廣域網和互聯網一樣。雲存儲對使用者來講，不是指某一個具體的設備，而是指一個由許許多多個存儲設備和伺服器所構成的集合體。使用者使用雲存儲，並不是使用某一個存儲設備，而是使用整個雲存儲系統帶來的一種數據訪問服務。所以嚴格來講，雲存儲不是存儲，而是一種服務。

　　雲存儲的核心是應用軟體與存儲設備相結合，通過應用軟體來實現存儲設備向存儲服務的轉變。當使用某一個獨立的存儲設備時，用戶必須非常清楚這個存儲設備是什麼型號，什麼介面和傳輸協議，必須清楚地知道存儲系統中有多少塊磁碟，分別是什麼型號、多大容量，必須清楚存儲設備和伺服器之間採用什麼樣的連接線纜。為了保證數據安全和業務的連續性，還需要建立相應的數據備份系統和容災系統。除此之外，對存儲設備進行定期地狀態監控、維護、軟硬體更新和升級也是必需的。

　　如果採用雲存儲，那麼上面所提到的一切對使用者來講都不需要了。雲狀存儲系統中的所有設備對使用者來講都是完全透明的，任何地方的任何一個經過授權的使用者都可以通過一根接人線纜與雲存儲連接，對雲存儲進行數據訪問。

　　與傳統的存儲設備相比，雲存儲不僅僅是一個硬體，而是一個網路設備、存儲設備、伺服器、應用軟體、公用訪問介面、接入網和客戶端程式等多個部分組成的複雜系統。各部分以存儲設備為核心，通過應用軟體來對外提供數據存儲和業務訪問服務。

　　雲存儲系統的結構模型由4層組成。

　　(1)存儲層。

　　存儲層是雲存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備，可以是NAS和iSCSI等IP存儲設備，也可以是SCSI或SAS等DAS存儲設備。雲存儲中的存儲設備往往數量龐大且多分佈在不同地域，彼此之間通過廣域網、互聯網或者FC光纖通道網路連接在一起。

　　存儲設備之上是一個統一存儲設備管理系統，可以實現存儲設備的邏輯虛擬化管理、多鏈路冗餘管理，以及硬體設備的狀態監控和故障維護。

　　(2)基礎管理層。

　　基礎管理層是雲存儲最核心的部分，也是雲存儲中最難以實現的部分。基礎管理層通過集群、分散式文件系統和網格計算等技術，實現雲存儲中多個存儲設備之間的協同工作，使多個存儲設備可以對外提供同一種服務，並提供更大、更強、更好的數據訪問性能。

　　CDN內容分發系統、數據加密技術保證雲存儲中的數據不會被未授權的用戶所訪問，同時，通過各種數據備份、容災技術和措施可以保證雲存儲中的數據不會丟失，保證雲存儲自身的安全和穩定。

　　(3)應用介面層。

　　應用介面層是雲存儲最靈活多變的部分。不同的雲存儲運營單位可以根據實際業務類型，開發不同的應用服務介面，提供不同的應用服務，比如視頻監控應用平臺、IPTV和視頻點播應用平臺、網路硬碟應用平臺，遠程數據備份應用平臺等。

　　(4)訪問層。

　　任何一個授權用戶都可以通過標準的公用應用介面來登錄雲存儲系統，享受雲存儲服務。雲存儲運營單位不同，雲存儲提供的訪問類型和訪問手段也不同。

　　雲存儲是一種架構，而不是一種服務。傳統的系統利用緊耦合對稱架構，這種架構的設計旨在解決HPC(高性能計算、超級運算)問題，現在其正在向外擴展成為雲存儲從而滿足快速呈現的市場需求。下一代架構已經採用了鬆弛耦合非對稱架構，集中元數據和控制操作，這種架構並不非常適合高性能HPC，但是這種設計旨在解決雲部署的大容量存儲需求。各種架構的摘要信息如下：

　　(1)緊耦合對稱(TCS)架構。

　　構建TCS系統是為瞭解決單一文件性能所面臨的挑戰，這種挑戰限制了傳統NAS系統的發展。HPC系統所具有的優勢迅速壓倒了存儲，因為它們需要的單一文件I／O操作要比單一設備的I／O操作多得多。業內對此的回應是創建利用TCS架構的產品，很多節點同時伴隨著分散式鎖管理(鎖定文件不同部分的寫操作)和緩存一致性功能。這種解決方案對於單文件吞吐量問題很有效，幾個不同行業的很多HPC客戶已經採用了這種解決方案。這種解決方案很先進，需要一定程度的技術經驗才能安裝和使用。

　　(2)鬆弛耦合非對稱(LCA)架構。

　　LCA系統採用不同的方法來向外擴展。它不是通過執行某個策略來使每個節點知道每個行動所執行的操作，而是利用一個數據路徑之外的中央元數據控制伺服器。集中控制提供了很多好處，允許進行新層次的擴展：

　　1)存儲節點可以將重點放在提供讀寫服務的要求上，而不需要來自網路節點的確認信息。

　　2)節點可以利用不同的商品硬體CPU和存儲配置，而且仍然在雲存儲中發揮作用。

　　3)用戶可以通過利用硬體性能或虛擬化實例來調整雲存儲。

　　4)消除節點之間共用的大量狀態開銷也可以消除用戶電腦互聯的需要，如光纖通道或infiniband，從而進一步降低成本。

　　5)異構硬體的混合和匹配使用戶能夠在需要的時候在當前經濟規模的基礎上擴大存儲，同時還能提供永久的數據可用性。

　　6)擁有集中元數據意味著，存儲節點可以旋轉地進行深層次應用程式歸檔，而且在控制節點上，元數據經常都是可用的。

　　從上文雲存儲結構模型可知，雲存儲系統是一個多設備、多應用、多服務協同工作的集合體，它的實現要以多種技術的發展為前提。

　　1．寬頻網路技術

　　真正的雲存儲系統是一個多區域分佈、遍佈全國、甚至於遍佈全球的龐大公用系統，使用者需要通過ADSL、DDN等寬頻接人設備來連接雲存儲，而不是通過FC、SCSI或乙太網線纜直接連接一臺獨立的、私有的存儲設備上。只有寬頻網路得到充足的發展，使用者才有可能獲得足夠大的數據傳輸帶寬，實現大量容量數據的傳輸，真正享受到雲存儲服務。

　　2．Web2．0技術

　　Web2．0技術的核心是分享。只有通過Web2．0技術，雲存儲的使用者才有可能通過PC、手機、移動多媒體等多種設備，實現數據、文檔、圖片和視音頻等內容的集中存儲和資料共用。Web2．0技術的發展使得使用者的應用方式和可得服務更加靈活和多樣。

　　3．應用存儲技術

　　雲存儲不僅僅是存儲，更多的是應用。應用存儲是一種在存儲設備中集成了應用軟體功能的存儲設備，它不僅具有數據存儲功能，還具有應用軟體功能，可以看作是伺服器和存儲設備的集合體。應用存儲技術的發展可以大量減少雲存儲中伺服器的數量，從而降低系統建設成本，減少系統中由伺服器造成單點故障和性能瓶頸，減少數據傳輸環節，提供系統性能和效率，保證整個系統的高效穩定運行。

　　4．集群技術和網格技術與分散式文件系統

　　雲存儲系統是一個多存儲設備、多應用、多服務協同工作的集合體，任何一個單點的存儲系統都不是雲存儲。雲存儲是由多個存儲設備構成的，不同存儲設備之間需要通過集群技術、分散式文件系統和網格計算等技術，實現多個存儲設備之間的協同工作，使多個存儲設備可以對外提供同一種服務，並提供更大更強更好的數據訪問性能。如果沒有這些技術的存在，雲存儲就不可能真正實現，而只能是一個一個的獨立系統，不能形成雲狀結構。

　　5．CDN內容分發、P2P技術、數據壓縮技術、重覆數據刪除技術、數據加密技術

　　CDN內容分發系統、數據加密技術保證雲存儲中的數據不會被未授權的用戶所訪問，同時，通過各種數據備份和容災技術保證雲存儲中的數據不會丟失，保證雲存儲自身的安全和穩定。

　　6．存儲虛擬化技術、存儲網路化管理技術

　　雲存儲中的存儲設備數量龐大且分佈在不同地域，如何實現不同廠商、不同型號甚至於不同類型(如FC存儲和IP存儲)的多台設備之間的邏輯捲管理、存儲虛擬化管理和多鏈路冗餘管理是一個巨大的難題，這個問題得不到解決，存儲設備就會是整個雲存儲系統的性能瓶頸，結構上也無法形成一個整體，而且還會帶來後期容量和性能擴展難等問題。

　　雲存儲中的存儲設備數量龐大、分佈地域廣造成的另外一個問題就是存儲設備運營管理問題。雖然這些問題對於雲存儲的使用者不需要關心，但雲存儲的運營單位卻必須要通過切實可行和有效的手段來解決集中管理難、狀態監控難、故障維護難、人力成本高等問題。因此，雲存儲必須要具有一個高效的類似與網路管理軟體一樣的集中管理平臺，以實現雲存儲系統中所有存儲設備、伺服器和網路設備的集中管理和狀態監控。

　　雖然在可擴展的NAS平臺上有很多選擇，但是通常來說，他們表現為一種服務、一種硬體設備或一種軟體解決方案，每一種選擇都有它們自身的優勢和劣勢，具體內容如下：

　　(1)服務模式：最普遍的情況下，當你考慮雲存儲的時候，你就會想到其所提供的服務產品。這種模式很容易開始，其可擴展性幾乎是瞬間的。根據定義，你擁有一份異地數據的備份。然而，帶寬是有限的，因此要考慮你的恢復模型。你必須要滿足你網路之外的數據的需求。

　　(2)HW模式：這種部署位於防火牆背後，並且其提供的吞吐量要比公共的內部網路好。購買整合的硬體存儲解決方案非常方便，而且，如果廠商在安裝／管理上做得好，其往往伴隨有機架和堆棧模型。但是，這樣你就會放棄某些摩爾定律的優勢，因為你會受到硬體設備的限制。

　　(3)SW模式：SW模式具有HW模式所具有的優勢。另外，它還具有Hw所沒有的價格競爭優勢。然而，其安裝／管理過程式要謹慎關註，因為安裝某些SW的確非常困難，或者可能需要其他條件來限制人們選擇HW，而選擇SW。

　　雲存儲是在雲計算(Cloud Computing)概念上延伸和發展出來的一個新概念。雲計算是分散式處理(Distributed Computillg)、並行處理(Parallel Computing)和網格計算(Grid Computing)的發展，是透過網路將龐大的計算處理程式自動分拆成無數個較小的子程式，再交由多部伺服器所組成的龐大系統經計算分析之後將處理結果回傳給用戶。通過雲計算技術，網路服務提供者可以在數秒之內，處理數以千萬計甚至億計的信息，達到和“超級電腦”同樣強大的網路服務。

　　雲計算可以認為是軟體即服務SaaS、網格計算、虛擬化三個概念的結合體。虛擬化即基礎設施的虛擬化(Virtualization)，核心是傳統已經成熟的集群技術和分區技術的結合。虛擬化目前還包括網路虛擬化(VPN)和存儲虛擬化(SAN／NAS)等技術，與伺服器虛擬化一起，構建為一個完整的計算資源虛擬化環境，在虛擬化管理系統的控制下，實現動態的可配置的智能系統。

　　網格計算(Grid Computing)是一種計算能力提升的方式，其原理是依據並行計算理論，通過任務分解，將子任務分散式提交到其他伺服器上運行，以獲得更強大計算能力。網格計算的基礎技術就是WebServices，通過任務分解為服務，這些服務可以在分散式的計算環境中，實現和設備無關的標準交互，並且通過服務的封裝，可以實現並行的事務處理。應用場景：科學計算，天氣預報，地震分析、地質勘探、石油勘探等；網格計算的特色是：重計算，弱流程，少交互，計算任務需要消耗大量的CPU計算系統開銷。雲計算是網格計算的另一種表現形式，是相似技術的兩種表現形式。

　　雲計算的平臺技術主要是依賴於SOA，而SOA的主要實現技術體系也就是WebServ—ices，因此雲計算和網格計算的核心技術基礎是相似的。雲計算系統的建設目標是將運行在PC上、或單個伺服器上的獨立的、個人化的運算遷移到一個數量龐大伺服器”雲”中，由這個雲系統來負責處理用戶的請求．並輸出結果，它是一個以數據運算和處理為核心的系統。

　　雲存儲是指通過集群應用、網格技術或分散式文件系統等功能，將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。當雲計算系統運算和處理的核心是大量數據的存儲和管理時，雲計算系統中就需要配置大量的存儲設備，那麼雲計算系統就轉變成為一個雲存儲系統，所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。

　　與雲計算系統相比，雲存儲可以認為是配置了大容量存儲空間的一個雲計算系統。從架構模型來看，雲存儲系統比雲計算系統多了一個存儲層，同時，在基礎管理也多了很多與數據管理和數據安全有關的功能，兩者在訪問層和應用介面層則是完全相同的。