內容分髮網絡

出自 MBA智库百科(https://wiki.mbalib.com/)

內容分髮網絡(Content Delivery Network，Content Distribution Network；CDN)

　　內容分髮網絡是指一種通過互聯網互相連接的電腦網路系統，提供高性能、可擴展性、及低成本的網路將內容傳遞給用戶。有時也被稱作內容傳遞網路作為一種提高網路內容，特別是提高流媒體內容傳輸的服務質量、節省骨幹網路帶寬的技術，在國內外得到越來越廣泛的應用。

　　內容分髮網絡其目的是通過在現有的Internet中增加一層新的網路架構，將網站的內容發佈到最接近用戶的網路"邊緣"，使用戶可以就近取得所需的內容，解決Internet網路擁塞狀況，提高用戶訪問網站的響應速度。從技術上全面解決由於網路帶寬小、用戶訪問量大、網點分佈不均等原因，解決用戶訪問網站的響應速度慢的根本原因。

　　狹義地講，內容分發佈網路(CDN)是一種新型的網路構建方式，它是為能在傳統的IP網發佈寬頻豐富媒體而特別優化的網路覆蓋層；而從廣義的角度，CDN代表了一種基於質量與秩序的網路服務模式。簡單地說，內容發佈網(CDN)是一個經策略性部署的整體系統，包括分散式存儲、負載均衡、網路請求的重定向和內容管理４個要件，而內容管理和全局的網路流量管理(Traffic Management)是CDN的核心所在。通過用戶就近性和伺服器負載的判斷，CDN確保內容以一種極為高效的方式為用戶的請求提供服務。總的來說，內容服務基於緩存伺服器，也稱作代理緩存(Surrogate)，它位於網路的邊緣，距用戶僅有"一跳"(Single Hop)之遙。同時，代理緩存是內容提供商源伺服器（通常位於CDN服務提供商的數據中心）的一個透明鏡像。這樣的架構使得CDN服務提供商能夠代表他們客戶，即內容供應商，向最終用戶提供儘可能好的體驗，而這些用戶是不能容忍請求響應時間有任何延遲的。據統計，採用CDN技術，能處理整個網站頁面的70%～95％的內容訪問量，減輕伺服器的壓力，提升了網站的性能和可擴展性。

　　CDN的基本工作原理就是廣泛採用各種Cache伺服器,將這些Cache伺服器分佈到用戶訪問相對集中的地區或網路中,並利用全球負載均衡技術(G10MServer腸adBalance,GSLB)將用戶的訪問指向離用戶最近的工作正常的Cacha伺服器上,由它直接響應用戶的請求。如果Cache伺服器中沒有用戶要訪問的內容,它會根據配置自動到原伺服器去抓取相應的頁面並提供給用戶。可以說,一旦CDN網路正常運行後,內容的分佈和用戶的訪問定位全部是自動的。從概念上看,CDN並不依賴於非常複雜或難於理解的技術,但要建立一個高效可靠的CDN,至少需要5個基本部分,具體如下:

　　1.原始伺服器

　　為了便於管理和配置,CDN網路中的各個節點一般都使用Cache伺服器來保存用戶頻繁訪問的網站內容,這些伺服器中只保留一個副本。因此,網站的內容必須要有原始存放的地方,所以要根據網站的大小用一個或多個伺服器用來保存原始的Web內容。大部分情況下,原始伺服器安裝在IDC中,由內容提供商自己負責維護和管理。

　　2.GSLB控制伺服器

　　只有有效地解決了可擴展性和可用性的CDN網路才稱得上是一個有價值的解決方案。GS比控制伺服器是專用的具有高可靠和高冗餘性的設備,主要用來將流量指向到那些正常工作的Cache伺服器上,併在它們工作異常時及時將流量轉走。這些控制器應該能夠直接或間接地取得分佈在各地CDN節點中的Cacha伺服器的工作狀態和性能,並可以判斷用戶的來源,以保證用戶有效地分配到離其“邏輯上”最近、最健康的節點上。

　　3.節點一Cache和本地負載均衡伺服器(SLB)

　　在各個節點上,Cache伺服器扮演Web伺服器的角色,將保存原始伺服器上相應內容的副本,以便及時響應用戶的請求。目前有兩種方式可以將內容分佈到各節點的Cache上:一種是“拉”的方式,Cache在接受用戶的請求後才代替用戶到原伺服器去抓取內容,同時保存一份副本在本地;另一種是“推”的方式,Cache會將預先指定的內容通過專門的方式傳送到CDN網路中所有的或指定的Cache伺服器上。在實際的CDN網路環境中,“拉”和“推”這兩種方式一般會混合使用。每個節點上一般都會有多於一個Cache伺服器用於提供不同的服務或提高每個節點的處理能力。例如,有的Cache伺服器專門用來支持HTTP服務,有的專門支持FTI明民務,有的則提供流媒體服務。因此,還需要一個本地負載均衡控制器來實現流量分配的功能。

　　4.內容管理系統

　　CDN網路本質上是一個“內容的網路”。因此,對內容的管理是一個複雜的任務,無論採用“拉”還是“推”的方式,都需要預先做出判斷,如哪些內容可以緩存、可以緩存多久或哪些內容根本不能保留在Cache伺服器中而必須直接回原伺服器等,這些都依賴於內容提供商提供的內容和目標客戶群。對於IntemetCDN網路來說,一個完善和穩定的內容管理系統更是網路成功的關鍵。

　　5.網路監控管理系統

　　每個CDN網路都需要一個網路監控和管理中心,這和任何一個系統或網路都需要網管中心一樣,是保證整個系統正常運轉的關鍵。由於CDN網路是一個分散式系統,如何實現集中監控是保證系統可靠、穩定運行的重要因素。網路監控系統必須能夠實現分佈檢測和集中告警,能在第一時間內發現故障並定位故障。而且,由於CDN網路是一項內容服務,在監控網路連通的同時還要對應用層的各項服務進行監控。

　　內容分髮網絡的關鍵技術主要有內容路由技術、內容分發技術、內容存儲技術、內容管理技術等。

　　1.內容路由技術

　　CDN負載均衡系統實現CDN的內容路由功能。它的作用是將用戶的請求導向整個CDN網路中的最佳節點。最佳節點的選定可以根據多種策略，例如距離最近、節點負載最輕等。負載均衡系統是整個CDN的核心，負載均衡的準確性和效率直接決定了整個CDN的效率和性能。

　　通常負載均衡可以分為兩個層次：全局負載均衡（GSLB）和本地負載均衡（SLB）。全局負載均衡（GSLB）主要的目的是在整個網路範圍內將用戶的請求定向到最近的節點（或者區域）。因此，就近性判斷是全局負載均衡的主要功能。本地負載均衡一般局限於一定的區域範圍內，其目標是在特定的區域範圍內尋找一臺最適合的節點提供服務，因此，CDN節點的健康性、負載情況、支持的媒體格式等運行狀態是本地負載均衡進行決策的主要依據。

　　負載均衡可以通過多種方法實現，主要的方法包括DNS、應用層重定向、傳輸層重定向等等。

　　對於全局負載均衡而言，為了執行就近性判斷，通常可以採用兩種方式，一種是靜態的配置，例如根據靜態的IP地址配置表進行IP地址到CDN節點的映射。另一種方式是動態的檢測，例如實時地讓CDN節點探測到目標IP的距離（可以採用RRT，Hops作為度量單位），然後比較探測結果進行負載均衡。當然，靜態和動態的方式也可以綜合起來使用。

　　對於本地負載均衡而言，為了執行有效的決策，需要實時地獲取Cache設備的運行狀態。獲取的方法一般有兩種，一種是主動探測，一種是協議交互。主動探測針對SLB設備和Cache設備沒有協議交互介面的情況，通過ping等命令主動發起探測，根據返回結果分析狀態。另一種是協議交互，即SLB和Cache根據事先定義好的協議實時交換運行狀態信息，以便進行負載均衡。比較而言，協議交互比探測方式要準確可靠，但是目前尚沒有標準的協議，各廠家的實現一般僅是私有協議，互通比較困難。

　　2.內容分發技術

　　內容分發包含從內容源到CDN邊緣的Cache的過程。從實現上看，有兩種主流的內容分發技術：PUSH和PULL。

　　PUSH是一種主動分發的技術。通常，PUSH由內容管理系統發起，將內容從源或者中心媒體資源庫分發到各邊緣的Cache節點。分發的協議可以採用HTTP/FTP等。通過PUSH分發的內容一般是比較熱點的內容，這些內容通過PUSH方式預分發（Preload）到邊緣Cache，可以實現有針對的內容提供。對於PUSH分發需要考慮的主要問題是分發策略，即在什麼時候分發什麼內容。一般來說，內容分發可以由CP（內容提供商）或者CDN內容管理員人工確定，也可以通過智能的方式決定，即所謂的智能分發。它根據用戶訪問的統計信息，以及預定義的內容分發的規則，確定內容分發的過程。

　　 PULL是一種被動的分發技術，PULL分發通常由用戶請求驅動。當用戶請求的內容在本地的邊緣Cache上不存在（未命中）時，Cache啟動PULL方法從內容源或者其他CDN節點實時獲取內容。在PULL方式下，內容的分發是按需的。

　　在實際的CDN系統中，一般兩種分發方式都支持，但是根據內容的類型和業務模式的不同，在選擇主要的內容分發方式時會有所不同。通常，PUSH的方式適合內容訪問比較集中的情況，如熱點的影視流媒體內容；PULL方式比較適合內容訪問分散的情況。

　　在內容分發的過程中，對於Cache設備而言，關鍵的是需要建立內容源URL、內容發佈的URL、用戶訪問的URL，以及內容在Cache中存儲的位置之間的映射關係。

　　3.內容存儲技術

　　對於CDN系統而言，需要考慮兩個方面的內容存儲問題。一個是內容源的存儲，一個是內容在Cache節點中的存儲。

　　對於內容源的存儲，由於內容的規模比較大（通常可以達到幾個甚至幾十個TB），而且內容的吞吐量較大，因此，通常採用海量存儲架構。如NAS和SON。

　　對於在Cache節點中的存儲，是Cache設計的一個關鍵問題。需要考慮的因素包括功能和性能兩個方面：在功能上包括對各種內容格式的支持、對部分緩存的支持，在性能上包括支持的容量、多文件吞吐率、可靠性、穩定性。

　　其中，多種內容格式的支持要求存儲系統根據不同文件格式的讀寫特點進行優化，以提高文件內容讀寫的效率，特別是對流媒體文件的讀寫。

　　部分緩存能力指流媒體內容可以以不完整的方式存儲和讀取。部分緩存的需求來自用戶訪問行為的隨機性，因為許多用戶並不會完整地收看整個流媒體節目，事實上，許多用戶訪問單個流媒體節目的時間不超過10分鐘。因此，部分緩存能力能夠大大提高存儲空間的利用率，並有效地提高用戶請求的響應時間。但是部分緩存可能導致內容出現碎片問題，需要進行良好的設計和控制。

　　Cache存儲的另一個重要因素是存儲的可靠性，目前，多數存儲系統都採用了RAID技術進行可靠存儲。但是不同設備使用的RAID方式各有不同。

　　4.內容管理技術

　　內容管理在廣義上涵蓋了從內容的發佈、註入、分發、調整、傳遞等一系列過程。在這裡，內容管理重點強調內容進入Cache點後的內容管理，我們稱為本地內容管理。

　　本地內容管理主要針對一個CDN節點（由多個CDN Cache設備和一個SLB設備構成）進行。本地內容管理的主要目標是提高內容服務的效率，提高本地節點的存儲利用率。通過本地內容管理，可以在CDN節點實現基於內容感知的調度，通過內容感知的調度，可以避免將用戶重定向到沒有該內容的Cache設備上，從而提高負載均衡的效率。通過本地內容管理還可以有效地實現在CDN節點內容的存儲共用，提高存儲空間的利用率。

　　在實現上，本地內容管理主要包括如下幾個方面：

　　一是本地內容索引。本地內容管理首先依賴於對本地內容的瞭解。包括每個Cache設備上內容的名稱、URL、更新時間、內容信息等。本地內容索引是實現基於內容感知的調度的關鍵。

　　二是本地內容拷貝。通常，為了提高存儲效率，同一個內容在一個CDN節點中僅存儲一份，即僅存儲在某個特定的Cache上。但是一旦對該內容的訪問超過該Cache的服務提供能力，就需要在本地（而不是通過PUSL的方式）實現內容的分發。這樣可以大大提高效率。

　　三是本地內容訪問狀態信息收集。搜集各個Cache設備上各個內容訪問的統計信息，Cache設備的可用服務提供能力及內容變化的情況。

　　可以看出，通過本地內容管理，可以將內容的管理從原來的Cache設備一級，提高到CDN節點一級，從而大大增加了CDN的可擴展性和綜合能力。

　　綜上所述，CDN作為一種支持大規模高質量的流媒體服務的關鍵技術，目前已經基本成熟，具備了廣泛應用的能力。

　　為了提高訪問服務質量,設計CDN系統,應該綜合考慮以下要求:

　　1)安全可靠性:為保證將來的業務應用,網路必須具有高可靠性。可以在採用硬體備份、冗餘等可靠性技術的基礎上,採用相關的軟體技術,提供較強的管理機制、控制手段、事故監控和網路安全保密等技術措施,提高網路系統的安全可靠性。

　　2)靈活性和可擴展性:網路系統是一個不斷發展的系統,所以它必須具有良好的擴展性。能夠根據將來信息化的不斷深入發展的需要,方便地擴展網路覆蓋範圍、擴大網路容量和提高網路各層次節點的功能。

　　3)開放性:具備與多種協議電腦通信網路互連互通的特性,確保網路系統基礎設施的作用可以充分發揮。

　　4)可管理性:能夠實現監控、監測整個網路的運行狀況,合理分配網路資源、動態配置網路負載,可以迅速確定網路故障等。

　　Internet流量指數性增長以及用戶對網路速度的需求已促使網路資源分發的準確性、可用性、可靠性等成為互聯網技術的關鍵問題。在上個世紀90年代，由於網路接入帶寬的限制，研究人員提出採用代理緩存技術提升網路性能。緩存技術具有顯著的優勢:通過縮短資源在網路中的傳輸距離降低帶寬消耗與網路擁塞，進而增強資源可用性與服務可靠性。然而代理技術具有較強的本地局部性，對於整個互聯網的效率提升作用有限。當前的代理緩存技術主要以層次結構緩存為主，以改進服務性能與減少帶寬消耗。繼代理緩存技術之後，研究人員提出一種服務場概念，但是服務場依舊只是在源伺服器附近部署服務機群與4~7層交換機等對網路請求進行分發。

　　隨著Web技術的不斷推進，靜態頁面在整個互聯網流量中的比重持續下降，動態交互數據與多媒體共用資源的迅猛增長導致代理緩存技術很難滿足這些內容分發的需求。更關鍵的在於近源的部署策略並不能很好的解決類似於flash crowd與slashdot現象。1998年，麻省理工大學Leighton等人為解決在整個互聯網中長距離傳輸的時延與網路擁塞問題，首次提出內容分髮網絡這種新型的覆蓋網路結構，並依托該項新技術建立了全球最大的內容分髮網絡服務提供商Aka-mai。在經歷10餘年的技術改進，內容分髮網絡已經發展到第4代，如下圖給出它的演化過程。

　　內容分髮網絡的迅猛發展促使國內外研究機構、業界廠商與國際相關組織開始進行制定標準化文檔。互聯網工程任務組IETF早在2001年就將內容分髮網絡內容寫進RFC規範中，國際電信聯盟ITU(Inter-nationalTelecom union)，互聯網流媒體聯盟ISMA(InternetStreamingMediaAlliance)，歐洲電信標準化協會ETSI(Eu-ropeanTelecommunications Standards Institute)均隨後在其標準化文件中對內容分髮網絡進行闡述。2009年中國電信研究院報告指出全球內容分髮網絡市場年均複合增長率CAGR(Compound annual growth rate)達到4416%，並預測到2013年其市場規模將達到45億美元。

　　目前的CDN服務主要應用於證券、金融保險、ISP、ICP、網上交易、門戶網站、大中型公司、網路教學等領域。另外在行業專網、互聯網中都可以用到，甚至可以對區域網進行網路優化。利用CDN，這些網站無需投資昂貴的各類伺服器、設立分站點，特別是流媒體信息的廣泛應用、遠程教學課件等消耗帶寬資源多的媒體信息，應用CDN網路，把內容複製到網路的最邊緣，使內容請求點和交付點之間的距離縮至最小，從而促進Web站點性能的提高，具有重要的意義。CDN網路的建設主要有企業建設的CDN網路，為企業服務；IDC的CDN網路，主要服務於IDC和增值服務；網路運營上主建的CDN網路，主要提供內容推送服務：CDN網路服務商．專門建設的CDN用於做服務，用戶通過與CDN機構進行合作，CDN負責信息傳遞工作，保證信息正常傳輸，維護傳送網路，而網站只需要內容維護，不再需要考慮流量問題。

　　如今,CDN技術方案之所以能夠蓬勃發展,其主要原因是:

　　(1)CDN方案能夠提高站點的性能和可靠性,它允許網路內容位於最靠近終端用戶的位置,並可最小化原始伺服器的負載和傳翰延遲時間。

　　(2)它消除了Iniemet的擁塞點,允許豐富內容的有效傳遞,使視頻和其他豐富內容的傳遞成為可能的同時,卻沒有降低站點的性能。

　　(3)CDN方案優化了昂貴站點的帶寬,消除了對通過更昂貴網路的內容需求,它還提供了增值服務,允許ISP從竟爭對手、決定性的商標產權等方面區分它們的服務。

　　CDN的用戶包括IsP、ICP、媒體網站、大中型企業、電子商務網站和政府網站。利用CDN技術,這些網站無需投資昂貴的各類伺服器、設立分站點。通過與CDN合作,CDN將負責信息傳遞工作,保證信息正常傳輸,維護傳送網路,而網站只需要維護內容,不需要考慮流量問題。既節約了成本,又提高了效率。對於廣大網路用戶而言,在CDN技術的基礎上,他們可從網路內容提供者那裡獲得更多的新業務,可以快速訪問網路上的內容,獲得更好的服務質量。對於Web企業而言,CDN技術將給他們帶來兩個明顯的好處:提高了客戶的滿意度—主動將經常被訪問的網路內容發送到距離用戶更近的伺服器可以縮短響應時間,消除“找不到伺服器”的錯誤,提高用戶的忠誠度。加強對Web資源的控制管理—增強的管理功能優化了網路內容提供者的高優先順序網路內容、應用軟體和企業計劃,使他們獲得最大的收益。

　　1.給大中型企業帶來的好處

　　目前的全球化企業需要一種統一的方式來提高帶寬有效利用,降低管理成本並提供更多的智能化流量和內容發佈。CDN有助於:

　　(l)增強企業網路性能:在網路邊緣(接近客戶、廠商、合作伙伴和員工)有效而安全控制和提供內容/服務來更貼近客戶、廠商、合作伙伴及員工。

　　(2)提高工作效率:通過對互聯網內容的一致、可靠且安全的訪問,提高客戶滿意度和廠商自信心。

　　(3)降低網路管理成本併進一步節約帶寬,從而使公司的利潤增加。

　　2.給Isp、ICP等服務提供商帶來的好處

　　服務提供商在互聯網上將適當的信息在適當的時間送抵適當的地點,這對創造新的收人機會以及提高在客戶心中的重要地位是至關重要的。CDN有助於:

　　(l)提高報告和服務級別管理監控內容、使用情況和性能數字。

　　(2)縮短管理時間,使基礎設施上的所有組件都能用一個政策、通過一個入口來進行配置。

　　(3)提供增值服務,如超載保護和快速處理大量通信的保證。

　　(4)協調設備活動,建立配置,並利用實時網路使用情況和性能指標數據來提供綜合的報告。

　　(5)帶來新的收入來源,通過可定製的外管服務來實現。

　　3.給寬頻提供商帶來的好處

　　寬頻提供商控制著內容到達最終用戶必須經過的“最後一英里”。通過決定全球範圍最快的可用路徑,並將內容通過該路徑進行傳輸來優化內容的提供。CDN有助於:

　　(l)提高帶寬有效利用和盈利性。

　　(2)提供準確的內容升級、預先安排的內容併進行新內容的激活。

　　(3)允許提供商向客戶銷售不同級別的接人,並利用外管服務創造新的收人來源。

　　(4)實現寬頻承諾,按照需要快速提供豐富的內容。

　　4.給互聯網數據中心(IDC)帶來的好處

　　CDN技術除了能明顯改善網路性能外,還支持更多新業務的出現和開展。隨著Internet的廣泛發展和應用,目前IDC(InrernetDataCenter)得到了迅速發展。其中數字影院是未來IDC的一個典型應用,它通過分佈在全世界的IDC,把影視內容直接快速分發到全世界各地,並同時收取費用。而IDC所依賴的核心技術就是CDN。我們可以預見,在不久的將來,我們的身邊將出現一家又一家的數字電影院,而我們在完美的視覺享受里,可能都感覺不到,通過網路傳輸流媒體的時代已經來臨。

　　與目前現有的內容發佈模式相比較,CDN強調了網路在內容發佈中的重要性。通過引人主動的內容管理層的和全局負載均衡,CDN從根本上區別於傳統的內容發佈模式。在傳統的內容發佈模式中,內容的發佈由ICP的應用伺服器完成,而網路只表現為一個透明的數據傳輸通道,這種透明性表現在網路的質量保證僅僅停留在數據包的層面,而不能根據內容對象的不同區分服務質量。此外,由於IP網的“儘力而為”的特性使得其質量保證是依靠在用戶和應用伺服器之間端到端地提供充分的、遠大於實際所需的帶寬通量來實現的。在這樣的內容發佈模式下,不僅大量寶貴的骨幹帶寬被占用,同時ICP的應用伺服器的負載也變得非常重,而且不可預計。當發生一些熱點事件和出現浪涌流量時,會產生局部熱點效應,從而使應用伺服器過載退出服務。

　　另外,這種基於中心的應用伺服器的內容發佈模式的另外一個缺陷在於個性化服務的缺失和對寬頻服務價值鏈的扭曲,內容提供商承擔了他們不該乾也乾不好的內容發佈服務。縱觀整個寬頻服務的價值鏈,內容提供商和用戶位於整個價值鏈的兩端,中間依靠網路服務提供商將其串接起來。隨著互聯網工業的成熟和商業模式的變革,在這條價值鏈上的角色越來越多也越來越細分。比如內容/應用的運營商、托管服務提供商、骨幹網絡服務提供商、接人服務提供商等等。在這一條價值鏈上的每一個角色都要分工合作、各司其職才能為客戶提供良好的服務,從而帶來多蔽的局面。

　　從內容與網路的結合模式上看,內容的發佈已經走過了ICP的內容(應用)伺服器和IDC(IntemetDataCenter)這兩個階段。IDC的熱潮也催生了托管服務提供商這一角色。但是,IDC並不能解決內容的有效發佈問題。內容位於網路的中心並不能解決骨幹帶寬的占用和建立IP網路上的流量秩序。因此將內容推到網路的邊緣,為用戶提供就近性的邊緣服務,從而保證服務的質量和整個網路上的訪問秩序就成了一種顯而易見的選擇。而這就是CDN服務模式。CDN的建立解決了困擾內容運營商的內容“集中與分散”的兩難選擇。無疑對於構建良好的互聯網價值鏈是有價值的,也是不可或缺的。對用戶來說,通過CDN系統,得到響應的時間被縮短,數據傳輸的穩定性被提高,從而提高了網路服務的總體性能。對內容提供商來說,通過CDN網路,只需建設和管理極少量的伺服器,就可提供數倍於伺服器容量的服務,極大地提高了網路性能,節約了人力和物力。