CDN詳細(xì)的技術(shù)解釋和實現(xiàn)原則

概述

Internet快速發(fā)展給人們的工作和生活帶來了極大的便利Internet對服務(wù)質(zhì)量和訪問速度的要求越來越高。雖然帶寬在增加，但用戶數(shù)量也在增加Web由于服務(wù)器負(fù)載和傳輸距離等因素的影響，響應(yīng)速度慢或經(jīng)常抱怨和麻煩。

解決方案是在網(wǎng)絡(luò)傳輸中使用緩存技術(shù)Web就近訪問服務(wù)數(shù)據(jù)流是優(yōu)化網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)姆浅Ｓ行У募夹g(shù)，從而獲得高速體驗和質(zhì)量保證。

網(wǎng)絡(luò)緩存技術(shù)的目的是減少網(wǎng)絡(luò)中冗余數(shù)據(jù)的重復(fù)傳輸，最小化廣域傳輸?shù)奖镜鼗蚋浇L問?；ヂ?lián)網(wǎng)上傳輸?shù)拇蟛糠謨?nèi)容都是重復(fù)的Web/FTP數(shù)據(jù)，Cache服務(wù)器及應(yīng)用Caching技術(shù)網(wǎng)絡(luò)設(shè)備可以大大優(yōu)化數(shù)據(jù)鏈路性能，消除數(shù)據(jù)峰值訪問造成的結(jié)點(diǎn)設(shè)備堵塞。

Cache服務(wù)器具有緩存功能，因此大多數(shù)網(wǎng)頁對象(Webpageobject)，如html,htm,PHP等待頁面文件，gif,tif,png,bmp在有效期內(nèi)，圖片文件等格式文件(TTL)對于重復(fù)訪問，無需從原始網(wǎng)站重新傳輸文件實體，通過簡單的認(rèn)證(FreshnessValidation)-幾十字節(jié)的傳輸Header，本地副本可直接傳遞給訪問者。

由于緩存服務(wù)器通常部署在靠近用戶端的地方，因此可以獲得類似局域網(wǎng)的響應(yīng)速度，有效減少廣域帶寬的消耗。據(jù)統(tǒng)計，Internet超過80%的用戶重復(fù)訪問20%的信息資源，為緩存技術(shù)的應(yīng)用提供了先決條件。

緩存服務(wù)器的系統(tǒng)結(jié)構(gòu)和Web服務(wù)器不同，緩存服務(wù)器能比Web服務(wù)器性能更高，緩存服務(wù)器不僅可以提高響應(yīng)速度，節(jié)省帶寬，還可以加速Web有效減輕源服務(wù)器負(fù)荷的服務(wù)器非常有效。

高速緩存服務(wù)器(CacheServer)是軟硬件高度集成的專業(yè)功能服務(wù)器，主要從事高速緩存加速服務(wù)，一般部署在網(wǎng)絡(luò)邊緣。根據(jù)加速對象的不同，分為客戶端加速和服務(wù)器加速，客戶端加速Cache在網(wǎng)絡(luò)出口部署，在本地緩存經(jīng)常訪問的內(nèi)容，提高響應(yīng)速度，節(jié)省帶寬；服務(wù)器加速，Cache作為服務(wù)器前端部署Web提高服務(wù)器的前置機(jī)Web加快訪問速度的服務(wù)器性能。如果多臺Cache通過有效的機(jī)制管理加速服務(wù)器并分布在不同地區(qū)Cache網(wǎng)絡(luò)，引導(dǎo)用戶就近訪問，全球負(fù)荷平衡流量，即CDN網(wǎng)絡(luò)內(nèi)容傳輸?shù)幕舅枷搿?/p>

什么是CDN內(nèi)容分發(fā)網(wǎng)絡(luò)

CDN的全稱是ContentDeliveryNetwork，即內(nèi)容分發(fā)網(wǎng)絡(luò)。其目的是通過現(xiàn)有Internet添加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)站內(nèi)容發(fā)布到最接近用戶的網(wǎng)絡(luò)”邊緣”，用戶可以在附近獲取所需內(nèi)容并解決問題Internet提高用戶訪問網(wǎng)站的響應(yīng)速度。全面解決網(wǎng)絡(luò)帶寬小、用戶訪問量大、網(wǎng)絡(luò)分布不均等原因，解決用戶訪問網(wǎng)站響應(yīng)速度慢的根本原因。

狹義地說，內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)它是一種新型的網(wǎng)絡(luò)建設(shè)方式，是傳統(tǒng)的IP從廣義的角度來看，網(wǎng)絡(luò)發(fā)布了豐富媒體的網(wǎng)絡(luò)覆蓋層；CDN它代表了基于質(zhì)量和秩序的網(wǎng)絡(luò)服務(wù)模式。

簡單地說，內(nèi)容發(fā)布網(wǎng)絡(luò)(CDN)它是一個戰(zhàn)略部署的整體系統(tǒng)，包括分布式存儲、負(fù)載平衡、網(wǎng)絡(luò)要求重定位和內(nèi)容管理四個要素，以及內(nèi)容管理和全球網(wǎng)絡(luò)流量管理(TrafficManagement)是CDN核心所在。判斷用戶就近性和服務(wù)器負(fù)載，CDN確保內(nèi)容以極高效的方式為用戶的請求提供服務(wù)。

一般來說，基于緩存服務(wù)器的內(nèi)容服務(wù)也被稱為代理緩存(Surrogate)，它位于網(wǎng)絡(luò)的邊緣，距離用戶只有”一跳”(SingleHop)之遙。同時，代理緩存是內(nèi)容提供商源服務(wù)器(通常位于CDN服務(wù)提供商數(shù)據(jù)中心)的透明鏡像。這種結(jié)構(gòu)CDN服務(wù)提供商可以代表他們的客戶，即內(nèi)容提供商，為最終用戶提供盡可能好的體驗，而這些用戶不能容忍任何延遲請求響應(yīng)時間。

據(jù)統(tǒng)計，采用CDN該技術(shù)可以處理70%~95%的內(nèi)容訪問，減輕服務(wù)器壓力，提高網(wǎng)站的性能和可擴(kuò)展性。

與現(xiàn)有的內(nèi)容發(fā)布模式相比，CDN強(qiáng)調(diào)網(wǎng)絡(luò)在內(nèi)容發(fā)布中的重要性。通過引入積極的內(nèi)容管理層和整體負(fù)荷平衡，CDN與傳統(tǒng)的內(nèi)容發(fā)布模式基本不同。在傳統(tǒng)的內(nèi)容發(fā)布模式下，內(nèi)容發(fā)布是由ICP應(yīng)用服務(wù)器完成，網(wǎng)絡(luò)只表現(xiàn)為透明的數(shù)據(jù)傳輸通道，網(wǎng)絡(luò)質(zhì)量保證僅保持在數(shù)據(jù)包層面，不能根據(jù)不同的內(nèi)容對象區(qū)分服務(wù)質(zhì)量。

此外，由于IP網(wǎng)的”盡力而為”其質(zhì)量保證的特點(diǎn)取決于在用戶和應(yīng)用服務(wù)器之間端到端提供足夠的帶寬通量，遠(yuǎn)遠(yuǎn)大于實際所需的帶寬通量。在這種內(nèi)容發(fā)布模式下，不僅占用了大量寶貴的骨干帶寬，而且占用了ICP應(yīng)用服務(wù)器的負(fù)載也變得非常重，不可預(yù)測。

當(dāng)一些熱事件和浪涌流量發(fā)生時，會產(chǎn)生局部熱效應(yīng)，使應(yīng)用服務(wù)器過載退出服務(wù)。這種基于中心的應(yīng)用服務(wù)器內(nèi)容發(fā)布模式的另一個缺陷是缺乏個性化服務(wù)和扭曲寬帶服務(wù)價值鏈。內(nèi)容提供商承擔(dān)了他們不應(yīng)該做或做得不好的內(nèi)容發(fā)布服務(wù)。

縱觀整個寬帶服務(wù)的價值鏈，內(nèi)容提供商和用戶位于整個價值鏈的兩端，依靠網(wǎng)絡(luò)服務(wù)提供商將其連接起來。隨著互聯(lián)網(wǎng)行業(yè)的成熟和商業(yè)模式的改變，價值鏈中的角色越來越細(xì)分。

如運(yùn)營商、托管服務(wù)提供商、骨干網(wǎng)絡(luò)服務(wù)提供商、接入服務(wù)提供商等。價值鏈中的每一個角色都要分工合作，各司其職，為客戶提供良好的服務(wù)，從而帶來多贏的局面。從內(nèi)容與網(wǎng)絡(luò)的結(jié)合模式來看，內(nèi)容的發(fā)布已經(jīng)過去ICP服務(wù)器和內(nèi)容(應(yīng)用程序)IDC這兩個階段。IDC熱潮也催生了托管服務(wù)提供商的角色。但是，IDC并不能解決內(nèi)容的有效發(fā)布問題。位于網(wǎng)絡(luò)中心的內(nèi)容無法解決骨干帶寬的占用和建立IP網(wǎng)絡(luò)上的流量秩序。因此，將內(nèi)容推到網(wǎng)絡(luò)的邊緣，為用戶提供就近的邊緣服務(wù)，以確保整個網(wǎng)絡(luò)的服務(wù)質(zhì)量和訪問秩序已成為一個明顯的選擇。這就是內(nèi)容發(fā)布網(wǎng)(CDN)服務(wù)模式。CDN內(nèi)容運(yùn)營商困擾內(nèi)容運(yùn)營商的內(nèi)容問題”集中與分散”兩難選擇。毫無疑問，建立一個好的互聯(lián)網(wǎng)價值鏈?zhǔn)怯袃r值的，也是不可或缺的。

CDN新應(yīng)用和客戶

目前的CDN服務(wù)主要應(yīng)用于證券、金融保險、ISP、ICP、網(wǎng)上交易、門戶網(wǎng)站、媒體網(wǎng)站、大中型公司、網(wǎng)絡(luò)教學(xué)等領(lǐng)域。此外，還可以用于行業(yè)專網(wǎng)和互聯(lián)網(wǎng)，甚至可以優(yōu)化局域網(wǎng)。利用CDN，這些網(wǎng)站不需要投資昂貴的各種服務(wù)器，建立分站點(diǎn)，特別是廣泛使用流媒體信息、遠(yuǎn)程教學(xué)課件和其他媒體信息來消耗帶寬資源CDN網(wǎng)絡(luò)將內(nèi)容復(fù)制到網(wǎng)絡(luò)的最邊緣，將內(nèi)容請求點(diǎn)與交付點(diǎn)之間的距離縮小到最小，從而促進(jìn)Web網(wǎng)站性能的提高具有重要意義。

CDN網(wǎng)絡(luò)建設(shè)主要包括企業(yè)建設(shè)CDN服務(wù)企業(yè)的網(wǎng)絡(luò)；IDC的CDN網(wǎng)絡(luò)，主要服務(wù)IDC和增值服務(wù)；網(wǎng)絡(luò)運(yùn)營主建CDN主要提供內(nèi)容推送服務(wù)的網(wǎng)絡(luò)；CDN網(wǎng)絡(luò)服務(wù)提供商，專門建設(shè)CDN用戶通過做服務(wù)CDN機(jī)構(gòu)合作，CDN負(fù)責(zé)信息傳輸，確保信息正常傳輸，維護(hù)傳輸網(wǎng)絡(luò)，網(wǎng)站只需要內(nèi)容維護(hù)，不再需要考慮流量問題。

CDN它可以保證網(wǎng)絡(luò)的快速、安全、穩(wěn)定和可擴(kuò)展性。

IDC建立CDN網(wǎng)絡(luò)，IDC運(yùn)營商一般需要多個分支機(jī)構(gòu)IDC中心，服務(wù)對象是托管IDC中心的客戶，利用現(xiàn)有的網(wǎng)絡(luò)資源，投資較少，容易建設(shè)。例如某IDC全國有10個機(jī)房加入IDC的CDN網(wǎng)絡(luò)，托管在節(jié)點(diǎn)Web服務(wù)器，相當(dāng)于有10個鏡像服務(wù)器供客戶就近訪問。

寬帶城域網(wǎng)，域內(nèi)網(wǎng)絡(luò)速度快，出城帶寬一般會有瓶頸。為了體現(xiàn)城域網(wǎng)的高速體驗，解決方案是Internet網(wǎng)絡(luò)內(nèi)容高速緩存到本地，Cache城域網(wǎng)各部署POP在點(diǎn)上，用戶可以通過形成高效有序的網(wǎng)絡(luò)來訪問大部分內(nèi)容，這也是加速所有網(wǎng)站的一種方式CDN的應(yīng)用。

CDN的工作原理

在描述CDN實現(xiàn)原則，讓我們先看看傳統(tǒng)的未加緩存服務(wù)訪問過程，以便了解CDN緩存訪問與未加緩存訪問的區(qū)別

從上圖可以看出，用戶訪問沒有使用CDN緩存網(wǎng)站的過程為：

用戶向瀏覽器提供要訪問的域名；

瀏覽器調(diào)用域名解析函數(shù)庫分析域名，以獲得該域名對應(yīng)的域名IP地址;

使用瀏覽器獲得的IP域名服務(wù)主機(jī)發(fā)出數(shù)據(jù)訪問請求；

瀏覽器根據(jù)域名主機(jī)返回的數(shù)據(jù)顯示網(wǎng)頁的內(nèi)容。

通過以上四個步驟，瀏覽器完成從用戶接收域名到從域名服務(wù)主機(jī)獲取數(shù)據(jù)的整個過程。CDN網(wǎng)絡(luò)在用戶和服務(wù)器之間增加Cache層，如何引導(dǎo)用戶的請求Cache源服務(wù)器的數(shù)據(jù)主要通過接管獲取DNS讓我們來看看訪問的使用。CDN緩存后的網(wǎng)站的過程：

通過上圖，我們可以理解使用了它CDN緩存網(wǎng)站的訪問過程變?yōu)椋?/p>

用戶向瀏覽器提供要訪問的域名；

由于瀏覽器調(diào)用域名解析庫分析域名，CDN對域名解析過程進(jìn)行了調(diào)整，所以解析函數(shù)庫一般得到的是該域名對應(yīng)的CNAME記錄，以獲得現(xiàn)實IP瀏覽器需要重新獲得地址CNAME解析域名以獲得實用性IP地址；在此過程中，全局負(fù)載均衡DNS例如，根據(jù)地理位置信息進(jìn)行分析IP地址，使用戶能夠就近訪問。

得到這個分析CDN緩存服務(wù)器IP瀏覽器正在獲得實際地址IP地址以后，向緩存服務(wù)器發(fā)出訪問請求;

根據(jù)瀏覽器提供的域名，緩存服務(wù)器通過Cache內(nèi)部專用DNS該域名的實際分析得到了解析IP地址，然后從緩存服務(wù)器到現(xiàn)實IP提交地址訪問請求；

從實際出發(fā)，緩存服務(wù)器IP獲取地址內(nèi)容后，一方面在本地保存，以備將來使用，另一方面將獲得的數(shù)據(jù)返回客戶端，完成數(shù)據(jù)服務(wù)流程；

客戶端在獲得緩存服務(wù)器返回的數(shù)據(jù)后顯示并完成整個瀏覽數(shù)據(jù)請求過程。

通過以上分析，我們可以得到，為了實現(xiàn)對普通用戶的透明度（即用戶客戶端加入緩存后不需要設(shè)置，可以直接訪問加速網(wǎng)站的原始域名），同時為指定網(wǎng)站提供加速服務(wù)ICP只要在整個訪問過程中修改域名分析部分，以實現(xiàn)透明的加速服務(wù)，以下是CDN網(wǎng)絡(luò)實現(xiàn)的具體操作過程。

作為ICP，只需要把域名解釋權(quán)交給CDN運(yùn)營商，其他方面不需要任何修改；操作時，ICP修改域名的分析記錄，一般使用cname方式指向CDN網(wǎng)絡(luò)Cache服務(wù)器地址。

作為CDN運(yùn)營商，首先要做的ICP域名為實現(xiàn)提供公開分析sortlist，一般是把ICP域名解釋結(jié)果指向一個CNAME記錄;

當(dāng)需要進(jìn)行sorlist時，CDN運(yùn)營商可以使用DNS對CNAME特殊處理指向域名解析過程，使DNS服務(wù)器可以根據(jù)客戶端接收客戶端請求IP返回不同域名的地址IP地址;

由于從cname獲得的IP并帶有地址hostname信息，請求到達(dá)Cache之后，Cache必須知道源服務(wù)器IP地址，所以在CDN運(yùn)營商內(nèi)部維護(hù)DNS用于解釋用戶訪問域名的真實性的服務(wù)器IP地址;

在維護(hù)內(nèi)部DNS服務(wù)器時，還需要維護(hù)授權(quán)服務(wù)器來控制哪些域名可以緩存，哪些域名不能緩存，以避免開放代理。

CDN的技術(shù)手段

實現(xiàn)CDN高速緩存和鏡像服務(wù)器是主要技術(shù)手段?？梢怨ぷ鱀NS解析或HTTP通過兩種方式，重定向Cache服務(wù)器或異地鏡像站點(diǎn)完成內(nèi)容傳輸和同步更新。

DNS判斷用戶位置的準(zhǔn)確性大于85%，HTTP方式準(zhǔn)確率為99%上；一般情況下，各Cache用戶訪問流入數(shù)據(jù)量和服務(wù)器組Cache服務(wù)器從原始網(wǎng)站獲取內(nèi)容的數(shù)據(jù)量之比在2:1到3:1之間，即在原始網(wǎng)站上重復(fù)訪問數(shù)據(jù)量的50%到70%（主要是圖片、流媒體文件等）；對于鏡像，除數(shù)據(jù)同步流量外，其余均在本地完成，不訪問原始服務(wù)器。

鏡像站點(diǎn)(MirrorSite)我們經(jīng)常可以看到服務(wù)器，它使內(nèi)容直接本地分布，適用于靜態(tài)和準(zhǔn)動態(tài)數(shù)據(jù)同步。但是，購買和維護(hù)新服務(wù)器的成本很高。此外，必須在各地區(qū)設(shè)置鏡像服務(wù)器，并配備專業(yè)技術(shù)人員進(jìn)行管理和維護(hù)。在隨時更新各地服務(wù)器的同時，大型網(wǎng)站對帶寬的需求也會顯著增加，因此普通互聯(lián)網(wǎng)公司不會建立太多的鏡像服務(wù)器。

成本低，適用于靜態(tài)內(nèi)容。Internet統(tǒng)計顯示，80%以上的用戶經(jīng)常訪問20%的網(wǎng)站內(nèi)容。在這個規(guī)則下，緩存服務(wù)器可以處理大多數(shù)客戶的靜態(tài)請求，而原始的WWW服務(wù)器只需處理約20%的非緩存請求和動態(tài)請求，大大加快了客戶請求的響應(yīng)時間，減少了原始請求WWW負(fù)載服務(wù)器。根據(jù)美國IDC作為公司的調(diào)查CDN重要指標(biāo)——緩存的市場正在以每年近100%的速度增長，全球的營業(yè)額在2004年將達(dá)到45億美元。網(wǎng)絡(luò)流媒體的發(fā)展也將刺激市場需求。

CDN的網(wǎng)絡(luò)架構(gòu)

CDN網(wǎng)絡(luò)架構(gòu)主要分為中心和邊緣兩部分，中心是指CDN網(wǎng)管中心和DNS重定向解析中心，負(fù)責(zé)全局負(fù)載均衡，設(shè)備系統(tǒng)安裝在管理中心機(jī)房，邊緣主要指異地節(jié)點(diǎn)，CDN主要由分配載體組成Cache和負(fù)載均衡器等組成。

當(dāng)用戶訪問加入時CDN在服務(wù)網(wǎng)站時，域名分析請求最終將交給全球負(fù)載平衡DNS進(jìn)行處理。全局負(fù)載均衡DNS為用戶提供最接近用戶的節(jié)點(diǎn)地址，通過一組提前定義的策略，使用戶能夠獲得快速的服務(wù)。與此同時，它還分布在世界各地CDNC節(jié)點(diǎn)保持通信，收集各節(jié)點(diǎn)的通信狀態(tài)，確保用戶請求不分配給不可用的CDN其實節(jié)點(diǎn)是通過的DNS平衡全局負(fù)載。

對于普通的Internet對一個用戶CDN節(jié)點(diǎn)相當(dāng)于放置在它周圍的節(jié)點(diǎn)WEB。全局負(fù)載均衡DNS在節(jié)點(diǎn)中，用戶的請求被透明地指向最近的節(jié)點(diǎn)CDN服務(wù)器將響應(yīng)用戶的要求，就像網(wǎng)站的原始服務(wù)器一樣。因為它更接近用戶，響應(yīng)時間必須更快。

每個CDN節(jié)點(diǎn)由負(fù)載均衡設(shè)備和高速緩存服務(wù)器兩部分組成

負(fù)載均衡設(shè)備負(fù)責(zé)每個節(jié)點(diǎn)的每個節(jié)點(diǎn)Cache負(fù)載平衡，保證節(jié)點(diǎn)的工作效率；同時，負(fù)載平衡設(shè)備還負(fù)責(zé)收集節(jié)點(diǎn)和周圍環(huán)境的信息，并與整體負(fù)載保持一致DNS通信，實現(xiàn)整個系統(tǒng)的負(fù)載平衡。

高速緩存服務(wù)器(Cache)負(fù)責(zé)存儲客戶網(wǎng)站的大量信息，響應(yīng)當(dāng)?shù)赜脩舻脑L問請求，就像一個靠近用戶的網(wǎng)站服務(wù)器一樣。

CDN管理系統(tǒng)是整個系統(tǒng)正常運(yùn)行的保證。它不僅可以實時監(jiān)控系統(tǒng)中的各個子系統(tǒng)和設(shè)備，對各種故障發(fā)出相應(yīng)的報警，還可以實時監(jiān)控系統(tǒng)中的總流量和節(jié)點(diǎn)流量，并保存在系統(tǒng)數(shù)據(jù)庫中，方便網(wǎng)絡(luò)管理人員進(jìn)一步分析。通過完善的網(wǎng)絡(luò)管理系統(tǒng)，用戶可以修改系統(tǒng)配置。

理論上，最簡單CDN網(wǎng)絡(luò)負(fù)責(zé)整體負(fù)荷平衡DNS和每個節(jié)點(diǎn)一起Cache，即可運(yùn)行。DNS根據(jù)用戶源支持IP不同的地址分析IP，實現(xiàn)就近訪問。為了保證高可用性，需要監(jiān)控各節(jié)點(diǎn)的流量和健康狀況。單臺節(jié)點(diǎn)Cache當(dāng)承載能力不足時，需要多臺Cache，多臺Cache同時，工作需要負(fù)載平衡器Cache小組合作。

騰佑科技15年IDC運(yùn)營經(jīng)驗，全球海外服務(wù)器租賃托管、機(jī)柜租賃、帶寬租賃、虛擬主機(jī)、云主機(jī)、CDN同時提供高防服務(wù)器安全服務(wù)，歡迎廣大客戶來電咨詢！