分布式架構(gòu)的勝利？CDN革命

近年來，愛奇藝、嗶哩嗶哩、抖音等一些在線視頻應(yīng)用一夜之間出現(xiàn)，其規(guī)模和突發(fā)性堪比寒武紀(jì)物種的爆發(fā)。大公司與運(yùn)營商合作推出各種相關(guān)的流量套餐和流量卡。2015年上半年到2017年上半年間，亞太地區(qū)安卓手機(jī)“播放和編輯視頻”與“娛樂”類別(大部分在線視頻應(yīng)用都屬于這個(gè)類別)的使用時(shí)間增加了兩倍，達(dá)到400億小時(shí)。這占全球總時(shí)間的近一半。

在線視頻應(yīng)用

由于目前的網(wǎng)絡(luò)環(huán)境，我們幾乎可以隨時(shí)隨地拿出手機(jī)觀看視頻。但有時(shí)我們看視頻卡住的可能不是因?yàn)榫W(wǎng)絡(luò)太慢。前幾天很流行“延禧攻略”例如，延禧攻略在愛奇藝上獲得了平均單日播放量3億，最高播放量7億，并實(shí)現(xiàn)了1000萬用戶同時(shí)在線觀看的場景。

如果你看1080P視頻，大約需要4個(gè)Mbps要實(shí)現(xiàn)1000萬用戶同時(shí)在線觀看，總流量帶寬為1萬、萬、萬×4Mbps=40,000,000Mbps=40Tbps。對于優(yōu)酷、愛奇藝這樣的互聯(lián)網(wǎng)視頻內(nèi)容提供商來說，這無疑是非常巨大的流量壓力。

普通計(jì)算機(jī)網(wǎng)卡約1Gbps帶寬。如果優(yōu)酷有一個(gè)超級服務(wù)器，那么這個(gè)超級服務(wù)器需要4萬張網(wǎng)卡，它必須100%運(yùn)行，以實(shí)現(xiàn)1000萬用戶的平穩(wěn)觀看。對于一些實(shí)力不足的服務(wù)提供商來說，只要流量突然急劇增加，就會(huì)造成擁堵，導(dǎo)致延遲和堵塞。

許多研究表明，用戶對打開網(wǎng)頁最滿意的時(shí)間是2-5秒，如果等待超過10秒，99%的用戶會(huì)關(guān)閉網(wǎng)頁。舉一些實(shí)際點(diǎn)的例子:Google每慢4000ms導(dǎo)致用戶搜索請求數(shù)量下降0.59%；Amazon每增加100ms網(wǎng)站延遲會(huì)導(dǎo)致收入下降1%；雅虎400ms延遲會(huì)導(dǎo)致流量下降5-9%。直截了當(dāng)?shù)卣f，延遲太長=服務(wù)提供商最不愿意看到用戶流失。

服務(wù)提供商必須找到解決這個(gè)問題的方法，CDN（Contentdeliverynetwork，內(nèi)容分發(fā)網(wǎng)絡(luò))滿足了這一需求，很好地解決了上述情況造成的延遲。

服務(wù)越來越近：CDN的誕生

20世紀(jì)80年代，互聯(lián)網(wǎng)技術(shù)剛剛進(jìn)入民用領(lǐng)域。當(dāng)時(shí)，它只能撥打互聯(lián)網(wǎng)。帶寬很低，市場不是很大，自然用戶也不多。這還不足以給骨干網(wǎng)絡(luò)和服務(wù)器帶來壓力。

在接下來的幾年里，爆炸性的互聯(lián)網(wǎng)行業(yè)刺激了越來越多的用戶的需求。此外，寬帶接入網(wǎng)絡(luò)的出現(xiàn)給內(nèi)容源服務(wù)器和骨干網(wǎng)絡(luò)帶來了越來越大的壓力，無法及時(shí)響應(yīng)用戶的訪問需求。

麻省理工學(xué)院教授是互聯(lián)網(wǎng)的發(fā)明者之一TimBerners-Lee越來越嚴(yán)重的網(wǎng)絡(luò)擁塞將是互聯(lián)網(wǎng)發(fā)展的最大障礙。

TimBerners-Lee

因此，他提出了一個(gè)學(xué)術(shù)問題，希望有人能從根本上解決這個(gè)問題，從而實(shí)現(xiàn)互聯(lián)網(wǎng)內(nèi)容的無擁塞分發(fā)。

當(dāng)時(shí)TimBerners-Lee教授的隔壁，是的TomLeighton麻省理工學(xué)院應(yīng)用數(shù)學(xué)教授是教授的辦公室。

TomLeighton

Leighton被Berners-Lee挑戰(zhàn)引起了興趣，所以他邀請了麻省理工學(xué)院的研究生DanielM.Lewin與其他頂尖研究人員一起解決了這個(gè)技術(shù)問題。

DanielM.Lewin

最后，他們開發(fā)了動(dòng)態(tài)路由算法技術(shù)，利用數(shù)學(xué)操作規(guī)則來處理內(nèi)容，有效地解決了這個(gè)問題。CDN。

他們成立了一家公司，以充分發(fā)揮這一技術(shù)的商業(yè)價(jià)值。這家公司后來很有名CDN服務(wù)鼻祖--Akamai公司。

CDN如何運(yùn)作

上次說到5G部分設(shè)備采用網(wǎng)絡(luò)切片技術(shù)“下沉”，使一些設(shè)備更接近基站。CDN基本上也是這個(gè)想法。

CDN最初的核心概念是在終端用戶附近緩存內(nèi)容，并使用更多的緩存服務(wù)器（CDN邊緣節(jié)點(diǎn))布置在用戶訪問相對集中的區(qū)域或網(wǎng)絡(luò)中。當(dāng)用戶訪問網(wǎng)站時(shí)，用戶訪問指向最近的緩存服務(wù)器，緩存服務(wù)器響應(yīng)用戶的要求。

CDN流程

這有點(diǎn)像建立多個(gè)鏡像服務(wù)器，但事實(shí)并非如此。例如，如果你現(xiàn)在想使用它，APP在線觀看一部3G更多的視頻可能會(huì)經(jīng)歷以下過程

APP會(huì)先根據(jù)你點(diǎn)擊URL去本地的DNS尋求IP地址解析

本地的DNS系統(tǒng)將給予域名解析權(quán)CDN專用DNS服務(wù)器

專用DNS服務(wù)器會(huì)將CDN全局負(fù)載均衡設(shè)備IP地址返回給用戶

這時(shí)用戶就可以向前走了CDN啟動(dòng)負(fù)載均衡設(shè)備URL訪問請求

CDN負(fù)載均衡設(shè)備根據(jù)用戶負(fù)載均衡設(shè)備IP地址，用戶請求的內(nèi)容URL，選擇用戶所屬區(qū)域的緩存服務(wù)器。

負(fù)載平衡設(shè)備告訴用戶緩存服務(wù)器IP請求用戶提供所選的緩存服務(wù)器。

用戶向緩存服務(wù)器發(fā)起請求，緩存服務(wù)器響應(yīng)用戶請求，將用戶所需內(nèi)容傳送到用戶終端。

如果緩存服務(wù)器上沒有用戶想要的內(nèi)容，那么緩存服務(wù)器需要向網(wǎng)站的源服務(wù)器或其他更近的緩存請求。

源服務(wù)器或其他緩存服務(wù)器將內(nèi)容返回緩存服務(wù)器，然后將內(nèi)容發(fā)送給用戶，并根據(jù)用戶定制的緩存策略判斷是否將內(nèi)容緩存到緩存服務(wù)器上。

確切的說CDN更像是更智能的鏡像 緩存 流量導(dǎo)流

當(dāng)然，視頻的所有內(nèi)容都不會(huì)存儲(chǔ)在緩存服務(wù)器中，每個(gè)緩存服務(wù)器只存儲(chǔ)視頻的部分內(nèi)容。此外，服務(wù)器本質(zhì)上是一臺(tái)計(jì)算機(jī)，所以我們可以使用我們的個(gè)人計(jì)算機(jī)作為緩存服務(wù)器P2P網(wǎng)絡(luò)。而P2P也是世界上最大的CDN網(wǎng)絡(luò)。

CDN帶來了什么

CDN該技術(shù)最大的優(yōu)點(diǎn)是減少了內(nèi)容分發(fā)的延遲，縮短了用戶與內(nèi)容之間的物理距離，并將其分發(fā)給不同線路的緩存服務(wù)器，加速了不同運(yùn)營商之間的訪問。如果中國移動(dòng)用戶想訪問中國電信網(wǎng)絡(luò)的內(nèi)容源，他們可以在中國移動(dòng)設(shè)置CDN加速服務(wù)器。

使用CDN技術(shù)也保證了網(wǎng)絡(luò)的安全。內(nèi)容分發(fā)后，源服務(wù)器IP被隱藏，受到攻擊的概率將會(huì)大幅下降。而且但某個(gè)服務(wù)器故障時(shí)，系統(tǒng)會(huì)調(diào)用臨近的正常運(yùn)行的服務(wù)器進(jìn)行內(nèi)容分發(fā)，對用戶使用的影響也降低了不少。

正是因?yàn)镃DN目前，所有主流互聯(lián)網(wǎng)服務(wù)器提供商都采用了上述優(yōu)勢CDN技術(shù)CDN服務(wù)。

CDN是從傳統(tǒng)IT產(chǎn)業(yè)發(fā)展的服務(wù)。對于通信行業(yè)，CDN也有很大的商業(yè)價(jià)值。

互聯(lián)網(wǎng)服務(wù)提供商使用CDN用存儲(chǔ)代替延遲。CDN為了換取更好的用戶體驗(yàn)，服務(wù)器或云計(jì)算服務(wù)。

通信運(yùn)營商也很受歡迎CDN，但它們的目的是通過存儲(chǔ)換帶寬和服務(wù)“下沉”，減輕上層骨干網(wǎng)絡(luò)的流量壓力，避免硬件擴(kuò)展，降低網(wǎng)絡(luò)建設(shè)成本。在底層解決業(yè)務(wù)流量數(shù)據(jù)，避免大量業(yè)務(wù)流量數(shù)據(jù)占據(jù)骨干網(wǎng)絡(luò)的帶寬，骨干網(wǎng)絡(luò)不需要拼命擴(kuò)展。許多運(yùn)營商已經(jīng)CDN下沉到地級市。

非CDN架構(gòu)與CDN架構(gòu)地比較

未來分布式網(wǎng)絡(luò)

隨著網(wǎng)絡(luò)能力的不斷提高，內(nèi)容資源和計(jì)算能力不斷提高“往上走”、云化。云計(jì)算中心集中，為所有終端節(jié)點(diǎn)提供服務(wù)。

云計(jì)算和邊緣計(jì)算

然而，讓我們回顧一下。對于非常龐大的地區(qū)和大量的用戶，特別是國家或世界級的服務(wù)，無論中心在哪里，無論中心的能力有多強(qiáng)大，客戶服務(wù)的物理距離都不會(huì)有障礙，中心也很容易崩潰。畢竟，梅西羅納爾多不能成為一支球隊(duì)。

區(qū)塊鏈

現(xiàn)在我們開始部分下沉云計(jì)算中心，包括霧計(jì)算和霧計(jì)算。此時(shí)，我們不禁想知道集中計(jì)算是否最終會(huì)被分布式計(jì)算所取代？區(qū)塊鏈作為分布式網(wǎng)絡(luò)的代表，是未來互聯(lián)網(wǎng)的最終形式嗎？