騰訊視頻：如何更好地利用CDN支持業(yè)務(wù)？
2017-09-14 08:02:09 來源：騰訊網(wǎng)絡(luò)工程 熱度:
隨著互聯(lián)網(wǎng)規(guī)模的爆炸式增長，CDN成長為重要的基礎(chǔ)設(shè)施。如何更好的利用好CDN在全國豐富的資源點為用戶提供更好的服務(wù)？ 這篇文章介紹了CDN在動態(tài)內(nèi)容和全站加速的應(yīng)用。
提起CDN，大家一定立即想到圖片，下載，視頻等靜態(tài)內(nèi)容的分發(fā)和就近接入等加速應(yīng)用。今天的互聯(lián)網(wǎng)應(yīng)用場景下，通過CDN承載的內(nèi)容越來越多，CDN已經(jīng)成為了一項不可或缺的網(wǎng)絡(luò)基礎(chǔ)設(shè)施了；騰訊CDN上運營的帶寬總量已經(jīng)超過30Tbps，儲備的帶寬超過60Tbps，占到業(yè)務(wù)產(chǎn)生的總體帶寬量的八成以上。根據(jù)我們在騰訊云和內(nèi)部業(yè)務(wù)的運營數(shù)據(jù)，全國范圍內(nèi)使用CDN可以把用戶到機房的“平均光纜長度”降低到200KM以內(nèi)；試想，如果沒有CDN，全國的用戶都到同一個機房來訪問，數(shù)據(jù)平均要經(jīng)過1000KM+才能夠抵達(dá)用戶手中，除了用戶的訪問速度會變慢以外，對于運營商的網(wǎng)絡(luò)負(fù)載會增加數(shù)倍，以現(xiàn)在的網(wǎng)絡(luò)基礎(chǔ)設(shè)施是一定承擔(dān)不了的。
為了承擔(dān)海量的數(shù)據(jù)分發(fā)需求，我們建設(shè)了超過600個超過百Gb的邊緣節(jié)點，分布在全國各個地區(qū)和運營商，保證用戶可以同省訪問到CDN的資源。相比集中式的IDC服務(wù)，CDN的資源能夠為用戶提供非常大的網(wǎng)絡(luò)質(zhì)量優(yōu)勢。那么站點和應(yīng)用服務(wù)來說，如何更有效的利用這些資源？除了傳統(tǒng)的靜態(tài)類內(nèi)容分發(fā)以外，CDN還能做點些什么？這篇文章從騰訊視頻服務(wù)的實踐經(jīng)驗來說明一下CDN如何更好的支持到業(yè)務(wù)。
騰訊視頻是一個綜合型的服務(wù)，用戶可以通過多種方式來訪問，除了視頻播放以外還有檢索等多個功能。首先來看看傳統(tǒng)的服務(wù)架構(gòu)：
這個是一個典型的動靜分離的服務(wù)架構(gòu)，其中影片檢索，用戶登錄等動態(tài)功能不能夠緩存，需要集中的來處理；而網(wǎng)站的影片頁面，播放頁面和封面圖片等可以通過CDN來提供就近的服務(wù)。實際上早先的大部分騰訊的服務(wù)都是通過類似的方案來提供的。如果需要增加新的獨立功能，我們通常會申請一個新的域名，獨立部署來進(jìn)行服務(wù)，各個功能點的開發(fā)，部署，運營等工作都可以獨立來進(jìn)行，互不干擾。但是也有一個額外的問題，功能點多起來以后，網(wǎng)站的域名數(shù)增多，每個功能點都需要做運營商分布，網(wǎng)絡(luò)優(yōu)化，負(fù)載均衡和災(zāi)備等；用戶訪問每個功能都需要連接一個單獨的域名，分別解析和建立連接。到了SSL／HTTP2的時代，這個問題變得更加嚴(yán)重，每個域名都需要分別部署ssl服務(wù)，需要投入重復(fù)的運營工作，用戶的訪問代價也更大。
首先的問題是，動態(tài)的這一部分工作可否移到CDN來做呢？答案是肯定的。通過CDN來接入動態(tài)的內(nèi)容，可以提供更快，更安全的服務(wù)質(zhì)量，同時提供更方便，更快捷的運營能力。
鏈路優(yōu)化
用戶通過CDN邊緣節(jié)點就近接入，獲得了第一跳的最佳訪問質(zhì)量；而后CDN服務(wù)器通過全國的節(jié)點和跨運營商專線資源組成一個數(shù)據(jù)傳輸網(wǎng)絡(luò)，在這個網(wǎng)內(nèi)，我們可以通過智能路由算法基于實時的網(wǎng)絡(luò)情況找到一個接入點和源站之間的最佳中轉(zhuǎn)方案；CDN的網(wǎng)絡(luò)可以保證用戶，尤其是接入狀況不太好的用戶獲取到最佳的接入方法，例如小運營商用戶和移動客戶端的用戶。而這部分用戶才是對質(zhì)量抱怨最多的用戶。
由于CDN解決了用戶接入和路由的問題，源站服務(wù)器可以部署在單個運營商，甚至可以僅部署在騰訊云的網(wǎng)內(nèi)，僅需要關(guān)心容量，不需要刻意考慮接入點分布的問題；節(jié)省運營精力的同時獲取到更好的接入質(zhì)量。
負(fù)載均衡和故障屏蔽
源站采用集群服務(wù)的情況下，由于請求全部通過CDN來進(jìn)行接入，因此可以很方便的對源站進(jìn)行負(fù)載均衡控制。我們在CDN上可以通過簡單配置來實現(xiàn)豐富的負(fù)載均衡策略，例如輪詢，服務(wù)器權(quán)重，基于用戶ID或者地址的會話保持，等等；并且還可以進(jìn)行方便的進(jìn)行定制。同時單個服務(wù)器發(fā)生故障時，CDN還可以支持自動向可用服務(wù)器進(jìn)行重試，從而實現(xiàn)故障屏蔽的同時保持用戶無感知。
監(jiān)控和問題定位
用戶接入到CDN以后，請求都是在受控的服務(wù)器上中轉(zhuǎn)，通過CDN實時監(jiān)控和日志分析，我們可以立即掌握到服務(wù)的負(fù)載，請求書，以及源站的訪問延遲等信息。同時當(dāng)用戶訪問失敗的情況下，可以通過訪問鏈定位到問題節(jié)點。我們也可以通過自定義HTTP規(guī)則把部分用戶定位到單獨的服務(wù)器進(jìn)行訪問，對于新版本的灰度發(fā)布和現(xiàn)網(wǎng)問題排查都很方便。
網(wǎng)絡(luò)安全
當(dāng)前互聯(lián)網(wǎng)上，對于業(yè)務(wù)站點的安全攻擊層出不窮。入侵問題，拒絕服務(wù)攻擊等對源站的穩(wěn)定服務(wù)造成了巨大的威脅。通過使用CDN服務(wù)，可以把源站隱藏起來，因此針對業(yè)務(wù)的攻擊會直接導(dǎo)向CDN的網(wǎng)絡(luò)上。對于DDoS攻擊，最簡單的手段最有效：比拼容量。 DDoS攻擊的定義是，攻擊者通過發(fā)送大量的請求超過業(yè)務(wù)的服務(wù)能力，從而使得正常用戶無法訪問；然而CDN具備海量的服務(wù)能力和非常大的節(jié)點分布，目前我們遭遇到最大的ddos攻擊大約是500Gbps，而我們單個業(yè)務(wù)的訪問量最大已經(jīng)超過了6Tbps，兩者不在一個數(shù)量級。通過CDN的海量服務(wù)能力，我們可以把惡意請求過濾在門外，把真正的用戶請求放進(jìn)來。
協(xié)議棧加速和數(shù)據(jù)壓縮
CDN優(yōu)化中間非常關(guān)鍵的一個環(huán)節(jié)是協(xié)議棧單邊加速。過去一段時間我們對于協(xié)議棧單邊加速進(jìn)行了相當(dāng)多的探索，也取得了相當(dāng)不錯的進(jìn)展；不過這里單獨說一下針對動態(tài)內(nèi)容的部分。首先是可以單獨為信令類型的重要數(shù)據(jù)在協(xié)議層面提高傳輸優(yōu)先級，保證及時送達(dá)；另外，CDN服務(wù)器之間的傳輸兩端都是受控的，因此我們可以采用雙邊加速，進(jìn)一步提高傳輸?shù)馁|(zhì)量和穩(wěn)定性。同時服務(wù)器之間采取共享字典壓縮，節(jié)約傳輸需要的帶寬。
現(xiàn)在，站點上的靜態(tài)內(nèi)容，動態(tài)內(nèi)容都通過CDN來服務(wù)；能不能夠結(jié)合起來一起看呢？這個就是要提到的全站加速的概念了。仍然以騰訊視頻站點作為例子，我們一起來看一下新的主要架構(gòu)：
在這個架構(gòu)下，動態(tài)的內(nèi)容和靜態(tài)的內(nèi)容域名都采用v.qq.com單個域名來提供服務(wù)，CDN對于靜態(tài)的內(nèi)容進(jìn)行緩存，同時對動態(tài)內(nèi)容進(jìn)行加速。用戶只需要訪問單一域名，建立一條連接，就可以得到完整的功能，節(jié)省了多次解析和建立連接帶來的額外開銷。尤其是引入了http2協(xié)議的情況下，多個請求可以并發(fā)的處理，相比單純的鏈路加速，這里還能夠進(jìn)一步提高用戶的性能。
責(zé)任編輯：王剛
