在6月10日下午舉辦的亞太內(nèi)容分發(fā)大會(huì)暨CDN峰會(huì)【運(yùn)營(yíng)商論壇】上，浩瀚深度應(yīng)用產(chǎn)品部經(jīng)理劉少凱發(fā)表了題為《IDC數(shù)據(jù)中心內(nèi)容運(yùn)營(yíng)一體化解決方案》的精彩演講。

首先劉少凱分析了目前IDC和CDN市場(chǎng)的發(fā)展趨勢(shì)，隨著5G等新興技術(shù)的日益成熟，數(shù)據(jù)中心也在飛速的發(fā)展。據(jù)Gartner的數(shù)據(jù)顯示，到2020年中國(guó)數(shù)據(jù)中心總收入達(dá)到了一千五百億；IDC行業(yè)每年保持著30%的復(fù)合增長(zhǎng)率。中國(guó)CDN市場(chǎng)預(yù)計(jì)到2022年達(dá)到約一千四百億元的市場(chǎng)規(guī)模。

全球每個(gè)數(shù)據(jù)中心的規(guī)模也在日益增長(zhǎng)；據(jù)不完全統(tǒng)計(jì)，2019年年底我國(guó)數(shù)據(jù)中心數(shù)量達(dá)到了288萬(wàn)。因此無(wú)論是CDN還是數(shù)據(jù)中心，目前都面臨著非常激烈的競(jìng)爭(zhēng)，降本增效成為關(guān)注的焦點(diǎn)。

如何降低成本、增加效益？劉少凱歸納了四個(gè)方面：

第一 安全防護(hù)

第二 鏈路高效

第三 質(zhì)量穩(wěn)定

第四 智能運(yùn)維

浩瀚深度成立于1994年，二十余年來(lái)一直致力于互聯(lián)網(wǎng)流量采集、流量挖掘以及流量可視化和大數(shù)據(jù)應(yīng)用范疇；目前主要應(yīng)用于運(yùn)營(yíng)商和垂直行業(yè)客戶(hù)，在DPI領(lǐng)域耕耘多年。目前，浩瀚深度已在運(yùn)營(yíng)商的關(guān)鍵鏈路出口（省網(wǎng)和IDC等出口）部署了大量專(zhuān)業(yè)的數(shù)據(jù)采集設(shè)備。

浩瀚深度通過(guò)DPI技術(shù)對(duì)鏈路流量進(jìn)行高速采集、合成、挖掘，把這些流量轉(zhuǎn)換為格式化的日志，傳輸至大數(shù)據(jù)平臺(tái)，進(jìn)而提供一體化的內(nèi)容運(yùn)營(yíng)的解決方案。

劉少凱首先介紹了CDN和IDC數(shù)據(jù)中心出口的DPI的設(shè)備。DPI設(shè)備承載了浩瀚深度25年的技術(shù)積累，是目前最高密度的設(shè)備，單臺(tái)支持處理的流量能達(dá)4.8T，在業(yè)界處于領(lǐng)先水平，且支持百G和十G的混合部署。劉少凱該將設(shè)備的核心功能點(diǎn)歸納為三大類(lèi)：

第一大類(lèi)就是業(yè)務(wù)識(shí)別，支持串接在關(guān)鍵的鏈路出口，對(duì)網(wǎng)絡(luò)流量進(jìn)行識(shí)別、分類(lèi)，目前支持五千多種業(yè)務(wù)的識(shí)別。

第二大類(lèi)是流量控制功能，能根據(jù)IP地址、端口、業(yè)務(wù)等多種維度進(jìn)行流量控制或者封堵。

第三大類(lèi)是流量的鏡像和轉(zhuǎn)發(fā)，根據(jù)特定的規(guī)則、特定的策略對(duì)流量進(jìn)行轉(zhuǎn)發(fā)。

目前浩瀚DPI設(shè)備已經(jīng)廣泛部署在運(yùn)營(yíng)商和CDN服務(wù)商出口，覆蓋鏈路僅2018-2020年就增加300Tbps。流量采集之后，把高速鏈路中的流量進(jìn)行采集、識(shí)別、合成，最后生成大量的格式化的數(shù)據(jù)，浩瀚深度的全國(guó)日增數(shù)據(jù)處理量達(dá)PB級(jí)。

除了DPI專(zhuān)用的設(shè)備，浩瀚深度也在大數(shù)據(jù)平臺(tái)的PaaS層耕耘了十多年，自研了順?biāo)拼髷?shù)據(jù)平臺(tái)。采集層除了支持對(duì)DPI數(shù)據(jù)的采集，同時(shí)支持實(shí)時(shí)數(shù)據(jù)、分布式數(shù)據(jù)的采集。浩瀚深度自研了高性能的傳輸軟件，無(wú)論是壓縮性能還是傳輸安全性、可靠性，都比開(kāi)源軟件有很大提升。

數(shù)據(jù)存儲(chǔ)方面，浩瀚也在研發(fā)高密度存儲(chǔ)設(shè)備，支持現(xiàn)在市面上主流的分布式文件存儲(chǔ)、塊存儲(chǔ)等。計(jì)算層是重中之重，目前支持實(shí)時(shí)計(jì)算、離線(xiàn)運(yùn)算以及交互式查詢(xún)，關(guān)于交互式產(chǎn)品，浩瀚自研的索引機(jī)制能支持幾十億的數(shù)據(jù)快速查詢(xún)。

除了核心的計(jì)算引擎，另外浩瀚還在機(jī)器學(xué)習(xí)、人工智能方面構(gòu)建很多模型，如電信行業(yè)的數(shù)據(jù)模型。此外，浩瀚深度還配套了很多邊緣系統(tǒng)，比如數(shù)據(jù)治理、元數(shù)據(jù)管理、數(shù)據(jù)血緣關(guān)系管理，以及自動(dòng)化運(yùn)維平臺(tái)，包括對(duì)設(shè)備、服務(wù)器、交換機(jī)全域硬件狀態(tài)檢測(cè)。數(shù)據(jù)安全方面，浩瀚深度自研了大數(shù)據(jù)多租戶(hù)安全管控，全面防護(hù)數(shù)據(jù)安全、計(jì)算資源濫用。

劉少凱總結(jié)說(shuō)，浩瀚深度的DPI設(shè)備部署在數(shù)據(jù)中心和CDN出口，源源不斷地對(duì)流量進(jìn)行實(shí)時(shí)的采集和挖掘，形成格式化日志流量的數(shù)據(jù)，傳輸至大數(shù)據(jù)平臺(tái)，進(jìn)行CDN和數(shù)據(jù)中心的數(shù)據(jù)挖掘，最終形成上層的應(yīng)用。

具體而言，劉少凱列舉了四方面：

第一是客戶(hù)安全管理，主要是數(shù)據(jù)中心和CDN客戶(hù)行為合規(guī)（違規(guī)行為檢測(cè)）管理。

第二是流量?jī)?nèi)容運(yùn)營(yíng)，主要針對(duì)內(nèi)容，對(duì)CDN和數(shù)據(jù)中心內(nèi)的流量進(jìn)行全路徑的可視化。

第三是質(zhì)量感知溯源，對(duì)網(wǎng)絡(luò)層面、專(zhuān)題質(zhì)量層面的網(wǎng)絡(luò)指標(biāo)進(jìn)行刻畫(huà)，對(duì)低感質(zhì)差情況進(jìn)行挖掘發(fā)現(xiàn)，進(jìn)而質(zhì)差現(xiàn)象進(jìn)行定位定界。

第四是是智能運(yùn)維，對(duì)數(shù)據(jù)中心和CDN內(nèi)硬件設(shè)備、軟件進(jìn)程等狀態(tài)進(jìn)行監(jiān)控告警，提升整個(gè)系統(tǒng)的穩(wěn)定性。

隨后，劉少凱對(duì)上述四點(diǎn)展開(kāi)進(jìn)行了介紹：

01 客戶(hù)安全管理

1）針對(duì)CDN或數(shù)據(jù)中心存在的黑寬帶、私自違規(guī)連接情況，浩瀚深度能夠通過(guò)DPI手段獲取流量特征、用戶(hù)行為特征，能夠找出寬帶的轉(zhuǎn)租轉(zhuǎn)售甚至違規(guī)資源些并做一鍵處置。

2）流量跨網(wǎng)絡(luò)后，其傳輸?shù)臅r(shí)延明顯增加，質(zhì)量下降。浩瀚深度能夠幫助CDN和數(shù)據(jù)中心把資源調(diào)度盡可能靠近用戶(hù)側(cè)，以提升用戶(hù)質(zhì)量感知。對(duì)此，浩瀚深度的實(shí)時(shí)檢測(cè)包括了數(shù)據(jù)中心的回源流量和流量吞吐異常情況挖掘，并及時(shí)進(jìn)行告警。

3）鑒于上述違規(guī)行為，設(shè)備通過(guò)策略下發(fā)，能夠?qū)`規(guī)內(nèi)容流量進(jìn)行有效的控制。

02 流量?jī)?nèi)容運(yùn)營(yíng)

浩瀚深度DPI設(shè)備串接在CDN的出口，能夠?qū)⑺型ㄟ^(guò)CDN的流量、采集、挖掘，如此以來(lái)就能夠從ICP、業(yè)務(wù)、流向、出口等維度進(jìn)行流量可視化；并對(duì)中間承載的業(yè)務(wù)資源以及客戶(hù)的網(wǎng)絡(luò)資源進(jìn)行資源空間測(cè)繪，把熱點(diǎn)資源全部可視化呈現(xiàn)出來(lái)，為CDN和數(shù)據(jù)中心對(duì)資源的引入和資源的分布提供最優(yōu)化的建議。

03 質(zhì)量感知溯源

通過(guò)對(duì)底層網(wǎng)絡(luò)指標(biāo)的剖析挖掘，分為兩大類(lèi)，第一大類(lèi)是對(duì)于網(wǎng)絡(luò)通用的指標(biāo)，比如客戶(hù)端時(shí)延、服務(wù)端時(shí)延、首包時(shí)延、下載速率等進(jìn)行監(jiān)控和可視化。第二大類(lèi)是對(duì)于專(zhuān)題的質(zhì)量，針對(duì)大流量應(yīng)用如視頻的特有指標(biāo)——畫(huà)質(zhì)、清晰度轉(zhuǎn)換、卡頓等解析。進(jìn)而找到低感、質(zhì)差的情況并進(jìn)行告警。第二步，在發(fā)現(xiàn)這些現(xiàn)象的同時(shí)能夠進(jìn)行精細(xì)化的定位，甄別是用戶(hù)側(cè)、鏈路側(cè)還是資源側(cè)出現(xiàn)了問(wèn)題，之后把清單依據(jù)提交給數(shù)據(jù)中心或CDN做排查整頓，完成后又回到系統(tǒng)里面做這種閉環(huán)的監(jiān)測(cè)，對(duì)比監(jiān)測(cè)問(wèn)題解決效果。

04 智能運(yùn)維管理

智能化運(yùn)維主要分為三部分，第一部分是說(shuō)對(duì)數(shù)據(jù)中心甚至CDN全域內(nèi)所有硬件、所有的設(shè)備進(jìn)行狀態(tài)的檢測(cè)和資源利用率的監(jiān)控。第二部分是作業(yè)平臺(tái)監(jiān)控，浩瀚深度正在構(gòu)建自動(dòng)化運(yùn)維大平臺(tái)，通過(guò)中心管控的方式實(shí)現(xiàn)一鍵化的下發(fā)命令、批量腳本、文件的上傳和下載等操作。第三部分是流量的監(jiān)控和核對(duì)，從CDN出口或者IDC出口，流量的進(jìn)入、流量的采集、流量的合成、流量的處理、流量的輸出，最后數(shù)據(jù)進(jìn)入大數(shù)據(jù)平臺(tái)進(jìn)行每一個(gè)階段的處理、挖掘、生成，每一個(gè)階段都設(shè)置合理的監(jiān)控點(diǎn)，實(shí)現(xiàn)對(duì)整個(gè)數(shù)據(jù)通路全流程的可視化。一旦某個(gè)問(wèn)題出現(xiàn)的時(shí)候，監(jiān)控平臺(tái)就會(huì)出現(xiàn)斷點(diǎn)拉平，很清楚地發(fā)現(xiàn)到底是哪個(gè)環(huán)節(jié)出現(xiàn)了問(wèn)題，進(jìn)而及時(shí)進(jìn)行保障，提高整個(gè)系統(tǒng)的可靠性。