大數(shù)據(jù)時(shí)代下的CDN智能運(yùn)維
2017-11-24 10:24:29 來源：齊魯壹點(diǎn)(山東) 熱度:
近年來，短視頻與直播業(yè)務(wù)的爆發(fā)，也讓CDN行業(yè)迎來了新的發(fā)展機(jī)遇和挑戰(zhàn)。這些挑戰(zhàn)主要體現(xiàn)在運(yùn)維上，可分為兩方面：一是出現(xiàn)故障時(shí)的響應(yīng)速度，這需要CDN服務(wù)商能夠以最快的速度發(fā)現(xiàn)和處理故障。二是質(zhì)量的提升，視頻類客戶的卡頓率往往是評(píng)判各家CDN廠商服務(wù)質(zhì)量的首要標(biāo)準(zhǔn)，這要求服務(wù)方必須具備過硬的調(diào)優(yōu)能力，因此，快速分析感知細(xì)微的質(zhì)量變化、定位質(zhì)量變化的原因就至關(guān)重要
。
目前，金山視頻云CDN的服務(wù)端天級(jí)日志量已近千億條，數(shù)據(jù)量近百T級(jí)別，這些數(shù)據(jù)是解決運(yùn)維效率、提升服務(wù)質(zhì)量的關(guān)鍵。近日，在GOPS 2017全球運(yùn)維大會(huì)上海站上，金山云大數(shù)據(jù)技術(shù)總監(jiān)徐寅斐就如何利用數(shù)據(jù)進(jìn)行CDN的智能運(yùn)維這個(gè)話題，分享了金山云的做法和思考。
金山云大數(shù)據(jù)技術(shù)總監(jiān)徐寅斐發(fā)表演講
利用數(shù)據(jù)構(gòu)建運(yùn)維和服務(wù)質(zhì)量支撐體系
工欲善其事，必先利其器。數(shù)據(jù)是解決運(yùn)維效率、運(yùn)維自動(dòng)化甚至智能化的核心，而要想充分利用已有的數(shù)據(jù)資產(chǎn)，數(shù)據(jù)平臺(tái)的支撐就顯得至關(guān)重要。為了滿足目前和未來的需求，首先需要對(duì)現(xiàn)有的數(shù)據(jù)和使用方式進(jìn)行分類：
現(xiàn)有數(shù)據(jù)可以分為四類。包括基礎(chǔ)監(jiān)控?cái)?shù)據(jù)、探測(cè)數(shù)據(jù)、服務(wù)端日志、客戶端日志，這四類數(shù)據(jù)在接入難度、數(shù)據(jù)量級(jí)上各不相同，數(shù)據(jù)平臺(tái)需要統(tǒng)籌考慮所有數(shù)據(jù)的接入、傳輸、計(jì)算和存儲(chǔ)。
大數(shù)據(jù)時(shí)代下的CDN智能運(yùn)維
CDN數(shù)據(jù)分類及特點(diǎn)
運(yùn)維對(duì)數(shù)據(jù)的使用，可以分為四個(gè)階段：數(shù)據(jù)支撐、分析支撐、決策支撐和預(yù)測(cè)支撐，每個(gè)階段對(duì)數(shù)據(jù)平臺(tái)有著不同的需求：數(shù)據(jù)支撐要求平臺(tái)能夠滿足對(duì)上述四類數(shù)據(jù)的計(jì)算和存儲(chǔ)需求，確保運(yùn)維人員能夠及時(shí)獲取準(zhǔn)確的數(shù)據(jù)指標(biāo)。分析支撐要求平臺(tái)能夠及時(shí)響應(yīng)各類即席查詢的需求，包括對(duì)原始日志的全鏈路分析，對(duì)于業(yè)務(wù)指標(biāo)的多維分析等。決策支撐和預(yù)測(cè)支撐則要求平臺(tái)具備數(shù)據(jù)的強(qiáng)大后處理能力，包括對(duì)已存儲(chǔ)數(shù)據(jù)的建模、挖掘能力。
大數(shù)據(jù)時(shí)代下的CDN智能運(yùn)維
數(shù)據(jù)運(yùn)維四個(gè)階段
金山視頻云大數(shù)據(jù)平臺(tái)架構(gòu)建設(shè)實(shí)踐
先說大數(shù)據(jù)平臺(tái)?；谝陨蠑?shù)據(jù)需求，金山視頻云大數(shù)據(jù)平臺(tái)在實(shí)踐中，通過不斷演進(jìn)，最終形成了目前以Hadoop和Spark生態(tài)產(chǎn)品為基礎(chǔ)的架構(gòu)。平臺(tái)的數(shù)據(jù)傳輸采用的是Kafka，作為現(xiàn)今最主流的傳輸中間件，它出色的吞吐能力為第一層數(shù)據(jù)緩沖提供了保障。數(shù)據(jù)計(jì)算全部采用Spark，技術(shù)棧的精簡能夠保證開發(fā)效率和平臺(tái)穩(wěn)定性，而且Spark可提供足夠豐富的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)庫保證數(shù)據(jù)的后處理。
在數(shù)據(jù)的前處理上，金山云采用的是實(shí)時(shí)流+離線流修補(bǔ)的經(jīng)典架構(gòu)，實(shí)時(shí)流在一定精度的前提下，保證了數(shù)據(jù)的及時(shí)性，離線流保證了數(shù)據(jù)的最終完整性。此外，平臺(tái)還引入了邊緣計(jì)算，作用是在充分利用CDN節(jié)點(diǎn)分布式天然優(yōu)勢(shì)的同時(shí)，可大大降低中心數(shù)據(jù)平臺(tái)的壓力，提升了平臺(tái)的整體穩(wěn)定性。
大數(shù)據(jù)時(shí)代下的CDN智能運(yùn)維
金山視頻云大數(shù)據(jù)平臺(tái)架構(gòu)
對(duì)于一個(gè)數(shù)據(jù)平臺(tái)來說，最復(fù)雜的是數(shù)據(jù)存儲(chǔ)，不同的數(shù)據(jù)查詢和獲取需求決定了最終的存儲(chǔ)選型：對(duì)于查詢靈活性要求極大，數(shù)據(jù)量適中的數(shù)據(jù)，金山云使用ElasticSearch + Kibana提供靈活的數(shù)據(jù)存儲(chǔ)與查詢服務(wù)。對(duì)于查詢模式相對(duì)固定、數(shù)據(jù)寫入量巨大的數(shù)據(jù)，Druid是一個(gè)不錯(cuò)的選擇。
CDN的全量原始日志，則會(huì)經(jīng)過ETL后以列存儲(chǔ)的方式存儲(chǔ)在HDFS上，可以通過SQL、代碼片段等多種方式對(duì)數(shù)據(jù)進(jìn)行查詢分析。此外，整個(gè)數(shù)據(jù)平臺(tái)使用金山云自研的大數(shù)據(jù)產(chǎn)品KMR，它對(duì)金山云其他IaaS服務(wù)的天然支持提供了很多便利，如分布式對(duì)象存儲(chǔ)KS3，可以作為平臺(tái)存儲(chǔ)空間的擴(kuò)充，重要的數(shù)據(jù)以及長期不用的冷數(shù)據(jù)，都會(huì)定期自動(dòng)備份到KS3中持久存儲(chǔ)。
大數(shù)據(jù)時(shí)代下的CDN智能運(yùn)維
金山視頻云大數(shù)據(jù)平臺(tái)采用多種技術(shù)
大數(shù)據(jù)平臺(tái)的運(yùn)維實(shí)踐
基于這個(gè)大數(shù)據(jù)平臺(tái)，金山云開發(fā)了多套系統(tǒng)提升運(yùn)維效率。第一個(gè)是報(bào)警系統(tǒng)，大數(shù)據(jù)平臺(tái)承載了CDN所有業(yè)務(wù)報(bào)警數(shù)據(jù)的清洗、計(jì)算和決策生成，Spark對(duì)流式計(jì)算的支持保證了數(shù)據(jù)產(chǎn)生到報(bào)警整個(gè)過程能夠在1分鐘內(nèi)完成，保證及時(shí)發(fā)現(xiàn)問題，系統(tǒng)本身良好的水平擴(kuò)展能力，也能夠滿足視頻云運(yùn)維不斷變化的業(yè)務(wù)需求。
CDN業(yè)務(wù)報(bào)警的特點(diǎn)是種類多、維度多、報(bào)警閾值因地區(qū)運(yùn)營商而異。報(bào)警規(guī)則和報(bào)警閾值的管理工作很復(fù)雜，為此，金山云的報(bào)警平臺(tái)中有一套專門用于閾值評(píng)估的離線分析系統(tǒng)，針對(duì)所有指標(biāo)的歷史數(shù)據(jù)、人為配置以及運(yùn)維對(duì)報(bào)警的反饋信息，綜合評(píng)估出不同區(qū)域運(yùn)營商的合理閾值，極大地降低了報(bào)警管理的難度。
第二個(gè)系統(tǒng)是CDN服務(wù)質(zhì)量的“觀象臺(tái)”——鷹眼平臺(tái)，它提供了50+業(yè)務(wù)指標(biāo)、5+維度的服務(wù)質(zhì)量數(shù)據(jù)的查詢能力，可滿足日常運(yùn)維和調(diào)優(yōu)工作中80%以上的數(shù)據(jù)獲取需求，并可場(chǎng)景化呈現(xiàn)故障處理、網(wǎng)絡(luò)鏈路質(zhì)量、大客戶服務(wù)質(zhì)量維護(hù)等多種常見運(yùn)維工作。
鷹眼的數(shù)據(jù)需求繁雜，既提供全局服務(wù)質(zhì)量信息，也需要滿足不同域名、區(qū)域運(yùn)營商、鏈路以及緩存狀態(tài)的細(xì)粒度查詢，甚至需要對(duì)這些維度進(jìn)行任意組合。為了滿足這樣的查詢需求，鷹眼的服務(wù)質(zhì)量數(shù)據(jù)使用ElasticSearch作為底層存儲(chǔ)，在中等規(guī)模數(shù)據(jù)的寫入和聚合查詢方面的速度都很理想，文檔化的存儲(chǔ)方式也能滿足數(shù)據(jù)快速迭代更新的需求。同時(shí)，鷹眼數(shù)據(jù)的部分聚合被下放到節(jié)點(diǎn)上進(jìn)行，這樣可以降低平臺(tái)的計(jì)算負(fù)載。
基于大數(shù)據(jù)平臺(tái)和產(chǎn)生的數(shù)據(jù)，金山云CDN已能在包括調(diào)度、故障處理、質(zhì)量調(diào)優(yōu)在內(nèi)的很多場(chǎng)景中實(shí)現(xiàn)自動(dòng)化。除了大數(shù)據(jù)，接下來金山云還會(huì)在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域進(jìn)行運(yùn)維智能化的探索。
責(zé)任編輯：張馳
